阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.13802v1。

论文阅读笔记：A Benchmark and Framework for Evaluating Next Action Predictions in Spreadsheets

论文 ID: 2606.13802v1
标题: A Benchmark and Framework for Evaluating Next Action Predictions in Spreadsheets
作者: Tejas Agrawal, Vu Le, Sumit Gulwani, Gust Verbruggen
来源: arXiv (2026)

1. 研究背景与动机

作者指出，预测性代码补全（Predictive code completion）极大地加速了开发人员的工作效率。然而，在电子表格（Spreadsheets）领域，尽管其使用频率远高于代码，类似的自动补全功能却几乎不存在。现有的电子表格助手主要集中在特定场景，例如 FlashFill 自动填充列，或在用户明确发出信号后建议公式。对于常规编辑和重复模式，调用辅助工具的成本往往高于直接手动操作，导致用户倾向于手动编辑。

论文认为，目前缺乏针对电子表格的通用动作建议（generalized action suggestions）工作，主要面临两个挑战：

1. 缺乏编辑历史数据：与代码拥有详细的版本历史不同，公共电子表格语料库通常只包含高层级的演变数据，缺乏细粒度的操作序列。
2. 动作空间复杂：电子表格动作涉及空间（单元格位置）、时间（操作顺序）和复合性（格式、数据、合并等），且没有明确的预测触发时机。

为了填补这一空白，作者引入了一个基准测试（Benchmark）和评估框架，用于评估观察用户动作序列并预测未来动作的系统。

2. 数据集构建方法

为了解决缺乏编辑历史的问题，作者手动策划了 52 个动作序列，共计 12,000 个动作，用于从公共语料库中重建电子表格。数据集的构建采用了一个三阶段流水线，旨在减少人工标注工作量并引入自然的变化性：

1. 符号冷启动生成（Symbolic cold-start）： 给定目标工作簿，系统将其最终状态分解为单元格级操作，并将相邻的相同操作合并为范围动作（例如将 font(A1, bold) 和 font(A2, bold) 合并为 font(A1:A2, bold)）。为了引入多样性，系统从偏好设置空间中采样，控制合并策略、区域顺序和格式化顺序。

2. LLM 辅助优化（LLM refinement）： 利用基于大语言模型（LLM）的“法官 - 编辑”循环作为辅助步骤，识别并纠正符号序列中明显不自然的模式。例如，将分散的单元格格式化合并为范围操作，移除未使用区域的杂散格式化，并调整序列以遵循更自然的模式。

3. 人工标注（Human annotation）： 人工标注者进行最后一轮检查，修正剩余的不自然子序列，确保所有修订都能达到目标工作簿状态。

最终数据集包含 52 个高质量的工作簿创建轨迹，每个轨迹包含 35 到 821 个步骤，平均 229 个步骤，总计 11,907 个步骤。支持的操作类型包括输入数据、合并单元格、设置格式、填充颜色、字体设置、边框设置、对齐方式、粘贴和自动填充等（如论文 Table 1 所示）。

3. 在线评估框架

为了解决动作空间复杂和缺乏明确触发时机的问题，作者提出了一种**在线评估（Online Evaluation）**方法，而非静态的“给定 x 预测 y”的离线评估。

在该框架中，待评估的系统在每个迭代步骤中被给予过去的 $n$ 个动作，并预测零个或多个后续动作。根据预测的属性，系统决定接受或拒绝该预测：

• 若接受：未来的动作序列会被更新。例如，移除预测中已成功完成的操作，并添加用于撤销错误操作的动作。
• 若拒绝：下一个用户动作被添加到历史中，下一次迭代从 $n+1$ 个动作开始。

该过程重复进行，直到没有剩余动作（获得最终电子表格）或达到阈值。作者指出，这种在线评估相比固定时间步的离线评估有三个优势：

1. 建议会改变模型和用户继续操作的状态，错误可能会累积，后续预测依赖于之前的预测。
2. 模型不能重复建议相同的简单动作而仍显得准确。
3. 系统被测试是否能修正或修复其先前的建议。

论文通过 Figure 1 展示了在线评估在合成示例中的一个步骤。

如图 1 所示，历史操作产生了当前状态，剩余的未来操作将产生目标状态。系统根据历史和当前状态预测了三个动作：两个边框动作匹配未来，一个填充动作针对错误的单元格。在单元格级别，这给出了 7/8 的精确度。如果用户接受该预测，由于预测满足了两个边框操作，但需要添加一个操作来撤销错误的填充，用户总体上节省了一个动作。如果拒绝，未来保持不变，评估继续。

4. 基线模型与实验洞察

作者使用多种基线预测器来验证该基准和框架，包括零样本大语言模型（Zero-shot LLMs）、微调的小语言模型（Fine-tuned SLMs）和经典机器学习模型。通过不同层级的指标（每次模拟、每次预测、每个动作），作者分析了该基准揭示的多个属性：

• 模型能力与节省动作的关系：更强大的模型能节省更多动作。例如，具有推理能力的 GPT-5 节省了 33% 的动作，而 GPT-5 mini 节省了 18%。值得注意的是，微调的 3.6 亿参数模型的表现与 GPT-5 相当（均为 27%），这表明该任务是可学习的。
• 接受启发式的重要性：低精确度的接受启发式会导致负节省（-19%），这证实了基于净用户收益的弃权（abstention）机制至关重要。
• 触发时机与上下文：在每个动作后预测能节省更多动作（27%），而每四个动作后预测仅节省 17%。这表明研究良好的触发机制或更便宜的模型是值得的。
• 其他属性：论文还分析了保存动作的属性、误报（False Positives）、效率、用户档案的影响以及上下文的影响。

5. 总结与贡献

本文的主要贡献在于填补了电子表格预测性自动补全领域的空白。作者不仅构建了一个包含 52 个轨迹、近 1.2 万个操作的高质量基准数据集，还提出了一种模拟用户接受行为的端到端在线评估框架。

通过该框架，研究者可以计算反映真实世界效用的指标，从而针对预测性助手进行改进。论文展示了如何利用这些指标来指导模型优化，例如发现小模型微调后可以达到大模型的效果，以及强调预测接受策略对最终用户体验的重要性。相关代码和 artifacts 已开源，旨在推动电子表格生产力工具的发展。