阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.08016v1。

IEA：基于三阶段多任务对齐的业余友好型对话图像编辑代理

1. 论文背景与动机

随着数字摄影的普及，图像编辑已成为业余用户和专业人士的常见活动。然而，现有的编辑工具呈现出明显的两极分化：专业桌面软件（如 Photoshop 和 Lightroom）功能强大但学习曲线陡峭，劝退了业余用户；而基于移动端的“一键滤镜”或自动增强功能虽然便捷，却缺乏细粒度的控制能力和个性化表达空间。

论文指出，现有的生成式模型虽然能根据指令从头创建图像或基于参考重绘，但往往计算密集，且生成的图像可能包含伪影、不合理的细节或偏离照片真实感的风格漂移，同时无法提供编辑背后的逻辑洞察。许多基于视觉语言模型（VLM）的代理虽然在工具调用和 GUI 控制方面取得了进展，但外部编辑器引入了耗时的通信，且奖励信号通常仅与整体视觉效果挂钩，可能导致冗余或次优的工具使用。

为了弥合这一差距，作者提出了 IEA (Image Editing Agent)，这是一个通过自然语言命令与用户交互的对话式图像编辑代理。IEA 能够自动生成具体且可解释的工具调用，实现无损、高保真的照片编辑，同时保留编辑结果的真实性。

2. IEA 核心框架

IEA 的核心在于让 VLM 学习在显式的、可解释的动作空间中操作参数化工具。用户只需输入自然语言指令（例如“让岩石看起来更亮”），代理即可分析图像内容，生成相应的工具调用参数，并输出透明的编辑轨迹供用户检查和调试。

如图 1 所示，用户不仅可以与 IEA 交互以按照他们喜欢的风格编辑图像，还可以简单地基于通用专业知识进行增强。IEA 还能根据用户之前的尝试学习用户意图。例如，当用户要求“增强图像”时，代理会分析阴影部分并增加亮度；当用户要求“基于专业知识增强”时，代理会进行多轮调整，包括温度、对比度、饱和度和亮度的具体参数变化。

3. 三阶段训练流程

IEA 的训练框架包含三个核心阶段，旨在通过多任务对齐优化策略。整体框架如图 2 所示，涵盖了数据管道和三个阶段的训练过程。

3.1 第一阶段：监督微调 (SFT)

该阶段通过蒸馏专家编辑来构建高质量数据集。作者利用强大的 VLM 和轻量级启发式参数搜索，从专家编辑中蒸馏出工具参数计划，以更好地匹配专家结果。此阶段初始化了工具使用和指令总结能力。

3.2 第二阶段：强化学习 (GRPO)

论文采用 Group Relative Policy Optimization (GRPO) 来优化代理策略。奖励信号不仅捕捉与参考编辑的距离改进，还捕捉每次工具调用的边际有用性。此外，还训练了一个小型奖励模型来指导反向图像总结任务。

3.3 第三阶段：大规模合成微调

最后阶段利用大规模合成监督来扩大指令覆盖范围，并关键性地实现了 Image-Refine 能力，即根据用户反馈逐步改进之前的尝试。这一阶段增强了推理能力、工具熟练度和泛化能力。

4. 多任务对齐设计

为了全面掌握图像编辑能力，IEA 设计了三个主要任务，分别对应不同的训练目标和数据形式。

4.1 图像编辑任务 (Image-Edit)

该任务要求模型分析图像和用户指令，提供工具调用和推理思路。如图 3 所示，模型接收原始图像和指令（如“显著增强亮度，同时稍微降低饱和度”），输出目标工具参数（如 brightness +50, saturation -15）。

4.2 图像总结任务 (Image-Summary)

这是一个反向任务，旨在根据编辑结果总结用户指令。如图 4 所示，模型根据编辑后的图像和参数变化，推断出用户的原始意图（如“让图片更亮，颜色稍微柔和一点”）。这有助于模型理解编辑操作背后的语义。

4.3 图像细化任务 (Image-Refine)

该任务允许模型根据用户反馈对之前的编辑尝试进行增量改进。如图 6 所示，当用户反馈“图像还不够亮，稍微降低对比度”时，模型能够基于之前的编辑轨迹进行调整，生成新的参数组合。

4.4 相似度改进奖励 (Likeness Improvement Reward)

在强化学习阶段，论文设计了一种奖励机制来衡量编辑结果与参考图像之间的相似度改进。如图 5 所示，该机制通过计算差异来检查不匹配之处，并据此调整奖励值，引导模型生成更符合用户感知目标的编辑参数。

5. 实验结果与分析

作者在定量实验和用户研究中验证了 IEA 的有效性。

• 定量实验： 在专家测试数据集上，IEA 在图像编辑任务上实现了平均像素距离为 0.1034（越低越好），在图像总结任务上取得了 0.2575 的 Rouge-L 分数（越高越好），均优于强基线模型。
• 用户研究： 在工具调用方法中，IEA 在指令遵循方面排名最高；在整体图像质量评估中，IEA 超越了所有基线，包括基于扩散的生成方法。

这些结果表明，将 VLM 与符号化、可控的工具相结合，是实现可靠、可解释且与偏好对齐的图像编辑的有效途径。

6. 总结

IEA 提出了一种业余友好的对话式图像编辑代理，通过三阶段多任务对齐训练，解决了现有工具在易用性和可控性之间的矛盾。论文的主要贡献包括：

1. 提出了 IEA，一个能够分析图像和指令、选择合适工具参数、总结用户意图并根据反馈细化结果的 VLM 驱动代理。
2. 构建了包含约 2.9 万样本的高质量数据集（从 GIER 蒸馏）和约 40 万样本的大规模合成数据集。
3. 开发了包含 SFT、GRPO 和合成数据微调的三阶段训练配方。
4. 通过定量实验和用户研究证明了 IEA 在指令遵循和图像质量方面的优越性。

该工作验证了可解释的、以工具为中心的 VLM 作为人类指令引导图像润色的可靠路径，为未来的图像编辑工具设计提供了新的思路。