跳到正文
Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?
cs.CV · · 收录于 arXiv 日报 20260616

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?

作者：Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu

作者提出 Robust-U1 框架，赋予多模态大语言模型显式的视觉自我恢复能力。该方法通过监督微调、双奖励强化学习及多模态推理三阶段，实现受损视觉内容的重建以提升鲁棒理解。

阅读原文 (arXiv) PDF
多模态大模型 视觉鲁棒性 自恢复 强化学习

论文信息摘要

论文要解决什么

多模态大语言模型在真实世界视觉干扰（如噪声、压缩伪影）下性能显著下降，现有黑盒特征对齐缺乏可解释性，白盒文本推理无法恢复像素级细节。

论文方法概览

  • Backbone: Multimodal Large Language Model (MLLM)
  • 关键模块: Visual Self-Recovery Module (SFT + RL)
  • 损失函数: Rectified-Flow Loss, SSIM Reward, CLIP Similarity Reward

读后要点

个人理解，欢迎指正

实验表明高质量的视觉恢复直接增强推理性能，自我恢复是鲁棒视觉理解的关键机制。

局限与疑问

强化学习阶段计算成本较高；恢复效果对极端损坏图像的泛化性待验证；依赖大规模重建数据集进行微调。

阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.08063v1。

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding? 阅读笔记

1. 论文概览

本文针对多模态大语言模型（MLLMs）在真实世界视觉干扰下性能显著下降的问题，提出了一种名为 Robust-U1 的新框架。作者认为，现有的鲁棒性增强方法存在局限性：黑盒特征对齐缺乏可解释性，而白盒文本推理无法恢复丢失的像素级细节。为此，论文探讨了一个核心研究问题：MLLMs 能否自行恢复受损的视觉内容以实现鲁棒理解？

Robust-U1 通过赋予 MLLMs 显式的视觉自我恢复能力，结合监督微调、双奖励强化学习以及多模态推理三个阶段，实现了在真实世界干扰基准和对抗性干扰下的最先进（SOTA）鲁棒性。

2. 研究背景与动机

尽管 MLLMs 在视觉理解方面取得了巨大成功，但在面对系统噪声、压缩伪影和恶劣天气等真实世界视觉干扰时，其性能会急剧下降。论文指出，现有的鲁棒性增强方法主要分为两类，但均存在不足：

  1. 隐式适应（Implicit Adaptation）：通过对抗性对齐在视觉编码器内对齐受损和清晰图像的特征。这种方法虽然能提升性能，但缺乏可解释性，且未能显式建模干扰过程。
  2. 基于文本的推理（Text-based Reasoning）：利用显式的文本推理链来描述干扰类型及其语义影响。这种方法增强了可解释性，但受限于文本模态，无法代表像素级细节以实现忠实的视觉理解。

为了解决上述限制，作者提出了一种新的范式，即让模型直接恢复受损图像并进行多模态推理。论文通过下图对比了这三种鲁棒性增强范式：

如图 1 所示，(A) 为黑盒特征对齐，(B) 为基于文本的推理，而 (C) 为本文提出的 Robust-U1（自我恢复），它直接进行视觉自我恢复，并结合受损和恢复后的图像进行多模态推理。

3. 核心方法：Robust-U1 框架

Robust-U1 框架旨在赋予 MLLMs 显式的视觉自我恢复能力。虽然论文原文包含框架概览图（Figure 2），但此处未提供对应图片，以下根据论文描述进行文字总结：

该框架包含三个核心训练阶段：

  1. 阶段一：视觉自我恢复的监督微调（SFT）。利用大规模真实世界图像重建数据集对统一的多模态大语言模型进行微调，使其具备从受损输入恢复清晰图像的基础能力，并使用修正流损失（Rectified-Flow Loss）。
  2. 阶段二：通过强化学习增强视觉质量。采用双奖励机制的强化学习，进一步优化恢复图像的质量。
  3. 阶段三：用于鲁棒视觉理解的多模态推理。训练模型通过联合分析受损图像和恢复后的图像来回答问题，从而合成更鲁棒的视觉理解。

3.1 双奖励强化学习机制

在第二阶段中，为了对齐高视觉质量，作者设计了一种包含双奖励的强化学习策略。该机制同时关注像素级的结构完整性和语义级的一致性。

如图 3 所示，该双奖励机制包括：

  • 像素级结构奖励（Pixel-Level Structural Reward）：基于 SSIM（结构相似性）指标，确保恢复图像在结构上与原始清晰图像保持一致。
  • 语义一致性奖励（Semantic Consistency Reward）：基于 CLIP 模型，确保恢复图像在语义层面与原始内容相符。

通过这种 Flow-GRPO 方法，模型能够在恢复过程中兼顾细节还原和语义准确性。

3.2 多模态推理

在第三阶段，模型不仅接收受损图像，还接收经过恢复的图像作为输入。模型被训练为利用这两种视觉输入进行推理，从而在回答视觉问题时获得更鲁棒的依据。

4. 实验结果与分析

作者在多个基准上验证了 Robust-U1 的有效性，包括真实世界干扰基准 R-Bench 以及通用 VQA 基准（如 MMMB, MMStar, RealWorldQA）。

4.1 视觉恢复质量对比

论文展示了不同训练阶段下恢复图像的视觉对比，以证明训练流程的有效性。

如图 4 所示，随着训练阶段的推进（从 SFT 到 RL 再到最终推理），恢复的图像质量显著提升，细节更加清晰，证明了分阶段训练策略对视觉恢复能力的增强作用。

4.2 鲁棒性验证

为了验证恢复图像对推理性能的直接贡献，论文进行了视觉验证分析。

如图 5 所示，通过对比不同方法（绿色代表本文方法）的恢复效果，Robust-U1 在保持图像清晰度和语义准确性方面表现优异。分析确认，高质量的视觉恢复直接增强了推理性能，确立了自我恢复作为实现鲁棒视觉理解的关键机制。

实验结果表明，Robust-U1 在 R-Bench 上显著优于现有的鲁棒 MLLMs，并且在面对对抗性干扰时，在通用 VQA 基准上保持了卓越的性能，性能下降最小。

5. 总结

本文提出的 Robust-U1 框架首次赋予了 MLLMs 显式的视觉自我恢复能力，突破了以往仅依赖特征对齐或文本推理的局限。通过监督微调、双奖励强化学习以及多模态推理的三阶段设计，该框架实现了像素级视觉内容的重建，从而显著提升了模型在真实世界干扰和对抗性攻击下的鲁棒性。论文的实验分析进一步证实，高质量的视觉恢复直接促进了推理性能的提升，为 MLLMs 的鲁棒性研究提供了新的方向。

本篇笔记收录于 arXiv 日报 20260616。更多综述见 博客归档 。