cs.CL · · 收录于 arXiv 日报 20260616
When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models
作者：Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che
作者首次对 VLA 模型进行了系统的多语言评估，发现非英语指令导致成功率显著下降。研究揭示语言影响在任务执行步骤间高度不均匀，提出基于步骤语言敏感性的推理时间干预方法以对齐表示。
论文信息摘要
论文要解决什么
VLA 模型在语言条件机器人操作中表现强劲，但对语言变体（如多语言指令）的鲁棒性理解不足，且现有统一对齐方法效果有限。
论文方法概览
- Backbone: Vision-Language-Action (VLA) 模型
- 关键模块: 步骤级语言敏感性评分模块、推理时选择性干预机制
- 损失函数: 策略损失（Policy Loss），干预阶段采用表示对齐策略
读后要点
个人理解，欢迎指正
实验表明 VLA 模型的语言鲁棒性本质上是步骤级控制问题，语言偏差集中在特定关键步骤而非均匀分布。
局限与疑问
评估主要基于 LIBERO 仿真基准，真实机器人场景下的泛化性待验证；干预方法依赖离线英语数据构建敏感性标准。
阅读笔记
以下为个人阅读笔记，原文见 arXiv:2606.11906v1。
论文阅读笔记：When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models
论文 ID: 2606.11906v1
标题: When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models
作者: Xuan Dong, Zhe Han, Tianhao Niu, Qingfu Zhu, Wanxiang Che
机构: 哈尔滨工业大学 (Harbin Institute of Technology)
日期: 2026 年 6 月 10 日 (arXiv 预印本)
本篇笔记收录于 arXiv 日报 20260616。更多综述见 博客归档 。