阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.08656v1。

论文阅读笔记：From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory

1. 研究背景与动机

随着大型语言模型（LLM）代理在长运行场景中的部署日益增多，测试时学习（Test-Time Learning, TTL）能力变得至关重要。TTL 指的是代理在部署过程中，通过利用积累的经验，在一系列交互中不断提升性能的能力。

论文指出，现有的 TTL 方法通常依赖于显式记忆的更新，即在每次交互后更新记忆以指导未来的决策。然而，大多数现有方法（如 Reflexion, ExpeL, Dynamic Cheatsheet 等）依赖于手工设计的提示规则或启发式机制来更新记忆。作者认为，这种方法难以在多步时间跨度内将记忆更新与下游目标保持一致，导致即使是强大的指令遵循 LLM，仅凭启发式机制也难以在重复交互中持续改进。

为了解决这一差距，作者提出将记忆更新视为一个可训练的能力，而非静态的提示工程任务。

2. 核心方法：MemoPilot

作者提出了 MemoPilot，这是一个插件式的记忆副驾驶（plug-in memory copilot），旨在通过端到端训练记忆更新过程，来提升冻结 LLM 在顺序交互中的性能。

2.1 框架概述

MemoPilot 的核心思想是将记忆视为一个随多次交互不断演化的工件。框架包含一个可训练的记忆模型 $G_\theta$ 和一个冻结的玩家模型 $\pi$。记忆模型负责从交互轨迹中提取战略洞察，并生成文本记忆，作为后续游戏的指导；而玩家模型本身在跨游戏过程中保持无状态，仅根据当前记忆进行决策。

论文通过 Figure 2 展示了 MemoPilot 的整体框架。如图所示，可训练的记忆模型 $G_\theta$ 迭代地根据交互轨迹更新记忆状态 $m_t$，并将其作为指导提供给即插即用的冻结玩家 $\pi$。所有跨游戏的学习都依赖于不断演化的记忆，而 $\pi$ 保持不变。

2.2 多轮记忆生成作为 MDP

作者将多轮记忆更新形式化为一个马尔可夫决策过程（MDP）。

• 状态空间：由观察元组 $s_t = (e_t, m_{t-1})$ 组成，其中 $e_t$ 是最新的游戏轨迹，$m_{t-1}$ 是之前的记忆。
• 动作空间：文本记忆空间，生成器采样 $m_t \sim G_\theta(\cdot | s_t)$。
• 奖励函数：返回观察到的游戏结果 $r_t$。

训练目标是在多轮交互中最大化累积性能。由于第一局游戏通常作为初始探索（无学习指导），作者定义回合回报为从记忆指导的游戏开始计算的奖励总和。

2.3 基于 Multi-turn GRPO 的训练策略

为了优化记忆更新策略，作者采用多轮 GRPO（Group Relative Policy Optimization）进行端到端优化。论文提出了一种新的训练配方，包含两个关键创新：

1. 逐轮奖励信号（Turn-wise reward signal）：为每一轮交互提供明确的奖励反馈。
2. 上下文无关的逐轮优势估计（Context-independent, turn-level advantage estimation）：在多次 rollout 中计算优势，实现更细粒度的信用分配（credit assignment），并在多轮设置中稳定训练。

论文通过 Figure 3 展示了用于记忆更新的多轮 GRPO 训练流程。该图描绘了利用单步（下一局）代理奖励和逐轮优势进行优化的过程。每个 rollout 包含多个游戏回合，记忆模型根据累积的轨迹和优势信号进行更新，从而学会在“假设 - 验证”的循环中迭代优化记忆质量。

3. 实验评估

作者在两个战略游戏测试床上评估了 MemoPilot：多轮剪刀石头布（RPS）和限制注德州扑克（Limit Texas Hold’em, LHE）。这两个环境被选为测试床是因为它们符合 TTL 设置，具有可学习的对手行为结构、可控性以及可测量的奖励。

3.1 测试时学习动态

论文在 Figure 1 中展示了 MemoPilot 在限制注德州扑克（LHE）中的测试时学习动态，并与基线记忆模型进行了比较。虽然该图未直接提供文件引用，但根据文中描述，该图展示了两个冻结玩家（Qwen2.5-14B-Instruct 和 Qwen3-235B-A22B）在连续游戏中的累积性能。结果显示，MemoPilot 模型能够持续提供更高的累积性能，并在几局游戏内迅速提升。即使在零样本泛化到更强的冻结玩家时，MemoPilot 也能表现出显著优势。

3.2 性能对比

实验结果表明，将 MemoPilot 插件接入冻结玩家后，测试时学习性能显著优于强基线。

• Elo 评级：MemoPilot 在两个游戏中均排名第一，LHE 中达到 1762 分，RPS 中达到 1590 分。
• 对比模型：MemoPilot 超越了所有基线记忆方法以及专有模型，包括 DeepSeek-V3.2。

4. 总结与贡献

论文主要贡献总结如下：

1. 提出了 MemoPilot，这是一个插件式记忆副驾驶，通过端到端训练记忆更新过程，提升了冻结 LLM 玩家在重复交互中的测试时学习行为。
2. 引入了一种用于记忆更新的多轮 GRPO 训练配方，包含逐轮奖励和逐轮优势估计，实现了多轮测试时学习 rollout 中的稳定信用分配。
3. 在受控的游戏测试床上验证了 MemoPilot，证明了其在测试时学习方面的一致增益。

该工作强调了将记忆更新视为可训练决策过程的重要性，为 LLM 代理在长周期任务中的自适应能力提供了新的解决思路。