只让模型“复盘”，不喂奖励：ROFT 如何用自我解释撬动 Agent 能力

从今天觉醒,技术赋予每一个人数字生命

只让模型“复盘”，不喂奖励：ROFT 如何用自我解释撬动 Agent 能力

① 技术背景：Agent 训练卡在“没有成功轨迹”上

让语言模型变成能干活的 Agent，主流路径是强化学习：跑任务、拿奖励、更新策略。但这条路径有个尴尬的前提——你得先采样到“成功的轨迹”，否则奖励信号全为零，梯度无从谈起。软件工程类任务尤其如此：一个仓库级 bug 修复，基座模型 64 次采样可能一次都没跑通，RL 直接原地踏步。

另一条线索来自认知科学：人类不只靠重复成功动作学习，还靠复述和解释经历来修正理解。那么问题来了——如果只让模型对自己的经历写“复盘”，并且只在这些复盘文本上做下一 token 预测，能不能反过来改善它未来的行动？这正是 Retrospection-Only Fine-Tuning（ROFT）要隔离验证的变量：解释本身是否构成有效的训练目标。

对在校学生和转行者来说，这个问题的价值在于：它把“Agent 训练”从“堆算力跑 RL”拉回到一个可理解、可在小规模环境复现的流程——采样、反馈、写复盘、监督微调，四步闭环，恰好是一段能写进作品集的完整能力。

② 主流方案盘点：三条路，各自的职责边界

方案一：GRPO 类奖励驱动策略优化。 职责是直接优化行为策略，代表是 Group Relative Policy Optimization 及其变体。它需要可验证的奖励（测试是否通过），并用组内相对优势估计降低方差。优点是目标明确、上限高；缺点是依赖成功样本，且训练轮次多、采样开销大。

方案二：拒绝采样微调（RFT / STaR 系）。 职责是把“做对的轨迹”筛出来做监督学习。它比 RL 简单，但同样卡在“必须先有对的轨迹”，且容易过拟合到少量成功模式。

方案三：ROFT——只训练解释。 职责是把“经验叙述”当作训练目标。流程极简：Agent 尝试任务 → 观察可用反馈 → 生成一段复盘解释 → 仅对解释 token 计算下一 token 预测损失并微调。不使用外部教师，也不做基于奖励的策略更新。关键设计在于损失只落在解释上，行为 token 不参与梯度，这就把“学解释”和“学行动”解耦，才能干净地回答“解释能否迁移到行动”。

③ 对比与优劣：统一维度看差异

表中数字来自该工作在 SWE-bench Verified 与 Pro 上的 Qwen3.5-4B 实验，需注意它是特定基座与特定任务分布下的结论，不能直接外推为“ROFT 全面优于 RL”。更准确的读法是：在缺少成功轨迹的冷启动阶段，ROFT 的性价比更高。

一个容易被误判的点：ROFT 并非“不分配信用”。行为分析显示它间接把信用分配给动作——鼓励正确动作、抑制错误动作。也就是说，解释文本里对“哪一步走错了”的叙述，通过下一 token 预测被模型内化，进而在后续采样中改变动作分布。另一个有意思的发现是：当提示复盘更强调“直接解法”时，后续尝试变短了，且没有显式长度惩罚——这说明解释的内容倾向会定向迁移到行为风格上。

④ 选型建议：按场景而非按“最强”

场景 A：冷启动、几乎没有成功轨迹。 推荐 ROFT。理由是无验证器、无成功样本也能起步，实验里甚至学会了解决 64 次采样全失败的任务。适合作为 RL 之前的热身阶段。

场景 B：已有稳定验证器与充足采样预算。 推荐 GRPO 类方法，或“ROFT 热身 + RL 精调”的组合。RL 的上限更高，但让它从零起步很浪费。

场景 C：教学/作品集项目。 推荐最小化复现 ROFT：一个可执行任务环境、一个反馈读取函数、一个复盘生成提示、一个只对解释算 loss 的微调脚本。这条链路把“数据流—损失掩码—评估”讲清楚，比堆工具链更有说服力。面试常被追问的点：为什么 loss 只算在解释 token 上？ 答：这是控制变量，若行为 token 也参与损失，就无法区分“学解释”与“模仿行为”的贡献。

⑤ 未来展望：解释到行动的迁移仍未闭环

已出现的趋势很清楚：把自生成的自然语言反思当作训练目标，正在成为 RL 之外的一条低成本补充路径；它也与“过程奖励”“自我批评”等方向天然可组合。但未解决的问题同样明显——解释质量缺乏可靠度量，模型可能生成“听起来合理但归因错误”的复盘；解释到行动的迁移机制仍是黑箱，缺少可预测的缩放规律；以及在线过程的稳定性，20 轮更新后的持续收益是否饱和，尚无定论。对学习者而言，最值得动手的，正是把这条四步闭环在小任务上跑通，并亲手测量“解释变了，行为是否真的变了”。