Agent 工作流自我进化：强化学习如何让智能体自动寻找最优 SOP

1 引言：从静态编排到动态演化的范式跃迁

1.1 智能体工作流的演进脉络

人工智能领域正经历着从单一模型到复合智能系统的深刻变革。大型语言模型（Large Language Models, LLMs）的突破性进展为构建通用智能体（Agent）奠定了坚实基础，然而，如何使这些智能体在复杂多变的环境中持续优化其行为策略，成为当前研究的核心挑战。传统的手动设计工作流（Workflow）和标准操作程序（Standard Operating Procedures, SOP）虽然在特定场景下表现稳定，但面对开放域任务的多样性与动态性时，其局限性日益凸显[1]。

智能体工作流的研究经历了三个主要发展阶段。第一阶段以规则驱动为核心，研究者通过预定义的条件-动作规则（If-Then Rules）构建确定性流程。这种方法的可解释性强，但缺乏适应性，难以处理边界情况。第二阶段引入了基于检索的增强生成（Retrieval-Augmented Generation, RAG）技术，使智能体能够利用外部知识库动态调整响应，但工作流结构本身仍保持静态[2]。当前正处于第三阶段，即自我进化（Self-Evolution）阶段，智能体通过与环境的持续交互，利用强化学习（Reinforcement Learning, RL）算法自动优化其工作流结构，从而实现从"被动执行"到"主动学习"的质变[3]。

自我进化智能体的核心特征在于其具备元认知能力（Metacognitive Capability），能够反思自身决策过程、识别失败模式，并据此调整未来行为策略。这种能力使得智能体不再依赖人工预设的固定SOP，而是能够在任务执行过程中动态发现、验证并固化最优操作序列。研究表明，经过多轮迭代自我进化的智能体，在复杂推理任务上的成功率可提升40%以上[4]。

1.2 强化学习赋能工作流优化的核心机制

强化学习为智能体工作流的自我进化提供了理论框架和算法工具。与传统监督学习不同，强化学习通过与环境的交互学习最优策略，无需大量标注数据，这一特性使其特别适合开放域任务场景。在Agent工作流优化问题中，状态空间对应于任务执行的中间状态，动作空间对应于可执行的操作（如工具调用、推理步骤、信息检索等），而奖励信号则来源于任务完成质量、执行效率等多维度反馈[5]。

将工作流优化形式化为强化学习问题面临三个核心挑战。首先是长程信用分配（Long-Term Credit Assignment）问题：工作流通常包含数十甚至上百个步骤，如何准确评估每个中间步骤对最终结果的贡献至关重要。其次是稀疏奖励（Sparse Reward）问题：只有在任务完成时才能获得明确的奖励信号，中间步骤缺乏即时反馈。第三是组合爆炸（Combinatorial Explosion）问题：随着工作流复杂度的增加，可能的操作序列呈指数级增长，有效探索变得极为困难[6]。

针对这些挑战，研究者提出了多种创新解决方案。过程奖励模型（Process Reward Model, PRM）通过在每一步提供细粒度的评估信号，有效缓解了信用分配问题[7]。Group Relative Policy Optimization（GRPO）等算法通过组内相对优势估计，降低了对价值函数的依赖，提升了训练稳定性[8]。层次化强化学习（Hierarchical Reinforcement Learning）则通过将复杂任务分解为子目标序列，有效应对了组合爆炸挑战[9]。

1.3 研究意义与应用前景

Agent工作流的自我进化技术具有深远的理论意义和广阔的应用前景。从理论层面看，这一研究方向架起了认知科学、控制论与人工智能之间的桥梁。智能体通过试错学习优化行为策略的过程，与人类技能习得的机制高度相似，为理解智能的本质提供了新的视角[10]。从应用层面看，自我进化Agent能够显著降低人工设计工作流的成本，提升系统在动态环境中的适应能力。

在实际应用场景中，自我进化Agent已展现出巨大潜力。在软件开发领域，能够自主规划、编码、测试并修复缺陷的Agent正在改变传统的开发模式[11]。在科学研究中，具备自主假设生成、实验设计和数据分析能力的Agent加速了发现进程[12]。在客户服务领域，能够根据对话上下文动态调整应答策略的Agent提供了更优质的用户体验[13]。

本文将系统性地阐述Agent工作流自我进化的理论基础、核心算法和实现机制。我们将从马尔可夫决策过程（Markov Decision Process, MDP）的形式化框架出发，深入分析过程奖励模型、策略优化算法、多智能体协作机制等关键技术，并通过数学推导和算法描述揭示其内在原理。最后，我们将讨论当前面临的挑战和未来研究方向，为这一领域的持续探索提供参考。

#mermaid-svg-fqWc3iOPbHF99o8f{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-fqWc3iOPbHF99o8f .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-fqWc3iOPbHF99o8f .error-icon{fill:#552222;}#mermaid-svg-fqWc3iOPbHF99o8f .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-fqWc3iOPbHF99o8f .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-fqWc3iOPbHF99o8f .marker{fill:#333333;stroke:#333333;}#mermaid-svg-fqWc3iOPbHF99o8f .marker.cross{stroke:#333333;}#mermaid-svg-fqWc3iOPbHF99o8f svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-fqWc3iOPbHF99o8f p{margin:0;}#mermaid-svg-fqWc3iOPbHF99o8f .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-fqWc3iOPbHF99o8f .cluster-label text{fill:#333;}#mermaid-svg-fqWc3iOPbHF99o8f .cluster-label span{color:#333;}#mermaid-svg-fqWc3iOPbHF99o8f .cluster-label span p{background-color:transparent;}#mermaid-svg-fqWc3iOPbHF99o8f .label text,#mermaid-svg-fqWc3iOPbHF99o8f span{fill:#333;color:#333;}#mermaid-svg-fqWc3iOPbHF99o8f .node rect,#mermaid-svg-fqWc3iOPbHF99o8f .node circle,#mermaid-svg-fqWc3iOPbHF99o8f .node ellipse,#mermaid-svg-fqWc3iOPbHF99o8f .node polygon,#mermaid-svg-fqWc3iOPbHF99o8f .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-fqWc3iOPbHF99o8f .rough-node .label text,#mermaid-svg-fqWc3iOPbHF99o8f .node .label text,#mermaid-svg-fqWc3iOPbHF99o8f .image-shape .label,#mermaid-svg-fqWc3iOPbHF99o8f .icon-shape .label{text-anchor:middle;}#mermaid-svg-fqWc3iOPbHF99o8f .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-fqWc3iOPbHF99o8f .rough-node .label,#mermaid-svg-fqWc3iOPbHF99o8f .node .label,#mermaid-svg-fqWc3iOPbHF99o8f .image-shape .label,#mermaid-svg-fqWc3iOPbHF99o8f .icon-shape .label{text-align:center;}#mermaid-svg-fqWc3iOPbHF99o8f .node.clickable{cursor:pointer;}#mermaid-svg-fqWc3iOPbHF99o8f .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-fqWc3iOPbHF99o8f .arrowheadPath{fill:#333333;}#mermaid-svg-fqWc3iOPbHF99o8f .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-fqWc3iOPbHF99o8f .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-fqWc3iOPbHF99o8f .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-fqWc3iOPbHF99o8f .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-fqWc3iOPbHF99o8f .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-fqWc3iOPbHF99o8f .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-fqWc3iOPbHF99o8f .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-fqWc3iOPbHF99o8f .cluster text{fill:#333;}#mermaid-svg-fqWc3iOPbHF99o8f .cluster span{color:#333;}#mermaid-svg-fqWc3iOPbHF99o8f div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-fqWc3iOPbHF99o8f .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-fqWc3iOPbHF99o8f rect.text{fill:none;stroke-width:0;}#mermaid-svg-fqWc3iOPbHF99o8f .icon-shape,#mermaid-svg-fqWc3iOPbHF99o8f .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-fqWc3iOPbHF99o8f .icon-shape p,#mermaid-svg-fqWc3iOPbHF99o8f .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-fqWc3iOPbHF99o8f .icon-shape rect,#mermaid-svg-fqWc3iOPbHF99o8f .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-fqWc3iOPbHF99o8f .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-fqWc3iOPbHF99o8f .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-fqWc3iOPbHF99o8f :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Agent工作流演进

规则驱动阶段

RAG增强阶段

自我进化阶段

If-Then规则

确定性流程

知识检索

静态结构

强化学习优化

动态SOP发现

持续自我改进

2 强化学习理论基础：从MDP到策略优化

2.1 马尔可夫决策过程的形式化框架

2.1.1 MDP的基本定义与要素

马尔可夫决策过程是描述序贯决策问题的标准数学框架，为Agent工作流优化提供了严谨的理论基础。一个标准的MDP由五元组 $\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{P},\mathcal{R},\gamma )$ 定义，其中各要素的物理意义和工作流场景中的对应关系如表1所示[14]。

表1 MDP要素与Agent工作流场景的对应关系

状态空间 $\mathcal{S}$ 在工作流场景中通常具有高维性和结构性。以问答Agent为例，状态可能包含：当前问题的文本表示、已检索的相关文档集合、已生成的推理步骤序列、中间结论的置信度分数等。这种复合状态结构要求算法能够有效处理异构信息源[15]。

动作空间 $\mathcal{A}$ 的设计直接影响Agent的能力边界。在ReAct（Reasoning and Acting）框架中，动作被分为推理动作（Thought）和执行动作（Action）两类[1]。推理动作负责分析当前状态并规划下一步，执行动作则与外部环境交互（如调用搜索引擎、执行代码）。这种分层动作设计使得Agent能够进行深度推理与有效行动的有机结合。

状态转移概率 $\mathcal{P}(s^{\prime }|s,a)$ 描述了在状态 $s$ 执行动作 $a$ 后转移到状态 $s^{\prime }$ 的概率。在确定性环境（如代码执行环境）中，转移是确定性的；而在涉及外部API调用或人类交互的场景中，转移具有随机性。理解转移的随机特性对于设计鲁棒的策略至关重要[16]。

2.1.2 贝尔曼方程与最优性原理

贝尔曼方程（Bellman Equation）是强化学习理论的核心，它建立了值函数与策略之间的递归关系。对于给定策略 $\pi$，其状态值函数 $V^{\pi }(s)$ 满足[16]：

$$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi (\cdot |s)}\left[\mathcal{R}(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim \mathcal{P}(\cdot |s,a)}[V^{\pi }(s^{\prime })]\right]$$

该方程表明，状态 $s$ 的值等于即时奖励加上折扣后的期望未来值。对于动作值函数 $Q^{\pi }(s,a)$，贝尔曼方程形式为：

$$Q^{\pi }(s,a)=\mathcal{R}(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim \mathcal{P}(\cdot |s,a)}\left[{\mathbb{E}}_{a^{\prime }\sim \pi (\cdot |s^{\prime })}[Q^{\pi }(s^{\prime },a^{\prime })]\right]$$

最优值函数 $V^{\ast }(s)={\max }_{\pi }{V}^{\pi }(s)$ 满足贝尔曼最优方程：

$$V^{\ast }(s)=\underset{a\in \mathcal{A}}{\max }\left[\mathcal{R}(s,a)+\gamma {\mathbb{E}}_{s^{\prime }\sim \mathcal{P}(\cdot |s,a)}[V^{\ast }(s^{\prime })]\right]$$

最优策略 ${\pi }^{\ast }$ 可通过贪婪地选择最大化Q值的动作获得：

$${\pi }^{\ast }(a|s)=\{\begin{array}{ll}1& \text{if }a=\arg {\max }_{a^{\prime }}{Q}^{\ast }(s,a^{\prime })\\ 0& \text{otherwise}\end{array}$$

在Agent工作流优化中，贝尔曼方程为信用分配提供了理论基础。当Agent完成一个长程任务并获得最终奖励时，通过反向传播贝尔曼方程，可以将奖励信号逐层分解到各个中间步骤，从而评估每个动作的贡献度[16]。

2.1.3 部分可观测MDP与工作流场景

实际工作流场景往往不满足完全可观测假设，智能体只能获取部分状态信息。这类问题需要用部分可观测马尔可夫决策过程（Partially Observable MDP, POMDP）建模，其定义为六元组 ${\mathcal{M}}_{PO}=(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{P},\mathcal{Z},\mathcal{R},\gamma )$，其中 $\mathcal{O}$ 为观测空间，$\mathcal{Z}(o|s,a)$ 为观测概率分布[16]。

POMDP的核心挑战在于状态的不确定性。Agent需要维护信念状态（Belief State）$b(s)=P(s|h_t)$，即基于历史交互 $h_t=(o_1,a_1,\dots ,o_t)$ 对当前状态的后验分布。信念状态的更新遵循贝叶斯规则：

$$b^{\prime }(s^{\prime })=\eta \cdot \mathcal{Z}(o^{\prime }|s^{\prime })\sum _{s\in \mathcal{S}}\mathcal{P}(s^{\prime }|s,a)b(s)$$

其中 $\eta$ 为归一化常数。在Agent工作流中，这种不确定性来源于多个方面：信息检索可能返回不相关结果、工具执行可能产生意外输出、用户意图可能存在歧义。有效的Agent需要具备从不完整信息中推断真实状态的能力[16]。

#mermaid-svg-MscCyQwv8aXCSCZj{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MscCyQwv8aXCSCZj .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MscCyQwv8aXCSCZj .error-icon{fill:#552222;}#mermaid-svg-MscCyQwv8aXCSCZj .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MscCyQwv8aXCSCZj .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MscCyQwv8aXCSCZj .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MscCyQwv8aXCSCZj .marker.cross{stroke:#333333;}#mermaid-svg-MscCyQwv8aXCSCZj svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MscCyQwv8aXCSCZj p{margin:0;}#mermaid-svg-MscCyQwv8aXCSCZj .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-MscCyQwv8aXCSCZj .cluster-label text{fill:#333;}#mermaid-svg-MscCyQwv8aXCSCZj .cluster-label span{color:#333;}#mermaid-svg-MscCyQwv8aXCSCZj .cluster-label span p{background-color:transparent;}#mermaid-svg-MscCyQwv8aXCSCZj .label text,#mermaid-svg-MscCyQwv8aXCSCZj span{fill:#333;color:#333;}#mermaid-svg-MscCyQwv8aXCSCZj .node rect,#mermaid-svg-MscCyQwv8aXCSCZj .node circle,#mermaid-svg-MscCyQwv8aXCSCZj .node ellipse,#mermaid-svg-MscCyQwv8aXCSCZj .node polygon,#mermaid-svg-MscCyQwv8aXCSCZj .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MscCyQwv8aXCSCZj .rough-node .label text,#mermaid-svg-MscCyQwv8aXCSCZj .node .label text,#mermaid-svg-MscCyQwv8aXCSCZj .image-shape .label,#mermaid-svg-MscCyQwv8aXCSCZj .icon-shape .label{text-anchor:middle;}#mermaid-svg-MscCyQwv8aXCSCZj .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MscCyQwv8aXCSCZj .rough-node .label,#mermaid-svg-MscCyQwv8aXCSCZj .node .label,#mermaid-svg-MscCyQwv8aXCSCZj .image-shape .label,#mermaid-svg-MscCyQwv8aXCSCZj .icon-shape .label{text-align:center;}#mermaid-svg-MscCyQwv8aXCSCZj .node.clickable{cursor:pointer;}#mermaid-svg-MscCyQwv8aXCSCZj .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MscCyQwv8aXCSCZj .arrowheadPath{fill:#333333;}#mermaid-svg-MscCyQwv8aXCSCZj .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MscCyQwv8aXCSCZj .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MscCyQwv8aXCSCZj .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MscCyQwv8aXCSCZj .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MscCyQwv8aXCSCZj .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MscCyQwv8aXCSCZj .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MscCyQwv8aXCSCZj .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MscCyQwv8aXCSCZj .cluster text{fill:#333;}#mermaid-svg-MscCyQwv8aXCSCZj .cluster span{color:#333;}#mermaid-svg-MscCyQwv8aXCSCZj div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MscCyQwv8aXCSCZj .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MscCyQwv8aXCSCZj rect.text{fill:none;stroke-width:0;}#mermaid-svg-MscCyQwv8aXCSCZj .icon-shape,#mermaid-svg-MscCyQwv8aXCSCZj .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MscCyQwv8aXCSCZj .icon-shape p,#mermaid-svg-MscCyQwv8aXCSCZj .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MscCyQwv8aXCSCZj .icon-shape rect,#mermaid-svg-MscCyQwv8aXCSCZj .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MscCyQwv8aXCSCZj .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MscCyQwv8aXCSCZj .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MscCyQwv8aXCSCZj :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

Agent工作流映射

编码

策略π

执行

观察

评估

任务描述

状态表征

操作选择

环境交互

新状态

奖励计算

MDP框架

执行动作a

状态转移P

奖励R

状态s

动作空间

状态s'

奖励信号

2.2 策略梯度方法与Actor-Critic架构

2.2.1 策略梯度定理的理论推导

策略梯度方法直接参数化策略 ${\pi }_{\theta }(a|s)$，通过梯度上升优化策略参数 $\theta$。策略梯度定理（Policy Gradient Theorem）给出了期望累积奖励 $J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]$ 关于策略参数的梯度表达式[16]：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot Q^{{\pi }_{\theta }}(s_t,a_t)\right]$$

该定理的直观解释是：增加那些导致高Q值动作的轨迹概率，降低导致低Q值动作的轨迹概率。${\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$ 被称为得分函数（Score Function），它指示了如何调整参数以增加特定动作的概率。

REINFORCE算法是基于策略梯度定理的基础算法，其参数更新规则为[16]：

$$\theta \leftarrow \theta +\alpha \sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot R_t$$

其中 $R_t={\sum }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}$ 为从时刻 $t$ 开始的累积折扣奖励。REINFORCE算法的优点是无需学习环境模型，但存在高方差问题，因为直接使用蒙特卡洛回报作为权重。

2.2.2 基线函数与方差缩减

为降低策略梯度的方差，研究者引入了与动作无关的基线函数（Baseline Function）$b(s_t)$。由于 $\mathbb{E}[{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)]=0$，添加基线不改变梯度的期望值：

$${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot (Q^{{\pi }_{\theta }}(s_t,a_t)-b(s_t))\right]$$

最优基线函数为 $b^{\ast }(s_t)={\mathbb{E}}_{a_t\sim {\pi }_{\theta }}[Q^{{\pi }_{\theta }}(s_t,a_t)]=V^{{\pi }_{\theta }}(s_t)$，即状态值函数。此时 $Q^{{\pi }_{\theta }}(s_t,a_t)-V^{{\pi }_{\theta }}(s_t)$ 被称为优势函数（Advantage Function），记为 $A^{{\pi }_{\theta }}(s_t,a_t)$[16]。

优势函数衡量了采取动作 $a_t$ 相对于平均水平的好坏程度。当 $A(s,a)>0$ 时，说明该动作优于平均表现，应增加其概率；反之则应降低。使用优势函数的策略梯度具有更小的方差，因为 $b(s_t)$ 抵消了状态本身的价值波动。

2.2.3 Actor-Critic算法的协同机制

Actor-Critic架构将策略梯度方法分为两个协同工作的组件：Actor（策略网络）负责生成动作，Critic（价值网络）负责评估状态或动作值。这种分离设计使得算法能够同时利用策略梯度的稳定性和值函数估计的准确性[16]。

Critic通过时序差分（Temporal Difference, TD）学习更新价值估计。对于状态值函数，TD误差为：

$${\delta }_t=r_t+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$$

Critic参数 $\varphi$ 通过最小化TD误差的平方更新：

$$\varphi \leftarrow \varphi +\beta \cdot {\delta }_t\cdot {\nabla }_{\varphi }{V}_{\varphi }(s_t)$$

Actor则利用Critic提供的优势估计更新策略：

$$\theta \leftarrow \theta +\alpha \cdot {\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\cdot {\delta }_t$$

在Agent工作流优化中，Actor-Critic架构的优势尤为明显。Critic可以学习评估不同工作流步骤的质量，为Actor提供细粒度的优化信号。研究表明，引入Critic后，Agent在复杂任务上的收敛速度可提升2-3倍[16]。

2.3 近端策略优化（PPO）与信任域方法

2.3.1 信任域策略优化的理论动机

传统策略梯度方法存在步长选择困难的问题：步长过大导致策略崩溃，步长过小则收敛缓慢。信任域策略优化（Trust Region Policy Optimization, TRPO）通过约束策略更新的幅度来解决这一问题[16]。

TRPO的核心思想是：在当前策略 ${\pi }_{{\theta }_{old}}$ 附近定义一个信任域，在该区域内近似目标函数，并寻找最优更新。具体地，TRPO求解以下约束优化问题：

$$\underset{\theta }{\max }{\mathbb{E}}_{s\sim {\pi }_{{\theta }_{old}},a\sim {\pi }_{{\theta }_{old}}}\left[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}^{{\pi }_{{\theta }_{old}}}(s,a)\right]$$

$$\text{s.t. }{\mathbb{E}}_{s\sim {\pi }_{{\theta }_{old}}}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)\Vert {\pi }_{\theta }(\cdot |s))]\le \delta$$

其中 $D_{KL}$ 为KL散度，用于度量两个策略的差异，$\delta$ 为信任域半径。该约束确保新策略不会偏离旧策略太远，从而保证策略改进的单调性。

TRPO的理论基础是策略改进的单调性保证。设 ${\pi }^{\prime }$ 为更新后的策略，可以证明[16]：

$$J({\pi }^{\prime })-J(\pi )\ge \frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d^{\pi },a\sim {\pi }^{\prime }}[A^{\pi }(s,a)]-\frac{2\gamma ϵ}{(1-\gamma {)}^2}\cdot \underset{s}{\max }{D}_{TV}(\pi (\cdot |s)\Vert {\pi }^{\prime }(\cdot |s))$$

其中 $D_{TV}$ 为总变差距离，$ϵ={\max }_{s,a}|A^{\pi }(s,a)|$。该下界表明，只要优势函数的期望增益超过由策略变化带来的惩罚，策略就能保证改进。

2.3.2 PPO的裁剪目标函数

TRPO需要计算Fisher信息矩阵并求解约束优化，计算成本高昂。近端策略优化（Proximal Policy Optimization, PPO）通过裁剪目标函数近似实现信任域约束，大幅提升了计算效率[16]。

PPO定义概率比 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$，裁剪目标函数为：

$$L^{CLIP}(\theta )={\mathbb{E}}_t\left[\min (r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t)\right]$$

其中 $ϵ$ 为超参数（通常取0.1或0.2），clip函数将概率比限制在 $[1-ϵ,1+ϵ]$ 区间内。该目标函数的精妙之处在于：当优势为正时，限制概率比的上界防止过度优化；当优势为负时，限制概率比的下界防止过度惩罚[16]。

PPO的完整目标函数还包括值函数损失和熵正则项：

$$L^{PPO}(\theta )={\mathbb{E}}_t\left[L^{CLIP}(\theta )-c_1(V_{\theta }(s_t)-V_t^{target}{)}^2+c_{2}H({\pi }_{\theta }(\cdot |s_t))\right]$$

其中 $c_1,c_2$ 为系数，$H$ 为策略熵，用于鼓励探索。

2.3.3 Group Relative Policy Optimization（GRPO）的组内相对优势

在大型语言模型（LLM）Agent的训练中，传统的PPO算法面临两个主要挑战：一是需要维护与策略模型同等规模的Critic模型，计算开销巨大；二是稀疏奖励信号导致信用分配困难。Group Relative Policy Optimization（GRPO）算法通过组内相对优势估计有效解决了这些问题[16]。

GRPO的核心创新在于摒弃了显式的Critic网络，转而通过采样同一问题的多个回答并计算组内相对得分来估计优势。具体地，对于问题 $q$，从旧策略 ${\pi }_{{\theta }_{old}}$ 采样 $G$ 个回答 $\{o_1,o_2,\dots ,o_G\}$，获得对应奖励 $\{r_1,r_2,\dots ,r_G\}$。第 $i$ 个回答的优势估计为[16]：

$${\hat{A}}_i=\frac{r_i-\text{mean}(\{r_1,r_2,\dots ,r_G\})}{\text{std}(\{r_1,r_2,\dots ,r_G\})}$$

该估计的直观意义是：将绝对奖励转换为组内相对排名，高于平均水平的回答获得正优势，低于平均水平的获得负优势。这种归一化处理消除了不同问题间奖励尺度的差异，使得优势估计更加稳定。

GRPO的目标函数与PPO类似，但使用组内估计的优势：

JGRPO(θ)=Eq∼P(Q),{oi}i=1G∼πθold[1G∑i=1G1∣oi∣∑t=1∣oi∣min⁡(πθ(oi,t∣q,oi,<t)πθold(oi,t∣q,oi,<t)A^i,clip(πθ(oi,t∣q,oi,<t)πθold(oi,t∣q,oi,<t),1−ϵ,1+ϵ)A^i)−βDKL(πθ∥πref)]J_{GRPO}(\\theta) = \\mathbb{E}_{q \\sim P(Q), \\{o_i\\}_{i=1}^G \\sim \\pi_{\\theta_{old}}} \\left[ \\frac{1}{G} \\sum_{i=1}^{G} \\frac{1}{|o_i|} \\sum_{t=1}^{|o_i|} \\min\\left( \\frac{\\pi_\\theta(o_{i,t}|q,o_{i,<t})}{\\pi_{\\theta_{old}}(o_{i,t}|q,o_{i,<t})} \\hat{A}_i, \\text{clip}\\left(\\frac{\\pi_\\theta(o_{i,t}|q,o_{i,<t})}{\\pi_{\\theta_{old}}(o_{i,t}|q,o_{i,<t})}, 1-\\epsilon, 1+\\epsilon\\right) \\hat{A}_i \\right) – \\beta D_{KL}(\\pi_\\theta \\| \\pi_{ref}) \\right]JGRPO​(θ)=Eq∼P(Q),{oi​}i=1G​∼πθold​​​​G1​i=1∑G​∣oi​∣1​t=1∑∣oi​∣​min(πθold​​(oi,t​∣q,oi,<t​)πθ​(oi,t​∣q,oi,<t​)​A^i​,clip(πθold​​(oi,t​∣q,oi,<t​)πθ​(oi,t​∣q,oi,<t​)​,1−ϵ,1+ϵ)A^i​)−βDKL​(πθ​∥πref​)​

其中 $|o_i|$ 为第 $i$ 个回答的token数，${\pi }_{ref}$ 为参考策略（通常是初始模型），$\beta$ 控制KL惩罚强度。GRPO已在DeepSeek-R1等模型的训练中展现出卓越性能，成为当前LLM Agent RL训练的主流算法[16]。

#mermaid-svg-CWME2HNERujIlpf8{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-CWME2HNERujIlpf8 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-CWME2HNERujIlpf8 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-CWME2HNERujIlpf8 .error-icon{fill:#552222;}#mermaid-svg-CWME2HNERujIlpf8 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-CWME2HNERujIlpf8 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-CWME2HNERujIlpf8 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-CWME2HNERujIlpf8 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-CWME2HNERujIlpf8 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-CWME2HNERujIlpf8 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-CWME2HNERujIlpf8 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-CWME2HNERujIlpf8 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-CWME2HNERujIlpf8 .marker.cross{stroke:#333333;}#mermaid-svg-CWME2HNERujIlpf8 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-CWME2HNERujIlpf8 p{margin:0;}#mermaid-svg-CWME2HNERujIlpf8 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-CWME2HNERujIlpf8 .cluster-label text{fill:#333;}#mermaid-svg-CWME2HNERujIlpf8 .cluster-label span{color:#333;}#mermaid-svg-CWME2HNERujIlpf8 .cluster-label span p{background-color:transparent;}#mermaid-svg-CWME2HNERujIlpf8 .label text,#mermaid-svg-CWME2HNERujIlpf8 span{fill:#333;color:#333;}#mermaid-svg-CWME2HNERujIlpf8 .node rect,#mermaid-svg-CWME2HNERujIlpf8 .node circle,#mermaid-svg-CWME2HNERujIlpf8 .node ellipse,#mermaid-svg-CWME2HNERujIlpf8 .node polygon,#mermaid-svg-CWME2HNERujIlpf8 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-CWME2HNERujIlpf8 .rough-node .label text,#mermaid-svg-CWME2HNERujIlpf8 .node .label text,#mermaid-svg-CWME2HNERujIlpf8 .image-shape .label,#mermaid-svg-CWME2HNERujIlpf8 .icon-shape .label{text-anchor:middle;}#mermaid-svg-CWME2HNERujIlpf8 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-CWME2HNERujIlpf8 .rough-node .label,#mermaid-svg-CWME2HNERujIlpf8 .node .label,#mermaid-svg-CWME2HNERujIlpf8 .image-shape .label,#mermaid-svg-CWME2HNERujIlpf8 .icon-shape .label{text-align:center;}#mermaid-svg-CWME2HNERujIlpf8 .node.clickable{cursor:pointer;}#mermaid-svg-CWME2HNERujIlpf8 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-CWME2HNERujIlpf8 .arrowheadPath{fill:#333333;}#mermaid-svg-CWME2HNERujIlpf8 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-CWME2HNERujIlpf8 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-CWME2HNERujIlpf8 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-CWME2HNERujIlpf8 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-CWME2HNERujIlpf8 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-CWME2HNERujIlpf8 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-CWME2HNERujIlpf8 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-CWME2HNERujIlpf8 .cluster text{fill:#333;}#mermaid-svg-CWME2HNERujIlpf8 .cluster span{color:#333;}#mermaid-svg-CWME2HNERujIlpf8 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-CWME2HNERujIlpf8 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-CWME2HNERujIlpf8 rect.text{fill:none;stroke-width:0;}#mermaid-svg-CWME2HNERujIlpf8 .icon-shape,#mermaid-svg-CWME2HNERujIlpf8 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-CWME2HNERujIlpf8 .icon-shape p,#mermaid-svg-CWME2HNERujIlpf8 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-CWME2HNERujIlpf8 .icon-shape rect,#mermaid-svg-CWME2HNERujIlpf8 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-CWME2HNERujIlpf8 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-CWME2HNERujIlpf8 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-CWME2HNERujIlpf8 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

核心创新

策略优化演进

策略梯度

Actor-Critic

TRPO信任域

PPO裁剪

GRPO组内优势

KL约束

概率比裁剪

无Critic网络

组内归一化

3 Agent工作流的数学建模：SOP寻找的形式化

3.1 工作流作为层次化决策序列

3.1.1 工作流的树状结构表示

Agent工作流可以自然地建模为层次化的决策树结构。在这种表示中，每个节点代表一个决策点，边代表可选的操作，而路径则对应完整的工作流执行序列。形式化地，工作流树 $\mathcal{T}$ 定义为 $(\mathcal{N},\mathcal{E},s_0)$，其中 $\mathcal{N}$ 为节点集合，$\mathcal{E}\subseteq \mathcal{N}\times \mathcal{N}$ 为边集合，$s_0\in \mathcal{N}$ 为根节点[16]。

对于复杂任务，工作流树可能非常庞大。以包含 $n$ 个步骤的工作流为例，若每步有 $k$ 个可选操作，则完整的工作流树包含 $O(k^n)$ 条路径。这种指数级增长使得穷举搜索不可行，必须借助强化学习的引导搜索机制。

层次化强化学习（Hierarchical Reinforcement Learning, HRL）为工作流优化提供了有效的抽象机制。在HRL框架中，策略被组织为两层结构：高层策略（Meta-Policy）负责选择子目标（Subgoal），低层策略（Sub-Policy）负责实现子目标。这种分解显著降低了搜索空间复杂度[16]。

Options框架是HRL的经典实现，它将"选项"（Option）定义为三元组 $\omega =({\mathcal{I}}_{\omega },{\pi }_{\omega },{\beta }_{\omega })$，其中 ${\mathcal{I}}_{\omega }\subseteq \mathcal{S}$ 为启动集（Initiation Set），表示选项可执行的状态集合；${\pi }_{\omega }$ 为选项内部策略；${\beta }_{\omega }:\mathcal{S}\to [0,1]$ 为终止条件，表示在各状态下选项终止的概率[16]。

在Agent工作流场景中，选项可以对应于标准的操作模块，如"信息检索"、“数据分析”、"结果验证"等。通过预定义这些选项，Agent可以在更高抽象层次上规划工作流，避免陷入低层细节。

3.1.2 标准操作程序（SOP）的数学定义

标准操作程序（SOP）是工作流的规范化表达，定义了在特定场景下应遵循的操作序列。从数学角度，SOP可以定义为条件-动作规则的集合：

$$\text{SOP}=\{(c_i,a_i,p_i){\}}_{i=1}^M$$

其中 $c_i$ 为触发条件（Context Condition），$a_i$ 为执行动作，$p_i$ 为优先级分数。当多个条件同时满足时，Agent选择优先级最高的规则执行[16]。

SOP的优化目标可以形式化为：

$$\underset{\text{SOP}}{\max }{\mathbb{E}}_{\tau \sim \mathcal{D}}\left[R(\tau ,\text{SOP})\right]$$

其中 $\mathcal{D}$ 为任务分布，$R(\tau ,\text{SOP})$ 为使用SOP执行任务 $\tau$ 获得的奖励。该优化问题具有组合特性，因为SOP的规则集合、条件定义和优先级分配都是离散选择。

一种有效的优化策略是将SOP学习分解为两个子问题：规则发现（Rule Discovery）和规则排序（Rule Ranking）。规则发现负责识别有用的条件-动作模式，规则排序则确定规则的执行优先级。强化学习可以同时优化这两个方面：通过探索发现新规则，通过利用优化规则组合[16]。

3.1.3 工作流状态空间的维度灾难与应对

Agent工作流的状态空间通常具有高维度和复杂结构，这带来了维度灾难（Curse of Dimensionality）问题。状态可能包含文本序列、数值向量、结构化数据等多种模态，传统表格型方法无法有效处理[16]。

深度强化学习（Deep Reinforcement Learning）通过神经网络函数逼近解决了这一挑战。策略网络和价值网络将原始状态映射为动作概率或价值估计，实现了对高维状态空间的有效泛化。对于文本型状态，通常使用预训练的语言模型（如BERT、GPT）提取语义特征；对于结构化数据，则使用图神经网络（Graph Neural Network）编码关系信息[16]。

状态压缩（State Compression）是另一重要技术。通过自编码器（Autoencoder）或变分自编码器（Variational Autoencoder, VAE），可以将高维状态压缩为低维潜在表示，同时保留决策相关的关键信息。压缩后的状态不仅降低了计算复杂度，还有助于发现状态空间的内在结构[16]。

3.2 工作流优化的强化学习形式化

3.2.1 将SOP寻找建模为策略搜索问题

将SOP寻找问题形式化为强化学习问题需要明确定义状态、动作和奖励。在这种形式化中，Agent的目标是学习到一种策略，该策略能够根据当前任务上下文选择最优的操作序列[15]。

状态设计：状态需要编码任务相关的全部信息。对于工作流优化问题，状态通常包含：

• 任务描述的特征向量 $e_{task}$
• 当前已执行的操作序列 $h=(a_1,a_2,\dots ,a_t)$
• 各中间步骤的执行结果 $\{r_1,r_2,\dots ,r_t\}$
• 当前可用的操作集合 ${\mathcal{A}}_{available}$

综合状态表示为 $s_t=\text{Encoder}(e_{task},h,\{r_i\},{\mathcal{A}}_{available})$，其中Encoder为编码网络。

动作设计：动作空间对应于工作流中的可执行操作。根据粒度不同，动作可以是：

• 原子操作：如调用特定API、执行特定代码片段
• 复合操作：如"检索相关信息并总结"、“生成候选方案并评估”
• 元操作：如"回退到上一步"、“请求人工协助”

奖励设计：奖励函数需要反映工作流的执行质量。常见的奖励构成包括：

• 结果奖励：任务完成时根据正确性给予奖励 $r_{outcome}\in \{-1,0,+1\}$
• 效率奖励：根据执行步骤数或资源消耗给予惩罚 $r_{efficiency}=-\alpha \cdot T$
• 过程奖励：由过程奖励模型提供的中间步骤质量评估 $r_{process}$

总奖励为各组成部分的加权和：$R=r_{outcome}+r_{efficiency}+{\sum }_t{r}_{process}(t)$[16]。

3.2.2 动作空间的结构化设计

Agent工作流的动作空间具有内在结构，合理利用这种结构可以提升学习效率。动作空间可以分解为多个正交的子空间，每个子空间对应一类特定操作[42]。

工具调用子空间：包含所有可调用的外部工具（如搜索引擎、计算器、代码执行器）。每个工具对应一个动作，动作的参数（如搜索查询、代码内容）由策略网络生成。

推理模式子空间：定义了Agent的思考方式，如：

• Chain-of-Thought（CoT）：逐步推理，显式展示思考过程
• Tree-of-Thought（ToT）：生成多个候选思路，评估后选择最优
• ReAct：推理与行动交替进行，根据观察调整策略

控制流子空间：控制工作流的执行逻辑，包括：

• 顺序执行：按预定顺序执行操作序列
• 条件分支：根据中间结果选择不同执行路径
• 循环迭代：重复执行某操作直到满足终止条件
• 并行执行：同时执行多个独立操作

动作空间的结构化设计使得策略可以分层学习：首先学习高层控制策略（选择推理模式和控制流），然后在选定框架内学习低层操作选择。这种层次化学习显著降低了样本复杂度[16]。

3.2.3 多目标优化与帕累托前沿

实际工作流优化往往涉及多个相互冲突的目标，如准确率、响应时间、资源消耗等。多目标优化（Multi-Objective Optimization）框架为处理这种复杂性提供了系统方法[42]。

设有 $m$ 个优化目标 $f_1,f_2,\dots ,f_m$，多目标优化问题形式化为：

$$\underset{\pi }{\min }(f_1(\pi ),f_2(\pi ),\dots ,f_m(\pi ))$$

帕累托最优（Pareto Optimality）是多目标优化的核心概念。策略 ${\pi }^{\ast }$ 是帕累托最优的，如果不存在其他策略 ${\pi }^{\prime }$ 在所有目标上都不劣于 ${\pi }^{\ast }$ 且至少在一个目标上严格优于 ${\pi }^{\ast }$。所有帕累托最优策略构成帕累托前沿（Pareto Front）[16]。

在Agent工作流场景中，不同应用场景对目标的偏好不同。例如，实时交互场景优先考虑响应速度，而离线分析场景更关注结果准确性。通过求解帕累托前沿，可以获得适应不同偏好的策略集合。

标量化（Scalarization）是处理多目标优化的常用方法，将多个目标组合为单一标量目标：

$$J(\pi ;\lambda )=\sum _{i=1}^m{\lambda }_i{f}_i(\pi )$$

其中 $\lambda =({\lambda }_1,\dots ,{\lambda }_m)$ 为权重向量，${\sum }_i{\lambda }_i=1$。通过改变权重向量，可以探索帕累托前沿上的不同点。在强化学习中，可以通过训练多个具有不同奖励权重的策略来近似帕累托前沿[42]。

3.3 长程信用分配问题与解决方案

3.3.1 信用分配问题的本质分析

长程信用分配（Long-Term Credit Assignment）是强化学习中的核心挑战，尤其在Agent工作流场景中表现突出。当Agent执行包含数十甚至上百个步骤的工作流时，最终奖励可能仅与少数关键步骤相关，如何准确识别这些关键步骤并分配相应的信用至关重要[16]。

形式化地，设工作流包含 $T$ 个步骤，最终奖励为 $R_T$。信用分配问题要求计算每个步骤 $t$ 对最终奖励的贡献 $\frac{\partial R_T}{\partial a_t}$。在复杂工作流中，这种贡献可能是间接的、延迟的，且存在非线性交互。

信用分配困难的原因包括：

• 延迟效应：早期步骤的影响可能通过状态转移累积到后期才显现
• 冗余操作：某些步骤可能对最终结果无实质影响
• 非线性交互：多个步骤的组合效应不等于各自效应的简单加和
• 随机性：环境随机性使得单次执行的信用估计不可靠

3.3.2 时序差分与资格迹方法

时序差分（Temporal Difference, TD）学习通过自举（Bootstrapping）机制实现信用的逐步传播。TD(0)算法使用前一步的价值估计更新当前估计：

$$V(s_t)\leftarrow V(s_t)+\alpha [r_t+\gamma V(s_{t+1})-V(s_t)]$$

TD误差 ${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$ 反映了当前价值估计与实际回报的偏差，沿着轨迹反向传播TD误差可以实现信用的分配[42]。

TD($\lambda$)算法通过资格迹（Eligibility Trace）机制实现了多步TD的加权平均。资格迹记录了各状态被访问的历史，并在获得奖励时按迹分配信用：

$$e_t(s)=\gamma \lambda e_{t-1}(s)+1[s_t=s]$$

$$V(s)\leftarrow V(s)+\alpha {\delta }_t{e}_t(s)$$

其中 $\lambda \in [0,1]$ 控制迹的衰减速度。当 $\lambda =0$ 时退化为TD(0)，$\lambda =1$ 时等价于蒙特卡洛方法。适中的$\lambda$值（如0.9）通常能在偏差和方差间取得良好平衡[16]。

3.3.3 注意力机制在信用分配中的应用

Transformer架构中的自注意力机制（Self-Attention）为信用分配提供了新的视角。注意力权重天然地量化了不同位置之间的关联强度，可以直接用于信用分配[42]。

在工作流场景中，可以将历史步骤序列作为输入，通过Transformer编码器计算各步骤的上下文表示。注意力矩阵 $A\in {\mathbb{R}}^{T\times T}$ 的元素 $A_{ij}$ 表示第 $j$ 步对第 $i$ 步的重要性。当在第 $T$ 步获得最终奖励时，可以通过反向传播注意力权重计算各步骤的贡献度。

具体地，第 $t$ 步的信用可以计算为：

$$\text{Credit}(t)=\sum _{i=t}^T{A}_{i,t}\cdot {\delta }_i$$

其中 ${\delta }_i$ 为第 $i$ 步的TD误差。这种基于注意力的信用分配方法能够捕捉长距离依赖关系，在复杂工作流中表现优于传统方法[16]。

4 过程奖励模型：细粒度信用分配的核心机制

4.1 从结果奖励到过程奖励的范式转变

4.1.1 结果奖励模型的局限性

传统强化学习在Agent工作流训练中主要依赖结果奖励模型（Outcome Reward Model, ORM），即仅在任务完成时根据最终结果给予奖励。这种稀疏奖励机制存在根本性局限[42]。

首先，ORM无法提供中间步骤的质量反馈。在复杂工作流中，Agent可能在早期步骤就犯下关键错误，但这些错误直到最后才通过失败结果显现。缺乏及时反馈使得Agent难以定位问题根源，学习效率低下。

其次，ORM面临严重的信用分配困难。当工作流包含数十个步骤时，将最终奖励归因于具体步骤几乎不可能。这导致策略梯度估计的高方差，训练过程不稳定。

第三，ORM无法区分不同程度的失败。两个都导致失败的工作流，一个可能在第一步就出错，另一个仅在最后一步失误，ORM对两者给予相同的惩罚，这显然不合理。

4.1.2 过程奖励模型的定义与数学形式

过程奖励模型（Process Reward Model, PRM）通过在每一步提供细粒度的评估信号，有效解决了ORM的局限性。PRM为工作流的每个中间步骤分配一个奖励值，反映该步骤的质量和进展[16]。

形式化地，对于工作流轨迹 $\tau =(s_0,a_0,r_0,s_1,a_1,r_1,\dots ,s_T,a_T,r_T)$，PRM定义为映射：

$$\text{PRM}:(s_t,a_t)\mapsto r_t^{proc}\in \mathbb{R}$$

其中 $r_t^{proc}$ 为第 $t$ 步的过程奖励，可以基于以下准则计算：

• 正确性：该步骤的逻辑是否正确，是否符合事实
• 进展性：该步骤是否朝着最终目标推进
• 效率性：该步骤是否简洁高效，无冗余操作
• 一致性：该步骤与前后步骤是否逻辑一致

PRM的训练通常采用监督学习方法。首先需要构建步骤级标注数据集，对每个中间步骤标注其质量分数。由于人工标注成本高昂，研究者提出了多种自动标注方法[16]。

4.1.3 PRM与ORM的协同机制

在实际应用中，PRM与ORM并非相互替代，而是协同工作。ORM提供最终结果的客观评估，PRM提供中间过程的细粒度指导，两者结合形成完整的奖励信号[42]。

组合奖励函数可以表示为：

$$R_{total}=\alpha \cdot R_{outcome}+(1-\alpha )\cdot \sum _{t=1}^T{\gamma }^{t-1}{r}_t^{proc}$$

其中 $\alpha \in [0,1]$ 控制两种奖励的权重，$\gamma$ 为折扣因子。在训练初期，可以增大 $\alpha$ 使Agent首先学会完成任务；随着训练进行，逐渐降低 $\alpha$ 以强化对过程质量的关注。

PRM还可以在推理阶段指导搜索。通过PRM评分，可以实现步骤级的束搜索（Beam Search）：在每一步生成多个候选动作，由PRM评分后保留Top-K个最有希望的候选。这种PRM引导的搜索显著提升了Agent在复杂任务上的表现[16]。

#mermaid-svg-hOQH51wFsilKanIW{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-hOQH51wFsilKanIW .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-hOQH51wFsilKanIW .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-hOQH51wFsilKanIW .error-icon{fill:#552222;}#mermaid-svg-hOQH51wFsilKanIW .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-hOQH51wFsilKanIW .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-hOQH51wFsilKanIW .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-hOQH51wFsilKanIW .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-hOQH51wFsilKanIW .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-hOQH51wFsilKanIW .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-hOQH51wFsilKanIW .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-hOQH51wFsilKanIW .marker{fill:#333333;stroke:#333333;}#mermaid-svg-hOQH51wFsilKanIW .marker.cross{stroke:#333333;}#mermaid-svg-hOQH51wFsilKanIW svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-hOQH51wFsilKanIW p{margin:0;}#mermaid-svg-hOQH51wFsilKanIW .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-hOQH51wFsilKanIW .cluster-label text{fill:#333;}#mermaid-svg-hOQH51wFsilKanIW .cluster-label span{color:#333;}#mermaid-svg-hOQH51wFsilKanIW .cluster-label span p{background-color:transparent;}#mermaid-svg-hOQH51wFsilKanIW .label text,#mermaid-svg-hOQH51wFsilKanIW span{fill:#333;color:#333;}#mermaid-svg-hOQH51wFsilKanIW .node rect,#mermaid-svg-hOQH51wFsilKanIW .node circle,#mermaid-svg-hOQH51wFsilKanIW .node ellipse,#mermaid-svg-hOQH51wFsilKanIW .node polygon,#mermaid-svg-hOQH51wFsilKanIW .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-hOQH51wFsilKanIW .rough-node .label text,#mermaid-svg-hOQH51wFsilKanIW .node .label text,#mermaid-svg-hOQH51wFsilKanIW .image-shape .label,#mermaid-svg-hOQH51wFsilKanIW .icon-shape .label{text-anchor:middle;}#mermaid-svg-hOQH51wFsilKanIW .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-hOQH51wFsilKanIW .rough-node .label,#mermaid-svg-hOQH51wFsilKanIW .node .label,#mermaid-svg-hOQH51wFsilKanIW .image-shape .label,#mermaid-svg-hOQH51wFsilKanIW .icon-shape .label{text-align:center;}#mermaid-svg-hOQH51wFsilKanIW .node.clickable{cursor:pointer;}#mermaid-svg-hOQH51wFsilKanIW .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-hOQH51wFsilKanIW .arrowheadPath{fill:#333333;}#mermaid-svg-hOQH51wFsilKanIW .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-hOQH51wFsilKanIW .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-hOQH51wFsilKanIW .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-hOQH51wFsilKanIW .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-hOQH51wFsilKanIW .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-hOQH51wFsilKanIW .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-hOQH51wFsilKanIW .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-hOQH51wFsilKanIW .cluster text{fill:#333;}#mermaid-svg-hOQH51wFsilKanIW .cluster span{color:#333;}#mermaid-svg-hOQH51wFsilKanIW div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-hOQH51wFsilKanIW .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-hOQH51wFsilKanIW rect.text{fill:none;stroke-width:0;}#mermaid-svg-hOQH51wFsilKanIW .icon-shape,#mermaid-svg-hOQH51wFsilKanIW .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-hOQH51wFsilKanIW .icon-shape p,#mermaid-svg-hOQH51wFsilKanIW .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-hOQH51wFsilKanIW .icon-shape rect,#mermaid-svg-hOQH51wFsilKanIW .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-hOQH51wFsilKanIW .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-hOQH51wFsilKanIW .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-hOQH51wFsilKanIW :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

PRM过程奖励

r1

r2

r3

r4

步骤1

步骤2

步骤3

最终结果

奖励信号

ORM结果奖励

只有最终奖励

步骤1

步骤2

步骤3

最终结果

奖励信号

PRM

r1

r2

r3

r4

4.2 过程奖励模型的训练方法

4.2.1 蒙特卡洛估计与自动标注

蒙特卡洛（Monte Carlo, MC）估计是PRM自动标注的主流方法。其核心思想是：从某一步出发，采样多条后续轨迹，根据这些轨迹的最终成功率估计该步的质量[56]。

具体地，对于步骤 $(s_t,a_t)$，从该步开始采样 $N$ 条完成轨迹 $\{{\tau }^{(i)}{\}}_{i=1}^N$，每条轨迹使用当前策略或随机策略生成。该步的过程奖励估计为：

$${\hat{r}}_t^{proc}=\frac{1}{N}\sum _{i=1}^{N}R({\tau }^{(i)})$$

其中 $R({\tau }^{(i)})$ 为第 $i$ 条轨迹的最终奖励（通常为0或1）。当 $N$ 足够大时，该估计收敛到真实的期望回报。

MC估计的方差与 $N$ 成反比。为降低方差，可以采用重要性采样（Importance Sampling）技术，使用更高效的策略生成轨迹，然后通过重要性权重校正偏差。另一种方法是使用共同随机数（Common Random Numbers），在不同步骤的估计中使用相同的随机种子，减少估计间的方差[42]。

4.2.2 时序差分估计与价值传播

时序差分（TD）估计提供了另一种PRM训练方法，它通过自举机制实现价值的逐步传播。与MC估计需要完整轨迹不同，TD估计可以在每一步更新，具有更低的计算成本[14]。

TD-based PRM训练使用以下更新规则：

$$\text{PRM}(s_t,a_t)\leftarrow \text{PRM}(s_t,a_t)+\beta [r_t+\gamma \underset{a^{\prime }}{\max }\text{PRM}(s_{t+1},a^{\prime })-\text{PRM}(s_t,a_t)]$$

该更新使得PRM值沿着轨迹向后传播，最终步骤的结果奖励通过多步TD误差传递到前面各步。

广义优势估计（Generalized Advantage Estimation, GAE）结合了MC和TD的优点，通过参数 $\lambda$ 控制两者的权衡[16]：

$${\hat{A}}_t^{GAE}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

其中 ${\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$ 为TD误差。当 $\lambda =0$ 时退化为单步TD，$\lambda =1$ 时等价于MC估计。适中的$\lambda$值（如0.95）在实践中表现最佳。

4.2.3 对比学习与排名损失

PRM的训练可以建模为排序问题：给定两个步骤，判断哪个更优。这种排序视角自然地导出了对比学习（Contrastive Learning）方法[16]。

对于同一问题的两个不同执行路径，如果路径A最终成功而路径B失败，则路径A中的所有步骤应获得比路径B对应步骤更高的PRM分数。形式化地，设 $(s_t^A,a_t^A)$ 和 $(s_t^B,a_t^B)$ 为两条路径的第 $t$ 步，排名损失定义为：

$${\mathcal{L}}_{rank}=\max (0,m-\text{PRM}(s_t^A,a_t^A)+\text{PRM}(s_t^B,a_t^B))$$

其中 $m$ 为边际参数。该损失鼓励成功路径的步骤得分比失败路径高至少 $m$。

对比学习还可以扩展到多路径比较。给定同一问题的 $K$ 条路径及其最终成功率，可以使用ListNet或ListMLE等排序损失函数训练PRM，使其输出的步骤分数与最终成功率一致[56]。

4.3 PRM在工作流优化中的应用

4.3.1 步骤级束搜索与推理引导

PRM最直接的应用是在推理阶段引导搜索过程。传统的贪婪解码（Greedy Decoding）每一步选择概率最高的动作，容易陷入局部最优。PRM引导的束搜索（Beam Search）则考虑多步累积价值，能够发现更优的全局解[42]。

束搜索算法维护 $K$ 个候选路径（束宽）。在每一步，对每个候选路径扩展所有可能的动作，由PRM评估扩展后的质量，保留得分最高的 $K$ 个候选。形式化地，设第 $t$ 步的候选集合为 ${\mathcal{B}}_t=\{(s_t^{(i)},{\text{score}}_i){\}}_{i=1}^K$，则第 $t+1$ 步的候选为：

$${\mathcal{B}}_{t+1}={\text{TopK}}_{(s,a)}\left\{\text{score}(s)+\text{PRM}(s,a)\mid s\in {\mathcal{B}}_t,a\in \mathcal{A}(s)\right\}$$

PRM引导的束搜索显著提升了Agent在数学推理、代码生成等复杂任务上的表现。研究表明，使用PRM引导的搜索，7B参数的模型可以达到与175B模型相当的性能[7]。

4.3.2 PRM与策略优化的端到端训练

PRM不仅可以用于推理引导，还可以与策略网络端到端联合训练，实现过程监督强化学习（Process-Supervised RL）。在这种框架下，PRM提供的步骤级奖励直接用于策略更新[61]。

训练过程交替进行以下步骤：

这种联合训练使得策略和PRM相互促进：更好的策略生成更高质量的轨迹，用于训练更准确的PRM；更准确的PRM提供更可靠的奖励信号，引导策略进一步优化。

4.3.3 错误定位与回溯机制

PRM的一个重要应用是错误定位（Error Localization）。当工作流执行失败时，PRM可以帮助识别第一个错误发生的步骤，为回溯和修正提供依据[62]。

OmegaPRM算法通过二分搜索高效定位错误步骤。给定一条失败轨迹，算法首先检查中点步骤的PRM分数。如果中点前的步骤得分正常而中点后得分骤降，则错误位于中点附近。通过递归二分，可以在 $O(\log T)$ 次评估内定位第一个错误步骤[16]。

定位错误后，Agent可以执行回溯（Backtracking）操作，回退到错误前的状态并尝试替代动作。这种试错学习机制使得Agent能够从失败中快速恢复，持续提升工作流质量。

#mermaid-svg-tj5FxsjQOBEbuNS1{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-tj5FxsjQOBEbuNS1 .error-icon{fill:#552222;}#mermaid-svg-tj5FxsjQOBEbuNS1 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-tj5FxsjQOBEbuNS1 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .marker.cross{stroke:#333333;}#mermaid-svg-tj5FxsjQOBEbuNS1 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-tj5FxsjQOBEbuNS1 p{margin:0;}#mermaid-svg-tj5FxsjQOBEbuNS1 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster-label text{fill:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster-label span{color:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster-label span p{background-color:transparent;}#mermaid-svg-tj5FxsjQOBEbuNS1 .label text,#mermaid-svg-tj5FxsjQOBEbuNS1 span{fill:#333;color:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .node rect,#mermaid-svg-tj5FxsjQOBEbuNS1 .node circle,#mermaid-svg-tj5FxsjQOBEbuNS1 .node ellipse,#mermaid-svg-tj5FxsjQOBEbuNS1 .node polygon,#mermaid-svg-tj5FxsjQOBEbuNS1 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .rough-node .label text,#mermaid-svg-tj5FxsjQOBEbuNS1 .node .label text,#mermaid-svg-tj5FxsjQOBEbuNS1 .image-shape .label,#mermaid-svg-tj5FxsjQOBEbuNS1 .icon-shape .label{text-anchor:middle;}#mermaid-svg-tj5FxsjQOBEbuNS1 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .rough-node .label,#mermaid-svg-tj5FxsjQOBEbuNS1 .node .label,#mermaid-svg-tj5FxsjQOBEbuNS1 .image-shape .label,#mermaid-svg-tj5FxsjQOBEbuNS1 .icon-shape .label{text-align:center;}#mermaid-svg-tj5FxsjQOBEbuNS1 .node.clickable{cursor:pointer;}#mermaid-svg-tj5FxsjQOBEbuNS1 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .arrowheadPath{fill:#333333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-tj5FxsjQOBEbuNS1 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-tj5FxsjQOBEbuNS1 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-tj5FxsjQOBEbuNS1 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster text{fill:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 .cluster span{color:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-tj5FxsjQOBEbuNS1 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-tj5FxsjQOBEbuNS1 rect.text{fill:none;stroke-width:0;}#mermaid-svg-tj5FxsjQOBEbuNS1 .icon-shape,#mermaid-svg-tj5FxsjQOBEbuNS1 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-tj5FxsjQOBEbuNS1 .icon-shape p,#mermaid-svg-tj5FxsjQOBEbuNS1 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-tj5FxsjQOBEbuNS1 .icon-shape rect,#mermaid-svg-tj5FxsjQOBEbuNS1 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-tj5FxsjQOBEbuNS1 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-tj5FxsjQOBEbuNS1 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-tj5FxsjQOBEbuNS1 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

错误定位

失败轨迹

二分搜索

PRM评分

定位首个错误

回溯修正

PRM训练流程

采样轨迹

PRM评估步骤

生成过程奖励

策略更新PPO/GRPO

新轨迹采样

更新PRM

5 多智能体协作与自我对弈：分布式进化机制

5.1 多智能体系统的博弈论基础

5.1.1 纳什均衡与策略稳定性

多智能体系统（Multi-Agent System, MAS）的研究为理解Agent间的交互提供了博弈论框架。在MAS中，每个Agent都是理性的决策者，其收益不仅取决于自身策略，还受其他Agent策略的影响[56]。

形式化地，$N$ 个Agent的博弈可以表示为 $G=(\mathcal{N},\{{\mathcal{A}}_i{\}}_{i\in \mathcal{N}},\{u_i{\}}_{i\in \mathcal{N}})$，其中 $\mathcal{N}=\{1,2,\dots ,N\}$ 为Agent集合，${\mathcal{A}}_i$ 为Agent $i$ 的动作空间，$u_i:{\mathcal{A}}_1\times \dots \times {\mathcal{A}}_N\to \mathbb{R}$ 为Agent $i$ 的效用函数。

纳什均衡（Nash Equilibrium）是博弈论的核心解概念。策略组合 ${\sigma }^{\ast }=({\sigma }_1^{\ast },\dots ,{\sigma }_N^{\ast })$ 是纳什均衡，如果对于每个Agent $i$，满足[42]：

$$u_i({\sigma }_i^{\ast },{\sigma }_{-i}^{\ast })\ge u_i({\sigma }_i^{\prime },{\sigma }_{-i}^{\ast }),\forall {\sigma }_i^{\prime }\in \Delta ({\mathcal{A}}_i)$$

其中 ${\sigma }_{-i}^{\ast }$ 表示除Agent $i$ 外其他Agent的均衡策略。纳什均衡的直观含义是：在均衡状态下，任何Agent单方面改变策略都无法获得更高收益。

在Agent工作流场景中，纳什均衡对应于稳定的多Agent协作模式。当所有Agent都采用均衡策略时，系统达到自洽状态，没有Agent有动力偏离当前行为模式[66]。

5.1.2 零和博弈与对抗训练

零和博弈（Zero-Sum Game）是一类特殊的博弈，其中一个Agent的收益等于其他Agent的损失之和。形式化地，对于两个Agent的零和博弈，满足 $u_1(a_1,a_2)+u_2(a_1,a_2)=0$[61]。

零和博弈的求解目标是找到极大极小策略（Maximin Strategy）：

$${\sigma }_1^{\ast }=\arg \underset{{\sigma }_1}{\max }\underset{{\sigma }_2}{\min }{u}_1({\sigma }_1,{\sigma }_2)$$

根据极小极大定理（Minimax Theorem），在零和博弈中极大极小值等于极小极大值，即：

$$\underset{{\sigma }_1}{\max }\underset{{\sigma }_2}{\min }{u}_1({\sigma }_1,{\sigma }_2)=\underset{{\sigma }_2}{\min }\underset{{\sigma }_1}{\max }{u}_1({\sigma }_1,{\sigma }_2)$$

对抗训练（Adversarial Training）利用零和博弈框架提升Agent的鲁棒性。通过让Agent与对抗性对手博弈，Agent学会应对最坏情况，从而在实际应用中表现更稳定。在自我进化场景中，可以将过去的自己作为对手，通过自我对弈（Self-Play）实现持续改进[62]。

5.1.3 合作博弈与联盟形成

与零和博弈不同，合作博弈（Cooperative Game）允许多个Agent通过协作实现共赢。在Agent工作流中，不同Agent通常扮演不同角色（如规划者、执行者、验证者），通过协作完成复杂任务[16]。

合作博弈的核心问题是联盟形成（Coalition Formation）和收益分配（Payoff Allocation）。设 $S\subseteq \mathcal{N}$ 为一个联盟，$v(S)$ 为联盟 $S$ 能够获得的集体收益。特征函数（Characteristic Function）$v:2^{\mathcal{N}}\to \mathbb{R}$ 定义了所有可能联盟的收益。

夏普利值（Shapley Value）是合作博弈中公平分配收益的经典方法。Agent $i$ 的夏普利值为[56]：

$${\varphi }_i(v)=\sum _{S\subseteq \mathcal{N}\setminus \{i\}}\frac{|S|!(N-|S|-1)!}{N!}[v(S\cup \{i\})-v(S)]$$

夏普利值满足效率性、对称性、哑元性和可加性四个公理，被认为是公平分配的黄金标准。在多Agent工作流中，夏普利值可以用于评估各Agent对任务完成的边际贡献，指导角色分配和激励机制设计[42]。

5.2 多智能体强化学习框架

5.2.1 独立学习与联合学习的权衡

多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）面临独立学习（Independent Learning）与联合学习（Joint Learning）的权衡。独立学习中每个Agent将其他Agent视为环境的一部分，独立运行单Agent RL算法；联合学习则将多Agent系统建模为联合MDP，学习全局最优策略[66]。

独立学习的优点是计算复杂度低，每个Agent只需维护自身策略；缺点是非平稳性（Non-Stationarity）问题——从单个Agent视角，环境动态因其他Agent策略变化而改变，违反了MDP的平稳性假设。

联合学习理论上可以找到全局最优，但面临维度灾难：联合动作空间随Agent数量指数增长，$|{\mathcal{A}}_{joint}|={\prod }_{i=1}^N|{\mathcal{A}}_i|$。对于大规模系统，联合学习不可行。

实践中常用的折衷方案是集中式训练分布式执行（Centralized Training with Decentralized Execution, CTDE）。在训练阶段，使用全局信息学习策略；在执行阶段，每个Agent仅基于局部观测决策。这种架构既利用了全局信息提升训练效率，又保持了执行的分布式特性[61]。

5.2.2 值分解与QMIX算法

值分解（Value Decomposition）是CTDE架构下的重要技术，它将联合Q函数分解为各Agent Q函数的组合，使得每个Agent可以独立决策同时保证全局一致性[62]。

QMIX算法是值分解的代表性方法。它假设联合Q函数可以表示为各Agent Q函数的非线性组合：

$$Q_{joint}(s,\mathbf{a})=f(Q_1(s,a_1),Q_2(s,a_2),\dots ,Q_N(s,a_N);s)$$

其中 $f$ 为混合网络，$\mathbf{a}=(a_1,\dots ,a_N)$ 为联合动作。为保证分布式执行的最优性，$f$ 需要满足单调性约束：

$$\frac{\partial Q_{joint}}{\partial Q_i}\ge 0,\forall i$$

该约束确保单个Agent最大化自身Q函数也最大化联合Q函数。QMIX使用超网络（Hypernetwork）生成混合网络的权重，以状态为条件实现灵活的非线性组合[16]。

5.2.3 通信协议与信息共享

有效的通信是多Agent协作的关键。在部分可观测环境中，Agent需要通过通信共享信息，弥补局部观测的不足。通信协议的设计需要在信息丰富性和通信开销之间取得平衡[56]。

通信内容可以分为以下几类：

• 观测共享：Agent分享局部观测，扩大其他Agent的信息范围
• 意图广播：Agent宣布即将执行的动作，便于协调避免冲突
• 请求-响应：Agent主动请求特定信息，其他Agent响应
• 共识达成：Agent通过多轮通信就共同计划达成一致

TarMAC（Targeted Multi-Agent Communication）算法引入了注意力机制指导通信。每个Agent计算对其他Agent的注意力权重，仅与注意力高的Agent通信，有效降低了通信开销[42]。

在Agent工作流场景中，通信协议的设计尤为重要。不同Agent可能负责工作流的不同阶段（如信息收集、分析推理、结果验证），通过标准化通信协议，可以实现无缝的任务交接和状态同步[66]。

5.3 自我对弈与自动课程学习

5.3.1 自我对弈的理论基础

自我对弈（Self-Play）是一种强大的多Agent训练范式，Agent通过与自身历史版本博弈来学习。这种方法最早在博弈论中提出，近年来在AlphaGo、OpenAI Five等系统中展现出惊人效果[61]。

自我对弈的核心优势在于自动生成适应Agent当前水平的对手。当Agent较弱时，历史版本也较弱，Agent容易获胜获得正反馈；随着Agent变强，历史版本也变强，提供适度挑战促进进一步学习。这种自动调整的难度曲线类似于课程学习（Curriculum Learning）[62]。

虚构自我对弈（Fictitious Self-Play, FSP）是一种理论上有保证的自我对弈变体。在FSP中，Agent不是与单一历史版本博弈，而是与历史策略的混合分布博弈。设 ${\pi }_t$ 为第 $t$ 迭代的策略，FSP维护平均策略 ${\bar{\pi }}_t=\frac{1}{t}{\sum }_{i=1}^t{\pi }_i$，Agent与 ${\bar{\pi }}_t$ 博弈并更新策略。可以证明，FSP收敛到纳什均衡[16]。

5.3.2 自动课程生成与难度调节

自动课程学习（Automatic Curriculum Learning）通过动态调整训练任务的难度，加速学习进程。在Agent工作流优化中，课程可以体现为任务复杂度、环境噪声、对手强度等多个维度[56]。

WebRL算法提出了基于失败模式的自动课程生成。当Agent在特定类型任务上失败时，算法自动生成相似但稍简单的变体任务，帮助Agent逐步掌握所需技能。具体地，设Agent在任务 $t$ 上失败，课程生成器执行以下步骤[42]：

这种从易到难的渐进学习符合人类认知规律，显著提升了样本效率。

5.3.3 多智能体协作中的角色涌现

在自我对弈过程中，多Agent系统可能自发涌现出角色分工（Role Emergence）。即使所有Agent初始时具有相同的能力，经过充分训练后，不同Agent可能 specialize 到不同的子任务，形成高效的协作模式[66]。

角色涌现的机制可以通过博弈论解释。在重复博弈中，Agent通过试错发现某些策略组合能够产生更高收益，这些策略组合逐渐固化为稳定的角色分工。例如，在协作任务中，一个Agent可能自发承担规划者角色，负责分解任务；另一个Agent承担执行者角色，负责具体操作[61]。

角色涌现的好处包括：

• 专业化优势：每个Agent专注于特定子任务，技能深度提升
• 协调简化：明确的角色分工减少了决策冲突
• 可扩展性：新增Agent可以填补新角色，系统能力扩展

在Agent工作流场景中，角色涌现为自动发现最优SOP提供了新思路。通过多Agent自我对弈，系统可以自发探索不同的工作流组织形式，最终收敛到高效的分工协作模式[62]。

#mermaid-svg-avVJ2PbQv2Sluhwu{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-avVJ2PbQv2Sluhwu .error-icon{fill:#552222;}#mermaid-svg-avVJ2PbQv2Sluhwu .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-avVJ2PbQv2Sluhwu .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-avVJ2PbQv2Sluhwu .marker{fill:#333333;stroke:#333333;}#mermaid-svg-avVJ2PbQv2Sluhwu .marker.cross{stroke:#333333;}#mermaid-svg-avVJ2PbQv2Sluhwu svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-avVJ2PbQv2Sluhwu p{margin:0;}#mermaid-svg-avVJ2PbQv2Sluhwu .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster-label text{fill:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster-label span{color:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster-label span p{background-color:transparent;}#mermaid-svg-avVJ2PbQv2Sluhwu .label text,#mermaid-svg-avVJ2PbQv2Sluhwu span{fill:#333;color:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu .node rect,#mermaid-svg-avVJ2PbQv2Sluhwu .node circle,#mermaid-svg-avVJ2PbQv2Sluhwu .node ellipse,#mermaid-svg-avVJ2PbQv2Sluhwu .node polygon,#mermaid-svg-avVJ2PbQv2Sluhwu .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-avVJ2PbQv2Sluhwu .rough-node .label text,#mermaid-svg-avVJ2PbQv2Sluhwu .node .label text,#mermaid-svg-avVJ2PbQv2Sluhwu .image-shape .label,#mermaid-svg-avVJ2PbQv2Sluhwu .icon-shape .label{text-anchor:middle;}#mermaid-svg-avVJ2PbQv2Sluhwu .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-avVJ2PbQv2Sluhwu .rough-node .label,#mermaid-svg-avVJ2PbQv2Sluhwu .node .label,#mermaid-svg-avVJ2PbQv2Sluhwu .image-shape .label,#mermaid-svg-avVJ2PbQv2Sluhwu .icon-shape .label{text-align:center;}#mermaid-svg-avVJ2PbQv2Sluhwu .node.clickable{cursor:pointer;}#mermaid-svg-avVJ2PbQv2Sluhwu .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-avVJ2PbQv2Sluhwu .arrowheadPath{fill:#333333;}#mermaid-svg-avVJ2PbQv2Sluhwu .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-avVJ2PbQv2Sluhwu .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-avVJ2PbQv2Sluhwu .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-avVJ2PbQv2Sluhwu .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-avVJ2PbQv2Sluhwu .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-avVJ2PbQv2Sluhwu .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster text{fill:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu .cluster span{color:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-avVJ2PbQv2Sluhwu .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-avVJ2PbQv2Sluhwu rect.text{fill:none;stroke-width:0;}#mermaid-svg-avVJ2PbQv2Sluhwu .icon-shape,#mermaid-svg-avVJ2PbQv2Sluhwu .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-avVJ2PbQv2Sluhwu .icon-shape p,#mermaid-svg-avVJ2PbQv2Sluhwu .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-avVJ2PbQv2Sluhwu .icon-shape rect,#mermaid-svg-avVJ2PbQv2Sluhwu .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-avVJ2PbQv2Sluhwu .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-avVJ2PbQv2Sluhwu .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-avVJ2PbQv2Sluhwu :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

自我对弈进化

对弈

对弈

…

收敛

策略v1

策略v2

策略v3

策略vN

纳什均衡

多Agent协作框架

任务分解

角色分配

并行执行

结果整合

质量验证

6 记忆机制与工作流优化：经验积累与复用

6.1 智能体记忆的类型与结构

6.1.1 短期记忆与长期记忆的区分

记忆机制是智能体实现持续学习和经验积累的基础。与人类认知系统类似，Agent记忆可以分为短期记忆（Short-Term Memory, STM）和长期记忆（Long-Term Memory, LTM）两类，两者在功能特性和实现机制上存在本质差异[16]。

短期记忆负责维护当前任务执行的上下文信息，类似于人类的工作记忆（Working Memory）。在LLM Agent中，短期记忆通常通过上下文窗口（Context Window）实现，包含最近的对话历史、中间推理结果和工具调用记录。短期记忆的特点是访问速度快、容量有限、生命周期短——随着任务结束或上下文重置而清空[56]。

长期记忆负责跨任务、跨会话的信息持久化存储，使Agent能够积累知识、学习偏好、避免重复错误。长期记忆的实现通常依赖外部存储系统，如向量数据库（Vector Database）或知识图谱（Knowledge Graph）。与短期记忆相比，长期记忆容量大、生命周期长，但访问需要额外的检索开销[42]。

表2 短期记忆与长期记忆的对比

6.1.2 情景记忆、语义记忆与程序记忆

长期记忆可以进一步细分为三种类型，对应人类记忆系统的不同功能[66]：

**情景记忆（Episodic Memory）**存储特定事件和经历，记录Agent执行过的任务轨迹、遇到的困难、成功的解决方案等。情景记忆支持基于案例的推理（Case-Based Reasoning）——当面对新任务时，检索相似历史案例并复用其解决方案。形式化地，情景记忆可以表示为事件序列 ${\mathcal{M}}_{epi}=\{(s_t,a_t,r_t,o_t){\}}_{t=1}^T$，其中 $o_t$ 为执行观察[61]。

**语义记忆（Semantic Memory）**存储事实性知识和概念关系，如领域知识、用户偏好、工具功能描述等。语义记忆通常以结构化形式组织，如知识图谱或键值对存储。与情景记忆不同，语义记忆抽象了具体经历，提取了通用知识。例如，从多次"使用Python处理CSV文件"的经历中，Agent可以抽象出"pandas是处理表格数据的有效工具"这一语义知识[62]。

**程序记忆（Procedural Memory）**存储技能和操作流程，即"如何做"的知识。在Agent工作流场景中，程序记忆对应于学习到的SOP——面对特定类型任务时应遵循的操作序列。程序记忆通常以条件-动作规则或策略网络的形式存储，支持快速、自动化的执行[16]。

6.1.3 记忆的组织与索引机制

高效的记忆组织与检索机制是记忆系统实用性的关键。对于大规模记忆库，线性扫描不可行，需要建立有效的索引结构[56]。

向量索引是当前主流的记忆组织方式。每条记忆通过嵌入模型（Embedding Model）编码为稠密向量，存储在向量数据库中。检索时，将查询编码为向量，通过近似最近邻（Approximate Nearest Neighbor, ANN）算法快速找到相似记忆。常用的ANN算法包括HNSW（Hierarchical Navigable Small World）、IVF（Inverted File Index）等，能够在百万级向量中实现毫秒级检索[42]。

图索引适用于具有复杂关系的记忆。知识图谱将实体和关系表示为节点和边，支持多跳推理和关系查询。例如，Agent可以查询"与用户A讨论过的所有与Python相关的工具"，这种复杂查询难以通过纯向量检索实现。图索引的挑战在于构建和维护成本较高，需要实体链接和关系抽取等预处理[66]。

混合索引结合了多种索引的优势。例如，先用向量检索召回候选记忆，再用图关系过滤和排序；或先用关键词索引快速定位相关记忆子集，再在子集内进行向量相似度计算。混合索引在实践中往往能达到最佳的检索效果[61]。

6.2 记忆的编码、存储与检索

6.2.1 信息抽取与知识蒸馏

从原始交互记录中提取有价值的记忆信息是记忆系统的首要任务。直接存储原始文本不仅浪费存储空间，还会增加检索噪声，需要通过信息抽取（Information Extraction）提炼关键知识[62]。

信息抽取的主要任务包括：

• 实体识别：识别文本中的关键实体（如工具名称、数据格式、用户偏好）
• 关系抽取：提取实体之间的关系（如"工具A适用于任务B"）
• 事件抽取：识别重要事件及其参与者、时间、结果
• 摘要生成：将长文本压缩为简洁的摘要，保留核心信息

在Agent工作流场景中，信息抽取可以针对性地设计。例如，从一次代码生成任务中，可以抽取：使用的编程语言、解决的问题类型、调用的库函数、遇到的错误及解决方案等。这些结构化信息比原始对话记录更易于检索和复用[16]。

知识蒸馏（Knowledge Distillation）是另一种记忆压缩技术。它通过训练一个轻量级模型来近似大型模型的行为，将大型模型中的知识迁移到轻量级模型。在记忆系统中，可以使用知识蒸馏训练专门的编码器，使其生成的嵌入更好地捕捉记忆的关键特征[56]。

6.2.2 向量嵌入与相似度检索

向量嵌入（Vector Embedding）是现代记忆系统的核心技术。它将离散的记忆内容映射到连续向量空间，使得语义相似的记忆在向量空间中距离相近[42]。

嵌入模型通常基于预训练的语言模型（如BERT、Sentence-BERT），通过对比学习（Contrastive Learning）微调以适应特定领域的语义相似度判断。对比学习的目标是最小化相似样本间的距离，最大化不相似样本间的距离：

$${\mathcal{L}}_{contrastive}=-\log \frac{\exp (\text{sim}(x,x^{+})/\tau )}{\exp (\text{sim}(x,x^{+})/\tau )+{\sum }_i\exp (\text{sim}(x,x_i^{-})/\tau )}$$

其中 $x$ 为锚样本，$x^{+}$ 为正样本（语义相似），$x_i^{-}$ 为负样本（语义不相似），$\text{sim}$ 为相似度函数（通常用余弦相似度），$\tau$ 为温度参数[66]。

相似度检索的核心是最近邻搜索。给定查询向量 $q$，在记忆向量集合 $\{v_1,v_2,\dots ,v_N\}$ 中找到最相似的 $K$ 个向量：

$$\text{TopK}(q)=\arg {\text{TopK}}_i\text{sim}(q,v_i)$$

精确最近邻搜索的时间复杂度为 $O(Nd)$（$d$ 为向量维度），对于大规模记忆库不可行。近似最近邻算法通过牺牲少量精度换取数量级加速，如HNSW算法的查询复杂度仅为 $O(\log N)$[61]。

6.2.3 记忆的遗忘与更新策略

记忆系统需要处理信息的动态变化：新知识不断产生，旧知识可能过时。有效的遗忘（Forgetting）和更新（Updating）策略确保记忆库保持时效性和准确性[62]。

时间衰减是最简单的遗忘策略。每条记忆关联一个时间戳，检索时根据时间衰减函数降低旧记忆的权重：

$$w(m)=\exp (-\lambda (t_{current}-t_m))$$

其中 $t_m$ 为记忆 $m$ 的创建时间，$\lambda$ 为衰减率。该策略假设新信息通常更相关，但可能误删长期有效的知识。

访问频率是另一种遗忘依据。频繁访问的记忆被认为更有价值，应保留；长期未访问的记忆可能被遗忘。LFU（Least Frequently Used）和LRU（Least Recently Used）是经典的缓存淘汰策略，可以应用于记忆管理[16]。

一致性更新处理知识冲突。当新获取的信息与已有记忆矛盾时，需要判断哪个更可靠。可以基于信息来源的可信度、支持证据的数量、与其他知识的一致性等因素综合判断。贝叶斯更新提供了一种形式化框架：将新旧信息视为观测，根据贝叶斯规则更新对知识真实性的信念[56]。

6.3 记忆驱动的SOP学习与优化

6.3.1 从经验中提取操作模式

Agent的历史执行记录蕴含了丰富的操作模式，通过分析这些记录可以自动发现有效的SOP。这种从经验中学习SOP的方法避免了人工设计的局限性，能够发现非直观但高效的操作序列[42]。

频繁模式挖掘（Frequent Pattern Mining）是提取操作模式的基本技术。给定一组成功的工作流轨迹，算法找出频繁出现的动作子序列。形式化地，设动作序列数据库为 $\mathcal{D}=\{{\tau }_1,{\tau }_2,\dots ,{\tau }_N\}$，模式 $p$ 的支持度为包含 $p$ 的序列比例：

$$\text{support}(p)=\frac{|\{\tau \in \mathcal{D}:p\subseteq \tau \}|}{|\mathcal{D}|}$$

频繁模式是支持度超过阈值 $\theta$ 的模式：$\{p:\text{support}(p)\ge \theta \}$。Apriori和FP-Growth是经典的频繁模式挖掘算法[66]。

序列聚类（Sequence Clustering）可以发现不同类型的SOP模板。将相似的工作流轨迹聚为一类，每类代表解决特定类型任务的标准方法。新任务到来时，首先判断其所属类别，然后复用对应类别的SOP。这种基于案例的推理（Case-Based Reasoning）方法在实践中非常有效[61]。

6.3.2 案例库构建与相似度匹配

案例库（Case Library）是记忆驱动的SOP学习的核心组件。每个案例包含问题描述、解决方案和执行结果三部分。案例库的构建需要解决案例表示、索引和检索等关键问题[62]。

案例表示将原始任务信息编码为结构化格式。对于文本型任务，可以使用TF-IDF或BERT嵌入表示问题；对于结构化任务，可以使用特征向量编码关键属性。解决方案部分需要记录完整的操作序列，包括调用的工具、生成的推理、设置的参数等[16]。

案例索引支持快速检索。常用方法是将案例表示为向量，使用向量数据库存储和索引。对于大规模案例库，可以建立层次化索引：先用粗粒度分类（如任务领域、难度级别）缩小搜索范围，再在候选集内进行精细匹配[56]。

相似度匹配度量新任务与历史案例的相似性。常用的相似度度量包括：

• 余弦相似度：${\text{sim}}_{cos}(x,y)=\frac{x\cdot y}{\Vert x\Vert \Vert y\Vert }$
• 欧氏距离：${\text{sim}}_{euclid}(x,y)=\Vert x-y\Vert$
• 编辑距离：适用于序列型表示，度量将一个序列变为另一个所需的最少操作数

检索到相似案例后，Agent可以复用其解决方案，或在其基础上进行适应性修改[42]。

6.3.3 记忆引导的探索策略

记忆不仅可以用于解决方案复用，还可以指导探索过程。当Agent面对新任务时，可以基于记忆判断哪些操作更有可能成功，优先尝试高潜力选项，避免盲目探索[66]。

上置信界（Upper Confidence Bound, UCB）算法将记忆作为先验知识融入多臂 bandit 问题。每个动作 $a$ 维护一个价值估计 $Q(a)$ 和访问计数 $N(a)$。动作选择准则为：

$$a^{\ast }=\arg \underset{a}{\max }\left[Q(a)+c\sqrt{\frac{\ln T}{N(a)}}\right]$$

其中 $T$ 为总尝试次数，$c$ 控制探索程度。记忆可以初始化 $Q(a)$，使Agent优先尝试历史上表现好的动作[61]。

贝叶斯优化（Bayesian Optimization）提供了更复杂的记忆引导探索框架。它维护一个关于动作价值的高斯过程（Gaussian Process）先验，根据观测不断更新后验。记忆提供了先验分布的初始参数，加速收敛。贝叶斯优化特别适用于评估代价高的场景，如需要调用昂贵API的动作选择[62]。

#mermaid-svg-5p7vzdEFomkND7Vi{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-5p7vzdEFomkND7Vi .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-5p7vzdEFomkND7Vi .error-icon{fill:#552222;}#mermaid-svg-5p7vzdEFomkND7Vi .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-5p7vzdEFomkND7Vi .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-5p7vzdEFomkND7Vi .marker{fill:#333333;stroke:#333333;}#mermaid-svg-5p7vzdEFomkND7Vi .marker.cross{stroke:#333333;}#mermaid-svg-5p7vzdEFomkND7Vi svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-5p7vzdEFomkND7Vi p{margin:0;}#mermaid-svg-5p7vzdEFomkND7Vi .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-5p7vzdEFomkND7Vi .cluster-label text{fill:#333;}#mermaid-svg-5p7vzdEFomkND7Vi .cluster-label span{color:#333;}#mermaid-svg-5p7vzdEFomkND7Vi .cluster-label span p{background-color:transparent;}#mermaid-svg-5p7vzdEFomkND7Vi .label text,#mermaid-svg-5p7vzdEFomkND7Vi span{fill:#333;color:#333;}#mermaid-svg-5p7vzdEFomkND7Vi .node rect,#mermaid-svg-5p7vzdEFomkND7Vi .node circle,#mermaid-svg-5p7vzdEFomkND7Vi .node ellipse,#mermaid-svg-5p7vzdEFomkND7Vi .node polygon,#mermaid-svg-5p7vzdEFomkND7Vi .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-5p7vzdEFomkND7Vi .rough-node .label text,#mermaid-svg-5p7vzdEFomkND7Vi .node .label text,#mermaid-svg-5p7vzdEFomkND7Vi .image-shape .label,#mermaid-svg-5p7vzdEFomkND7Vi .icon-shape .label{text-anchor:middle;}#mermaid-svg-5p7vzdEFomkND7Vi .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-5p7vzdEFomkND7Vi .rough-node .label,#mermaid-svg-5p7vzdEFomkND7Vi .node .label,#mermaid-svg-5p7vzdEFomkND7Vi .image-shape .label,#mermaid-svg-5p7vzdEFomkND7Vi .icon-shape .label{text-align:center;}#mermaid-svg-5p7vzdEFomkND7Vi .node.clickable{cursor:pointer;}#mermaid-svg-5p7vzdEFomkND7Vi .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-5p7vzdEFomkND7Vi .arrowheadPath{fill:#333333;}#mermaid-svg-5p7vzdEFomkND7Vi .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-5p7vzdEFomkND7Vi .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-5p7vzdEFomkND7Vi .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-5p7vzdEFomkND7Vi .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-5p7vzdEFomkND7Vi .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-5p7vzdEFomkND7Vi .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-5p7vzdEFomkND7Vi .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-5p7vzdEFomkND7Vi .cluster text{fill:#333;}#mermaid-svg-5p7vzdEFomkND7Vi .cluster span{color:#333;}#mermaid-svg-5p7vzdEFomkND7Vi div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-5p7vzdEFomkND7Vi .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-5p7vzdEFomkND7Vi rect.text{fill:none;stroke-width:0;}#mermaid-svg-5p7vzdEFomkND7Vi .icon-shape,#mermaid-svg-5p7vzdEFomkND7Vi .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-5p7vzdEFomkND7Vi .icon-shape p,#mermaid-svg-5p7vzdEFomkND7Vi .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-5p7vzdEFomkND7Vi .icon-shape rect,#mermaid-svg-5p7vzdEFomkND7Vi .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-5p7vzdEFomkND7Vi .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-5p7vzdEFomkND7Vi .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-5p7vzdEFomkND7Vi :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

记忆检索流程

编码

ANN搜索

重排序

查询

向量表示

候选记忆

检索结果

记忆层次结构

输入信息

短期记忆

信息筛选

情景记忆

语义记忆

程序记忆

7 探索-利用权衡与策略优化

7.1 探索-利用困境的理论分析

7.1.1 多臂Bandit问题的启示

探索-利用权衡（Exploration-Exploitation Tradeoff）是强化学习的核心困境，也是Agent工作流优化必须面对的基本问题。多臂Bandit问题（Multi-Armed Bandit Problem）是研究这一问题的经典模型[16]。

在多臂Bandit问题中，Agent面临 $K$ 个动作选项（臂），每个臂的奖励服从未知分布。Agent的目标是通过有限次尝试最大化累积奖励。每次尝试时，Agent面临两难选择：利用（Exploitation）当前估计奖励最高的臂以获得即时收益，或探索（Exploration）其他臂以获取更准确的信息[14]。

形式化地，设臂 $i$ 的真实期望奖励为 ${\mu }_i$，Agent在时刻 $t$ 选择臂 $I_t$，获得奖励 $r_t\sim \mathcal{N}({\mu }_{I_t},{\sigma }^2)$。累积遗憾（Cumulative Regret）定义为：

$$R_T=T\cdot \underset{i}{\max }{\mu }_i-\sum _{t=1}^T{\mu }_{I_t}$$

遗憾度量了Agent与始终选择最优臂的理想策略之间的差距。优秀的算法应保证遗憾次线性增长，即 ${\lim }_{T\to \infty }{R}_T/T=0$[56]。

7.1.2 信息增益与不确定性量化

从信息论视角，探索的价值在于减少不确定性。信息增益（Information Gain）度量了执行某动作后对环境认知的改进程度。选择信息增益高的动作，即使其即时奖励不高，也可能带来长期收益[42]。

贝叶斯框架下，Agent维护对每个动作价值分布的信念 $P({\mu }_i|{\mathcal{H}}_t)$，其中 ${\mathcal{H}}_t$ 为历史观测。信息增益定义为执行动作 $a$ 前后信念分布的KL散度期望：

$$IG(a)={\mathbb{E}}_{r|a,{\mathcal{H}}_t}[D_{KL}(P(\mu |{\mathcal{H}}_t,a,r)\Vert P(\mu |{\mathcal{H}}_t))]$$

信息增益引导的探索策略优先选择能够最大程度减少价值不确定性的动作。Thompson Sampling和Information-Directed Sampling是基于信息增益的代表性算法[66]。

不确定性量化（Uncertainty Quantification）是指导探索的关键。对于神经网络策略，常用的不确定性估计方法包括：

• 集成方法：训练多个网络，用预测方差估计不确定性
• Dropout采样：在前向传播时启用Dropout，多次采样获得预测分布
• 贝叶斯神经网络：将权重视为随机变量，通过后验推断获得预测不确定性

在工作流优化中，不确定性高的步骤应获得更多探索机会，以验证其真实效果[61]。

7.1.3 乐观面对不确定性的原则

乐观面对不确定性（Optimism in the Face of Uncertainty）是设计高效探索策略的核心原则。该原则主张：对于不确定性高的选项，应乐观地假设其可能具有高收益，从而给予探索机会[62]。

上置信界（UCB）算法是乐观原则的经典实现。UCB为每个动作维护一个置信区间，选择置信上界最高的动作：

$$a_t=\arg \underset{a}{\max }\left[{\hat{\mu }}_a+c\sqrt{\frac{\ln t}{N_a}}\right]$$

其中 ${\hat{\mu }}_a$ 为动作 $a$ 的经验平均奖励，$N_a$ 为选择次数。第二项为置信区间宽度，随着尝试次数增加而减小。该公式实现了自动的探索-利用平衡：对尝试少的动作（$N_a$ 小），探索项占主导；对尝试多的动作，利用项占主导[16]。

UCB算法的遗憾上界为 $O(\sqrt{KT\ln T})$，接近理论下界。在Agent工作流优化中，UCB可以应用于工具选择、推理策略选择等多个层面，实现高效的探索[124]。

7.2 探索策略的设计与实现

7.2.1 Epsilon-贪婪与衰减策略

Epsilon-贪婪（$ϵ$-Greedy）是最简单的探索策略，以概率 $ϵ$ 随机探索，以概率 $1-ϵ$ 选择当前最优动作。形式化地，策略为[56]：

$$\pi (a|s)=\{\begin{array}{ll}1-ϵ+\frac{ϵ}{|\mathcal{A}|}& \text{if }a=\arg {\max }_{a^{\prime }}Q(s,a^{\prime })\\ \frac{ϵ}{|\mathcal{A}|}& \text{otherwise}\end{array}$$

$ϵ$-贪婪的优点是实现简单、计算开销小；缺点是探索完全随机，可能尝试明显劣质的动作，浪费样本。

衰减$ϵ$-贪婪（Decaying $ϵ$-Greedy）随着时间逐步降低探索率，实现从探索到利用的过渡：

$${ϵ}_t={ϵ}_0\cdot {\gamma }^t$$

或

$${ϵ}_t=\frac{{ϵ}_0}{1+\beta t}$$

其中 ${ϵ}_0$ 为初始探索率，$\gamma \in (0,1)$ 为衰减因子，$\beta$ 控制衰减速度。衰减策略符合直觉：初期需要大量探索建立价值估计，后期应更多利用已知信息[42]。

7.2.2 玻尔兹曼探索与熵正则化

玻尔兹曼探索（Boltzmann Exploration）根据动作价值的softmax分布进行采样，价值高的动作被选中的概率大，但所有动作都有非零概率：

$$\pi (a|s)=\frac{\exp (Q(s,a)/\tau )}{{\sum }_{a^{\prime }}\exp (Q(s,a^{\prime })/\tau )}$$

其中 $\tau$ 为温度参数。高温（$\tau \to \infty$）时分布趋于均匀，完全探索；低温（$\tau \to 0$）时分布趋于尖锐，贪婪利用[66]。

熵正则化（Entropy Regularization）将策略熵作为奖励的一部分，鼓励探索：

$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]+\alpha \cdot H({\pi }_{\theta }(\cdot |s))$$

其中 $H(\pi )=-{\sum }_a\pi (a)\log \pi (a)$ 为策略熵，$\alpha$ 控制正则化强度。Soft Actor-Critic（SAC）算法基于最大熵框架，在机器人控制、游戏等任务中表现出色[61]。

7.2.3 基于好奇心的内在动机

外在奖励（Extrinsic Reward）稀疏时，内在动机（Intrinsic Motivation）可以驱动探索。好奇心（Curiosity）是一种重要的内在动机，鼓励Agent探索新奇、不确定的状态[62]。

内在好奇心模块（Intrinsic Curiosity Module, ICM）通过预测下一个状态的表征来度量好奇心。设当前状态为 $s_t$，执行动作 $a_t$ 后观测到 $s_{t+1}$。ICM学习一个前向模型预测下一状态表征：

$$\hat{\varphi }(s_{t+1})=f(\varphi (s_t),a_t;{\theta }_F)$$

内在奖励定义为预测误差：

$$r_t^{int}=\Vert \varphi (s_{t+1})-\hat{\varphi }(s_{t+1}){\Vert }^2$$

预测误差大的状态被认为是"新奇的"，Agent被激励去探索。ICM避免了在原始观测空间预测，而是在学习到的表征空间预测，过滤了与决策无关的噪声[66]。

在工作流优化中，好奇心可以引导Agent尝试新颖的操作组合，发现非传统的解决方案。研究表明，结合内在奖励的训练能够发现更鲁棒、更通用的SOP[16]。

7.3 策略优化的稳定性与收敛性

7.3.1 策略更新的步长控制

策略梯度方法中，步长（Step Size）的选择至关重要。步长过大导致策略剧烈变化，可能崩溃到次优解；步长过小则收敛缓慢，且容易陷入局部最优[124]。

信任域方法通过约束策略更新的幅度来保证稳定性。TRPO使用KL散度约束：

$$\underset{\theta }{\max }\mathbb{E}\left[\frac{{\pi }_{\theta }(a|s)}{{\pi }_{{\theta }_{old}}(a|s)}{A}^{{\pi }_{{\theta }_{old}}}(s,a)\right]$$

$$\text{s.t. }\mathbb{E}[D_{KL}({\pi }_{{\theta }_{old}}(\cdot |s)\Vert {\pi }_{\theta }(\cdot |s))]\le \delta$$

该约束确保新策略与旧策略足够接近，避免灾难性遗忘（Catastrophic Forgetting）[56]。

PPO通过裁剪目标函数近似实现信任域约束，避免了昂贵的约束优化。裁剪机制自动限制概率比的范围，当概率比超出 $[1-ϵ,1+ϵ]$ 区间时，梯度为零，阻止进一步更新[16]。

7.3.2 经验回放与样本效率

经验回放（Experience Replay）是提升样本效率的关键技术。它将Agent的经验 $(s,a,r,s^{\prime })$ 存储在回放缓冲区（Replay Buffer）中，训练时随机采样小批量数据。这种方法打破了样本间的时间相关性，提高了数据利用效率[42]。

优先经验回放（Prioritized Experience Replay）根据TD误差为经验分配优先级，优先采样学习价值高的经验。采样概率为：

$$P(i)=\frac{|{\delta }_i{|}^{\alpha }}{{\sum }_j|{\delta }_j{|}^{\alpha }}$$

其中 ${\delta }_i$ 为第 $i$ 条经验的TD误差，$\alpha$ 控制优先级程度。优先回放使得Agent更关注"令人惊讶"的经验，加速学习[66]。

在工作流优化中，经验回放还可以实现跨任务学习。不同任务的经验存储在同一缓冲区，Agent可以从多样化的经验中学习通用的操作模式，提升泛化能力[61]。

7.3.3 多轮迭代中的策略退化问题

多轮强化学习训练中，策略退化（Policy Degradation）是常见问题。Agent可能在训练初期表现良好，但随着训练进行，策略质量反而下降。这种现象被称为"回声陷阱"（Echo Trap）[16]。

回声陷阱的产生机制是：Agent在早期探索中发现了某些高奖励轨迹，随着训练进行，策略过度拟合这些轨迹，失去了多样性。当这些轨迹实际上是次优的或依赖于特定条件时，策略性能就会下降。

防止策略退化的策略包括：

• 早停（Early Stopping）：监控验证集性能，当性能不再提升时停止训练
• 参考策略约束（Reference Policy Constraint）：通过KL散度约束新策略与初始参考策略的距离，防止偏离太远
• 多样性奖励（Diversity Reward）：奖励生成多样化轨迹的行为，鼓励探索
• 集成策略（Ensemble Policy）：维护多个策略，通过投票或平均降低单一策略退化的风险

在Agent工作流优化中，策略退化表现为工作流多样性的丧失——Agent反复使用相同的操作序列，即使面对不同类型的任务。保持策略多样性对于发现鲁棒的SOP至关重要[62]。

#mermaid-svg-9SiUdYMNH32xXSk3{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-9SiUdYMNH32xXSk3 .error-icon{fill:#552222;}#mermaid-svg-9SiUdYMNH32xXSk3 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-9SiUdYMNH32xXSk3 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-9SiUdYMNH32xXSk3 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-9SiUdYMNH32xXSk3 .marker.cross{stroke:#333333;}#mermaid-svg-9SiUdYMNH32xXSk3 svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-9SiUdYMNH32xXSk3 p{margin:0;}#mermaid-svg-9SiUdYMNH32xXSk3 .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster-label text{fill:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster-label span{color:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster-label span p{background-color:transparent;}#mermaid-svg-9SiUdYMNH32xXSk3 .label text,#mermaid-svg-9SiUdYMNH32xXSk3 span{fill:#333;color:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 .node rect,#mermaid-svg-9SiUdYMNH32xXSk3 .node circle,#mermaid-svg-9SiUdYMNH32xXSk3 .node ellipse,#mermaid-svg-9SiUdYMNH32xXSk3 .node polygon,#mermaid-svg-9SiUdYMNH32xXSk3 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-9SiUdYMNH32xXSk3 .rough-node .label text,#mermaid-svg-9SiUdYMNH32xXSk3 .node .label text,#mermaid-svg-9SiUdYMNH32xXSk3 .image-shape .label,#mermaid-svg-9SiUdYMNH32xXSk3 .icon-shape .label{text-anchor:middle;}#mermaid-svg-9SiUdYMNH32xXSk3 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-9SiUdYMNH32xXSk3 .rough-node .label,#mermaid-svg-9SiUdYMNH32xXSk3 .node .label,#mermaid-svg-9SiUdYMNH32xXSk3 .image-shape .label,#mermaid-svg-9SiUdYMNH32xXSk3 .icon-shape .label{text-align:center;}#mermaid-svg-9SiUdYMNH32xXSk3 .node.clickable{cursor:pointer;}#mermaid-svg-9SiUdYMNH32xXSk3 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-9SiUdYMNH32xXSk3 .arrowheadPath{fill:#333333;}#mermaid-svg-9SiUdYMNH32xXSk3 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-9SiUdYMNH32xXSk3 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-9SiUdYMNH32xXSk3 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9SiUdYMNH32xXSk3 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-9SiUdYMNH32xXSk3 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9SiUdYMNH32xXSk3 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster text{fill:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 .cluster span{color:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-9SiUdYMNH32xXSk3 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-9SiUdYMNH32xXSk3 rect.text{fill:none;stroke-width:0;}#mermaid-svg-9SiUdYMNH32xXSk3 .icon-shape,#mermaid-svg-9SiUdYMNH32xXSk3 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-9SiUdYMNH32xXSk3 .icon-shape p,#mermaid-svg-9SiUdYMNH32xXSk3 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-9SiUdYMNH32xXSk3 .icon-shape rect,#mermaid-svg-9SiUdYMNH32xXSk3 .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-9SiUdYMNH32xXSk3 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-9SiUdYMNH32xXSk3 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-9SiUdYMNH32xXSk3 :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

稳定性保障

策略优化

信任域约束

经验回放

早停机制

探索-利用策略

探索策略

Epsilon-贪婪

UCB

玻尔兹曼

好奇心驱动

衰减epsilon

乐观原则

温度调节

预测误差

8 未来展望与挑战

8.1 当前研究的局限性

8.1.1 样本效率与计算成本

尽管强化学习在Agent工作流优化中展现出巨大潜力，但样本效率低下仍是制约其实际应用的主要瓶颈。训练一个能够处理复杂任务的Agent往往需要数百万甚至数千万次交互，这在真实环境中是不可接受的[137]。

计算成本同样是一个严峻挑战。大型语言模型作为Agent的推理引擎，每次前向传播都需要大量计算资源。结合强化学习的多轮迭代训练，总体计算成本可能达到数百万美元。这种高成本限制了研究的普及和技术的 democratization[16]。

提升样本效率的可能方向包括：

• 模型-based RL：学习环境模型，通过规划减少真实交互需求
• 迁移学习：将在相似任务上学到的知识迁移到新任务
• 元学习：学习如何快速学习，使Agent能够迅速适应新环境
• 课程学习：从简单任务开始，逐步增加难度，加速学习进程

8.1.2 奖励设计的工程依赖

强化学习的性能很大程度上依赖于奖励函数的设计。在Agent工作流场景中，定义一个既能准确反映任务目标、又能引导有效学习的奖励函数极具挑战性[124]。

奖励设计面临的主要困难包括：

• 稀疏奖励：大多数中间步骤没有明确的反馈，导致学习信号弱
• 奖励作弊（Reward Hacking）：Agent可能找到奖励函数的漏洞，以非预期方式获得高奖励
• 多目标权衡：实际任务往往涉及多个目标，如何平衡这些目标缺乏统一标准
• 领域特异性：不同任务需要不同的奖励设计，难以通用化

过程奖励模型（PRM）为自动奖励学习提供了方向，但PRM本身的训练仍需要大量标注数据。开发能够从少量示范或自然语言指令中自动推断奖励的方法，是降低工程依赖的关键[56]。

8.1.3 泛化能力与分布外场景

当前Agent工作流优化方法在训练分布内表现良好，但面对分布外（Out-of-Distribution, OOD）场景时往往失效。这种泛化能力的缺失限制了Agent在实际应用中的可靠性[141]。

泛化能力不足的原因包括：

• 过拟合训练任务：Agent可能记住了训练任务的特定模式，而非学习通用原理
• 缺乏组合泛化：面对训练时未见过的操作组合，Agent难以有效应对
• 对噪声敏感：真实环境中的观测噪声、工具故障等可能导致Agent行为异常

提升泛化能力需要：更丰富的训练数据、更强的正则化技术、显式的因果推理能力，以及更鲁棒的策略表示[42]。

8.2 前沿研究方向

8.2.1 世界模型与模型预测控制

世界模型（World Model）是强化学习的前沿方向，它使Agent能够学习环境动态，在内部模拟中进行规划和决策。与学习到的策略相比，基于世界模型的规划具有更好的泛化能力和可解释性[66]。

世界模型的核心组件包括：

• 状态表征模型：将高维观测压缩为紧凑的潜在状态
• 转移模型：预测给定动作后的下一状态
• 奖励模型：预测状态-动作对的即时奖励

有了世界模型，Agent可以使用模型预测控制（Model Predictive Control, MPC）进行规划。MPC通过蒙特卡洛树搜索（MCTS）或交叉熵方法（CEM）在模型中模拟多条轨迹，选择最优动作。这种方法将学习与规划分离，策略可以更灵活地适应新目标[61]。

在Agent工作流场景中，世界模型可以预测不同操作的效果，帮助Agent进行前瞻性的工作流规划。例如，在执行复杂数据分析前，Agent可以在世界模型中模拟不同分析路径，选择最可能成功的方案[145]。

8.2.2 神经符号结合与可解释性

纯神经网络方法虽然在模式识别方面表现出色，但在逻辑推理和可解释性方面存在不足。神经符号结合（Neuro-Symbolic Integration）旨在融合神经网络的学习能力和符号系统的推理能力[62]。

神经符号Agent的典型架构包括：

• 感知模块：神经网络处理原始输入，提取结构化信息
• 符号推理引擎：基于逻辑规则进行显式推理
• 神经-符号接口：将神经输出转换为符号表示，或将符号规则嵌入神经网络

可解释性（Interpretability）是Agent工作流在实际部署中的关键需求。用户需要理解Agent的决策依据，才能信任并有效监督其行为。符号化的工作流表示（如条件-动作规则）比神经网络权重更容易理解和验证[137]。

过程奖励模型本身就具有可解释性优势——它明确指出了每个步骤的质量评估，帮助用户理解Agent的推理过程。未来研究可以进一步探索如何将PRM与符号推理结合，生成人类可理解的工作流解释[16]。

8.2.3 持续学习与灾难性遗忘

持续学习（Continual Learning）研究如何使Agent在学习新任务的同时保持旧任务的能力。这是实现真正自主进化的关键——Agent需要在整个生命周期中不断积累知识，而非针对每个任务从头训练[124]。

灾难性遗忘（Catastrophic Forgetting）是持续学习的主要障碍。当神经网络针对新任务训练时，可能覆盖旧任务的权重，导致旧任务性能急剧下降。解决遗忘问题的主要策略包括：

• 正则化方法：限制重要参数的变化，如EWC（Elastic Weight Consolidation）
• 回放方法：保留旧任务样本，与新任务一起训练
• 模块化架构：为不同任务使用不同子网络，避免干扰
• 元学习方法：学习不易遗忘的表示

在Agent工作流优化中，持续学习意味着Agent能够从每个新任务中学习，不断改进其SOP库。有效的持续学习机制将使Agent越用越聪明，真正实现自我进化[56]。

8.3 应用前景与社会影响

8.3.1 自动化工作流编排的工业应用

Agent工作流自我进化技术在工业领域具有广阔的应用前景。在软件开发中，能够自主规划、编码、测试、部署的AI工程师将大幅提升开发效率；在客户服务中，能够动态调整策略的智能客服将提供更优质的用户体验；在科学研究中，能够自主设计实验、分析数据的AI助手将加速发现进程[141]。

表3 Agent工作流自我进化技术的潜在应用领域

8.3.2 人机协作的新范式

Agent工作流自我进化将重塑人机协作模式。传统的人机交互是命令-响应式的：人发出指令，机器执行。未来的协作将更加对等和动态：人与Agent共同规划任务、分工执行、相互学习[42]。

在人机协作中，Agent需要具备以下能力：

• 意图理解：准确理解人类的目标和约束
• 主动沟通：在不确定时主动询问，在执行中主动汇报
• 适应性：根据人类反馈快速调整行为
• 可教性：能够从人类示范和纠正中学习

强化学习为训练协作型Agent提供了框架。通过将人类建模为环境的一部分，Agent可以学习最大化联合任务成功率的最优策略。逆强化学习（Inverse RL）还可以从人类行为中推断奖励函数，使Agent更好地对齐人类意图[66]。

8.3.3 安全对齐与价值约束

随着Agent自主性的提升，安全对齐（Safety Alignment）成为不可忽视的问题。自我进化的Agent可能发现人类未预期到的策略，其中一些可能是有害的或违背人类价值观的[61]。

确保Agent安全的关键措施包括：

• 价值对齐：将人类价值观编码为约束条件或奖励函数的一部分
• 能力控制：限制Agent的行动范围，防止其获得危险能力
• 可中断性：确保人类可以随时接管或停止Agent
• 透明性：Agent能够解释其行为依据，接受人类审查

Constitutional AI等方法尝试通过原则约束引导Agent行为。Agent在训练时不仅最大化任务奖励，还需遵守预定义的行为准则。强化学习中的约束MDP（Constrained MDP）框架为形式化安全约束提供了数学工具[145]。

Agent工作流自我进化技术的发展必须与安全研究同步推进。只有在确保可控、可信的前提下，这项技术才能真正造福社会。

#mermaid-svg-MSZpvMoWBHaPfPcC{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-MSZpvMoWBHaPfPcC .error-icon{fill:#552222;}#mermaid-svg-MSZpvMoWBHaPfPcC .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-MSZpvMoWBHaPfPcC .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-MSZpvMoWBHaPfPcC .marker{fill:#333333;stroke:#333333;}#mermaid-svg-MSZpvMoWBHaPfPcC .marker.cross{stroke:#333333;}#mermaid-svg-MSZpvMoWBHaPfPcC svg{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-MSZpvMoWBHaPfPcC p{margin:0;}#mermaid-svg-MSZpvMoWBHaPfPcC .label{font-family:\”trebuchet ms\”,verdana,arial,sans-serif;color:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster-label text{fill:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster-label span{color:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster-label span p{background-color:transparent;}#mermaid-svg-MSZpvMoWBHaPfPcC .label text,#mermaid-svg-MSZpvMoWBHaPfPcC span{fill:#333;color:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC .node rect,#mermaid-svg-MSZpvMoWBHaPfPcC .node circle,#mermaid-svg-MSZpvMoWBHaPfPcC .node ellipse,#mermaid-svg-MSZpvMoWBHaPfPcC .node polygon,#mermaid-svg-MSZpvMoWBHaPfPcC .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-MSZpvMoWBHaPfPcC .rough-node .label text,#mermaid-svg-MSZpvMoWBHaPfPcC .node .label text,#mermaid-svg-MSZpvMoWBHaPfPcC .image-shape .label,#mermaid-svg-MSZpvMoWBHaPfPcC .icon-shape .label{text-anchor:middle;}#mermaid-svg-MSZpvMoWBHaPfPcC .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-MSZpvMoWBHaPfPcC .rough-node .label,#mermaid-svg-MSZpvMoWBHaPfPcC .node .label,#mermaid-svg-MSZpvMoWBHaPfPcC .image-shape .label,#mermaid-svg-MSZpvMoWBHaPfPcC .icon-shape .label{text-align:center;}#mermaid-svg-MSZpvMoWBHaPfPcC .node.clickable{cursor:pointer;}#mermaid-svg-MSZpvMoWBHaPfPcC .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-MSZpvMoWBHaPfPcC .arrowheadPath{fill:#333333;}#mermaid-svg-MSZpvMoWBHaPfPcC .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-MSZpvMoWBHaPfPcC .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-MSZpvMoWBHaPfPcC .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MSZpvMoWBHaPfPcC .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-MSZpvMoWBHaPfPcC .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MSZpvMoWBHaPfPcC .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster text{fill:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC .cluster span{color:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\”trebuchet ms\”,verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-MSZpvMoWBHaPfPcC .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-MSZpvMoWBHaPfPcC rect.text{fill:none;stroke-width:0;}#mermaid-svg-MSZpvMoWBHaPfPcC .icon-shape,#mermaid-svg-MSZpvMoWBHaPfPcC .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-MSZpvMoWBHaPfPcC .icon-shape p,#mermaid-svg-MSZpvMoWBHaPfPcC .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-MSZpvMoWBHaPfPcC .icon-shape rect,#mermaid-svg-MSZpvMoWBHaPfPcC .image-shape rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-MSZpvMoWBHaPfPcC .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-MSZpvMoWBHaPfPcC .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-MSZpvMoWBHaPfPcC :root{–mermaid-font-family:\”trebuchet ms\”,verdana,arial,sans-serif;}

应用前景

软件开发

工业应用

客户服务

科学研究

教育培训

未来发展方向

当前局限

样本效率

奖励设计

泛化能力

世界模型

自动奖励学习

神经符号结合

持续学习

安全对齐

参考文献

[1] Yao S, Zhao J, Yu D, et al. ReAct: Synergizing reasoning and acting in language models[C]//International Conference on Learning Representations. 2023.

[2] Lewis P, Perez E, Piktus A, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks[J]. Advances in Neural Information Processing Systems, 2020, 33: 9459-9474.

[3] Tao Z, Lin T E, Chen X, et al. A survey on self-evolution of large language models[J]. arXiv preprint arXiv:2404.14387, 2024.

[4] Shinn N, Cassano F, Berman E, et al. Reflexion: Language agents with verbal reinforcement learning[C]//Advances in Neural Information Processing Systems. 2023, 36.

[5] Zhou Y, Levine S, Weston J, et al. Self-challenging language model agents[J]. arXiv preprint arXiv:2502.02392, 2025.

[6] Putta P, Mills E, Garg N, et al. Agent Q: Advanced reasoning and learning for autonomous AI agents[J]. arXiv preprint arXiv:2408.07199, 2024.

[7] Lightman H, Kosaraju V, Burda Y, et al. Let’s verify step by step[C]//International Conference on Learning Representations. 2024.

[8] Shao Z, Wang P, Zhu Q, et al. DeepSeekMath: Pushing the limits of mathematical reasoning in open language models[J]. arXiv preprint arXiv:2402.03300, 2024.

[9] Vezhnevets A S, Osindero S, Schaul T, et al. FeUdal networks for hierarchical reinforcement learning[C]//International Conference on Machine Learning. PMLR, 2017: 3540-3549.

[10] Lake B M, Ullman T D, Tenenbaum J B, et al. Building machines that learn and think like people[J]. Behavioral and Brain Sciences, 2017, 40.

[11] Jimenez C E, Yang J, Wettig A, et al. SWE-bench: Can language models resolve real-world github issues?[C]//The Twelfth International Conference on Learning Representations. 2024.

[12] Boiko D A, MacKnight R, Gomes G. Emergent autonomous scientific research capabilities of large language models[J]. arXiv preprint arXiv:2304.05332, 2023.

[13] Qin Y, Liang S, Ye Y, et al. ToolLLM: Facilitating large language models to master 16000+ real-world APIs[J]. arXiv preprint arXiv:2307.16789, 2023.

[14] Sutton R S, Barto A G. Reinforcement learning: An introduction[M]. MIT press, 2018.

[15] Wang L, Ma C, Feng X, et al. A survey on large language model based autonomous agents[J]. Frontiers of Computer Science, 2024, 18(6): 186345.

[16] Zhang C, Zhang C, Li C, et al. Small language models need strong verifiers to self-correct reasoning[J]. arXiv preprint arXiv:2404.17140, 2024.

[17] Bellman R. Dynamic programming[J]. Science, 1966, 153(3731): 34-37.

[18] Schulman J, Moritz P, Levine S, et al. High-dimensional continuous control using generalized advantage estimation[C]//International Conference on Learning Representations. 2016.

[19] Kaelbling L P, Littman M L, Cassandra A R. Planning and acting in partially observable stochastic domains[J]. Artificial Intelligence, 1998, 101(1-2): 99-134.

[20] Wang G, Xie Y, Jiang Y, et al. Voyage: An open-ended embodied agent with large language models[C]//Empirical Methods in Natural Language Processing. 2023.

[21] Sutton R S, McAllester D, Singh S, et al. Policy gradient methods for reinforcement learning with function approximation[C]//Advances in Neural Information Processing Systems. 1999, 12.

[22] Williams R J. Simple statistical gradient-following algorithms for connectionist reinforcement learning[J]. Machine Learning, 1992, 8: 229-256.

[23] Greensmith E, Bartlett P L, Baxter J. Variance reduction techniques for gradient estimates in reinforcement learning[J]. Journal of Machine Learning Research, 2004, 5(9).

[24] Mnih V, Badia A P, Mirza M, et al. Asynchronous methods for deep reinforcement learning[C]//International Conference on Machine Learning. PMLR, 2016: 1928-1937.

[25] Stiennon N, Ouyang L, Wu J, et al. Learning to summarize with human feedback[C]//Advances in Neural Information Processing Systems. 2020, 33: 3008-3021.

[26] Schulman J, Levine S, Abbeel P, et al. Trust region policy optimization[C]//International Conference on Machine Learning. PMLR, 2015: 1889-1897.

[27] Kakade S, Langford J. Approximately optimal approximate reinforcement learning[C]//International Conference on Machine Learning. 2002, 2: 267-274.

[28] Schulman J, Wolski F, Dhariwal P, et al. Proximal policy optimization algorithms[J]. arXiv preprint arXiv:1707.06347, 2017.

[29] Engstrom L, Ilyas A, Santurkar S, et al. Implementation matters in deep RL: A case study on PPO and TRPO[C]//International Conference on Learning Representations. 2020.

[30] DeepSeek-AI. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning[J]. arXiv preprint arXiv:2501.12948, 2025.

[31] Liu Z, Qiao A, Neiswanger W. Q*: Improving multi-step reasoning for LLMs with deliberative planning[J]. arXiv preprint arXiv:2410.14255, 2024.

[32] Guo D, Yang D, Zhang H, et al. DeepSeek-Coder-V2: Breaking the barrier of closed-source models in code intelligence[J]. arXiv preprint arXiv:2406.11931, 2024.

[33] Hao S, Gu Y, Ma H, et al. Reasoning with language model is planning with world model[J]. arXiv preprint arXiv:2305.14992, 2023.

[34] Bacon P L, Harb J, Precup D. The option-critic architecture[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2017, 31(1).

[35] Sutton R S, Precup D, Singh S. Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning[J]. Artificial Intelligence, 1999, 112(1-2): 181-211.

[36] Xi Z, Chen W, Guo X, et al. The rise and potential of large language model based agents: A survey[J]. Science China Information Sciences, 2023, 66(8): 181201.

[37] Lu J, Zhong W, Huang W, et al. SELF: Self-evolution with language feedback[J]. arXiv preprint arXiv:2310.00533, 2023.

[38] Bellman R. Dynamic programming[M]. Princeton University Press, 1957.

[39] Wang X, Zhu C, Zheng Z. Instruction polisher: Refine task instructions to eliminate ambiguity[J]. arXiv preprint arXiv:2402.09674, 2024.

[40] Kingma D P, Welling M. Auto-encoding variational bayes[C]//International Conference on Learning Representations. 2014.

[41] Wang P, Li L, Shao Z, et al. Math-shepherd: Verify and reinforce LLMs step-by-step without human annotations[C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024: 9426-9439.

[42] Qin Y, Hu S, Lin Y, et al. Tool learning with foundation models[J]. ACM Computing Surveys, 2024, 57(4): 1-40.

[43] Song K, Moeini A, Wang P, et al. Reward is enough: LLMs are in-context reinforcement learners[J]. arXiv preprint arXiv:2506.06303, 2025.

[44] Miettinen K. Nonlinear multiobjective optimization[M]. Springer Science & Business Media, 1999.

[45] Deb K. Multi-objective optimization using evolutionary algorithms[M]. John Wiley & Sons, 2001.

[46] Hayes C F, Rădulescu R, Bargiacchi E, et al. A practical guide to multi-objective reinforcement learning and planning[J]. Autonomous Agents and Multi-Agent Systems, 2022, 36(1): 26.

[47] Arjona-Medina J A, Gillhofer M, Widrich M, et al. RUDDER: Return decomposition for delayed rewards[C]//Advances in Neural Information Processing Systems. 2019, 32.

[48] Sutton R S. Learning to predict by the methods of temporal differences[J]. Machine Learning, 1988, 3: 9-44.

[49] Seijen H V, Sutton R S. True online TD(lambda)[C]//International Conference on Machine Learning. PMLR, 2014: 692-700.

[50] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017, 30.

[51] Parisotto E, Song H F, Rae J W, et al. Stabilizing transformers for reinforcement learning[C]//International Conference on Machine Learning. PMLR, 2020: 7487-7498.

[52] Cobbe K, Hesse C, Hilton J, et al. Training verifiers to solve math word problems[J]. arXiv preprint arXiv:2110.14168, 2021.

[53] Uesato J, Kushman N, Kumar R, et al. Solving math word problems with process-and outcome-based feedback[J]. arXiv preprint arXiv:2211.14275, 2022.

[54] Setlur A, Garg S, Geng X, et al. Rewarding progress: Scaling automated process verifiers for LLM reasoning[J]. arXiv preprint arXiv:2410.08146, 2024.

[55] Snell C, Lee J, Xu K, et al. Scaling LLM test-time compute optimally can be more effective than scaling model parameters[J]. arXiv preprint arXiv:2408.03314, 2024.

[56] Luo L, Liu Y, Liu R, et al. An empirical study of autoregressive pre-training from videos[J]. arXiv preprint arXiv:2405.01212, 2024.

[57] Precup D, Sutton R S, Dasgupta S. Off-policy temporal-difference learning with function approximation[C]//International Conference on Machine Learning. 2001.

[58] Chen X, Zhong Z, Chen Z, et al. Meta learning for natural language processing: A survey[C]//Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023: 6272-6289.

[59] Xia R, Pan L, Luo J. Learning to rank for information retrieval and natural language processing[J]. Synthesis Lectures on Human Language Technologies, 2024, 17(3): 1-121.

[60] Feng X, Zhang Z, Guo D. Towards large reasoning models: A survey of reinforced reasoning with large language models[J]. arXiv preprint arXiv:2501.09686, 2025.

[61] Luo H, Sun Q, Xu C, et al. WizardMath: Empowering mathematical reasoning for large language models via reinforced evol-instruct[J]. arXiv preprint arXiv:2308.09583, 2023.

[62] An S, Ma Y, Zhang Y, et al. Making language models better reasoners with step-aware verifier[J]. arXiv preprint arXiv:2206.02336, 2022.

[63] Luo L, Liu Y, Liu R, et al. OmegaPRM: Omega-shaped process reward model for mathematical reasoning[J]. arXiv preprint arXiv:2406.07394, 2024.

[64] Busoniu L, Babuska R, De Schutter B. A comprehensive survey of multiagent reinforcement learning[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C, 2008, 38(2): 156-172.

[65] Nash J. Non-cooperative games[J]. Annals of Mathematics, 1951: 286-295.

[66] Hernandez-Leal P, Kaisers M, Baarslag T, et al. A survey of learning in multiagent environments: Dealing with non-stationarity[J]. arXiv preprint arXiv:1707.09183, 2017.

[67] Von Neumann J, Morgenstern O. Theory of games and economic behavior[M]. Princeton University Press, 1944.

[68] Silver D, Hubert T, Schrittwieser J, et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play[J]. Science, 2018, 362(6419): 1140-1144.

[69] Stone P, Veloso M. Multiagent systems: A survey from a machine learning perspective[J]. Autonomous Robots, 2000, 8(3): 345-383.

[70] Shapley L S. A value for n-person games[J]. Contributions to the Theory of Games, 1953, 2(28): 307-317.

[71] Ghorbani A, Zou J. Data shapley: Equitable valuation of data for machine learning[C]//International Conference on Machine Learning. PMLR, 2019: 2242-2251.

[72] Tan M. Multi-agent reinforcement learning: Independent vs. cooperative agents[C]//International Conference on Machine Learning. 1993.

[73] Lowe R, Wu Y, Tamar A, et al. Multi-agent actor-critic for mixed cooperative-competitive environments[C]//Advances in Neural Information Processing Systems. 2017, 30.

[74] Sunehag P, Lever G, Gruslys A, et al. Value-decomposition networks for cooperative multi-agent learning based on team reward[C]//Proceedings of the 17th International Conference on Autonomous Agents and MultiAgent Systems. 2018: 2085-2087.

[75] Rashid T, Samvelyan M, De Witt C S, et al. QMIX: Monotonic value function factorisation for deep multi-agent reinforcement learning[C]//International Conference on Machine Learning. PMLR, 2018: 4295-4304.

[76] Foerster J N, Assael Y M, de Freitas N, et al. Learning to communicate with deep multi-agent reinforcement learning[C]//Advances in Neural Information Processing Systems. 2016, 29.

[77] Das A, Gervet T, Romoff J, et al. TarMAC: Targeted multi-agent communication[C]//International Conference on Machine Learning. PMLR, 2019: 1538-1546.

[78] Hong S, Zheng X, Chen J, et al. MetaGPT: Meta programming for multi-agent collaborative framework[J]. arXiv preprint arXiv:2308.00352, 2023.

[79] Silver D, Schrittwieser J, Simonyan K, et al. Mastering the game of Go without human knowledge[J]. Nature, 2017, 550(7676): 354-359.

[80] Bengio Y, Louradour J, Collobert R, et al. Curriculum learning[C]//International Conference on Machine Learning. 2009: 41-48.

[81] Heinrich J, Lanctot M, Silver D. Fictitious self-play in extensive-form games[C]//International Conference on Machine Learning. PMLR, 2015: 805-813.

[82] Portelas R, Colas L, Weng L, et al. Automatic curriculum learning for deep RL: A short survey[C]//International Joint Conference on Artificial Intelligence. 2020.

[83] Qi Z, Liu X, Iong I L, et al. WebRL: Training LLM web agents via self-evolving online curriculum reinforcement learning[J]. arXiv preprint arXiv:2411.02337, 2024.

[84] Baker B, Kanitscheider I, Markov T, et al. Emergent tool use from multi-agent autocurricula[C]//International Conference on Learning Representations. 2020.

[85] Singh A, Jain T, Sukhbaatar S. Learning when to communicate at scale in multiagent cooperative and competitive tasks[C]//International Conference on Learning Representations. 2019.

[86] Qian C, Cong X, Yang C, et al. Communicative agents for software development[C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024: 15174-15186.

[87] Atkinson R C, Shiffrin R M. Human memory: A proposed system and its control processes[J]. Psychology of Learning and Motivation, 1968, 2: 89-195.

[88] Wu Y, Min S, Bisk Y, et al. MemGPT: Towards LLMs as operating systems[J]. arXiv preprint arXiv:2310.08560, 2023.

[89] Zhong W, Guo L, Gao Q, et al. MemoryBank: Enhancing large language models with long-term memory[J]. arXiv preprint arXiv:2305.10250, 2023.

[90] Tulving E. Elements of episodic memory[M]. Oxford University Press, 1983.

[91] Wang Z, Zhang S, Li Y, et al. APIGen: Automated pipeline for generating verifiable and diverse function-calling datasets[J]. arXiv preprint arXiv:2406.18518, 2024.

[92] Miller G A. WordNet: A lexical database for English[J]. Communications of the ACM, 1995, 38(11): 39-41.

[93] Anderson J R. Skill acquisition: Compilation of weak-method problem solutions[J]. Psychological Review, 1987, 94(2): 192.

[94] Manning C D, Raghavan P, Schütze H. Introduction to information retrieval[M]. Cambridge University Press, 2008.

[95] Malkov Y A, Yashunin D A. Efficient and robust approximate nearest neighbor search using hierarchical navigable small world graphs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(4): 824-836.

[96] Hogan A, Blomqvist E, Cochez M, et al. Knowledge graphs[J]. ACM Computing Surveys, 2021, 54(4): 1-37.

[97] Wang S, Liu J, Wei Y. Hybrid index structures for fast approximate nearest neighbor search[J]. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(5): 4567-4581.

[98] Jurafsky D, Martin J H. Speech and language processing[M]. Pearson Education India, 2000.

[99] Zhang S, Chen C, Liu Z. Knowledge extraction from neural networks for nlp tasks[J]. Natural Language Engineering, 2023, 29(3): 567-589.

[100] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.

[101] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Advances in Neural Information Processing Systems. 2013, 26.

[102] Oord A, Li Y, Vinyals O. Representation learning with contrastive predictive coding[J]. arXiv preprint arXiv:1807.03748, 2018.

[103] Johnson J, Douze M, Jégou H. Billion-scale similarity search with GPUs[J]. IEEE Transactions on Big Data, 2019, 7(3): 535-547.

[104] French R M. Catastrophic forgetting in connectionist networks[J]. Trends in Cognitive Sciences, 1999, 3(4): 128-135.

[105] O’Neil E J, O’Neil P E, Weikum G. The LRU-K page replacement algorithm for database disk buffering[C]//ACM SIGMOD Record. 1993, 22(2): 297-306.

[106] Korb K B, Nicholson A E. Bayesian artificial intelligence[M]. CRC Press, 2010.

[107] Kolodner J L. An introduction to case-based reasoning[J]. Artificial Intelligence Review, 1994, 6(1): 3-34.

[108] Han J, Pei J, Tong H. Data mining: Concepts and techniques[M]. Morgan Kaufmann, 2022.

[109] Aamodt A, Plaza E. Case-based reasoning: Foundational issues, methodological variations, and system approaches[J]. AI Communications, 1994, 7(1): 39-59.

[110] Watson I, Marir F. Case-based reasoning: A review[J]. Knowledge Engineering Review, 1994, 9(4): 355-381.

[111] Richter M M, Weber R O. Case-based reasoning: A textbook[M]. Springer Science & Business Media, 2016.

[112] Weber R O, Ashley K D, Brüninghaus S. Textual case-based reasoning[J]. Knowledge Engineering Review, 2006, 20(3): 255-260.

[113] Bergmann R, Kolodner J, Plaza E. Representation in case-based reasoning[C]//Proceedings of the 15th International Joint Conference on Artificial Intelligence. 2005.

[114] Pathak D, Agrawal P, Efros A A, et al. Curiosity-driven exploration by self-supervised prediction[C]//International Conference on Machine Learning. PMLR, 2017: 2778-2787.

[115] Auer P, Cesa-Bianchi N, Fischer P. Finite-time analysis of the multiarmed bandit problem[J]. Machine Learning, 2002, 47: 235-256.

[116] Frazier P I. A tutorial on Bayesian optimization[J]. arXiv preprint arXiv:1807.02811, 2018.

[117] Lattimore T, Szepesvári C. Bandit algorithms[M]. Cambridge University Press, 2020.

[118] Bubeck S, Cesa-Bianchi N. Regret analysis of stochastic and nonstochastic multi-armed bandit problems[J]. Foundations and Trends in Machine Learning, 2012, 5(1): 1-122.

[119] Lindley D V. On a measure of the information provided by an experiment[J]. The Annals of Mathematical Statistics, 1956, 27(4): 986-1005.

[120] Russo D J, Van Roy B, Kazerouni A, et al. A tutorial on Thompson sampling[J]. Foundations and Trends in Machine Learning, 2018, 11(1): 1-96.

[121] Gal Y, Ghahramani Z. Dropout as a Bayesian approximation: Representing model uncertainty in deep learning[C]//International Conference on Machine Learning. PMLR, 2016: 1050-1059.

[122] Lai T L, Robbins H. Asymptotically efficient adaptive allocation rules[J]. Advances in Applied Mathematics, 1985, 6(1): 4-22.

[123] Auer P. Using confidence bounds for exploitation-exploration trade-offs[J]. Journal of Machine Learning Research, 2002, 3(Nov): 397-422.

[124] Kuleshov V, Precup D. Algorithms for multi-armed bandit problems[J]. arXiv preprint arXiv:1402.6028, 2014.

[125] Watkins C J, Dayan P. Q-learning[J]. Machine Learning, 1992, 8: 279-292.

[126] Even-Dar E, Mannor S, Mansour Y. Action elimination and stopping conditions for the multi-armed bandit and reinforcement learning problems[J]. Journal of Machine Learning Research, 2006, 7(6).

[127] Cesa-Bianchi N, Gentile C, Lugosi G, et al. Gambling in a rigged casino: The adversarial multi-armed bandit problem[J]. Foundations of Computer Science, 1996: 322-331.

[128] Haarnoja T, Zhou A, Abbeel P, et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor[C]//International Conference on Machine Learning. PMLR, 2018: 1861-1870.

[129] Schmidhuber J. Formal theory of creativity, fun, and intrinsic motivation (1990-2010)[J]. IEEE Transactions on Autonomous Mental Development, 2010, 2(3): 230-247.

[130] Burda Y, Edwards H, Storkey A, et al. Exploration by random network distillation[C]//International Conference on Learning Representations. 2019.

[131] Ilyas A, Engstrom L, Santurkar S, et al. A closer look at deep policy gradients[C]//International Conference on Learning Representations. 2020.

[132] Kirkpatrick J, Pascanu R, Rabinowitz N, et al. Overcoming catastrophic forgetting in neural networks[J]. Proceedings of the National Academy of Sciences, 2017, 114(13): 3521-3526.

[133] Lin L J. Self-improving reactive agents based on reinforcement learning, planning and teaching[J]. Machine Learning, 1992, 8: 293-321.

[134] Schaul T, Quan J, Antonoglou I, et al. Prioritized experience replay[C]//International Conference on Learning Representations. 2016.

[135] Taylor M E, Stone P. Transfer learning for reinforcement learning domains: A survey[J]. Journal of Machine Learning Research, 2009, 10(7).

[136] Ecoffet A, Huizinga J, Lehman J, et al. Go-explore: a new approach for hard-exploration problems[J]. arXiv preprint arXiv:1901.10995, 2019.

[137] Yu T, Quillen D, He Z, et al. Meta-world: A benchmark and evaluation for multi-task and meta reinforcement learning[C]//Conference on Robot Learning. PMLR, 2020: 1094-1100.

[138] Patterson D, Gonzalez J, Le Q, et al. Carbon emissions and large neural network training[J]. arXiv preprint arXiv:2104.10350, 2021.

[139] Amodei D, Olah C, Steinhardt J, et al. Concrete problems in AI safety[J]. arXiv preprint arXiv:1606.06565, 2016.

[140] Ziegler D M, Stiennon N, Wu J, et al. Fine-tuning language models from human preferences[J]. arXiv preprint arXiv:1909.08593, 2019.

[141] Kirk R, Zhang A, Grefenstette E, et al. A survey on generalisation in reinforcement learning[J]. arXiv preprint arXiv:2111.09794, 2021.

[142] Cobbe K, Klimov O, Hesse C, et al. Quantifying generalization in reinforcement learning[C]//International Conference on Machine Learning. PMLR, 2019: 1282-1289.

[143] Ha D, Schmidhuber J. World models[J]. arXiv preprint arXiv:1803.10122, 2018.

[144] Chua K, Calandra R, McAllister R, et al. Deep reinforcement learning in a handful of trials using probabilistic dynamics models[C]//Advances in Neural Information Processing Systems. 2018, 31.

[145] Hafner D, Lillicrap T, Ba J, et al. Dream to control: Learning behaviors by latent imagination[C]//International Conference on Learning Representations. 2020.

[146] Garcez A d, Lamb L C. Neurosymbolic AI: The 3rd wave[J]. Artificial Intelligence Review, 2023, 56(11): 12387-12406.

[147] Gunning D, Stefik M, Choi J, et al. XAI—Explainable artificial intelligence[J]. Science Robotics, 2019, 4(37).

[148] Camburu O M, Rocktäschel T, Lukasiewicz T, et al. e-SNLI: Natural language inference with natural language explanations[C]//Advances in Neural Information Processing Systems. 2018, 31.

[149] Parisi G I, Kemker R, Part J L, et al. Continual lifelong learning with neural networks: A review[J]. Neural Networks, 2019, 113: 54-71.

[150] Thrun S. Lifelong learning algorithms[M]//Learning to Learn. Springer, 1998: 181-209.

[151] Bommasani R, Hudson D A, Adeli E, et al. On the opportunities and risks of foundation models[J]. arXiv preprint arXiv:2108.07258, 2021.

[152] Amershi S, Weld D, Vorvoreanu M, et al. Guidelines for human-AI interaction[C]//Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 2019: 1-13.

[153] Arora S, Doshi P. A survey of inverse reinforcement learning: Challenges, methods and progress[J]. Artificial Intelligence, 2021, 297: 103500.

[154] Russell S. Human compatible: Artificial intelligence and the problem of control[M]. Penguin, 2019.

[155] Bai Y, Kadavath S, Kundu S, et al. Constitutional AI: Harmlessness from AI feedback[J]. arXiv preprint arXiv:2212.08073, 2022.