《Hello-Agents》第一至三章 核心知识 梳理总结

一句话串联：智能体 = 能感知环境并自主行动的实体（第一章）→ 其"大脑"历经符号规则与学习范式，最终落在 LLM（第二章）→ 而 LLM 本质是在海量文本上预训练出的"预测下一个词"的自回归模型（第三章）。

第一章 初识智能体（重点）

1.1 什么是智能体

1.1.1 定义与四个基本要素

智能体（Agent）：能通过传感器感知环境，并自主地通过执行器采取行动以达成目标的实体。

关键结论：从感知到行动的闭环是一切智能体行为的基础；判断"是不是智能体"看有无自主闭环，而非算力强弱。

1.1.2 传统智能体的演进五阶梯

这条演进线本身就是最经典的分类阶梯（源自《Artificial Intelligence: A Modern Approach》）：

演进逻辑：每一步都在回答上一步暴露的问题——感知不够用→加状态；没目标→加目标；目标冲突→加效用；先验不够→加学习。

1.1.3 大语言模型驱动的新范式

本质区别：传统智能体的能力来自工程师的显式编程，行为确定有边界；LLM 智能体通过预训练获得隐式世界模型与涌现能力，应对复杂任务更灵活通用。

以"规划一次厦门之旅"这一模糊指令为例，体现三个特性：

• 规划与推理：自主把目标分解为子任务链（确认偏好 → 查询信息 → 制定草案 → 预订），是模型驱动的内在规划，非写死流程。
• 工具使用：识别信息缺口时主动调用外部工具补全（查天气 API），并把结果纳入决策（预报有雨→推荐室内）。
• 动态修正：把用户反馈视为新约束并调整（"超预算"→重新搜索）。

核心转变：从"开发专用自动化工具"转向"构建能自主解决问题的系统"——核心不再是写代码，而是引导一个通用"大脑"去规划、行动和学习。

1.1.4 三种分类维度

维度一｜内部决策架构：即 1.1.2 的五阶梯；学习能力是可叠加于其上的元能力。

维度二｜时间与反应性 ⭐（设计时最核心的权衡）

现代 LLM 智能体就是混合式的典型：在"思考—行动—观察"循环中，思考 = 审议，行动与观察 = 反应，把宏大任务分解为一系列"规划—反应"微循环。

维度三｜知识表示 ⭐（理解 LLM 定位的关键）

⭐ 卡尼曼双系统类比：系统 1（快速、直觉）↔ 亚符号模式识别；系统 2（缓慢、基于逻辑）↔ 符号推理。LLM 智能体是神经符号主义的实践范例——内核是巨大神经网络（系统 1），工作时却生成结构化中间符号（思想、计划、API 调用，即系统 2）。

本章第一个重要结论：LLM 智能体的中间产物（Thought、Plan、Tool Call）本质是明确可操作的符号，这正是它融合直觉与理性、且"可调试、可观测"的根源。

1.2 智能体的构成与运行原理

1.2.1 任务环境定义：PEAS

PEAS = Performance（性能度量）+ Environment（环境）+ Actuators（执行器）+ Sensors（传感器）。

LLM 智能体所处数字环境的四个复杂特性（直接影响设计）：

1.2.2 运行机制：智能体循环（Agent Loop）⭐

智能体不是一次性完成任务，而是持续循环与环境交互：

感知 (Perception)
→ 思考 (Thought)：① 规划 Planning ② 工具选择 Tool Selection
→ 行动 (Action)
→ 环境状态变化 → 产生新的观察 (Observation)
→ 回到感知，进入下一轮

智能体正是通过不断重复这一循环，从初始状态向目标状态逐步演进。

1.2.3 Thought-Action-Observation 交互协议 ⭐⭐（全书最重要的基础范式）

工程实践中需要交互协议规范智能体与环境的信息交换：现代框架的做法是结构化定义每一次输出——不再是单一自然语言回复，而是一段遵循特定格式的文本。

为什么要把工具结果转成自然语言？ 原始返回（如 JSON）常含冗余信息且不符合模型习惯；感知系统的职责就是扮演传感器：把原始输出处理封装成简洁的自然语言文本。

本节结论：通过 T-A-O 构成的严谨循环，LLM 智能体把内部语言推理能力与外部真实信息和工具操作能力结合起来。

1.3 动手体验：第一个智能体（工程要点提炼）

任务：“查询今天北京的天气，然后根据天气推荐合适的旅游景点”。四个组成部件：

主循环里五个必须注意的工程细节（后面每章都在反复处理）：

运行案例（三轮）：查天气 → 据"晴天"查景点 → Finish[推荐颐和园或长城…]，集中体现了范式具备的四项基本能力：任务分解、工具调用、上下文理解、结果合成。

核心在于**"工具"与"提示工程"的结合**——这正是 LangChain、LlamaIndex 等框架的设计精髓。

1.4 智能体应用的协作模式

1.4.1 作为开发者工具

深度集成到工作流中，增强而非取代开发者，让人专注创造性工作：

• GitHub Copilot：集成于 VS Code，以代码自动补全闻名，后扩展出对话式编程。
• Claude Code：终端中自然语言编码，理解完整代码库，支持 headless 模式（CI、pre-commit hooks）。
• Cursor： AI 原生编辑器——设计之初就以 AI 交互为核心，强调让 AI 理解整个代码库上下文。

1.4.2 作为自主协作者

从"命令—执行"演变为 “目标—委托”：我们委托高层级目标，智能体像项目成员一样独立规划、推理、执行、反思直至交付。三种主流架构：

1.4.3 Workflow 与 Agent 的差异 ⭐（面试高频）

一句话：Workflow 是让 AI 按部就班执行指令，Agent 是赋予 AI 自由度去自主达成目标。

关键对照：旅行助手中没有任何 if 天气=晴天 then 推荐颐和园 的规则；若遇雨天它会自主改推室内场所——这种基于实时信息动态决策的能力，正是 Agent 的核心价值。

选型建议：

• 条件清晰、规则稳定、要求可审计/合规（报销审批、订单状态机、ETL）→ Workflow。
• 输入模糊、路径不确定、需语义理解与多步推理（客服、研究分析、代码审查）→ Agent。
• 现实最常见的是方案 C：用 Workflow 做骨架保证可控，在需判断的节点嵌入 Agent 做决策。

第一章小结

智能体是能感知环境并自主行动的实体，"智能"来自自主性而非算力。传统智能体沿"反射→基于模型→基于目标→基于效用→学习型"五级演进，LLM 把它推到神经符号混合的新范式：神经网络提供直觉，结构化的 Thought/Plan/Tool Call 提供可追溯的理性。智能体用 PEAS 规约任务环境，靠 “感知→思考（规划+工具选择）→行动→观察” 循环运转，并以 Thought / Action / Observation 三段式协议与环境交换信息。应用上，它要么增强人类工作流（Copilot / Cursor），要么接受目标委托自主协作（CrewAI / MetaGPT / LangGraph）；与 Workflow 的根本分野在于：是执行预设指令，还是在自由度中自主达成目标。

第二章 智能体发展史

本章定位：理解"每个新范式都为解决上一代的核心痛点而生，同时又引入新局限"这一问题驱动的迭代逻辑。不要求记年代，要求能讲清"为什么会有今天这个形态"。

2.1 基于符号与逻辑的早期智能体

2.1.1 物理符号系统假说（PSSH, 1976）

• 充分性：任何物理符号系统都具备产生通用智能行为的充分手段。
• 必要性：任何展现通用智能行为的系统，必然是物理符号系统。
• 一句话：智能的本质就是符号的计算与处理。
• 意义与局限：把"人类心智"这一哲学问题转化为可工程化的问题；后来符号主义遭遇的瓶颈与脆弱性，动摇的是"充分性"论断。

2.1.2 专家系统（符号主义最成功的应用）

核心设计思想：知识与推理相分离。

两种工作方式：正向链——从已知事实出发触发规则、数据驱动；反向链——从假设目标反推所需证据、目标驱动。

案例 MYCIN（斯坦福，1970s）：诊断血液感染并推荐抗生素，约 600 条规则，主要用反向链；创新点是置信因子（CF）——用 −1 到 1 表示结论可信度，以处理不确定性。诊断水平超过非专业医生，但未大规模临床使用（除技术因素外，还有责任归属、伦理、法律等非技术原因）。

2.1.3 SHRDLU（Winograd, 1968–1970）

在"积木世界"中首次把语言解析、规划、记忆等多模块集成于统一系统并协同：能处理歧义句与指代消解、联系上下文问答、自主规划动作序列，甚至回答行为动机。

历史地位：① "感知—思考—行动"闭环奠定现代智能体研究基础；② 普及"微观世界"研究方法（在规则明确的简化环境验证原理）；③ 其成功激发早期乐观，而能力严格局限于积木世界又引发"符号处理 ≠ 真正理解"的长期思辨。

2.1.4 符号主义的四大根本性挑战 ⭐

2.2 构建基于规则的聊天机器人：ELIZA

ELIZA（1966）最著名的 DOCTOR 脚本模仿心理治疗师。作者本想证明：仅靠简单句式转换，机器就能在完全不理解内容的情况下营造"智能"假象；结果许多使用者真的对它产生情感依赖，即 ELIZA 效应（巧妙对话策略 + 人类情感投射）。

算法四步：关键词识别与排序 → 带 * 通配符的分解规则 → 重组规则（从候选模板随机选，增加多样性）→ 代词转换（I→you、my→your）维持连贯。

三个根本局限（印证 2.1.4 的理论挑战）：

核心矛盾：看似智能的表现完全依赖预编码规则；面对真实语言的无限可能，穷举法注定不可扩展。没有真正的理解，只有符号操作——这正是脆弱性的根源。

2.3 马文·明斯基的「心智社会」（1986）

核心提问：智能的魔力不在于某个单一完美原则，而源于巨大的多样性。符号主义是自上而下设计（全知全能的中央处理器按统一逻辑处理一切），明斯基则把心智看作扁平、充满互动协作的"社会"。

• 智能体（此语境）：极其简单、专门化、自身"无心"的心智过程（如 GRASP）。
• 机构（Agency）：一组协同工作的智能体，通过去中心化的激活与抑制信号相互影响。
• 涌现（Emergence） ⭐：复杂有目的的智能行为不是由某个高级智能体预先规划，而是从大量简单智能体的局部交互中自发产生（“搭积木塔”：没有任何智能体知道"塔"是什么，搭塔行为却涌现出来）。

对多智能体系统（MAS）的三点启发 ⭐：去中心化控制（无中心节点下的协调与任务分配成为核心课题）、涌现式计算（启发蚁群、粒子群等算法）、智能体的社会性（通信语言、交互协议、协商策略、信任模型与组织结构 → 构建"计算社会"）。

2.4 学习范式的演进与现代智能体

2.4.1 联结主义（自下而上，受大脑启发）

知识不再以显式符号存于知识库，而以连接权重分布式存储在神经元之间（连接模式本身即知识）；每个单元只做简单计算；智能来自"学习"——按反向传播等算法自动调整权重使输出逼近期望。

贡献与不足：赋予强大的感知与模式识别能力；但如何在动态交互中做最优序贯决策，需要另一种范式补充。

2.4.2 强化学习智能体

联结主义解决感知（“图里有什么？”），强化学习解决决策（“我该做什么？”）。

核心要素：智能体／环境／状态 S／行动 A／奖励 R／策略 π（状态到行动的映射）。交互循环：观察 $S_t$ → 按 π 执行 $A_t$ → 环境转到 $S_{t+1}$ 并反馈 $R_{t+1}$ → 据此更新策略（这就是学习）。

**强化学习（Reinforcement Learning, RL）**正是专注于解决序贯决策问题的学习范式。它并非直接从标注好的静态数据集中学习，而是通过智能体与环境的直接交互，在“试错”中 学习如何最大化其长期收益。

⭐ 关键点：目标是最大化累积奖励而非即时奖励，因此智能体必须具备"远见"（为未来更大奖励牺牲当前，如围棋弃子）。与监督学习的本质区别：不依赖标注数据集，而是在与环境交互中试错学习（AlphaGo 仅凭最终胜负自主调整，不依赖人类棋谱）。

2.4.3 基于大规模数据的预训练（Pre-training）

要解决的问题：RL 智能体学习之初缺乏先验知识（符号主义想手工编码的"常识"在 RL 中同样缺失）。

预训练—微调范式：① 预训练——在互联网级文本上以自监督方式训练超大模型，目标是学习语言规律、语法、事实知识与上下文逻辑（最常见形式即"预测下一个词"）；② 微调——用少量标注数据适配下游任务。

⭐ 为什么预训练解决了"知识获取瓶颈"：数万亿级文本训练后，权重本身就构成了一个高度压缩的世界知识隐式模型——知识不再需要人工逐条编码。

涌现能力（Emergent Abilities）：规模跨过阈值后突然出现未被直接训练的能力——上下文学习（In-context Learning）（给几个甚至零个示例就能理解新任务，权重不变）与思维链（Chain-of-Thought）推理（先输出推理步骤再作答，显著提升逻辑/算术/常识准确率）。

至此 LLM 不再只是语言模型，而成为兼具"海量知识库"与"通用推理引擎"双重角色的组件。

2.4.4 基于 LLM 的智能体核心组件架构 ⭐（与第一章循环呼应）

2.4.5 三大思潮与融合

当代融合：LLM 本身是联结主义的产物，却成为执行符号推理、工具调用与规划决策的核心"大脑" → 形成神经—符号结合的现代智能体架构。

第二章小结

符号主义用"知识 + 推理"模拟智能（PSSH、MYCIN、SHRDLU），却倒在知识获取瓶颈、常识缺失、框架问题与系统脆弱性四大挑战上；ELIZA 用几十行规则演示了这套方法的天花板与"智能幻觉"。明斯基的心智社会把视线从"单一全能系统"转向"简单单元的协作涌现"，为多智能体系统播下种子。此后联结主义赋予感知、强化学习赋予序贯决策、大规模预训练赋予世界知识与通用推理，三大思潮在 LLM 驱动的智能体中合流。三章衔接是：第一章讲它是什么，第二章讲它为何如此，第三章讲它的大脑如何工作。

第三章 大语言模型基础（重点）

3.1 语言模型与 Transformer 架构

3.1.1 从 N-gram 到 RNN（演进 = 不断解决上一步的缺陷）

（1）统计语言模型与 N-gram

• 语言模型的根本任务：计算词序列的概率 $P(S)$，即判断句子是否通顺自然。

• 

• 马尔可夫假设 ⭐：一个词的出现概率只与前面有限的 $n-1$ 个词有关，据此得到 N-gram（Bigram 只看前 1 词，Trigram 看前 2 词）；参数用最大似然估计（频率计数）估计。

• 两个致命缺陷 ⭐：数据稀疏性（未见序列概率为 0，平滑只能缓解）与泛化能力差（不理解词间语义相似——见过 agent learns 仍认为 robot learns 概率为 0）。

（2）词嵌入：把词从离散符号变成连续向量，映射到高维语义空间，语义相近的词向量位置也相近；向量在训练中自动习得，用余弦相似度度量，著名的 King − Man + Woman ≈ Queen 证明它能学到"性别""皇室"这类抽象概念。残留问题：上下文窗口仍固定，更早的历史被丢弃。

（3）循环神经网络 (RNN) 与长短时记忆网络 (LSTM)：RNN 引入隐藏状态作"短期记忆"打破固定窗口，但序列长度即网络深度 → 反向传播时梯度消失/爆炸，难以学习长期依赖。LSTM 引入细胞状态作为独立信息通路，配三道门控（遗忘门丢弃旧信息、输入门存入新信息、输出门决定输出）有选择地放行信息。

3.1.2 Transformer 架构解析（2017, Google）

为什么抛弃循环：RNN 必须按序处理（第 $t$ 步要等 $t-1$ 步），无法大规模并行，限制了规模与训练速度；Transformer 完全依赖注意力机制捕捉依赖，实现真正的并行。

（1）编码器-解码器 (Encoder-Decoder)架构（原为机器翻译设计）：编码器负责"理解"输入，为每个词元生成富含上下文的向量；解码器负责"生成"目标，参考已生成前文并"咨询"编码器输出。每层 = 多头自注意力（解码器为掩码版本） + 交叉注意力（仅解码器） + FFN，每部分都被 Add & Norm 包裹。

（2）自注意力与多头注意力 ⭐

• 直觉：读到 “The agent learns because it is intelligent.” 的 “it” 时，人脑会自动聚焦 “agent”——自注意力即对此建模：处理每个词时兼顾序列中所有词并分配不同权重。
• 三角色（均由词嵌入乘可学习权重得到）：Query查询（当前词，主动查询）、Key键（可被查询的标签）、Value值（词元携带的内容）。
• 四步：生成 Q/K/V → Q 与所有 K 点积算相关性 → 除以 $\sqrt{d_k}$ 再 Softmax 归一化 → 权重加权求和 V，得到融合全局上下文的新表示。浓缩式：Attention(Q,K,V)=softmax(QKᵀ/√d_k)·V（懂含义即可）。
• 多头：把 Q/K/V 切成 $h$ 份各算一次注意力，相当于 $h$ 个"专家"从不同角度（指代、时态、从属…）审视句子再拼接整合 → 极大增强表达能力。

（3）逐位置前馈网络（FFN）：注意力负责动态聚合信息，FFN 负责提取高阶特征；"逐位置"指独立作用于每个词元向量但共享同一组权重（既独立加工又大幅省参数）；结构为两层线性变换 + ReLU，先扩大再缩小（$d_{ff}=4\times d_{model}$）。

（4）残差连接与层归一化（Add & Norm）

（5）位置编码 ⭐：自注意力本身不含任何顺序信息（“agent learns” 与 “learns agent” 对它等价），因此给每个词元嵌入额外加上由固定 sin/cos 公式算出的位置向量（非学习所得），使相同词在不同位置得到不同输入。

3.1.3 Decoder-Only 架构 ⭐（现代 LLM 主流）

核心简化：语言的核心任务就是预测下一个最可能的词——问答、写作、生成代码本质都是"在已有文本后逐词添加最合理的内容"，于是 GPT 彻底抛弃编码器，只保留解码器。

Decoder-Only 架构的工作模式被称为自回归 (Autoregressive)：给起始文本 → 预测下一词 → 把新词追加到输入末尾 → 再预测 → 直到结束。像"文字接龙"，不断回顾已写内容再决定下一个字。

⭐ 掩码自注意力：训练时模型一次性拿到完整文本，如何防止"偷看"后面答案？——在 Softmax 前施加因果掩码，把当前位置之后所有词元的分数置为极大负数，Softmax 后概率变为 0，从数学上阻断对后续信息的关注；生成时未来词元尚未产生，只能看已生成内容。其意义是保证训练方式与自回归使用方式一致。

Decoder-Only 架构三大优势：① 训练目标统一（唯一任务即"预测下一个词"，极适合海量无标注预训练）；② 结构简单易扩展（GPT-4、Llama 等千亿级模型均基于此）；③ 天然适合生成任务——这是它成为通用智能体基础的核心原因。

3.2 与大语言模型交互（本章重点）

3.2.1 提示工程（Prompt Engineering）⭐⭐

Prompt 是我们与这个"大脑"沟通的语言。提示工程研究如何设计精准提示以引导期望输出；对智能体而言，精心设计的提示能让智能体间的协作分工变得高效。

（1）模型采样参数（本质是调整对概率分布的采样策略）

Temperature 三档与场景 ⭐：低（0–0.3） 精准确定 → 事实问答、数据计算、代码生成、法律/技术文档；中（0.3–0.7） 平衡自然 → 日常对话、客服、邮件文案；高（0.7–2） 创新发散 → 诗歌、科幻构思、广告 slogan、头脑风暴。

协同规则（易考细节）：过滤优先级 温度 → Top-k → Top-p；Top-k 与 Top-p 通常二选一，同时设置时实际候选集取交集。两个边界：T=0 或 Top-k=1 时，其余采样参数变得无关紧要。

（2）Zero / One / Few-shot（零样本/单样本/少样本）：Zero-shot 不给示例，依赖模型的泛化能力**；One-shot 给一个完整示例，模型会模仿其格式与风格；Few-shot 给多个覆盖不同情况的示例，让模型理解任务的细节、边界与细微差别。

（3）指令调优 (Instruction Tuning) 的影响 ⭐：早期模型（GPT-3）是**"文本补全"模型**，擅长续写却不一定理解指令，必须用少样本"教会"它；指令调优用大量"指令—回答"数据再训练，使模型能直接遵循指令。我们今天用的 ChatGPT、DeepSeek、Qwen 等都是其家族中经过指令调优的版本。意义：极大简化交互，这是 Agent 能用 System Prompt 驱动的前提。

（4）基础提示技巧：角色扮演——赋予特定角色以引导回答风格、语气与知识范围（“你是资深 Python 专家，请向初学者解释 GIL”）；上下文示例——在提示中给出清晰输入输出样例，尤其适用于需要严格格式或特定风格时（如要求输出 {"product_name": "…", "sentiment": "…"}）。

（5）思维链（Chain-of-Thought,CoT） ⭐：复杂推理/计算任务直接要答案容易出错；做法是引导模型"一步一步地思考"——实现关键只是在提示里加一句引导语（“请逐步思考”）。双重收益：更易得正确答案；显式展示推理过程，使回答更可信、更便于检查纠正。> 对 Agent 的意义：CoT 正是 ReAct 范式中 “Thought” 的直接来源。

3.2.2 文本分词（Tokenization）⭐

分词：把文本转为数字序列；词元（Token） 是最小单元；分词器定义切分规则。

为什么需要子词分词：按词分词会词表爆炸与 OOV（无法处理 “DatawhaleAgent”），且 look/looks/looking 被视为三个无关词元；按字符分词则单字符大多无独立语义，学习低效；⭐ 子词分词让常见词保留为整体、罕见词拆成有意义片段（“Tokenization” → “Token” + “ization”），既控词表又能组合出新词。

BPE（GPT 系列采用）：贪心合并——词表初始化为基本字符，反复统计并合并频率最高的相邻词元对，直到词表达到预设大小。后续优化：WordPiece（BERT 用，按"最能提升语料语言模型概率"合并）与 SentencePiece（Llama 用，把空格也当普通字符，使分词完全可逆且不依赖特定语言）。

⭐ 分词器对开发者的三点实际意义：

3.2.3 调用开源模型（本地部署）

用于敏感数据、离线运行、精细化控成本。标准流程（Hugging Face Transformers）：AutoTokenizer + AutoModelForCausalLM 加载权重与分词器 → apply_chat_template 按对话模板格式化 → model.generate(max_new_tokens=512) 生成 → batch_decode(skip_special_tokens=True) 解码回文本。

3.2.4 模型的选择

选型不是追求"最大最强"，而是在性能、成本、速度、部署方式之间权衡（具体型号迭代极快，重在掌握原则）。

七个关键维度 ⭐：性能与能力（不同模型擅长领域不同，可参考公开榜单）、成本（闭源按 Token 计费 vs 开源硬件运维）、速度/延迟（实时交互型智能体的关键）、上下文窗口（长文档、代码库、长期记忆需 128K+）、部署方式（API 便捷但数据出域 vs 本地部署保隐私）、生态与工具链（社区与框架兼容性大幅降低开发难度）、可微调性（开源模型灵活度更高）、安全性与伦理（偏见、毒性、幻觉表现，面向公众时不可忽视）。

闭源 vs 开源：闭源（GPT、Gemini、Claude、国内文心/混元/Kimi 等）代表技术前沿、API 稳定易用，是构建高性能智能体的首选；开源（Llama、Mistral、Qwen、ChatGLM 等）提供最高灵活性与自主性，可本地部署与定制微调。

3.3 缩放法则与局限性

3.3.1 缩放法则（Scaling Laws）⭐

• 核心发现：模型性能（Loss）与参数量、数据量、计算量在对数—对数坐标下呈平滑幂律关系；按比例持续增加三者，性能可预测地平滑提升，无明显瓶颈。
• Chinchilla 定律（DeepMind, 2022） ⭐：给定算力预算下参数与数据存在最优配比——最优模型应比此前认为的更小，但要用多得多的数据训练（700 亿参数 Chinchilla 用比 GPT-3（1750 亿）多 4 倍的数据，性能反超）→ 纠正"越大越好"，强调数据效率。
• ⭐ 能力涌现：规模跨过阈值后突然出现小模型完全不具备的能力——链式思考(CoT)、指令遵循、多步推理、代码生成等在数百亿至千亿参数级才显著出现 → 对 Agent 开发者的含义：选择足够大规模的模型，是实现复杂自主决策与规划的前提。

3.3.2 模型幻觉（Hallucination）⭐⭐

定义：生成内容与客观事实、用户输入或上下文相矛盾，或编造不存在的事实与实体。本质是模型在生成中过度自信地"编造"，而非准确检索或推理。

三种类型：事实性幻觉（与现实世界事实不符）、忠实性幻觉（摘要/翻译未能忠实反映源文本）、内在幻觉（与输入信息直接矛盾）。

成因三方面：① 训练数据含错误或矛盾信息；② 自回归机制决定它只是在"预测下一个最可能的词元"，没有内置事实核查模块；③ 复杂推理中某一步出错导致结论被"编造"（如推荐不存在的景点、订错航班号）。

另两个固有挑战：知识时效性不足（知识截止于训练数据收集时点）与偏见（吸收并反映训练数据中的社会偏见）。

缓解手段（三个层面） ⭐：

现实态度：幻觉短期内难以根除，但可显著降低其频率与影响。这正是第 8 章 RAG、第 10 章工具/MCP、第 12 章评估存在的根本理由。

第三章小结

LLM 的本质是一个以"预测下一个词"为目标、在海量文本上预训练出的自回归模型。技术上走过 N-gram（马尔可夫假设，毁于稀疏与泛化差）→ 词嵌入（语义向量，窗口固定）→ RNN/LSTM（隐藏状态记忆，受困长期依赖）→ Transformer（自注意力实现并行，QKV 聚合全局、多头看多角度、FFN 提特征、残差+层归一化保稳定、位置编码补回顺序）→ Decoder-Only（砍掉编码器，因果掩码保证训练与自回归一致，易扩展、天然适合生成）。与它打交道的核心是提示工程：用 Temperature / Top-k / Top-p 控采样，用 Zero/One/Few-shot、角色扮演、上下文示例明确任务，用 CoT 激活多步推理；同时必须意识到一切以 Token 计量与计费——分词直接决定上下文预算、成本乃至模型的怪异表现。最后，缩放法则解释能力从何而来（含 Chinchilla 对数据效率的修正与能力涌现），而幻觉、知识过时、偏见划定了能力边界——理解这些边界，是构建可靠智能体的起点。

附录：速查表