预训练：炼钢，不是雕刻

把整个互联网倒进高炉，唯一的指令是"猜对下一个字"。烧了几个月之后，倒出来的不是猜字器——是一个能翻译、编程、推理的世界模型。

从猜字器到世界模型

上一篇我们讲了一个事实：GPT 只会预测下一个字。它不知道自己在回答问题，不知道自己在翻译，不知道自己是谁。

但问题来了：如果一个模型只会预测下一个字，为什么它能翻译从未见过的句子？为什么能写出一段它能正确运行的代码？为什么能解一道它没见过的数学题？

因为"预测下一个字"这件事，在被放大了几万亿倍之后，就不再是"预测下一个字"了。

核心发现：当模型足够大、数据足够多、训练时间足够长，能力会突然涌现——不是被谁设计出来的，是自己长出来的。

规模跃迁：从 GPT-1 到 GPT-4

先看一组数字，理解规模的意义：

六年间参数增长了 14000 倍。

但真正重要的不是增长量。是增长过程中发生的一件事：能力不是逐渐出现的。是跳跃的。

当一个模型从 1 亿参数跳到 15 亿参数，它突然就能翻译了。没有人教过它翻译——训练数据里没有单独的"翻译课"。它只是在预测下一个字的时候，顺便学会了"把英语换成中文"这件事。

从 15 亿跳到 1750 亿，它突然就能写代码了。训练数据里有 GitHub，但没有人标注过"这是代码""这是注释"。模型只是在预测下一个代码字的时候，顺便学会了编程语法。

这叫"涌现"。模型不知道自己学会了什么。参数调到了某个临界值，行为模式就变了。

预训练到底在干什么

步骤简单得令人失望：

就这些。没有精选教材，没有知识点标注，没有"先学单词再学语法"的课程设计。

数据就是互联网本身——维基百科的词条、Reddit 的帖子、Stack Overflow 的问答、GitHub 的代码仓库、学术论文的 PDF、小说的全文。所有人类知识以文本形式存在的总和。

模型从这些数据中学到的不是"事实清单"，而是更底层的东西：语法结构、逻辑关系、因果关系、文体风格、幽默感。

学"语法结构"，因为"猫喜欢吃"后面跟的是"鱼"而不是"的"。学"逻辑"，因为"因为今天下雨，所以地面"后面跟的是"湿了"而不是"飞了"。学"事实"，因为"中国的首都是"后面跟"北京"的概率远远大于"上海"。

一个只会预测下一个字的模型，在读完整个互联网之后，被迫学会了整个世界。

三段式：预训练只是第一步

预训练造出来的模型叫"基座模型"。它什么都懂，但它不会聊天。

你问它"苹果好吃吗"，它可能会续写"苹果好吃吗？这个问题其实涉及营养学、心理学和食品科学的交叉领域"——因为它被训练来续写文本，而不是回答问题。

所以预训练之后还有两步。

第二步：监督微调。

准备几万条高质量的"问答对"，让模型继续训练。这一次告诉它：看到"用户问 X"，你应该输出"对 X 的直接回答"，而不是"关于 X 的论述文"。

这一步不是教它知识——知识在预训练阶段已经学完了。这一步教的是格式。教会模型：当有人提问时，你的角色是回答而不是续写。

第三步：人类反馈强化学习。

让人类对模型的回答打分。"这个回答有用""这个回答有偏见""这个回答有毒"。模型学会在回答时避开有问题的方向，靠近有帮助的方向。

三者的关系是这样的：预训练 = 学知识（什么是对，什么是错，世界是怎么运作的）。微调 = 学格式（别人问你要回答）。对齐 = 学做人（什么能说，什么不能说）。

只有预训练，你得到一个博学的疯子——它什么都懂，但输出方式完全不可控。加上微调，你得到一个博学的助手——它知道该什么时候回答。加上对齐，你得到一个博学且安全的助手——它知道怎么回答才不会惹麻烦。

炼钢的隐喻

这篇文章的标题是"炼钢，不是雕刻"。

雕刻是拿一块石头，一刀一刀削出形状。你知道成品长什么样，每一刀都是往成品靠近。

预训练不是这样的。

你把整个世界的信息倒进一个巨大的容器，设定唯一的规则——"猜对下一个字"。然后烧几个月。你不需要知道成品长什么样。不需要知道中间发生了什么。你只控制三件事：炉子多大（参数数量）、燃料多少（训练数据）、烧多久（训练步数）。

几个月后，把炉子打开。里面的东西会翻译、会写代码、会推理、会在你难过的时候安慰你。但没有任何人在任何时刻"设计"过这些能力。它们是从猜字这个单一目标中自己冒出来的。

这就是涌现。这不是魔法。这是在极其简单的规则被放大到极端规模之后，复杂性的自然副产品。

下一步：对齐

预训练 + 微调之后的模型已经能回答问题了。但它会说出不该说的话——偏见、谎言、危险的建议。

下一篇讲"对齐"：怎么让模型学会什么能说、什么不能说。

从零学习 AI 系列 · 第七篇 下一篇：对齐——让模型学会"做人"