云计算百科
云计算领域专业知识百科平台

大模型:预训练、微调、RAG 通俗讲解

一、预训练(Pretrain)

模型的 “基础教育”

  • 是什么 用海量公开文本(书籍、网页、论文、百科等)对全新空白模型做第一轮大规模训练。
  • 目标 学习语言规律、知识、常识、逻辑、语法,让模型先 “看懂文字、会说话”。
  • 特点
    • 数据量极大、算力成本极高
    • 训练完得到基础通用大模型(如原版文心、通义、Llama)
    • 不针对具体业务,能力泛而不精

    二、微调(Fine-tuning)

    给通用模型做 “专项补课”

  • 是什么 在已经预训练好的模型基础上,用少量专属业务数据继续小幅训练。
  • 目标 让模型适配特定场景、风格、指令、领域知识。
  • 常见类型
    • 有监督微调 SFT:教模型按指定格式、语气、回答规范输出(客服、写作、问答)
    • RLHF/DPO:对齐人类偏好,让回答更得体、更符合人类习惯
  • 特点
    • 不用海量数据,成本远低于预训练
    • 改变模型本身权重,能力固化进模型
    • 适合固定话术、专属风格、垂直领域问答

    三、RAG 检索增强生成

    给模型配 “外接知识库” 全称:Retrieval-Augmented Generation

  • 是什么 不改动模型本身,先从外部知识库检索相关资料,再把资料 + 问题一起喂给大模型,让模型参考资料作答。
  • 流程 用户提问 → 检索文档 / 数据库 → 把检索内容拼接进提示词 → 模型基于资料生成答案
  • 目标 解决模型知识过时、私有数据、精准查资料问题。
  • 特点
    • 不改模型权重,上线快、灵活
    • 知识可随时更新(不用重新训练)
    • 适合企业私有文档、实时信息、法规、产品手册等

    三者核心对比

  • 预训练:造一个通用会说话的基础模型(从零练)
  • 微调:把现有模型练得更懂你的业务 / 风格(改模型)
  • RAG:让现有模型查外部资料再回答(不改模型,外挂知识库)
  • 落地组合(行业常用)

    通用模型 → 微调(规范话术)+ RAG(查私有资料)= 企业专属智能问答 / 客服 / 知识库机器人。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » 大模型:预训练、微调、RAG 通俗讲解
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!