D49 · 模型侧兜底：蒸馏小模型 + 量化 + 成本压降

文章目录

• D49 · 模型侧兜底：蒸馏小模型 + 量化 + 成本压降
• • 开篇：模型太贵的时候，你算过账吗
  • 第 1 章 成本账本：三本账与盈亏平衡点
  • • 1.1 先把账分成三类
    • 1.2 单请求成本：三个最常见的填错
    • 1.3 缓存：收益最被低估的一项
    • 1.4 盈亏平衡点：先做边际成本判据
    • 1.5 四个场景的实测结论
    • 1.6 混合模式：常态自托管，峰值溢出走 API
  • 第 2 章 蒸馏选型：三种方式、三种代价
  • • 2.1 三种蒸馏方式的取舍
    • 2.2 温度：为什么必须调
    • 2.3 数据配比：最容易被忽略、也最容易翻车的一步
    • 2.4 数据量：比例不等于绝对量
    • 2.5 蒸馏集的垃圾必须过滤
    • 2.6 回本测算：最常见的「白干」
  • 第 3 章 量化档位：显存账要算三块
  • • 3.1 「7B 用 INT4，显存从 14G 降到 4G」这句话对吗
    • 3.2 实测：7B 模型的显存账
    • 3.3 长上下文：KV cache 才是主角
    • 3.4 GQA：KV head 数不是 attention head 数
    • 3.5 校准集：三个常见错误
    • 3.6 「装得下」不等于「扛得住」
  • 第 4 章 成本-精度曲线：找到拐点
  • • 4.1 把所有组合都摆上去
    • 4.2 帕累托前沿：先砍掉一半方案
    • 4.3 拐点：性价比的分界线
    • 4.4 选型建议：先有预算约束，再在约束内求最优
  • 第 5 章 降级阶梯：模型侧怎么接住 D48 的兜底
  • • 5.1 降级应该是一串阶梯
    • 5.2 选档的五个条件
    • 5.3 主动降级 vs 被动降级
    • 5.4 调用失败要立刻降级，而不是返回错误
    • 5.5 降级的价值：业务不中断
    • 5.6 降级率是核心监控指标
  • 第 6 章 什么时候不该优化
  • • 6.1 优化的性价比有明确顺序
    • 6.2 三种「现在不该优化」的情况
    • 6.3 蒸馏的四个陷阱
    • 6.4 量化的三个陷阱
    • 6.5 过度工程清单
  • 第 7 章 落地：监控、团队与上线节奏
  • • 7.1 上线节奏：三步走
    • 7.2 监控指标：三组，缺一不可
    • 7.3 什么时候叫停
    • 7.4 团队分工
    • 7.5 上线前检查清单
  • 关键要点
  • 思考题
  • 下篇预告
  • 参考资料
  • 配套代码
  • 作者

D49 · 模型侧兜底：蒸馏小模型 + 量化 + 成本压降

写给已经上了大模型、开始被账单和 GPU 资源折磨的后端工程师

本文是《60 天 AI 全栈转型：传统开发者的大模型工程师之路》S3 第三阶段第 4 篇 配套代码仓库：gitcode.com/road-emblem/60-days-ai-stack

开篇：模型太贵的时候，你算过账吗

上一篇 D48 我们讲「规则和模型怎么分工」，最后算出一笔业务成本。

那笔账看起来是完整的：规则层准不准、模型层准不准、整体合起来准不准，全都有数字。

但如果你真的拿那笔账去跟老板要预算，会被一句话问回来：

「一个月到底要花多少钱？」

答不上来。

因为那笔账里，模型成本是按「单价」估的——比如「7B 模型 ¥4/百万 token」。 单价是供应商定的，但你实际付出的单位成本是你自己的架构决定的。

这三个数差得很远：

单价 ¥0.004 / 次 ← 供应商定价表上的数
单位成本 ¥0.0084 / 次 ← 你的真实单位成本（含重试、缓存、峰值）
月度账单 ¥9,922 / 月 ← 这个才是要跟老板说的数

再往下一层，还有三个问