云计算百科
云计算领域专业知识百科平台

首 token 为什么慢:n_batch 六档实测,batch 太小才是元凶

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

首 token 为什么慢:n_batch 六档实测,batch 太小才是元凶

先说结论。同一个模型、同一台机器、同一个 512 token 的 prompt:n_batch=128 的首 token 延迟(TTFT)是 8,138 ms,n_batch=16 是 9,464 ms——比 128 档慢 16.3%,而它的 prefill 吞吐只有 54.1 tok/s,比 128 档的 62.9 低 14.0%。中间四档(32/64/128/256)极差只有 3.1%,n_batch=512 回升到 8,603.9 ms。

一句话:批次别贴着最小档设。prefill 是按批切块算的,块太小,每轮的固定开销就被重复付太多次;但"块越大越好"也不成立,512 档实测微涨 5.7%。 这篇只回答一个问题:n_batch 对首 token 延迟到底意味着什么,以及该把它设到哪一档。


一、三个判据

判据现象本篇读数
曲线形状 TTFT 随 n_batch 先降后升,呈 U 型 16 档 9,464.5 ms → 128 档 8,138.0 ms → 512 档回升 8,603.9 ms
平台区 中段四档极差仅 3.1%,收益集中在"别设太小" 32~256 四档落在 8,138.0~8,390.5 ms
记账科目 16 档慢的账记在 prefill 吞吐上,不记在内存 54.1 vs 62.9 tok/s(−14.0%);HWM 稳定 ~7.0 GiB、oom_kill=0

三条主证都能在你自己的机器上复现,命令在第七节。


二、实验设置

固定项(六档之间只有 n_batch 一个变量):

项值说明
模型 SmolLM2-1.7B-Instruct f16 GGUF(3.19 GiB) 与 F2/F3 同一权重、同机同容器,数据可横向对照
prompt 512 token,先 tokenize 再精确截断 直接传 token 序列,各档 prompt 逐 token 一致,避免文本差异混入
采样 temperature=0(top_k=1)、流式 贪婪解码,排除采样随机性
线程 n_threads=4、n_threads_batch=4 贴着可用核数设(F2 结论),不混入线程变量
上下文 n_ctx=2048 KV ≈ 384 MB(192 KB/token,见 F3),远离内存墙,主证不含 n_ctx 干扰
统计口径 每配置独立子进程 × 3 遍取中位数 RSS 不累积;中位数口径沿用 F2 的教训

环境核对两条(跑实验前先确认容器配额,别让"nproc 报 32 核"这种假象混进来):

cat /sys/fs/cgroup/cpu.max # 本机:400000 100000,即 4 核配额
cat /sys/fs/cgroup/memory.max # 本机:8589934592,即 8 GiB

TTFT 定义:从调用推理到第一个流式 chunk 到达的墙钟时间。模型加载、tokenizer 预热在计时前完成并 reset(),不计入 TTFT。每次运行实际产出 9 个流式 chunk(8 个生成 token 之外的计数差异属绑定层流式实现,六档完全一致,不影响 TTFT 口径)。

加载代码只差一个参数:

from llama_cpp import Llama
llm = Llama(model_path="smollm2-f16.gguf",
n_ctx=2048, # 固定
n_threads=4, # 固定
n_threads_batch=4, # 固定
n_batch=<档位>) # 唯一变量:16/32/64/128/256/512


三、机制一段:prefill 是按批切块算的

llama.cpp 的预填充(prefill)不是把 512 个 token 一次塞进矩阵乘法,而是按 n_batch 切块、逐轮前向:

n_batch512 个 token 要跑的轮数
16 32 轮
32 16 轮
64 8 轮
128 4 轮
256 2 轮
512 1 轮

每一轮除了真实的矩阵计算,还有一批固定开销——kernel 启动、批间同步、采样前的状态整理。块越小,轮次越多,固定开销被重复付的次数就越多。

这笔账可以粗略折算:16 档比 128 档多跑 28 轮,TTFT 多 1,326.5 ms,摊下来约 47 ms/轮——这就是"轮次税"的量级。注意这只是一个示意性折算(TTFT 里还有与轮数无关的固定部分),不是精确分解,但数量级与"小批次伤首延迟"的方向一致。

16 档慢的直接证据在吞吐上:它的 prefill 只有 54.1 tok/s,比 128 档的 62.9 低 14.0%——少的不是算力,是被轮次开销吃掉的时间。


四、六档读数全表

主表(中位数,3 遍取中位):

指标163264128256512
TTFT (ms) 9,464.5 8,390.5 8,352.5 8,138.0 8,286.0 8,603.9
prefill (tok/s) 54.1 61.0 61.3 62.9 61.8 59.5
HWM max (MB) 7,008.4 7,008.6 7,008.4 7,010.1 7,009.9 7,011.1
oom_kill max 0 0 0 0 0 0

TTFT 原始读数全表(三遍全列,不挑数):

n_batch第 1 遍第 2 遍第 3 遍遍间极差
16 9,464.5 9,663.1 9,383.8 3.0%
32 8,457.6 8,390.5 8,338.5 1.4%
64 8,149.2 8,996.0 8,352.5 10.4%
128 8,106.8 8,138.0 8,157.5 0.6%
256 8,273.2 8,286.0 8,345.2 0.9%
512 8,743.1 8,579.3 8,603.9 1.9%

prefill 原始读数全表:

n_batch第 1 遍第 2 遍第 3 遍
16 54.10 52.99 54.56
32 60.54 61.02 61.40
64 62.83 56.91 61.30
128 63.16 62.91 62.76
256 61.89 61.79 61.35
512 58.56 59.68 59.51

读法有两条纪律:

  • 64 档第 2 遍是一次整轮毛刺:TTFT 8,996.0、prefill 56.91、全程 9.422 s 三条线同步变慢——是邻位干扰之类的瞬态争抢拖慢了整条流水线,不是 TTFT 记录口径出了问题。同配置遍间极差最高 10.4%,所以本文只对两档三遍区间不重叠的档位差下结论;
  • 16 档三遍最低 9,383.8,128 档三遍最高 8,157.5,区间完全不重叠——16.3% 的差距在这个噪声水平下站得住;32~256 之间的排序不下结论(都在毛刺带宽内),512 档的回升 5.7% 同样以"三遍最低 8,579.3 仍高于 128 档最高 8,157.5"为界,可下结论但幅度按中位数计。
  • 一个自洽验算(证明两张表是同一次测量,不是两套读数):本实验里 prefill_tok_s = 512 / TTFT,二者互为倒数——512 ÷ 62.91 tok/s = 8.138 s,正是 128 档的 TTFT;512 ÷ 54.1 = 9.464 s,正是 16 档的 TTFT。首 chunk 到达前几乎全是 prefill 时间,两张表互相印证,读数口径没有暗坑。


    五、16 档为什么慢,512 档为什么微涨

    16 档慢:第三节的轮次机制 + prefill 吞吐 −14.0%,两条证据互洽,可以下结论。512 token 在 16 档下切 32 轮,每轮多付一份固定开销,吞吐被摊薄;切到 128 档只剩 4 轮,轮次税基本归零。

    512 档微涨(8,603.9 ms,比 128 档慢 5.7%):方向与"块越大越好"相反。可能的解释是单轮计算量过大后与调度、缓存层次的交互变差,但本轮实验没有针对该现象的测量,正文只登记现象、不强行归因。等 n_ubatch 可控后(见第六节)做切分实验才有判据——上游把一个 n_batch 批再切成 n_ubatch 子块计算,512/1 轮的"巨轮"内部实际怎么走,本环境看不见。

    三条常见误读,提前拆掉:

  • “TTFT 越小越好,那 n_batch 拉满”——512 档实测已经回升 5.7%,曲线是 U 型不是单调下降,拉满不在最优侧;
  • “n_batch 开大会多占内存”——六档 HWM 实测 7,008.4~7,011.1 MB,档间差不足 3 MB,oom_kill 全 0:切批方式不改 KV 尺寸(那由 n_ctx 决定),内存焦虑不该安在 n_batch 头上;
  • “线程超订伤吞吐(F2),所以批次超订也伤”——两个维度机理不同:线程超订的账记在调度与锁竞争上,批次的账记在轮次开销上;本篇 512 档只是微涨 5.7%,不是 F2 那种 71 倍的崩塌。类比要小心,各查各的账。

  • 六、边界与不承诺

  • 本篇只实测 n_batch 一个维度:所用 binding(llama-cpp-python 0.2.90)未暴露 n_ubatch(llama.cpp 上游的批内子块参数),"块内再切分"的影响无法在本环境测量,正文不虚构该维度的任何结论;
  • n_threads_batch 固定 4,不与 F2 的线程结论混用;F2 测的是逐 token 解码吞吐,本篇测的是首 token 延迟,两套口径不互相换算;
  • 全部数字来自单机容器实测,绝对值不可迁移,只用于同机相对比较;换模型、换量化、换 prompt 长度、换核数,都要重测;
  • 不构成任何延迟承诺;
  • prompt 固定 512 token——TTFT 与 prompt 长度强相关,更短 prompt 下各档差距会按比例缩小(轮次总数变少),本文不外推;
  • n_batch 只影响 prefill 的切批方式,不改变 KV cache 大小——内存账仍由 n_ctx 决定(F3 的 192 KB/token),两个旋钮互不挤占。

  • 七、复现:四条命令

    # ① 环境:llama-cpp-python 0.2.90 + SmolLM2-1.7B-Instruct f16 GGUF
    pip install llama-cpp-python==0.2.90
    # 模型下载后置于脚本内 F16 路径

    # ② 单点试跑(验证脚本与模型就位,n_batch=64 跑 1 遍)
    python3.11 g1_ttft_bench.py 64 1

    # ③ 全量扫描(6 档 × 3 遍,每配置独立子进程,逐条写 JSONL)
    python3.11 g1_ttft_bench.py 16,32,64,128,256,512 3

    # ④ 中位数汇总(读 evidence.jsonl 输出主表口径)
    python3.11 g1_ttft_bench.py driver g1_ttft_evidence.jsonl

    每条原始记录长这样(JSONL 逐行):

    {"n_batch": 128, "rep": 2, "prompt_tokens": 512, "ttft_ms": 8138.0,
    "prefill_tok_s": 62.91, "total_gen_s": 8.627, "gen_chunks": 9,
    "hwm_mb": 7010.0, "oom_kill": 0}

    脚本做了三件保证口径一致的事:prompt 先 tokenize 再精确截断到 512 token(直接传 token 序列,各配置逐 token 一致);预热不计入 TTFT;每配置独立子进程,RSS 与 cgroup 计数互不污染。

    换一台机器怎么落地:不要照抄 128 这个数,照抄方法——跑②③④拿到你自己机器的 U 型曲线,然后只信"三遍区间不重叠"的档位差。本机实测下的起手参考:交互式服务从 128 档起步、两端各试一档验证形状;一次性 CLI 问答对 TTFT 不敏感,可从 64 起步顺手验证;批处理离线任务首延迟无关紧要,不必调。


    八、系列拼图:三个旋钮各管一段

    旋钮管什么结论出处
    n_threads 逐 token 解码吞吐 贴着可用核数设,不是 nproc(超订后 p95 先崩 37.7 倍) F2
    n_ctx KV cache 内存账 按内存预算开,192 KB/token(f16),q8_0 可省 47% F3
    n_batch 首 token 延迟 别设太小(U 型,128 档最优),太大微涨;不影响内存 本篇

    三篇合成"本地推理三个旋钮":线程管稳态、上下文管内存、批次管首响应。三个参数互相独立、可分别调——前提是你的绑定层把它们都暴露出来了(本 binding 恰好差一个,见第六节)。调参顺序建议:先按 F2 定线程、再按 F3 定上下文、最后用本篇的方法扫一遍 n_batch 收尾——前两个定了之后,n_batch 的曲线形状才不会被别的变量污染。


    九、遗留与下一步

  • n_ubatch 补测:等 binding 升级暴露该参数后,做 n_batch × n_ubatch 二维扫描,512 档微涨现象届时才有判据;
  • prompt 长度扫描:512 token 固定,更长 prompt(如 4K)下 16 档的轮次劣势预计放大(32 轮 × 更长的每轮计算),列为储备选题;
  • 解码阶段影响:n_batch 是否影响逐 token 吞吐(prefill 之后的部分)本篇未测——本次每次运行的解码段读数六档基本一致(8.56~9.42 s 区间内波动与 TTFT 毛刺同步),初步看影响有限,但口径未单独设计,不下结论;
  • 服务器端(llama.cpp server)的连续批处理是另一个世界,本文只覆盖单进程离线推理。

  • 版本信息:Linux 6.6.117-45.14.1.tl4.x86_64 / cgroup v2(CPU 4 核配额,memory.max = 8 GiB)/ 页大小 4 KB / AMD EPYC 9K65 / llama-cpp-python 0.2.90 / Python 3.11 / 模型 smollm2 1.7B f16。全部读数取自本机实测(18 条原始记录 + 中位数汇总已归档),测量方法见第七节四条命令。

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » 首 token 为什么慢:n_batch 六档实测,batch 太小才是元凶
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!