/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
首 token 为什么慢:n_batch 六档实测,batch 太小才是元凶
先说结论。同一个模型、同一台机器、同一个 512 token 的 prompt:n_batch=128 的首 token 延迟(TTFT)是 8,138 ms,n_batch=16 是 9,464 ms——比 128 档慢 16.3%,而它的 prefill 吞吐只有 54.1 tok/s,比 128 档的 62.9 低 14.0%。中间四档(32/64/128/256)极差只有 3.1%,n_batch=512 回升到 8,603.9 ms。
一句话:批次别贴着最小档设。prefill 是按批切块算的,块太小,每轮的固定开销就被重复付太多次;但"块越大越好"也不成立,512 档实测微涨 5.7%。 这篇只回答一个问题:n_batch 对首 token 延迟到底意味着什么,以及该把它设到哪一档。
一、三个判据
| 曲线形状 | TTFT 随 n_batch 先降后升,呈 U 型 | 16 档 9,464.5 ms → 128 档 8,138.0 ms → 512 档回升 8,603.9 ms |
| 平台区 | 中段四档极差仅 3.1%,收益集中在"别设太小" | 32~256 四档落在 8,138.0~8,390.5 ms |
| 记账科目 | 16 档慢的账记在 prefill 吞吐上,不记在内存 | 54.1 vs 62.9 tok/s(−14.0%);HWM 稳定 ~7.0 GiB、oom_kill=0 |
三条主证都能在你自己的机器上复现,命令在第七节。
二、实验设置
固定项(六档之间只有 n_batch 一个变量):
| 模型 | SmolLM2-1.7B-Instruct f16 GGUF(3.19 GiB) | 与 F2/F3 同一权重、同机同容器,数据可横向对照 |
| prompt | 512 token,先 tokenize 再精确截断 | 直接传 token 序列,各档 prompt 逐 token 一致,避免文本差异混入 |
| 采样 | temperature=0(top_k=1)、流式 | 贪婪解码,排除采样随机性 |
| 线程 | n_threads=4、n_threads_batch=4 | 贴着可用核数设(F2 结论),不混入线程变量 |
| 上下文 | n_ctx=2048 | KV ≈ 384 MB(192 KB/token,见 F3),远离内存墙,主证不含 n_ctx 干扰 |
| 统计口径 | 每配置独立子进程 × 3 遍取中位数 | RSS 不累积;中位数口径沿用 F2 的教训 |
环境核对两条(跑实验前先确认容器配额,别让"nproc 报 32 核"这种假象混进来):
cat /sys/fs/cgroup/cpu.max # 本机:400000 100000,即 4 核配额
cat /sys/fs/cgroup/memory.max # 本机:8589934592,即 8 GiB
TTFT 定义:从调用推理到第一个流式 chunk 到达的墙钟时间。模型加载、tokenizer 预热在计时前完成并 reset(),不计入 TTFT。每次运行实际产出 9 个流式 chunk(8 个生成 token 之外的计数差异属绑定层流式实现,六档完全一致,不影响 TTFT 口径)。
加载代码只差一个参数:
from llama_cpp import Llama
llm = Llama(model_path="smollm2-f16.gguf",
n_ctx=2048, # 固定
n_threads=4, # 固定
n_threads_batch=4, # 固定
n_batch=<档位>) # 唯一变量:16/32/64/128/256/512
三、机制一段:prefill 是按批切块算的
llama.cpp 的预填充(prefill)不是把 512 个 token 一次塞进矩阵乘法,而是按 n_batch 切块、逐轮前向:
| 16 | 32 轮 |
| 32 | 16 轮 |
| 64 | 8 轮 |
| 128 | 4 轮 |
| 256 | 2 轮 |
| 512 | 1 轮 |
每一轮除了真实的矩阵计算,还有一批固定开销——kernel 启动、批间同步、采样前的状态整理。块越小,轮次越多,固定开销被重复付的次数就越多。
这笔账可以粗略折算:16 档比 128 档多跑 28 轮,TTFT 多 1,326.5 ms,摊下来约 47 ms/轮——这就是"轮次税"的量级。注意这只是一个示意性折算(TTFT 里还有与轮数无关的固定部分),不是精确分解,但数量级与"小批次伤首延迟"的方向一致。
16 档慢的直接证据在吞吐上:它的 prefill 只有 54.1 tok/s,比 128 档的 62.9 低 14.0%——少的不是算力,是被轮次开销吃掉的时间。
四、六档读数全表
主表(中位数,3 遍取中位):
| TTFT (ms) | 9,464.5 | 8,390.5 | 8,352.5 | 8,138.0 | 8,286.0 | 8,603.9 |
| prefill (tok/s) | 54.1 | 61.0 | 61.3 | 62.9 | 61.8 | 59.5 |
| HWM max (MB) | 7,008.4 | 7,008.6 | 7,008.4 | 7,010.1 | 7,009.9 | 7,011.1 |
| oom_kill max | 0 | 0 | 0 | 0 | 0 | 0 |
TTFT 原始读数全表(三遍全列,不挑数):
| 16 | 9,464.5 | 9,663.1 | 9,383.8 | 3.0% |
| 32 | 8,457.6 | 8,390.5 | 8,338.5 | 1.4% |
| 64 | 8,149.2 | 8,996.0 | 8,352.5 | 10.4% |
| 128 | 8,106.8 | 8,138.0 | 8,157.5 | 0.6% |
| 256 | 8,273.2 | 8,286.0 | 8,345.2 | 0.9% |
| 512 | 8,743.1 | 8,579.3 | 8,603.9 | 1.9% |
prefill 原始读数全表:
| 16 | 54.10 | 52.99 | 54.56 |
| 32 | 60.54 | 61.02 | 61.40 |
| 64 | 62.83 | 56.91 | 61.30 |
| 128 | 63.16 | 62.91 | 62.76 |
| 256 | 61.89 | 61.79 | 61.35 |
| 512 | 58.56 | 59.68 | 59.51 |
读法有两条纪律:
一个自洽验算(证明两张表是同一次测量,不是两套读数):本实验里 prefill_tok_s = 512 / TTFT,二者互为倒数——512 ÷ 62.91 tok/s = 8.138 s,正是 128 档的 TTFT;512 ÷ 54.1 = 9.464 s,正是 16 档的 TTFT。首 chunk 到达前几乎全是 prefill 时间,两张表互相印证,读数口径没有暗坑。
五、16 档为什么慢,512 档为什么微涨
16 档慢:第三节的轮次机制 + prefill 吞吐 −14.0%,两条证据互洽,可以下结论。512 token 在 16 档下切 32 轮,每轮多付一份固定开销,吞吐被摊薄;切到 128 档只剩 4 轮,轮次税基本归零。
512 档微涨(8,603.9 ms,比 128 档慢 5.7%):方向与"块越大越好"相反。可能的解释是单轮计算量过大后与调度、缓存层次的交互变差,但本轮实验没有针对该现象的测量,正文只登记现象、不强行归因。等 n_ubatch 可控后(见第六节)做切分实验才有判据——上游把一个 n_batch 批再切成 n_ubatch 子块计算,512/1 轮的"巨轮"内部实际怎么走,本环境看不见。
三条常见误读,提前拆掉:
六、边界与不承诺
七、复现:四条命令
# ① 环境:llama-cpp-python 0.2.90 + SmolLM2-1.7B-Instruct f16 GGUF
pip install llama-cpp-python==0.2.90
# 模型下载后置于脚本内 F16 路径
# ② 单点试跑(验证脚本与模型就位,n_batch=64 跑 1 遍)
python3.11 g1_ttft_bench.py 64 1
# ③ 全量扫描(6 档 × 3 遍,每配置独立子进程,逐条写 JSONL)
python3.11 g1_ttft_bench.py 16,32,64,128,256,512 3
# ④ 中位数汇总(读 evidence.jsonl 输出主表口径)
python3.11 g1_ttft_bench.py driver g1_ttft_evidence.jsonl
每条原始记录长这样(JSONL 逐行):
{"n_batch": 128, "rep": 2, "prompt_tokens": 512, "ttft_ms": 8138.0,
"prefill_tok_s": 62.91, "total_gen_s": 8.627, "gen_chunks": 9,
"hwm_mb": 7010.0, "oom_kill": 0}
脚本做了三件保证口径一致的事:prompt 先 tokenize 再精确截断到 512 token(直接传 token 序列,各配置逐 token 一致);预热不计入 TTFT;每配置独立子进程,RSS 与 cgroup 计数互不污染。
换一台机器怎么落地:不要照抄 128 这个数,照抄方法——跑②③④拿到你自己机器的 U 型曲线,然后只信"三遍区间不重叠"的档位差。本机实测下的起手参考:交互式服务从 128 档起步、两端各试一档验证形状;一次性 CLI 问答对 TTFT 不敏感,可从 64 起步顺手验证;批处理离线任务首延迟无关紧要,不必调。
八、系列拼图:三个旋钮各管一段
| n_threads | 逐 token 解码吞吐 | 贴着可用核数设,不是 nproc(超订后 p95 先崩 37.7 倍) | F2 |
| n_ctx | KV cache 内存账 | 按内存预算开,192 KB/token(f16),q8_0 可省 47% | F3 |
| n_batch | 首 token 延迟 | 别设太小(U 型,128 档最优),太大微涨;不影响内存 | 本篇 |
三篇合成"本地推理三个旋钮":线程管稳态、上下文管内存、批次管首响应。三个参数互相独立、可分别调——前提是你的绑定层把它们都暴露出来了(本 binding 恰好差一个,见第六节)。调参顺序建议:先按 F2 定线程、再按 F3 定上下文、最后用本篇的方法扫一遍 n_batch 收尾——前两个定了之后,n_batch 的曲线形状才不会被别的变量污染。
九、遗留与下一步
版本信息:Linux 6.6.117-45.14.1.tl4.x86_64 / cgroup v2(CPU 4 核配额,memory.max = 8 GiB)/ 页大小 4 KB / AMD EPYC 9K65 / llama-cpp-python 0.2.90 / Python 3.11 / 模型 smollm2 1.7B f16。全部读数取自本机实测(18 条原始记录 + 中位数汇总已归档),测量方法见第七节四条命令。
网硕互联帮助中心





评论前必须登录!
注册