网硕互联帮助中心一、测试概述
|
项目 |
规格 |
|
GPU |
NVIDIA RTX 4090 × 8 (24GB × 8 = 192GB) |
|
模型 |
Qwen3.6-27B-AWQ (AWQ 4-bit 量化) |
|
架构 |
4 × TP=2 实例 + Nginx least_conn 负载均衡 |
|
输入长度 |
~1024 tokens |
|
输出长度 |
256 tokens |
|
API 端口 |
2196 (Nginx) → 8000/8001/8002/8003 |
二、完整测试矩阵
2.1 阶梯测试 (固定 50 请求)
|
并发 |
请求 |
成功率 |
总耗时 |
平均延迟 |
QPS |
吞吐(tok/s) |
|
1 |
50 |
100% |
1031.7s |
20.0s |
0.04 |
12.40 |
|
10 |
50 |
100% |
160.6s |
31.8s |
0.31 |
79.69 |
|
20 |
50 |
100% |
61.3s |
20.4s |
0.81 |
208.64 |
|
50 |
50 |
100% |
21.8s |
21.0s |
2.29 |
587.42 |
|
100 |
50 |
100% |
21.7s |
20.9s |
2.30 |
591.08 |
|
150 |
50 |
100% |
21.8s |
20.9s |
2.29 |
588.39 |
|
200 |
50 |
100% |
21.5s |
20.8s |
2.32 |
594.05 |
|
250 |
50 |
100% |
21.9s |
20.9s |
2.28 |
585.27 |
2.2 补充测试 (变请求数)
|
并发 |
请求 |
成功率 |
总耗时 |
平均延迟 |
QPS |
吞吐(tok/s) |
|
50 |
100 |
100% |
43.1s |
20.9s |
2.32 |
594.24 |
|
100 |
100 |
100% |
22.3s |
21.2s |
4.48 |
1147.46 |
|
150 |
100 |
100% |
28.2s |
23.0s |
3.54 |
906.99 |
|
150 |
150 |
100% |
29.6s |
23.7s |
5.07 |
1298.13 |
|
200 |
150 |
100% |
24.6s |
22.3s |
6.09 |
�� 1560.08 |
|
200 |
200 |
100% |
42.6s |
22.4s |
4.69 |
1202.07 |
|
250 |
200 |
100% |
43.1s |
22.4s |
4.64 |
1188.18 |
|
250 |
250 |
100% |
45.1s |
26.8s |
5.54 |
1419.54 |
三、关键发现
3.1 性能拐点分析
|
阶段 |
特征 |
关键数据 |
|
线性增长 |
并发 1→50, 请求 50 |
吞吐 12.4→587 (47倍) |
|
饱和平台 |
并发 50→250, 请求 50 |
吞吐 585-594, 波动<2% |
|
突破峰值 |
并发 200, 请求 150 |
�� 1560.08 tok/s |
|
队列堆积 |
并发 200+, 请求 200+ |
延迟上升, 吞吐回落 |
3.2 核心结论
- 是阶梯测试峰值 594 的 2.63 倍
- 是 B60 8卡最优 (336 tok/s) 的 4.64 倍
- 同并发 100: 50请求→591 tok/s, 100请求→1147 tok/s (几乎翻倍)
- 说明 vLLM continuous batching 在大批次时效率更高
- 吞吐 907 tok/s, 低于预期
- 可能原因: 批次切分不均, 或 Nginx least_conn 调度波动
- P99 延迟 19.2s→22.2s (并发 250 以内)
- 仅并发 250+请求 250 时 P99 上升到 26.8s
- 说明 GPU 算力是瓶颈, 调度器无瓶颈
- 全部 1050/1050 请求零失败
- 零 OOM, 零超时
四、生产配置推荐
|
业务场景 |
推荐配置 |
吞吐 |
P99延迟 |
适用 |
|
实时对话 (<30s) |
并发 20, 队列 50 |
208 tok/s |
19.8s |
客服机器人 |
|
在线API (<60s) |
并发 100, 队列 100 |
1147 tok/s |
20.9s |
内容生成 |
|
批处理 (推荐) |
并发 200, 队列 150 |
1560 tok/s |
21.5s |
文档/翻译 |
|
极限吞吐 |
并发 200, 队列 150 |
1560 tok/s |
21.5s |
后台任务 |
|
高并发长队列 |
并发 250, 队列 250 |
1420 tok/s |
26.8s |
离线分析 |
五、集群承载能力
基于峰值 1560 tok/s: – 每用户平均 512 tokens (输入+输出) – 理论并发用户 = 1560 / (512/21.5) ≈ 65 用户/秒 持续请求 – 或 200 并发连接 长会话模式
六、与 B60 对比
|
指标 |
4090 8卡 (本测试) |
B60 8卡 (参考) |
倍数 |
|
峰值吞吐 |
1560 tok/s |
336 tok/s |
4.6× |
|
最优并发 |
200 |
150 |
– |
|
单请求延迟 |
~21s |
~28s |
1.3× 快 |
|
成功率 |
100% |
100% |
持平 |
|
单卡显存 |
24GB |
48GB (24×2 Tile) |
– |
测试时间: 2026-05-26 16:03 – 16:42 总请求数: 1050 (阶梯 400 + 补充 650)
评论前必须登录！
注册