训练/推理到底该租多大的 GPU?

个人开发者、学生党、小团队必看的 GPU 租用选型指南

你有没有遇到过这些情况?

• 花大价钱租了张卡,结果跑 SD 生图直接 CUDA out of memory 崩了;
• 用 40G 显存硬训 30B 模型,等了三个小时,训练失败;
• 租卡只看型号,不看显存,钱花了效率没上去。

GPU 选型 90% 的坑,都是显存没算对。 这篇文章不废话,直接给你一套能落地的计算方法,再附上我实际在用的平台和真实价格,供参考。

一、显存到底怎么算?一个公式搞定

显存需求 ≈ 参数量 × 精度字节 × (1 + 开销系数)

• FP16 精度下,每个参数占 2 字节;
• 7B 模型基础参数需要 14GB,算上激活值、KV 缓存等约 30% 开销,实际需要 18GB 左右;
• 32B 模型按同样算法,FP16 下基础 64GB,加上开销建议 80GB 显存;
• 务必再留 20% 余量,否则训练到一半 OOM,前面全部白费。

二、按任务类型选卡,别被参数表忽悠

核心原则:单卡能跑就不多租;推理用中端卡省钱,训练才上旗舰。

三、几个真实踩坑案例

• ❌ 16GB 卡跑 SDXL 大批量生图 → OOM,改成 L40(48GB)后流畅;
• ❌ 40GB 卡训练 30B 模型 → 显存不足,换 H100 80GB 解决;
• ❌ 用 B300 跑 7B 简单推理 → 算力严重浪费,一张 L40 就够。

四、我目前在用的平台(供参考)

我现在用的是 起源算力 oriGPU,选择它的原因很朴素:价格透明、按分钟计费、型号全、区域多。

以他们当前的参考价为例(时租,人民币):

几个细节体验:

• 按分钟计费,任务结束马上释放,不用包天包月;
• 多区域可选(芬兰/加拿大/挪威),同一个型号可以对比价格;
• 支持即时集群(多卡 NVLink)不用本地装任何东西;
• 他们文档中心有完整的 GPU 选型指南、创建实例教程,第一次用也能上手。

官网:origpu.com / 文档中心:docs.origpu.com(创建实例、SSH 连接、计费说明都在里面)

五、最后给你一句选型口诀

先算显存(公式 + 20% 余量),再定任务(推理/训练),最后看预算(单卡 vs 多卡)。

选对了卡,省下的都是真金白银。如果你也在找性价比的 GPU 算力,可以对比一下上面那几家再做决定。