3500元组装一台 AI 深度学习服务器？

2024年11月份车子保养时在休息室偶遇一位长辈，聊的起劲，长辈做了基建工程 30 几年了，做的很大，但是他正在尝试换行业，说当下环境工程不好做，款项回款难，很累，不打算再做工程了，所以投了小千万到一家 AI 科技公司，一直介绍该科技公司的产品，回家后的我逐步陷入沉思，心想着是不是再不深度了解下 AI 这个行业也许后面真的要被淘汰了，虽然作为一名互联网打工仔，日常工作中早就使用各AI工具来提高工作效率，但仅仅是停留在使用的阶段，对其原理就是一张白纸，所以打算从硬件到软件通过实践的方式入门 AI，因此开始尝试低成本组装AI深度学习服务器，毕竟要学 AI 首先硬件就是个不小的门槛。

我的需求

开始前多说一点，不要看着 3500 元就能组装一台深度学习服务器，然后盲目跟风抄作业，虽然价格很便宜，但是得花更多的时间去解决各种问题，这个世界就是这样，要省钱得多花时间，要省时间就多花钱，所以你根据自己当下的需求，衡量金钱和时间哪个更重要？再做决定。

1. 用足够低的成本从硬件到软件通过实践的方式入门 AI，做好失败的准备，5000 元打水漂能接受。 2. 只涉及部署大模型和简单的微调训练，无非速度慢点，多花点时间，能接受。 3. 不在乎电费，每个月 1000 的油费都加了，还差这点电费嘛。 4. 希望过程中遇到多点问题，通过解决问题掌握的相关的知识。

挑选主板

在知乎上了解到有这么一块老主板 Z10PE-D8 WS，支持 E5 V3/V4 CPU 和 4 张显卡交火，虽然年代岁久，但当时可是板皇，售价近 5000，工作站级别的主板，现二手在 1000 – 1600 左右，最后在闲鱼以 900 入手。

在选择主板的时候，如果你的需求是多卡，建议选择华硕、技嘉、超微工作站/服务器级别的主板，消费级的主板多 PCIE 通道上基本跑不满，如果你也有需求，根据自己的需求得多花点时间了解下，我选择主板时就根据自己当下的需求花了2周去对比和调研。

挑选显卡

首先，说句良心话，真心不建议大家买 K、M、P 这三个架构系列，因为它们都没有真正的 AI 能力！跑 AI 大模型需要的是 FP16 的计算能力和 TensorCore 的矩阵算力，它只有从 Tesla V100 开始才有的，也就是 2017 年后推出的 Tesla 系列的 V、T、A 开头的系列显卡，RTX 系列的 20、30、40、50 系列显卡。

而且现在 K、M、P 系列被炒的价格虚太高了。截至 25 年 3 月，这 P40 已经到近 3000 的价格，这钱够买 2080Ti 魔改 22G 了，M40 24G 的价格在 1200 左右，12G 的 400 左右，离谱！我当初选 M40 只是为了低成本实践，4 张卡全套下来没超过 1000 元，打算熟悉了整个流程后，再组一台四卡 3090 或 双卡 4090 的计划，截至 25 年 3 月，双卡 4090 AI 服务器已组装完毕，所以再次温馨提示：请结合自己的需求，不要盲目抄作业。

言归正传，对于显卡也是从知乎了解到 Tesla 计算卡，都是数据中心淘汰下来的，价格相对 RTX 系列的消费级显卡便宜不少，因为它没有主动散热和输出接口，需要一定专业知识和动手能力进行改造，所以一般消费者也用不了，这也是便宜的原因之一，一顿了解后，有 K80、M40、P40 可选。

K80 显存最大又便宜，但架构太老了，放弃。

P40 是 24G 显存的，但一块要 1500 多，原来 300 的价格被二手卡商炒到 1500+，放弃。

M10、M60 是图形虚拟化专用卡，而 M40/P4/P40/P100 是计算卡，两者定位完全不同，显存虽大，但并不适用 AI 推理和训练，放弃。

M40 有 2 个版本，12G 和 24G 的，24G 的四五百左右，12G 的二百左右 ，因为不确定 M40 是否可用，所以就先选择 12G 版本的试一试，4 张不到 1000 就拿下了，这样就算不成，投入也不算大。

最终配置

此外选择 Telsa 系列的显卡需要改造主动散热和转换电源，这块要另外买，最终配置如下：

抖音已同步记录【四卡Telsa M40玩AI】欢迎观看：Ai.den，知识星球已详细记录【完整环境搭建+各个卡异常踩坑】欢迎加入：AI Pro。