挑战纯CPU最低成本推理极限：四路E5服务器装机与模型优化(持续探索优化中)

前情提示

本贴属于个人探索帖, 后续用到的一些模型推理项目也大都处于测试开发阶段, 模型可能会出现无法载入或者运行不稳定等各种兼容性问题, 如果是为了想低价玩模型的纯小白, 不建议仿照, 如果有大佬知道优化思路的, 也欢迎一起探讨, 当然真想入手可以考虑单纯入手一块四路x99的主板放家里备着, 价格几百也不算太贵, 将来对于纯CPU并行优化好了, 可以再采购其他材料装机直接玩, 因为现在二手市场上的正牌的四路主板货还是很稀缺的, 特别是支持e5 v3以上的, 不是便宜不便宜买到的问题, 是难不难买到的问题, 我为了买这台机器的主板就在咸鱼和各老板博弈了将近一个星期. 本贴也不会涉及过多的理论科普, 主要展示实际中的应用.

当前配置成本

当前整台机器成本在2500元左右, 本机48核心96线程, 最大理论内存16通道带宽是272GB/s, 加上128G的RAM容量, 理论上跑一个70B Q8会有3~4t/s的速度, 并且考虑的以后会有越来越多的大体积优秀moe架构的模型推出，性能高的同时推理速度还不低，对于CPU+内存方案是很吃香的，我也是在向着无限接近理论性能不断寻求优化方案, 因为怕翻车因此只买了这么多内存.