【实战指南】GPU 服务器常见故障一览：掉卡、ECC 报错、显存损坏的根因分析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后，紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}

1. 为什么 GPU 服务器总"出问题"？

数据中心 GPU 长期在 7×24 小时、400W~1000W 高功耗下运行，电气应力、热应力、机械应力持续累积，故障是必然的，区别只是早晚。

本文整理维核智算维修数据库中的高频故障，从"现象 → 根因"逐条拆解，帮你建立 GPU 故障的第一性认知。

2. GPU 常见故障类型总览

3. 掉卡故障：根因全拆解

"掉卡"是数据中心最高频的故障之一，根因通常来自五个方面：

3.1 供电模块老化

3.2 BGA 虚焊

3.3 PCIe Switch 过热

3.4 SXM 连接器烧损

3.5 GPU 托盘连接器损伤

4. ECC 报错：分级处理

 排查命令：nvidia-smi -q -d ECC 查看 ECC 计数详细排查 SOP 见本系列第 3 篇。

5. 显存故障：HBM 的特殊性

HBM 显存直接封装在 GPU 晶圆周围（SXM 形态），通过硅中介层互联：

6. 供电故障：快速识别

7. 排查思路总结

现象观察 → 外观检测 → 静电防护 → 阻抗测试
→ 上电检测(nvidia-smi) → DCGM 诊断 → 热成像扫描
→ 3D X-Ray → 故障定位 → 维修方案

8. 结尾

掉卡、ECC、显存损坏是 GPU 故障的"三座大山"。下一篇我们聚焦 ECC 报错，从 nvidia-smi 到 DCGM 给出完整排查手册。