8 卡 GPU 服务器与 NVLink/NVSwitch 互联技术

目录

文章目录

• 目录
• 8 卡 GPU 服务器
• GPU 互联技术分类
• PCIe 直连
• PCIe Switch 互联
• NVLink 互联
• • NVLink 1.0 与 DGX-1 系统
  • NVLink 2.0 与 DGX-1 系统
• NVSwitch 全互联
• • NVSwitch 1.0 与 DGX-2 系统
  • NVLink 3.0、NVSwitch 2.0 与 DGX A100
  • NVLink 4.0、NVSwitch 3.0 与 DGX H100
• GPU 互联拓扑类型总结
• GPU 互联拓扑的带宽性能问题
• NVSwitch v.s. PCIe Switch

8 卡 GPU 服务器

随着模型复杂程度增加，单张 GPU 无法完成训练任务，需要联合多张 GPU，尤其在 LLM 时代，8 卡 GPU 服务器已经成为了新的常态。

在 8 卡 GPU 服务器中，CPU 仍然承担着系统管理、任务调度、逻辑运算等工作，而 GPU 则主要负责大规模并行计算任务。

GPU 互联技术分类

在深度学习的训练过程中，随着 GPU 算力的飞速飙升，GPU 之间的互联数据传输速度已经成为了制约训练效率的瓶颈。从网络构成的角度，可以分为：

本文讨论的是单机 GPU 卡间互联。解决的问题就是如何将 8 张 GPU 互联起来，使其能够互相进行高效的通信。从互联技术的层面有以下 4 大类：

P