基于国产PCIE4.0/5.0 SWITCH 的AI服务器PCIe拓扑及12Gb SAS Expander多盘位背板应用研究（二）

2.2
拓扑特性分析

BalanceMode
的配置将
GPU
平均挂接 在
2

个
CPU
下
,GPU PCIe
总的上行带宽较高
;Com

monMode
在一定程度上能够满足
GPU
之间点对

点的通信
,
同时可保障足够的
CPU
与
GPU
之间

的
I/O
带宽
;Cascade Mode
只有一条
×16
链路
,

但由于
GPU
之间通过
PCIeSwitch
串接
,
提升了

点对点的性能
,
降低了延迟
。

对于双精度浮点运算
,
因
GPU
计算需要使用

处理器与主内存
,
由于
Dualroot
的拓扑上行带宽

与内存使用率提升
,
其性能会优于
Singleroot
的

拓扑
。

对于深度学习推理性能来说
,
具备并行计算能

力的
GPU
可以基于训练过的网络进行数十亿次

的计算
,
从而快速识别出已知的模式或目标
。
不同

拓扑下
GPU
的互联关系不同
,GPU
之间的沟通会

影响深度学习推理的整体性能
。

3
实验及结果分析

3.1
实验装置

为探究在不同应用条件下
3种拓扑的性能差

异
,
实验使用自研
AI
服务器
(NF5468M5)
搭建机

台进行测试
。
装置使用
2
颗
CPU,
规格为
IntelⓇ

XeonⓇ Gold6142,
主频为
2.60GHz;
使用
12
条

DDR4
内存
,
容量为
32GB,
主频为
2666 MHz;
使

用
8
颗
GPU,
规格为
NVIDIA Tesla-V100_32G。

3.2

实验结果分析

3.2.1

点对点带宽与延迟

对于
GPU
的
P2P
性能
,
可以使用带宽与延迟

来衡量
。PCIe3.0
的带宽为
16GB/s,
理想状况

下
,
实际应用中带宽可以达到理论带宽的
80%
左

右
。PCIe
的延迟主要取决于
PCIeTrace
的长度
、

走线路径 上 的 器 件 及 是 否 经 过
UPI、
是 否 跨
RC

(RootComplex)
等
。

如图
4
所示
,
在
BalanceMode、CascadeMode

和
CommonMode3
种拓扑中
,
分别测试挂在同一

个
PCIeSwitch
下的
GPU (
如图
4
中线路
①)
和跨

PCIeSwitch
的
GPU(
如图
4
中线路
②)
的点对点

带宽与延迟
。
测试结果如表
1、
表
2
及图
5
所示
。

在同一个
PCIeSwitch
下
,
由于
GPU
之间的

传输距离是一样的
,
所以在点对点回路
①
中
,3
种

拓扑的带宽与延迟结果皆相近
;
对于跨
PCIeSwitc

的
2
颗
GPU,
由于
CPU
间为
3UPILinks,
其信号

传输速度足够快
,
所以
BalanceMode
与
Common

Mode
的 结 果 相 近
,
而 对 于
Cascade Mode,
由 于

GPU
之间的沟通只需经过
PCIeSwitch,
传输路径

变短
,
其点对点延迟性能得以提升
;
同时
,
对于
In

telCPU
而言
,
一个
PCIe×16Port
为一个
RC,
不

同
RC
之 间 的 通 信 带 宽 比 同 一 个
RC
下
PCIe

Switch
之间的通信差
,
故
CascadeMode
的带宽也

得以提升
。

=========12Gb SAS Expander多盘位背板================

*硬盘热插拔功能;
*灯态支持硬盘上电，读写，报错;
*SPGIO硬盘报错功能;
*硬盘分时启动;
*风扇温度控制;
* I2C（BMC）;