8卡海光Z100L服务器实战：手把手教你用vLLM部署32B大模型（附完整镜像与配置）

8卡海光Z100L服务器实战：从零部署Qwen2.5-32B大模型全流程指南

国产化算力平台正在成为AI基础设施的新选择。海光Z100L作为国产高性能计算卡的代表，其8卡服务器的配置足以承载32B参数规模的大模型推理。本文将完整呈现从硬件验收到模型服务的全链路操作，特别针对海光DCU生态与通用GPU的差异点进行深度解析。

1. 硬件准备与环境校验

拿到一台全新的8卡服务器时，首先要确认硬件状态和基础环境。海光平台的特殊性在于其DCU（Deep Computing Unit）架构，需要配套的驱动和工具链支持。

1.1 硬件识别与驱动安装

通过以下命令检查DCU设备信息：

lspci | grep -i \’Display\\|Compute\’

典型输出应显示8个Z100L设备，类似：

37:00.0 Display controller: Chengdu C-3000 IC Design Co., Ltd. ZIFANG (rev 01)
3a:00.0 Display controller: Chengdu C-3000 IC Design Co., Ltd. ZIFANG (rev 01)
…

安装DCU驱动时需注意版本匹配：

wget https://your-official-path/dtk-25.04.1-driver/rock-6.3.15-V1.0.1.run
chmod +x rock-6.3.15-V1.0.1.run
./rock-6.3.15-V1.0.1.run

注意：安装前建议卸载旧版驱动，使用rpm -e命令清理历史版本

1.2 环境监控工具

海光提供专属监控工具hy-smi，其输出参数与NVIDIA-smi有所不同：