在 AutoDL 算力服务器上部署 ChatGLM-3-6B 模型实战教程

在人工智能快速发展的当下，大语言模型展现出巨大的应用潜力。ChatGLM-3-6B 模型以其出色的对话能力和广泛的适用场景，成为众多开发者关注的焦点。本文将详细阐述如何在 AutoDL 算力服务器上部署 ChatGLM-3-6B 模型，助力读者快速掌握这一前沿技术。

一、环境准备

确认你的 AutoDL 服务器具备以下环境：PyTorch 2.0.0、Python 3.8（Ubuntu 20.04）、CUDA 11.8。合适的环境配置是确保后续部署流程顺利进行的基础。

二、项目克隆与文件夹创建

在 autodl-tmp 文件夹下新建 data 文件夹，用于存放项目文件。执行以下命令：

mkdir -p /root/autodl-tmp/data && cd /root/autodl-tmp/data

随后，克隆 ChatGLM-3 项目：

git clone https://github.com/THUDM/ChatGLM3.git

三、虚拟环境配置

使用 conda 创建虚拟环境，保障项目依赖的独立性与管理的便捷性。运行以下指令，创建并激活名为 glm3 的虚拟环境：

conda create –name glm3 python=3.11
conda activate glm3

如遇激活失败，执行 conda init，重新开启终端后再次激活。

四、依赖安装

进入项目目录，安装项目所需的依赖库：

cd ChatGLM3/
pip install -r requirements.txt

网络状况可能导致安装过程耗时甚至超时，可切换至阿里源提升安装速度。

五、模型权重下载

提供三种模型权重下载方式供选择：

方式一：脚本下载

mkdir -p /root/autodl-tmp/data/ZhipuAI/chatglm3-6b
cd /root/autodl-tmp/data/
pip install modelscope

进入 Python 环境，输入以下代码开始下载：

from modelscope.hub.snapshot_download import snapshot_download
snapshot_download('ZhipuAI/chatglm3-6b', cache_dir='./', revision='master')

下载完成后，输入 exit() 退出 Python 环境。

方式二：命令行下载

pip install modelscope
modelscope download –model ZhipuAI/chatglm3-6b –local_dir /root/autodl-tmp/data/ZhipuAI/chatglm3-6b

方式三：本地上传

在本地下载模型权重文件，通过 XFTP 上传至 data 文件夹。

六、下载 embedding 文件

下载 BAAI/bge-m3 embedding 文件：

cd /root/autodl-tmp/data/
pip install modelscope
modelscope download –model BAAI/bge-m3 –local_dir /root/autodl-tmp/data/BAAI/bge-m3

七、配置文件修改

修改配置文件，使其指向下载的模型权重和 embedding 文件：

修改 api_server.py

cd /root/autodl-tmp/data/ChatGLM3/openai_api_demo/
vi api_server.py

将：

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')
EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', 'BAAI/bge-m3')

修改为：

MODEL_PATH = os.environ.get('MODEL_PATH', '/root/autodl-tmp/data/ZhipuAI/chatglm3-6b')
EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', '/root/autodl-tmp/data/BAAI/bge-m3')

修改 cli_demo.py

cd /root/autodl-tmp/data/ChatGLM3/basic_demo
vi cli_demo.py

将：

MODEL_PATH = os.environ.get('MODEL_PATH', 'THUDM/chatglm3-6b')

改为：

MODEL_PATH = os.environ.get('MODEL_PATH', '/root/autodl-tmp/data/ZhipuAI/chatglm3-6b')

八、服务与 Demo 启动

完成配置后，启动服务和 Demo：

python api_server.py

体验模型对话功能，运行：

python /root/autodl-tmp/data/ChatGLM3/basic_demo/cli_demo.py

此时，模型启动并正常运行，可与你进行对话。

九、总结与展望

本教程详细介绍了在 AutoDL 算力服务器上部署 ChatGLM-3-6B 模型的完整流程。ChatGLM-3-6B 模型凭借其强大的对话生成能力，在问答系统、文本摘要、机器翻译等多个领域具有广泛的应用前景。成功部署该模型后，开发者可以基于此探索更多创新应用场景，推动人工智能技术在实际业务中的落地。希望通过本教程，读者能够快速掌握部署技巧，开启 AI 应用开发的新篇章。

在实际应用过程中，开发者可以根据项目需求对模型进行进一步优化和定制。例如，通过模型量化技术降低显存占用，实现多卡部署以提高推理效率，或者结合特定领域的数据对模型进行微调，使其更贴合业务场景。同时，随着人工智能技术的不断发展，新的模型架构和优化方法将不断涌现，开发者应持续关注行业动态，积极探索如何将新技术与现有系统相结合，以保持技术领先地位。

如果在部署或应用过程中遇到任何问题，欢迎随时交流探讨。再次感谢读者对本教程的关注，期待在 AI 技术探索之路上与大家共同成长。