网硕互联帮助中心一、操作系统 如果不要求操作系统，个人建议使用ubuntu22.04版本
二、环境准备 安装python https://www.python.org/downloads/source/ 压缩包地址 下载好的压缩包上传到服务器 执行一下命令
```
tar -zxvf Python-3.12.9.tgz //解压
cd /Python-3.12.9 //进入解压后的目录
./configure –prefix=/usr/local/python3.12.9 //指定安装在哪个目录
make && sudo make install //编译以及安装
ln -sf /usr/local/python3.12.9/bin/python3.12 /usr/bin/python3 软链接
ln -sf /usr/local/python3.12.9/bin/pip3.12 /usr/bin/pip3
python3 -v
```
三、安装miniconda3
创建目录
```
mkdir -p ~/miniconda3
```
下载脚本 https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh 下载之后上传到服务器
运行脚本 bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
激活 ~/miniconda3/bin/conda init bash ~/miniconda3/bin/conda init zsh source ~/.bashrc
配置国内镜像源 vim ~/miniconda3/.condarc
show_channel_urls: true
channels:
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
– https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
– defaults
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
四、安装nvidia驱动
P
A
T
H
′
>
>
/
.
b
a
s
h
r
c
e
c
h
o
′
e
x
p
o
r
t
L
D
L
I
B
R
A
R
Y
P
A
T
H
=
/
u
s
r
/
l
o
c
a
l
/
c
u
d
a
−
12.4
/
l
i
b
64
:
PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda- 12.4/lib64:
PATH′>> /.bashrcecho′exportLDLIBRARYPATH=/usr/local/cuda−12.4/lib64:LD_LIBRARY_PATH’ >> ~/.bashrc source ~/.bashrc nvcc –version reboot now conda activate vLLM 六、安装torch https://download.pytorch.org/whl/torch/ 上传torch-2.4.0+cu124-cp310-cp310-linux_x86_64.whl pip install torch-2.4.0+cu124-cp310-cp310-linux_x86_64.whl 七、上传vllm 准备一台可以联网的服务器（如果当前服务器联网直接pip install vllm） pip download vLLM -i https://pypi.tuna.tsinghua.edu.cn/simple 将下载好的vllm打包传输到目标服务器 pip install vllm.tar vllm –version 八、上传模型 https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B，模型下载地址，我是通过移动硬盘传输的，因为是离线的不能直接下载 九、运行模型 下载好了之后运行模型，跑起来就ok了
评论前必须登录！
注册