2025-07-30
分类：服务器百科
阅读(13) 评论(0)
打开服务器最好选择torch版本在1.13-2.4之间的版本
学术加速 (source /etc/network_turbo)
创建llama的虚拟环境 conda create -n llama python==3.11 （就是创建一个新的名为llama_factory的虚拟环境并且装配python3.11）
激活llama_factory环境 conda activate llama_factory 这个时候可能会出现错误，不用担心咱们再次运行 conda init这个命令然后关闭终端重启就可以激活了
安装torch库建议使用12.1的CUDA
执行这三个 (sudo apt update) (sudo apt install git-lfs) (git lfs install) 就是更新git这个东西
去这个网址 https://github.com/hiyouga/LLaMA-Factory中找到code中的网址 git clone https://github.com/hiyouga/LLaMA-Factory.git
升级pip版本（python -m pip install –upgrade pip）
进入llama-factory的文件中安装requirements中的相关的依赖（pip install -r requirements.txt ）
运行 (pip install -e '.[torch,metrics]' ) 这个命令主要用于以 “可编辑” 模式安装 Python 包，并且会根据指定的额外功能集（torch 和 metrics）安装相应的依赖项。“可编辑” 模式意味着当你修改本地项目代码时，Python 环境会直接使用修改后的代码，而不需要重新安装包。
校验：依次运行 （python）（import torch）（torch.cuda.current_device()）（torch.cuda.get_device_name(0)）（torch.__version__）会依次给出相应的版本号的
进行整体的校验：（llamafactory-cli train -h ）如果报错内容为 No module named ‘tyro’运行 (conda install -c conda-forge tyro) 再运行（llamafactory-cli train -h）
至此为止llama_factory就部署完成了
下载qwen大模型 （网址：HF-Mirror）也可以直接运行这个代码（git clone https://hf-mirror.com/Qwen/Qwen2.5-1.5B-Instruct）注意此时大模型开始再服务器加载 但是加载完成后一定要注意看模型的大小看是否真正的加载完成（再次注意模型一定不要放到系统盘内）
使用qwen大模型文件内使用（qwd）获取模型的文件位置
使用（CUDA_VISIBLE_DEVICES=0 llamafactory-cli webchat –model_name_or_path /root/autodl-tmp/Qwen2.5-1.5B-Instruct –template qwen）获取一个端口号，打开工具输入服务器的ssh指令和ssh密码并且把端口号复制到本地直接开始代理，这个时候咱们就是使用llama-factory这个工具来运行qwen大模型了 ，可以正常的跟大模型对话了
咱们直接使用（cd llama-factory/src/）进入到llama-factory中的src这个文档内，再使用（python webui.py）此时咱们的网址就可以真正意义上的开始微调大模型了
网硕互联帮助中心
评论前必须登录！
注册