PS: 参考链接大佬写的,补充了遇到的问题及改进,更多解决方法详见:【已解决】如何在服务器中下载huggingface模型,解决huggingface无法连接_failed to connect to huggingface.co port 443-CSDN博客
解决国内无法连接Hugging face,无法下载预训练模型_服务器连不上huggingface-CSDN博客
问题描述
在使用远程服务器的时候(远程服务器平台:BuluAI),没办法连接huggingface网站并下载模型。
解决方式1
修改../huggingface_hub/constants.py,将原来的默认网址修改为镜像网址:
# _HF_DEFAULT_ENDPOINT = "https://huggingface.co"
_HF_DEFAULT_ENDPOINT = "https://hf-mirror.com"
这样直接调用 AutoModelForCausalLM.from_pretrained() 就能自动下载了。
二编补充:
如何查找huggingface_hub文件夹路径?
find / -type d -name "huggingface_hub" 2>/dev/null
-
/ 表示从根目录开始搜索(可能较慢)。
-
-type d 只查找目录。
-
-name "huggingface_hub" 指定目录名称。
-
2>/dev/null 用于忽略权限错误的警告。
输出的路径就是huggingface_hub的路径。
cd命令进入该路径并就可以看到constants.py文件:
使用vim命令进行修改即可(i-修改;:wq-保存并退出。不熟悉的小伙伴们请自觉温习linux命令)
**下面是失败的方法,但是也做个记录吧。
解决方式2-使用huggingface-cli脚本下载
1. 设置 Hugging Face 访问的镜像网址
export HF_ENDPOINT=https://hf-mirror.com
2. 刷新环境变量
source .bashrc
*这里可能会遇到运行目录不是home目录,所以报错“No such file or directory”,可以查看home目录下是否有对应文件:
ls -a ~
有的话就直接刷新home目录下的文件
source ~/.bashrc
3. 安装 huggingface_hub 库(huggingface-cli 不是一个独立的包,直接安装可能报错)
pip install huggingface_hub
记得login并用token登录哦:
huggingface-cli login
4. 下载模型
huggingface-cli download –resume-download (模型名称) –local-dir (模型存放位置) –local-dir-use-symlinks False –resume-download
好的,水灵灵地失败了😓。
评论前必须登录!
注册