云计算百科
云计算领域专业知识百科平台

在服务器中下载huggingface模型,解决huggingface无法连接

PS: 参考链接大佬写的,补充了遇到的问题及改进,更多解决方法详见:【已解决】如何在服务器中下载huggingface模型,解决huggingface无法连接_failed to connect to huggingface.co port 443-CSDN博客

解决国内无法连接Hugging face,无法下载预训练模型_服务器连不上huggingface-CSDN博客

问题描述

       在使用远程服务器的时候(远程服务器平台:BuluAI),没办法连接huggingface网站并下载模型。

解决方式1

修改../huggingface_hub/constants.py,将原来的默认网址修改为镜像网址:

# _HF_DEFAULT_ENDPOINT = "https://huggingface.co"
_HF_DEFAULT_ENDPOINT = "https://hf-mirror.com"

这样直接调用 AutoModelForCausalLM.from_pretrained() 就能自动下载了。

二编补充:

如何查找huggingface_hub文件夹路径?

find / -type d -name "huggingface_hub" 2>/dev/null

  • / 表示从根目录开始搜索(可能较慢)。

  • -type d 只查找目录。

  • -name "huggingface_hub" 指定目录名称。

  • 2>/dev/null 用于忽略权限错误的警告。

输出的路径就是huggingface_hub的路径。

cd命令进入该路径并就可以看到constants.py文件:

使用vim命令进行修改即可(i-修改;:wq-保存并退出。不熟悉的小伙伴们请自觉温习linux命令)

**下面是失败的方法,但是也做个记录吧。

解决方式2-使用huggingface-cli脚本下载

1. 设置 Hugging Face 访问的镜像网址

export HF_ENDPOINT=https://hf-mirror.com

2. 刷新环境变量

source .bashrc

      *这里可能会遇到运行目录不是home目录,所以报错“No such file or directory”,可以查看home目录下是否有对应文件:

ls -a ~

        有的话就直接刷新home目录下的文件

source ~/.bashrc

3. 安装 huggingface_hub 库(huggingface-cli 不是一个独立的包,直接安装可能报错)

pip install huggingface_hub

        记得login并用token登录哦:

huggingface-cli login

4. 下载模型

huggingface-cli download –resume-download (模型名称) –local-dir (模型存放位置) –local-dir-use-symlinks False –resume-download

好的,水灵灵地失败了😓。

赞(0)
未经允许不得转载:网硕互联帮助中心 » 在服务器中下载huggingface模型,解决huggingface无法连接
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!