云计算百科
云计算领域专业知识百科平台

服务器下载 Hugging Face 模型的 7 种方法(附国内加速 + 离线加载)

目录

一、Hugging Face 模型仓库结构

二、使用 git clone 下载(最简单)

三、使用 huggingface-cli 下载(最推荐 ⭐)

四、使用 Git LFS 下载

五、使用 Python 下载(实验最方便)

六、Transformers 自动下载(最常见)

七、国内服务器加速方案

八、批量下载模型(服务器常用)

九、离线加载 Hugging Face 模型

总结

参考


一、Hugging Face 模型仓库结构

Hugging Face 模型通常类似一个 Git 仓库,例如:

其中最重要的是:

文件作用
pytorch_model.bin 模型权重
config.json 模型配置
tokenizer.json tokenizer
README.md 模型说明

二、使用 git clone 下载(最简单)

类似 GitHub。

git clone https://huggingface.co/openai/clip-vit-base-patch32

优点:

  • 简单

  • 完整下载仓库

缺点:

  • 依赖 Git LFS


三、使用 huggingface-cli 下载(最推荐 ⭐)

这是 目前最稳定的方式。

1 安装

pip install huggingface_hub

2 下载模型

huggingface-cli download openai/clip-vit-base-patch32

# 只下载权重文件
huggingface-cli download openai/clip-vit-base-patch32 pytorch_model.bin

3 指定路径

huggingface-cli download openai/clip-vit-base-patch32 –local-dir ./clip_model

优点:

  • 自动处理大文件

  • 支持断点续传

  • 不需要 Git LFS

  • 下载更稳定


四、使用 Git LFS 下载

很多 Hugging Face 模型使用 Git LFS(Large File Storage)。

安装:

sudo apt install git-lfs

初始化:

git lfs install

然后 clone:

git clone https://huggingface.co/openai/clip-vit-base-patch32

否则下载到的可能是:

pytorch_model.bin

但其实只是 LFS pointer 文件。


五、使用 Python 下载(实验最方便)

很多论文代码都使用这种方式。

from huggingface_hub import snapshot_download

snapshot_download(
repo_id="openai/clip-vit-base-patch32",
local_dir="./clip_model"
)

优点:

  • 自动缓存

  • 不会重复下载

  • 与 Transformers 兼容


六、Transformers 自动下载(最常见)

如果使用 Transformers:

from transformers import CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")

Transformers 会自动:

1 下载模型 2 缓存到本地

缓存路径:

~/.cache/huggingface


七、国内服务器加速方案

很多国内服务器访问 Hugging Face 会很慢。

可以使用 镜像站:

export HF_ENDPOINT=https://hf-mirror.com

然后再下载:

huggingface-cli download openai/clip-vit-base-patch32

Python 方式:

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"


八、批量下载模型(服务器常用)

如果需要批量下载多个模型,可以写脚本。

download_models.sh

models=(
openai/clip-vit-base-patch32
bert-base-uncased
google/vit-base-patch16-224
)

for model in "${models[@]}"
do
huggingface-cli download $model –local-dir ./models/$model
done

运行:

bash download_models.sh


九、离线加载 Hugging Face 模型

如果服务器 不能联网,可以先下载再上传服务器。

第一步:下载

huggingface-cli download openai/clip-vit-base-patch32 –local-dir ./clip_model

第二步:上传服务器

scp -r clip_model server:/data/models

第三步:离线加载

from transformers import CLIPModel

model = CLIPModel.from_pretrained("/data/models/clip_model")


总结

方法推荐程度适用场景
git clone ⭐⭐⭐ 下载完整仓库推荐使用
huggingface-cli download ⭐⭐⭐⭐ 下载模型权重(最推荐)
Git LFS ⭐⭐ 配合 git clone
Python snapshot_download ⭐⭐⭐⭐ 实验代码中使用
Transformers 自动下载 ⭐⭐⭐ 直接加载模型

参考

Hugging Face https://huggingface.co

Transformers https://huggingface.co/docs/transformers

赞(0)
未经允许不得转载:网硕互联帮助中心 » 服务器下载 Hugging Face 模型的 7 种方法(附国内加速 + 离线加载)
分享到: 更多 (0)

评论 抢沙发

评论前必须登录!