Hugging Face 利用指南——并行智算云

1. 安装 huggingface_hub 包

huggingface-cli 是 huggingface_hub 包的一部门。起首，确保已安装 huggingface_hub：

1. pip install huggingface_hub

复制代码

安装完成后，您大概仍旧不能利用 huggingface-cli 下令来下载模子和数据集等利用。
#TODO
2. 办理找不到 huggingface-cli 下令的题目

假如安装 huggingface_hub 包后，终端仍旧体现找不到 huggingface-cli 下令，大概是由于安装路径未添加到 PATH 情况变量中。以下是办理方法：
2.1 确认安装路径

运行以下下令以找到 huggingface_hub 的安装位置：

1. pip show huggingface_hub | grep Location

复制代码

2.2 将安装路径添加到 PATH

假设安装路径是 ~/.local/bin，可以暂时将此路径添加到 PATH：

1. export PATH=$PATH:~/.local/bin

复制代码

2.3 永世添加到 PATH

为了在每次终端启动时都能找到 huggingface-cli，可以将路径添加到 ~/.bashrc 文件中：

1. echo 'export PATH=$PATH:~/.local/bin
2. ' >> ~/.bashrcsource ~/.bashrc  # 立即见效

复制代码

2.4 验证 huggingface-cli 是否可用

设置完成后，运行以下下令查抄是否可以正常利用 huggingface-cli：

1. huggingface-cli --version

复制代码

假如体现版本号，分析设置乐成。
3. 设置 HF_ENDPOINT 情况变量

通过设置 HF_ENDPOINT 情况变量，可以将 Hugging Face Hub 的默认服务器更换为指定的镜像（如 hf-mirror.com），从而加速访问和下载。
在终端中运行以下下令来设置 HF_ENDPOINT 情况变量：
一次设置HF_ENDPOINT

1. export HF_ENDPOINT="https://hf-mirror.com"

复制代码

如许 huggingface-cli 将利用 hf-mirror.com 作为 Hugging Face Hub 的镜像所在。
永世设置 HF_ENDPOINT（若呆板恒久利用，保举永世设置）

将 export HF_ENDPOINT=“https://hf-mirror.com” 写入*~/.bashrc*

1. echo 'export HF_ENDPOINT="https://hf-mirror.com"
2. ' >> ~/.bashrc  source ~/.bashrc  # 使修改立即见效

复制代码

验证 HF_ENDPOINT 是否见效

要查抄 HF_ENDPOINT 情况变量是否见效，可以在终端中运行以下下令：

1. echo $HF_ENDPOINT

复制代码

5. 利用 huggingface-cli 下载模子和数据集

设置好 HF_ENDPOINT 后，可以利用 huggingface-cli 联合镜像来加速下载 Hugging Face 的模子和数据集。
下载模子

以下载 bert-base-uncased 模子为例：

1. huggingface-cli download --repo-type model --resume-download bert-base-uncased --local-dir ./bert-base-uncased

复制代码

此下令会在当前目次创建 ./bert-base-uncased 文件夹，并将模子文件下载到该文件夹。
下载数据集

比方，下载 emotion 数据集：

1. huggingface-cli download --repo-type dataset --resume-download emotion --local-dir ./emotion

复制代码

这会将数据集文件下载到 ./emotion 文件夹中。
6. 从当地加载模子和数据集

下载完成后，可以在 Python 代码中从当地路径加载模子和数据集，而无需再次访问 Hugging Face Hub。
加载模子

1. from transformers import AutoTokenizer, AutoModelForSequenceClassification
3. # 从本地路径加载分词器和模型
4. tokenizer = AutoTokenizer.from_pretrained("./bert-base-uncased", use_fast=True)
5. model = AutoModelForSequenceClassification.from_pretrained("./bert-base-uncased")

复制代码

加载数据集

1. from datasets import load_from_disk
3. # 从本地加载数据集
4. dataset = load_from_disk("./emotion")

复制代码

7. 验证下载是否乐成

可以查抄下载的模子和数据集文件夹，确认是否包罗须要的文件：

• 模子文件夹：通常必要 config.json、pytorch_model.bin 或 tf_model.h5（TensorFlow 模子）以及分词器文件 vocab.txt 或 tokenizer.json。
  
• 数据集文件夹：必要包罗数据文件，比方 JSON、CSV 等格式，大概 Hugging Face 数据集格式的缓存文件。