Huggingface 一键迁移 Modelscope 工具

用法

使用 hf-ms-transfer 迁移 Huggingface 模子、数据集到 modelscope 平台：
安装

1. pip install hf-ms-transfer # install

复制代码

迁移

1. hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer
3. # example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "02342424-0g23-254c-9f9a-f23fasdfafaf" --ms-name "Qwen"

复制代码

可以从 ModelScope个人中央 获取 用户名（左上角）和 个人token（SDK/API 令牌）
主要功能

hf-ms-transfer 支持:

• 同时支持模子和数据集
  
• 支持在单个命令中迁移多个模子和数据集
  
• 办理数据集迁移后 load_dataset 失败问题
  
• 可自定义在 ModelScope 上的堆栈名称
  

Bonus

默认情况把数据集下从 huggingface 迁移到 modelscope 之后，load_dataset 函数会碰到以下错误

1. TypeError: Value.__init__() missing 1 required positional argument: 'dtype'

复制代码

是多余的 dataset_infos.json 文件导致，把数据集中该文件删除即可。
使用 hf-ms-transfer 迁移会默认办理该问题，如果需要保留该文件也可以通过传入参数来实现。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。