LLaMA Factory微调Llama3模子

---

LLaMA Factory是一款开源低代码大模子微调框架，集成了业界最广泛使用的微调技能，支持通过Web UI界面零代码微调大模子，如今已经成为开源社区内最受接待的微调框架。

• 💥GPU保举使用24GB显存的A10（ecs.gn7i-c8g1.2xlarge）或更高设置
  
• 💥镜像选择DSW官方镜像modelscope:1.14.0-pytorch2.1.2-gpu-py310-cu121-ubuntu22.04
  

我们来微调llama3-8B模子实验一下 
安装LLaMA Factory 

💢拉取LLaMA-Factory项目

1. git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
3. #
4. 正克隆到 'LLaMA-Factory'...
5. remote: Enumerating objects: 298, done.
6. remote: Counting objects: 100% (298/298), done.
7. remote: Compressing objects: 100% (218/218), done.
8. remote: Total 298 (delta 76), reused 204 (delta 67), pack-reused 0 (from 0)
9. 接收对象中: 100% (298/298), 7.85 MiB | 5.21 MiB/s, 完成.
10. 处理 delta 中: 100% (76/76), 完成.

复制代码

 💢然后安装LLaMA-Factory依赖情况。

1. pip uninstall -y vllm
2. pip install llamafactory[metrics]==0.7.1
3. pip install accelerate==0.30.1

复制代码

安装后输入llamafactory-cli version查抄一下是否安装乐成：

1. llamafactory-cli version
2. #
3. ----------------------------------------------------------
4. | Welcome to LLaMA Factory, version 0.7.1                |
5. |                                                        |
6. | Project page: https://github.com/hiyouga/LLaMA-Factory |
7. ----------------------------------------------------------

复制代码

LLaMA-Factory项目内置了丰富的数据集，放在了data目次下，我们也可以准备自界说数据集，将数据处置处罚为框架特定的格式，放在data下，而且修改dataset_info.json文件。
我们看一下官方给出的格式：

Alpaca 格式

1. [
2.   {
3.     "instruction": "人类指令（必填）",
4.     "input": "人类输入（选填）",
5.     "output": "模型回答（必填）",
6.     "system": "系统提示词（选填）",
7.     "history": [
8.       ["第一轮指令（选填）", "第一轮回答（选填）"],
9.       ["第二轮指令（选填）", "第二轮回答（选填）"]
10.     ]
11.   }
12. ]

复制代码

 💫对于上述格式的数据，dataset_info.json 中的数据集形貌应为：

1. "数据集名称": {
2.   "file_name": "data.json",
3.   "columns": {
4.     "prompt": "instruction",
5.     "query": "input",
6.     "response": "output",
7.     "system": "system",
8.     "history": "history"
9.   }
10. }

复制代码

我们去官方探求一份数据集来下载（notebook运行）：

1. %cd LLaMA-Factory
2. !wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/tutorials/llama_factory/data.zip
3. !mv data rawdata && unzip data.zip -d data

复制代码

数据：

1. [
2. {
3.     "conversations": [
4.       {
5.         "from": "human",
6.         "value": "模仿西游记的孙悟空的语气和我聊天。如果你把水冻住，你会得到什么？"
7.       },
8.       {
9.         "from": "gpt",
10.         "value": "哈哈，这问题还难倒俺老孙吗？把水冻住就是变成冰啦！不过若是在取经的路上用得着这冰来做啥，比如过火焰山时，那可就是解渴消暑的好东西了！你觉得呢？还有没有更有趣的问题让俺老孙来解答？"
11.       },
12.       {
13.         "from": "human",
14.         "value": "那怎么做才可以把水冻住"
15.       },
16.       {
17.         "from": "gpt",
18.         "value": "哈哈，对俺老孙来说，这可是轻而易举的事情！只需将水放在凉快的地方，或者使用法力，一吹仙气，水便能迅速结冰啦！当然，在你的世界里，把水放进冰箱的冷冻室里等一阵子，水就会变成冰块了。要是嫌慢，可以尝试用点干冰或液氮什么的，不过得小心使用哈！毕竟不像俺老孙有抗寒法力。"
19.       }
20.     ]
21. }
22. ]

复制代码

模子微调

我们不光可以通过下令行举行微调，还可以启动一个webui来微调推理

1. !export USE_MODELSCOPE_HUB=1 && \
2. llamafactory-cli webui

复制代码

• USE_MODELSCOPE_HUB设为1，体现模子泉源是ModelScope
  

---

 然后就进入到了web界面：

数据集使用上述下载的train.json，点击「预览数据集」可以预览一下数据 
设置学习率为1e-4，梯度累积为2，有利于模子拟合，其他的可以按需调解；
将输出目次修改为train_llama3，训练后的LoRA权重将会生存在此目次中。点击「预览下令」可展示全部已设置的参数，点击「开始」启动模子微调！

选择「Evaluate&redict」栏，在数据集下拉列表中选择「eval」（验证集）评估模子。

点击开始然后开始评估模子，大概三分钟，这里跳过。。。

选择「Chat」栏，确保适配器路径是train_llama3，点击「加载模子」即可在Web UI中和微调模子举行对话。 
模子微调之前的对话：

微调之后：