LLaMA-Factory+qwen多轮对话微调测评

目次
练习的时间和结果
数据准备
数据样例
数据设置
情况搭建
模子微调练习
模子猜测
运行乐成的web UI

---

LLaMA-Factory所在：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md
qwen所在：https://huggingface.co/Qwen/Qwen-7B-Chat/tree/main
练习的时间和结果

7580例对话数据，单卡A6000，显存45GB

1. {'train_runtime': 429687.6086, 'train_samples_per_second': 2.646, 'train_steps_per_second': 0.662, 'train_loss': 0.0977083860479767, 'epoch': 150.0}
3. ***** train metrics *****
4.   epoch                    =               150.0
5.   train_loss               =              0.0977
6.   train_runtime            = 4 days, 23:21:27.60
7.   train_samples_per_second =               2.646
8.   train_steps_per_second   =               0.662
9. Figure saved at: /home/wangyp/Big_Model/llama_factory_sft300/training_loss.png
10. 04/08/2024 18:26:00 - WARNING - llmtuner.extras.ploting - No metric eval_loss to plot.
11. [INFO|modelcard.py:450] 2024-04-08 18:26:00,005 >> Dropping the following result as it does not have all the necessary fields:
12. {'task': {'name': 'Causal Language Modeling', 'type': 'text-generation'}}

复制代码

数据准备

数据样例

1. [
2. {"id": "x3959", "conversations": [{"from": "user", "value": "明白了，谢谢医生的解答。我会带孩子去医院咨询专业医生的意见。"}, {"from": "assistant", "value": "非常好，建议您与儿科医生进行进一步的沟通和检查，以确定最适合您孩子的治疗方案。如果对生长激素还有其他疑问，随时都可以来咨询我。希望孩子能够健康地成长！"}, {"from": "user", "value": "我想给我的孩子打生长激素，这个方法好吗？"}, {"from": "assistant", "value": "您好！打生长激素的方法并不适用于所有的孩子，是否有具体的情况需要我了解一下呢？"}, {"from": "user", "value": "我家孩子身高一直没有长，我担心他会比同龄人矮小，所以想给他打生长激素。"}, {"from": "assistant", "value": "明白了，生长激素主要适用于因生长激素缺乏而导致的矮小症治疗。首先，我建议您带孩子去儿科医生那里做详细的检查，以确定是否存在生长激素缺乏的情况。"}

复制代码