LLaMA-Factory环境搭建与运行示例

一、LLaMA-Factory

LLaMA-Factory项目
二、LLaMA-Factory环境搭建

1.底子环境搭建

底子环境必要
环境推荐版本CUDA12.1Python3.11PyTorch2.4.0 具体安装可参考我的另一篇文章fairseq-0.12.2多机练习环境搭建。
2.安装 LLaMA-Factory依靠

• 下载LLaMA-Factory项目：
  

1. git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
2. cd LLaMA-Factory

复制代码

• 安装torch版本
  

1. pip3 install -e ".[torch]" -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

• 修改不正确的环境
  

1. pip3 install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu121 -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

三、LLaMA-Factory运行示例

1.使用下令行接口

• 设置文件llama3.yaml
  

1. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
2. template: llama3

复制代码

阐明：

• model_name_or_path为模型路径
  

• 运行下令行接口
  

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/llama3.yaml

复制代码

阐明：

• CUDA_VISIBLE_DEVICES为指定运行显卡号
  

• 运行结果
  
  
  
  

2.使用浏览器界面

• 设置文件llama3.yaml
  

1. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
2. template: llama3

复制代码

阐明：

• model_name_or_path为模型路径
  

• 使用浏览器界面
  

1. CUDA_VISIBLE_DEVICES=0 GRADIO_SERVER_PORT=8123 llamafactory-cli chat examples/inference/llama3.yaml

复制代码

阐明：

• CUDA_VISIBLE_DEVICES为指定运行显卡号
  
• GRADIO_SERVER_PORT为方位的端口
  

• 背景表现结果
  
  
  
  
• 浏览器结果
  浏览器输入ip:port，port更换为GRADIO_SERVER_PORT的端口
  
  
  
  

3.使用练习方式批量推理

• 设置文件llama3.yaml
  

1. ### model
2. model_name_or_path: meta-llama/Meta-Llama-3-8B-Instruct
4. ### method
5. stage: sft
6. do_predict: true
7. finetuning_type: full
9. ### dataset
10. eval_dataset: test
11. template: llama3
12. cutoff_len: 4096
13. overwrite_cache: true
14. preprocessing_num_workers: 16
16. ### output
17. output_dir: output
18. overwrite_output_dir: true
20. ### eval
21. per_device_eval_batch_size: 1
22. predict_with_generate: true
23. do_sample: true
24. temperature: 0.6
25. top_p: 0.9
26. num_beams: 5

复制代码

阐明：

• model_name_or_path为模型路径
  
• eval_dataset为测试数据集名称
  
• output_dir为输出文件路径
  
• per_device_eval_batch_size为batch，一次批处理的数据数量
  
• do_sample为使用sample推理
  
• num_beams为beam巨细
  

• 测试数据集预备
  data/dataset_info.json
  

1. {
2.   "test": {
3.     "file_name": "test.json"
4.   },
5.   "test1": {
6.     "file_name": "test1.json"
7.   }
8. }

复制代码

阐明：

• key为数据名称，eval_dataset使用该字段
  
• file_name为数据文件路径
  

• 使用练习方式批量推理
  

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli train llama3.yaml

复制代码

阐明：

• CUDA_VISIBLE_DEVICES为指定运行显卡号
  

• 运行结果