llama-factory微调工具利用入门

一、界说

  

• 情况设置  
  
• 案例： https://zhuanlan.zhihu.com/p/695287607  
  
• chatglm3 案例  
  
• 多卡训练deepspeed  
  
• llama factory 案例Qwen1.5  
  
• 报错
  

二、实现

  

• 情况设置
  

1. git clone https://github.com/hiyouga/LLaMA-Factory.git
2. conda create -n llama_factory python=3.10
3. conda activate llama_factory
4. cd LLaMA-Factory
5. pip install -e '.[torch,metrics]'
6. 如果发生冲突：    pip install --no-deps -e .  

复制代码

同时对本库的根本安装做一下校验，输入以下下令获取训练相干的参数引导, 否则分析库还没有安装乐成

1. llamafactory-cli train -h

复制代码

模子下载与可用性校对

1. git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

复制代码

1. import transformers
2. import torch
4. # 切换为你下载的模型文件目录, 这里的demo是Llama-3-8B-Instruct
5. # 如果是其他模型，比如qwen，chatglm，请使用其对应的官方demo
6. model_id = "/home/Meta-Llama-3-8B-Instruct"
8. pipeline = transformers.pipeline(
9.     "text-generation",
10.     model=model_id,
11.     model_kwargs={
12.    
13.    "torch_dtype": torch.bfloat16},
14.     device_map="auto",
15. )
17. messages = [
18.     {
19.    
20.    "role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
21.     {
22.    
23.    "role": "user", "content": "Who are you?"},
24. ]
26. prompt = pipeline.tokenizer.apply_chat_template(
27.         messages,
28.         tokenize=False,
29.         add_generation_prompt=True
30. )
32. terminators = [
33.     pipeline.tokenizer.eos_token_id,
34.     pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
35. ]
37. outputs = pipeline(
38.     prompt,
39.     max_new_tokens=

复制代码