Llama-Factory 简介 二， 脚本详解 LLaMA-Factory/src/train_bash.py LLaMA-Factory/src/llmtuner/train/pt/workfl

examples/
├── lora_single_gpu/
│   ├── pretrain.sh: 基于 LoRA 举行增量预训练
│   ├── sft.sh: 基于 LoRA 举行指令监督微调
│   ├── reward.sh: 基于 LoRA 举行嘉奖模子训练
│   ├── ppo.sh: 基于 LoRA 举行 PPO 训练
│   ├── dpo.sh: 基于 LoRA 举行 DPO 训练
│   ├── orpo.sh: 基于 LoRA 举行 ORPO 训练
│   ├── prepare.sh: 生存预处理处罚后的数据集
│   └── predict.sh: 基于 LoRA 举行批量猜测并盘算 BLEU 和 ROUGE 分数
├── qlora_single_gpu/
│   ├── bitsandbytes.sh: 基于 QLoRA 微调 4/8 比特 BNB 模子
│   ├── gptq.sh: 基于 QLoRA 微调 4/8 比特 GPTQ 模子
│   ├── awq.sh: 基于 QLoRA 微调 4 比特 AWQ 模子
│   └── aqlm.sh: 基于 QLoRA 微调 2 比特