LLaMA Factory多卡微调的实战教程（连续更新）
各人好，我是herosunly。985院校硕士毕业，现继承算法研究员一职，热衷于呆板学习算法研究与应用。曾得到阿里云天池角逐第一名，CCF角逐第二名，科大讯飞角逐第三名。拥有多项发明专利。对呆板学习和深度学习拥有自己独到的见解。曾经辅导过多少个非盘算机专业的弟子进入到算法行业就业。渴望和各人一起成上进步。本文告急先容了LLaMA Factory多卡微调的实战教程（连续更新），渴望对学习大语言模子的同砚们有所资助。必要阐明的是，本篇是LLaMA Factory发生庞大更新后的迭代版本，以是会连续举行更新。
1. 媒介
在之前博客中先容了LLaMA Factory单机微调的实战教程，但模子参数量大了以后，必须就要使用多卡举行微调和训练了。尤其迩来新出了几个结果很不错的开源大模子，好比Qwen 2-72B-Chat、Qwen1.5-72B-Chat、Command R+(104B)，以是纵然是A100 80G，也必要多卡举行微调。
一样寻常来说，是使用deepspeed举行多卡微调的。但是设置情况却并不是那么一帆风顺的。为了资助同砚们加速多卡微调的进度，终极将徐徐的操纵过程总结如下。渴望能对遇到同样需求的同砚们有所资助。
https://dis.qidao123.com/imgproxy/aHR0cHM6Ly9pLWJsb2cuY3NkbmltZy5jbi9ibG9nX21pZ3JhdGUvOTc4YjI0MDFlNWQzOGY1NDQyMTU3NWVhZGI1ZTFlYjYucG5nI3BpY19jZW50ZXI=
在大模子技能日新月异的当下，对峙输出是一场长跑。本专栏是我基于现实工程落地的复盘与总结，旨在剔除噪音，直击核心技能骨架。我不渴望这仅仅是一份思绪大概代码的复现指南，更渴望它能成为你技能武器库中的一块磨刀石，帮你养成透过征象看本质的工程直觉，在办理复杂标题时能敏捷锁定最优路径。
2. 设置情况
必要阐明的是以下两点：
[*]本文是在Centos 7+CUDA 12.2+Python 3.10情况下复现乐成的。**如果各人之前是基于
页:
[1]