OpenAI的Scaling Law论文条记

OpenAI的Scaling Law论文条记

这个论文实在叫Scaling Laws for Neural Language Models，是OpenAI在2020年发表的一篇文章。OpenAI作为当今最乐成的一家公司，其乐成我以为很大水平上就是对Scaling Law的坚信，这一篇论文是他们有关Scaling Law的一项理论结果，感觉照旧很给人以开导的。昨天晚上我刚悦目到OpenAI在日本地区的负责人提到，GPT-5会比GPT-4的盘算多一百倍雷同的话，分析Scaling Law还在收效，以是我以为照旧有须要回首一下Scaling Law的。
择要

这个择要我感觉直接把本文的紧张结论直接写出来了，感觉直接翻译一遍都不为过。
第一句：本文研究了在交织熵上，语言模子的履历性扩展规律。这里夸大了一个交织熵。
第二句是一个比力紧张的结论：模子丧失随着模子巨细、数据集巨细以及用于训练的盘算量呈幂律缩放，部分趋势凌驾了七个数目级，分析七个数目级都有效。
第三句是一个故意思的发现：网络的宽度或深度等其他架构细节在相称大的范围内对性能影响不大。以是有人说假如信任Scaling Law的话，大概Autoregressive和Diffusion的model都会收敛到一块，不知道是不是由于这个发现。
第四句我感觉是一个引导性的话：作者起首发现了简单的公式可以形貌过拟合与模子/数据集巨细的关系以及训练速率与模子巨细的关系。那么。这些关系使我们可以大概在固定盘算预算下确定最佳分配方案。
第五句就更是实践上的发起：较大的模子具有明显的样本服从（这个样本服从我明白就是固定的样本数，较大的模子丧失低落的更快），因此，最优的盘算服从训练方式是使用较大的模子，共同相对适中的数据量，并在远未到达收敛时制止训练。
一、Introduction(这一章实在紧张讲得是结论)

弁言起首明确了这个论文是研究在Transformer结构下，语言模仿的Loss与模子结构、数据集巨细以及用于训练的盘算量的关系，值得注意的是评价的标准是Loss。还提到了发现的趋势在七个数目级上都符合，实在直观看的话就是下图。第一个是用于训练的盘算量CCC，这个用于训练的盘算量大概有一点点难以明白，大概就是单次正向流传模子所需的盘算次数乘以盘算时间的一个量，，以是单位是PF-days，PF是盘算量，days是时间。第二个是数据集的巨细，第三个是参数目，参数目这里夸大了要除过embedding部分的参数目，背面也会有表明。反正都是可以看到一条降落的曲线的。（固然作者拉伸了一下坐标轴，让它看起来是直线）。

1.1 一些结论

接着作者给出了一系列紧张的总结，偶然一些我以为直接翻译也不为过的话：

  

• 性能取决于规模，而模子形状的影响较弱：模子性能紧张依靠于三个因素的规模：模子参数数目NNN（不包罗嵌入层）、数据集巨细DDD 和用于训练的盘算量CCC。在公道范围内，其他架构超参数（比方深度与宽度的比值）对性能的影响非常小。  
  
• 平滑的幂律关系：模子性能与三个规模因子NNN、$ D、、、 C$ 分别出现幂律关系（在别的两个因素可以以为是无穷的），趋势跨度凌驾六个数目级（见上图）。而且没有发现这些趋势在高端规模下的任何偏离迹象，只管性能终极在靠近零丧失之前肯定会趋于安稳。  
  
• 过拟合的广泛性：只要同时扩大模子参数数目NNN 和数据集巨细DDD，性能会一连改善，但假如只增长NNN 或DDD，而另一个保持稳定，则会进入收益递减的状态。性能丧失与比率N0.74/DN^{0.74}/DN0.74/D 有关，也就是说每当模子巨细增长8倍时，我们只必要将数据集增长约莫5倍，以制止性能丧失。  
  
• 训练的广泛性：训练曲线遵照可猜测的幂律关系，其参数大抵独立于模子巨细。通过外推训练曲线的早期部分，我们可以大略猜测假如训练更长时间大概会到达的丧失。  
  
• 迁徙性能与测试性能同步提拔：当在与训练数据分布差别的文本上评估模子时，结果与在训练验证集上的体现高度干系，而且丧失存在一个大抵恒定的偏移量——换句话说，迁徙到差别的数据分布会产生一个固定的处罚，但除此之外，性能会大抵与在训练集上的体现同步提拔。  
  
• 样本服从：大模子比小模子具有更高的样本服从，可以大概通过较少的优化步调和较少的数据点到达雷同的性能水平。  
  
• 收敛服从低下：在固定的盘算预算CCC 下，最佳性能是通过训练非常大的模子，并在远未收敛之前制止训练来实现的。因此，最大限度的盘算服从训练比预期的要高效得多，由于数据需求的增长非常痴钝，约为D∼C0.27D \sim C^{0.27}D∼C0.27。  
  
• 最优批次巨细：理想的批次巨细大抵是丧失的幂次函数，而且可以通过丈量梯度噪声规模来确定（这个我有一点点不太明白啥叫梯度噪声规模）。对于我们能训练的最大模子，在收敛时批次巨细约莫是100万到200万个token。（
  

以是作者在给出这些总结之后给了一句定性的话，我以为也是OpenAI现在很紧张的摇钱树：综上所述，这些结果表明，只要我们适当增长模子巨细、数据量和盘算量，语言模子的性能会平滑且可猜测地提拔。我们预计，未来更大的语言模子将比现有模子具有更好的体现，而且具备更高的样本服从。
1.2 Scaling Law在数学上的情势化

这一小部分作者就是讲Scaling Law的情势化，实在是。起首是一个量为变量，其他两个量都视为无穷或最佳的时间，有：
L(N)=(NcN)αN      L(D)=(DcD)αD     L(Cmin)=(CmincCmin)αmin L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N} \ \ \ \ \ \ L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D} \ \ \ \ \ L(C_{\text{min}}) = \left(\frac{C_{\text{min}}^c}{C_{\text{min}}}\right)^{\alpha_{\text{min}}} L(N)=(NNc​​)αN​      L(D)=(DDc​​)αD​     L(Cmin​)=(Cmin​Cminc​​)αmin​
此中使用的是CminC_\text{min}Cmin​而不是CCC的缘故原由是，盘算资源的分配好像也会肯定水平上影响结果，比方batch size的巨细，不外这个batch size的巨细在大多数实行中是固定的，只有在某些特别标志的时间会单独分析，以是不消在这里特别纠结。
作者还说了8个数目级的CminC_\text{min}Cmin​，6个数目级的NNN，和2个数目级上的DDD，这个公式都建立。通过这个公式，就可以引导性的来猜测大语言模子的丧失的性能。比如说通过这个公式可以估计，大模子参数目*2，Loss会乘以95%。
作者提到了最优的Batch size也实在是按照L呈幂律分布的一个值，如下
Bcrit(L)=B∗L1/αB B_{\text{crit}}(L) = \frac {B_*} {L^{1/\alpha_B}} Bcrit​(L)=L1/αB​