马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
转载请注明出处：小锋学永生存大爆炸[xfxuezhagn.cn]
假如本文资助到了你，接待[点赞、收藏、关注]哦~
目次
Scaling Laws 的界说及作用
Scaling Laws 的根本原理
1. 模子性能对规模的幂律依靠
2. 参数、数据、盘算量的协同作用
3. 边际效益递减和饱和点
4. 更大模子的样本服从
干系研究希望
实例分析：差异规模LLM的扩展趋势
案例1：GPT系列与Few-Shot本事
案例2：PaLM 8B vs 62B vs 540B
案例3：Chinchilla vs Gopher：小而精 vs 大而浅
案例4：中国大模子的探索
将来预测与寻衅
留意，以下内容来自“ChatGPT 4o-mini (深入研究)”。
Scaling Laws 的界说及作用
比年来，随着大语言模子（LLM）的参数规模和训练数据量呈指数级增长，研究者发现模子性能与规模之间存在可猜测的扩展规律（Scaling Laws）。所谓Scaling Law，指的是模子性能（如测试集上的丧失或精确率）怎样随着模子参数数量、训练数据量以及盘算量的增长而厘革的履历性定律。这一概念最初由OpenAI在2020年的开创性工作提出。把握Scaling Laws有助于我们在训练LLM时举行模子巨细、数据规模和算力投入之间的权衡，引导训练方案的计划。
总的来说，Scaling Laws 是研究模子性能怎样随规模扩展（如参数、数据量、盘算资源）厘革的规律。简朴来说，就是“模子越大、数据越多、算力越强，模子效果越好”的定量形貌。Scaling Laws 形貌了模子性能（通常以丧失函数权衡）与以下三个关键因素之间的数学关系：
- 模子规模（参数数量）：神经网络的层数、宽度等。
- 训练数据量：用于训练的文本总量。
- 盘算资源（FLOPs）：训练过程中斲丧的盘算量。
根据OpenAI 2020年的研究，这三者按幂律关系（Power Law）共同影响模子体现：当三者同步增长时，丧失函数以可猜测的速率降落——但任何单一变量的太过增长都会遭遇瓶颈。
Scaling Laws 在实践中具有告急引导意义：
- 猜测和规划模子训练： 通过在小规模模子上实行并拟合Scaling Law，研究者可以猜测更大模子的性能，从而决定训练多大的模子、用多少数据，以高效利用有限的盘算预算。比方，在构建“前沿”大模子时，通常会先确定可用的算力预算（如统共可实行多少FLOPs），再利用Scaling Law盘算出抱负的参数量和数据集巨细。然后据此计划模子和预备数据，举行预训练直至耗尽既定算力为止。这种方法已成为业界训练数百亿乃至上千亿参数模子的根本流程。
- 优化资源分配： Scaling Law显现了参数规模、数据规模与算力之间的最佳配比。OpenAI的研究发现，在给定盘算预算下，与其训练一个小模子用尽海量数据，不如训练一个更大的模子但适度早停更为高效。更大的模子对数据的样本服从更高——到达划一性能所需的训练步调和数据更少。因此，在资源受限的环境下，通常应优先增长模子参数，而非一味增长训练轮数或数据量。这一引导原则直接影响了GPT-3等模子的训练战略：OpenAI据此大胆地构建了千亿级参数模子，并在训练未完全收敛时就克制，效果证明大型模子依然取得了良好性能。
- 评估模子扩展性： 通过Scaling Law，可以评估模子性能是否到达了当前规模的饱和点。假如模子仍依照预期的幂律提升，则意味着增长规模仍有益；反之，假如性能提升出现停滞或偏离幂律曲线，则提示大概须要调解战略（如改进模子架构或算法）而不但仅是“堆料”扩展。
Scaling Laws 的根本原理
Scaling Laws的焦点是：模子性能重要取决于参数量（N）、数据量（D）和盘算量（C）。在其他条件相近时，这三大要素的厘革会引起模子性能以可预期的方式改变。
1. 模子性能对规模的幂律依靠
大量实证研究表明，当我们单独增长某一因素（而其他因素不再成为瓶颈）时，模子的毛病或丧失会随该因素呈幂律型降落。幂律关系意味着：早先增长参数或数据会明显低沉丧失，但边际收益递减——随着规模继承扩大，性能提升的速率会渐渐变慢，曲线在对数-对数坐标系下体现为一条近似直线。
这一幂律趋势在高出七个数量级的参数和数据规模范围内都保持创建。比方，模子参数从10^7增长到10^{10}，或训练语料从十亿词增长到千亿词，丧失都依照雷同的降落曲线。须要留意的是，幂律前的系数和指数（如$\alpha,\beta$）取决于模子架构和数据分布：差异使命大概对应差异的指数，但团体趋势相似。
2. 参数、数据、盘算量的协同作用
现实中，模子性能是参数、数据和盘算的综合函数。一项完备的Scaling Law模子由两个关系式构成：
- 盘算量界说： $C = C_0 \times N \times D$。这里$C$通常以训练FLOPs计，体现一次训练所耗的总算力；$C_0$是每个参数训练一个数据点所需的FLOPs常数（对于Transformer模子，履历值$C_0 \approx 6$）。该公式反映了直观究竟：训练所需算力正比于参数规模和数据量的乘积。
- 性能关系： $L(N,D) = \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} + L_{0}$。此中$L_{0}$是理论上的不可减丧失下界（数据和模子无穷大时的极限毛病），$A$和$B$权衡模子参数和数据不敷带来的丧失处罚，$\alpha$和$\beta$是对应的幂指数。通过拟合大量差异$N,D$下模子的终极丧失，可以确定这些参数。比方，Hoffmann等人（2022）的实行估计$\alpha \approx 0.34,; \beta \approx 0.28$，这表明模子尺寸对丧失的影响略强于数据量。把上述两式连归并固定总算力$C$，可以推导出最优的$N$和$D$比例关系。
一个告急结论是：在给定的算力预算下，存在一个使丧失最低的参数量和数据量组合。OpenAI和DeepMind分别给出了略有收支的战略：
- OpenAI战略（2020）： 盘算表明，为了充实利用额外的算力，模子参数应该比数据规模增长更快。详细而言，若将训练盘算量进步10倍，OpenAI推算模子参数应增长约5.5倍，训练token数量增长约1.8倍。也就是说，优化盘算服从时倾向于优先扩展模子巨细。这一观点反映在公式上就是最优参数量 $N_{\text{opt}} \propto C^{0.73}$，最优数据量 $D_{\text{opt}} \propto C^{0.27}$。正因云云，OpenAI在GPT-3等模子中选择了非常大的参数规模（1750亿）而没有成比例地进步训练语料规模（约5000亿tokens）。
- DeepMind战略（2022）： Hoffmann等人提出模子巨细和数据量应按相当比例扩展的原则。他们通过训练70M到16B不等规模的400多个模子发现：若将模子参数更加，最佳效果须要将训练token数也更加。这一“Chinchilla定律”意味着参数和数据应保持固定的比例。实行估计对于Transformer语言模子，最佳比例约莫是1:20，即训练语料的token数量约为模子参数量的20倍。比方，对于一个70亿参数的模子，发起配套约1.4万亿token的数据举行训练。据此，他们训练了Chinchilla模子（70B参数，1.4T数据），在雷同算力下大幅逾越了参数更多但数据相对不敷的模子（如Gopher 280B、GPT-3 175B等）。这一效果证明，在算力肯定时，与其无穷增大模子参数，不如均衡扩大数据量能得到更好的效果。
总之，Scaling Laws夸大参数、数据和算力三者缺一不可：任何一个成为瓶颈，都会限定模子性能的提升。只有三者相互匹配并充实提升时，模子性能才气按预期的幂律一连进步。
3. 边际效益递减和饱和点
由于幂律增长的特性，大模子训练存在显着的边际效益递减征象。当模子已经很大或数据已经很丰富时，再增长雷同的数量，性能提升每每比初始阶段要小得多。比方，把模子从10亿扩展到20亿参数大概能明显低沉丧失，但从1000亿扩展到1010亿时，丧失降落大概微乎其微。这意味着扩展不能无穷带来线性收益，总有一个临界规模后收益趋于平缓。在实践中，研究者会关注曲线何时开始偏离直线（在对数坐标下），作为性能靠近饱和的信号。
别的，Scaling Law重要形貌抱负状态下（模子训练充实、数据分布固定）的性能厘革。在现实训练中，假如高出饱和点继承增长某一要素，大概出现过拟合或服从低下的题目。比方，在参数固定而不绝增长训练数据的环境下，终极模子性能的提升会渐渐停滞，当数据量远超饱和点后，再增长数据险些不再低沉毛病。此时，与其增长更多低信息量的数据，不如投入资源去增大模子大概提升数据质量。这个原则对于构建高效的数据集和决定训练克制点非常告急。
4. 更大模子的样本服从
一个颇具代价的发现是：大模子在样本服从上优于小模子。也就是说，为了到达同样的毛病水平，大模子所需的优化迭代步数和训练样本量通常少于小模子。这听起来悖谬（由于大模子参数更多），但Scaling Law的实行确实支持这一点：在给定算力下，与其训练小模子多个epoch，不如训练大模子较少epoch，可以更快迫近划一丧失。正因云云，OpenAI等提出在固定预算内优先训练更大的模子并提前克制，而不是小模子训练到收敛。比方，GPT-3在训练中只履历了少量epoch（未充实训练至最低丧失）就克制了，但是依靠巨大参数量，其性能依然高出了小模子长时间训练的效果。这一性子对现实摆设也有利益：大模子微调和推理所需的样本和步调更少，因而鄙俚利用的本钱也相对低沉。
干系研究希望
Scaling Laws的概念源自一系列告急论文和研究工作：
- OpenAI (Kaplan et al., 2020)： 初次体系研究了语言模子的扩展规律。他们在论文《Scaling Laws for Neural Language Models》中，通过对Transformer模子在差异参数规模、数据规模、训练盘算量下的性能举行大量实行，发现了前文形貌的幂律关系。该论文提供了简朴的公式来描画这些关系，并探究了最优算力分配题目。结论包罗：在参数量、数据量或算力中的任一因素受限时，测试丧失与该因素呈幂律关系；模子的宽度或深度等架构细节在相当大的范围内对性能影响不大（即参数量雷同时性能相近）；更大的模子具备更高的样本服从等。这一研究奠定了LLM扩展规律的根本。
- OpenAI (Brown et al., 2020)： 随后推出的GPT-3模子在很大水平上验证了Scaling Law的威力。GPT-3拥有1750亿参数，远超之前的模子规模，其在零样本和少样本学习使命上体现精彩。Brown等人在GPT-3论文中指出，大模子的突出性能泉源于“训练规模”的扩大，并暗示随着规模继承增长，语言模子将得到新的本事（如GPT-3显现出的Few-Shot Learning本事）。这也使得业界对“更大的模子是否带来质变”产生了浓重爱好。
- DeepMind (Hoffmann et al., 2022)： 在论文《Training Compute-Optimal Large Language Models》中，DeepMind团队质疑了OpenAI的扩展战略，提出了新的Chinchilla扩展定律
。他们通过大量实行重新估计了公式中的指数和系数，得出差异结论：从前的大模子如GPT-3在他们看来**“太过参数化”且“训练不敷”。他们主张在固定算力下应同时按比例增大模子和数据，并给出了参数=数据/20的履历比例。该团队训练了70B参数但用4倍于GPT-3的数据的Chinchilla模子，在划一算力下全面逾越**了更大但数据不敷的模子。比方，Chinchilla在MMLU学术测试基准上取得67.5%的匀称精确率，较Gopher（280B参数）的60%进步了高出7个百分点。这项工作证明了优化参数-数据配比的告急性，引发了业界对“大模子是否越大越好”的反思——模子“公道训练”大概比一味寻求参数数量更关键。现在，新一代模子的训练计划每每综合参考OpenAI和DeepMind的结论，权衡参数巨细和训练tokens数以到达盘算服从最优。
- 后续研究： 今后，Scaling Laws的实用性在更多范畴得到验证和探究。比方，在盘算机视觉的ViT模子中也观察到了雷同的扩展规律；在多模态模子（图像/视频天生等）中，模子随规模增长性能提升、丧失低沉的趋势依然存在。一些研究开始理论推导这些履历定律的成因，如Bahri等人（2024）实行从统计学习角度表明神经网络出现幂律的缘故因由。同时，研究者也关注到Scaling Law的范围：在某些使命上，性能曲线并非严格的单一幂律，而大概存在拐点或分段厘革。比方，OpenAI研究职员在探索算术使命的过程中发现了所谓“双重降落”征象（先恶化后改善）和“grokking”征象（训练后期忽然泛化），这些都不符合简朴的幂律模子。为此，Cobbe等人（2022）提出了*“Broken Neural Scaling Laws”*（破碎扩展定律）的概念。BNSL用分段的幂律函数拼接来拟合现实曲线，可以更精确地捕捉某些使命中出现的拐点和非单调举动。简而言之，固然根本的Scaling Laws在很多环境下有效，但劈面临复杂的鄙俚指标或安全/对抗性评测时，大概须要更复杂的函数情势来猜测模子随规模的体现。这方面的研究仍在举行中，旨在找到更普适的扩展规律公式以及辨认何时会出现偏离。
在实践中，人们常用这些履历公式举行拟合。比方，在训练自研大模子前，会先在同一数据上训练一系列小模子，纪录它们的终极丧失与算力斲丧，然后拟合幂律曲线以外推大模子的抱负性能。据报道，百川智能在训练Baichuan-2 7B/13B模子前，预先训练了从1万万到30亿参数不等的7个模子，在1万亿token的数据集上测得它们的丧失值，然后拟合出“FLOPs与丧失”的关系，用以猜测百亿级模子训练后的丧失。这种“小模子拟合，大模子预估”的做法，正是Scaling Laws在工业界的现实应用，体现了其强盛的猜测与引导功能。
在最新学术希望上，一些研究者开始探究扩展规律的新维度。比方，有工作研究了推理阶段的扩展规律（Inference Scaling），观察模子在差异推理算力下性能怎样厘革；也有研究关注数据质量、数据肴杂对Scaling Law的影响，如引入数据筛选后曲线是否改变等。总的来说，Scaling Laws研究既在不绝丰富（纳入更多影响因素和使命场景），也在不绝被校验和修正（比方当发现不再完全实用时探求新的规律）。但无论怎样，它为我们明确“大模子效应”提供了一个轻便而有力的框架，在引导大模子训练实践方面起着不可或缺的作用。
实例分析：差异规模LLM的扩展趋势
为了更直观地明确Scaling Laws，下面通过几个实例来看看差异规模LLM在盘算斲丧和性能上的扩展趋势：
案例1：GPT系列与Few-Shot本事
OpenAI的GPT系列模子很好地展示了性能随规模提升的规律。GPT-2期间（2019年），最大模子参数约15亿，在语言建模上已经相当精彩。然而，当GPT-3将参数规模提升两个数量级到达1750亿时，模子不但在传统语言建模测评上大幅逾越GPT-2，更显现出了惊人的Few-Shot Learning本事（即在没有额外微调的环境下，通过提示示例就能完成使命）。这种本事在小模子上险些不存在，属于规模带来的新涌现本事。现实上，GPT-3论文的作者推测很多NLP使命可以被视为语言模子的大规模“副产物”，只要模子富足大，就能在零样本/少样本设定下办理多种使命。这印证了Scaling Law中的一个征象：某些性能提升并非线性渐进，而是大概在跨过某个规模阈值后忽然出现。比方，在多步推理、代码天生等使命上，小模子体现靠近随机，而一旦模子规模到达数百亿以上，精确率会“跳跃式”进步到远高于随机的水平。Wei等人将这些无法由小规模趋势线外推得到的突变征象称为“大模子的涌现本事”。他们统计了上百个例子，如算术推理、标题表明等，发现高出肯定参数规模后模子才学会这些技能。这提示我们：只管匀称来看Scaling Law是单调的，但微观上某些本事的曲线优劣一连的——这也是Scaling Laws研究须要思量的复杂情况。
案例2：PaLM 8B vs 62B vs 540B
Google Brain在2022年发布的PaLM系列模子提供了另一个有说服力的案例。PaLM有三个规模：8亿、620亿和5400亿参数，训练数据和设置雷同。测试表现，大多数基准使命（如问答、翻译）上，模子性能随着参数从8B增至62B、再到540B呈妥当的对数线性提升，符合幂律曲线。更故意思的是，在某些使命上，性能提升并不匀称：从8B到62B险些没有上进，但从62B到540B却跃升了一个档次！换言之，某些本事只有在540B如许的超大模子上才涌现。PaLM团队指出，这表明当前模子的规模尚未触及Scaling Law曲线的极点，继承扩大规模很大概解锁新的本事。同时，他们也夸大团体来看540B相比62B的提升依然依照幂律趋势，并未见显着饱和，阐明当前参数规模远未到极限。这个案例综合展示了Scaling Law的两个方面：一方面，大范围看是平滑的性能增长，另一方面，特定使命上存在“质变”的临界点。对于研发者而言，这意味着评估模子须要综合思量匀称性能和特别本事：匀称性能可以通过Scaling Law猜测，但特别本事的出现每每要靠现实把模子做到富足大才气验证。
案例3：Chinchilla vs Gopher：小而精 vs 大而浅
前文提到DeepMind的Chinchilla（70B参数，1.4T tokens）在性能上全面逾越了自家早先的Gopher模子（280B参数，0.3T tokens）。这组对比非常直观地证明了**“并非参数越大越好，关键是匹配的数据量”。Gopher作为一个超大模子，由于训练语料相对不敷，很多知识并未有效学到；而Chinchilla只管参数淘汰了一半以上，却用4倍的数据举行了训练，因而在知识覆盖和使命泛化上更胜一筹。两者在鄙俚使命上的体现此消彼长：Chinchilla在绝大多数NLP基准上得分更高，包罗常用的MMLU知识问答基准上领先Gopher 7个百分点。这一案例体现了Scaling Law的另一面：假如扩展不均衡**（如只扩模子不增数据），那么模子大概处于“数据受限”地区，无法到达其参数规模应有的性能；反之，公道分配资源可以用较小的模子实现更优的效果。因此，在实践中人们越来越器重数据和参数的同步扩展，而不再盲目寻求参数榜单上的领先。诸如OpenAI的GPT-4，据推测接纳了比GPT-3更多的训练数据来共同其增长的参数量，从而取得远超前代的本事（只管详细细节未公布）。总的来说，Chinchilla案例告诉我们：大模子训练是一门“均衡的艺术”，只有参数和数据的扩展同步且充实，才气真正沿着Scaling Law一连提升性能。
案例4：中国大模子的探索
在国内，大模子社区也开始利用Scaling Laws引导模子研发。比方，清华大学的GLM团队和智谱AI在开辟“悟道”系列模子时，就参考了OpenAI的Scaling Law结论，在算力固定的条件下优先提升模子参数到百亿级，然后恰当增长训练数据。百川智能在升级Baichuan-2时采取了前述“小模子拟合曲线”的方法，以淘汰训练试错本钱。同样地，北京智源研究院训练“悟道2.0”百亿模子时，也投入了超大规模中英文本语料以匹配其参数量。据报道，这些实践使得国内模子在相对有限的算力下仍取得了靠近GPT-3水平的性能。固然详细数据未详，但利用Scaling Law规划模子已成为业界共识。别的，一些开源社区也通过训练参数差异的眷属模子（如MOSS系列、BELLE系列）来验证Scaling Law：效果广泛表现，模子在从小变大的过程中，其语言明确和天生本事稳步提升，但在某些高难度使命上只有最大的模子才气过合格线。这与前面提到的涌现本事观点划一，也进一步印证了Scaling Law在差异语言、差异行业数据上的实用性。
综上，真实案例一方面印证了Scaling Laws的猜测威力，另一方面也显现了扩展过程中的一些非线性征象。总体而言，无论是OpenAI、DeepMind照旧业界别的团队的履历都表明：依照扩展规律举行模子和数据的同轨扩张，可以最大化地发挥算力代价；而随着模子迫近更高水平，我们也应等候会有新的本事拐点出现。
将来预测与寻衅
只管Scaling Laws为大模子发展指明确方向，但将来仍存在诸多寻衅和不确定性：
1. 算力与本钱瓶颈： 按照当前的Scaling Laws，要明显提升模子性能每每意味着参数再扩大10倍、数据增长同量级，所需的训练算力和本钱是巨大的。好比GPT-3的训练泯灭已经非常高昂，要训练比它大10倍的模子（假设依照OpenAI的0.73指数规则）则大概超出一样寻常构造的蒙受范围。如安在算力受限的环境下迫近Scaling Laws的性能上限，是将来的告急课题。这方面的探索包罗：更高效的模子架构（如奇怪MoE专家模子，让部分参数在推理中激活，从而“扩参不增算”）、更高效的训练算法（如自顺应优化器、更短的训练收敛时间）、以及利用现有大模子举行二次蒸馏等。这些技能有望在不线性增长算力的环境下得到相当于更大模子的性能，从而在肯定水平上缓解扩展规律带来的算力压力。
2. 数据极限与质量： 随着模子对数据需求的激增，一个现实题目是高质量的大规模语料并非无穷供应。互联网文本、代码等语料总量是有限的，而且爬取的数据中稠浊着冗余和噪声。将来训练更大的LLM大概数据受限而无法单纯靠增长爬取来扩展。在这种环境下，保持Scaling Law有效大概须要：提升数据质量（过滤低质量内容，进步信息密度），利用数据加强或天生数据（让模子本身产生新样本举行自训练），大概拓展新的范畴数据（如多语言、多模态融合，引入更多元的信息）。别的，怎样界说“有效数据量”也是寻衅——颠末去重和洗濯后，有效的信息量大概远小于原始数据量，重复出现的内容对模子提升有限。因此，有研究提出“数据肴杂定律”或“数据筛选定律”来增补Scaling Laws，在思量数据多样性和重复性的环境下重新估计模子性能的扩展走势。总之，数据将成为比算力更早的瓶颈，将来大模子的竞争或将转向高质量数据的获取与高效利用。
3. 新本事与不可猜测性： 正如前文讨论的涌现本事，随着模子变得极其复杂，我们大概面临模子举动的不可猜测性增长的题目。一方面，Scaling Law让我们信托性能会稳步提升，但另一方面，当模子跨过某些规模阈值时，大概会出现全新的举动和本事，包罗埋伏的风险。比方，一个模子大概在更大规模上忽然具备了训练中未现的推理本事，同时也大概学会了不安全的知识或产生难以控制的输出。这对AI安全提出了寻衅。将来我们须要在扩展模子时，加强对模子举动的监测和可表明性研究，发展理论去预判某些本事何时会出现。Wei等人的工作表明，小模子外推无法猜测大模子的新本事，因此大概须要连合Scaling Laws和复杂体系理论，去辨认那些埋伏的“质变点”。这也是Scaling Laws研究将来的一个方向：不但形貌匀称性能曲线，还要能描画本事空间的厘革。
4. 多维度扩展： 以往评论Scaling，重要指参数、数据和算力三个维度。但将来的大模子大概在更多维度上扩展：比方上下文长度（Prompt长度）也是关键因素，近来的研究把Transformer上下文扩展到数十万token，这也相当于一种“规模”提升；又如多模态模子引入图像、音频、视频等新输入情势，怎样界说和权衡其Scaling Laws尚不明确。别的，量子盘算、类脑芯片等新型盘算范式出现后，模子的扩展路径大概改变。将来的Scaling Law大概须要扩展到新的架构和硬件，比方推理时的并行规模、模块化网络的专家数量等等。现在已有工作在探索“路由Transformer”（奇怪激活模子）的扩展定律，发现其参数有效利用率与麋集模子有所差异。这提示我们，Scaling Laws并非一成稳定，须要针对新形态的大模子不绝更新和丰富。
5. 可一连性与服从： 末了，不容忽视的是大模子扩展带来的能源和环境本钱。训练一个千亿级参数模子的碳排放量相当可观，假如照此趋势发展，AI行业的环境影响将越来越大。这就要求我们在寻求Scaling Laws极限的同时，更加留意模子服从。将来的研究大概会聚焦于：通过剪枝、量化等技能压缩模子而不丧失性能，从而“穷尽”Scaling Law后再将模子紧凑化；大概开辟新算法，使得模子在小规模时就能模拟大模子的部分本事（比方通过外部知识检索、Memory机制等）。OpenAI首席科学家曾指出，大概我们隔断AGI只差再训练几千个模子的量级。然而，这几千次训练若按照当前代价举行，是难以蒙受的。因而，实现可一连的规模扩展是将来的一大寻衅，也是推动算法创新的动力。
结语： 大语言模子的Scaling Laws让我们看到了“更大更强”的清楚路径。从参数百万到千亿，模子本事的飞跃印证了Scaling Laws的威力，也催生了一系列新的题目与机会。在预测将来时，我们既要审慎对待规模扩张的瓶颈和风险，又应保持乐观——正如Scaling Laws本身所显现的，在不绝攀缘算力与数据高峰的过程中，AI模子将一连靠近人类智能的边界，乃至出现令人惊喜的新本事。可以预见，扩展规律仍将是引导我们迈向更高级AI体系的告急指南，而破解此中的奥秘，也将为实现真正的通用人工智能（AGI）奠定结实的根本。
扩展学习资料：
- How Scaling Laws Drive Smarter, More Powerful AI | NVIDIA Blog
- [2001.08361] Scaling Laws for Neural Language Models
- OpenAI与DeepMind的Scaling Laws之争-虎嗅网
- [2203.15556] Training Compute-Optimal Large Language Models
- https://research.google/pubs/emergent-abilities-of-large-language-models/
|
发表于 2025-10-15 14:41:49