您的公司须要小型语言模子

当专用模子逾越通用模子时
“越大越好”——这个原则在人工智能范畴根深蒂固。每个月都有更大的模子诞生，参数越来越多。各家公司乃至为此建立代价100亿美元的AI数据中央。但这是唯一的方向吗？
在NeurIPS 2024大会上，OpenAI团结首创人伊利亚·苏茨克弗提出了一个观点：“我们所熟知的预训练将无可争议地闭幕。”这表明大规模化的期间即将竣事，如今是时间专注于改进当前的方法和算法了。
此中一个最有远景的范畴是利用参数目不高出10B的小型语言模子（SLMs）。这种方法在行业内正渐渐崭露锋芒。比方，Hugging Face的CEO克莱姆·德朗格推测，高达99%的应用场景可以利用SLMs来办理。雷同的趋势也体如今YC对创业公司的最新需求中：
大规模的通用模子确实令人印象深刻，但它们也非常昂贵，经常陪同着延伸和隐私寻衅。
在我上一篇文章《您真的须要托管的LLMs吗？》中，我探究了是否须要自托管模子。如今，我进一步提出标题：您是否真的须要LLMs？

本文择要

在本文中，我将探究为何小型模子大概是您的业务所需的办理方案。我们将讨论它们怎样低落本钱、进步准确性并保持数据控制。固然，我们也会老实地讨论它们的范围性。
本钱效益
LLMs的经济学大概是企业最头疼的话题之一。但标题更广泛，包罗昂贵的硬件需求、底子办法本钱、能源斲丧及情况结果。
是的，大型语言模子在本领上令人惊艳，但维护本钱同样高昂。您大概已经注意到基于LLMs的应用步调订阅代价的上涨？比方，OpenAI迩来公布推出200美元/月的Pro筹划，这表明本钱正在增长。竞争对手也很大概会进步到雷同代价程度。

200美元的Pro筹划

Moxie呆板人是一个很好的例子。Embodied公司开发了一款售价800美元的儿童朋友呆板人，利用了OpenAI API。只管产物乐成（孩子们天天发送500–1000条消息），但由于API的高运营本钱，公司不得不关闭。如今，成千上万的呆板人将变得无用，孩子们也会失去他们的朋侪。
一种办理方案是为您的特定范畴微调专用的小型语言模子。固然不能办理“天下上全部标题”，但它可以完善应对特定使命。比方，分析客户文档或天生特定陈诉。同时，SLMs更经济，资源斲丧更少，所需数据更少，可以运行在更平常的硬件上（乃至是智能手机上）。

差别参数模子的利用率对比

末了，不要忘了情况因素。在《碳排放与大规模神经网络训练》一文中，我发现了一些令人震动的统计数据：训练拥有1750亿参数的GPT-3所耗电量相当于美国平常家庭120年的用电量，同时产生502吨二氧化碳，相当于高出100辆汽油车一年的排放。而这还不包罗推理本钱。相比之下，摆设一个更小的7B模子仅需大模子斲丧的5%。那么最新的o3模子呢？