NLP高频口试题（五十五）——DeepSeek系列概览与发展配景

大型模子浪潮配景

比年来，大型语言模子（Large Language Model, LLM）范畴发展迅猛，从GPT-3等超大规模模子的崛起到ChatGPT的横空出世，再到GPT-4的问世，模子参数规模和训练数据量呈指数级增长。以GPT-3为例，参数高达1750亿，在570GB文本数据上训练，表现出模子规模、数据量和算力对性能的巨大提拔作用。研究表明，LLM的性能随模子巨细、数据规模和计算量呈幂律上升关系。更紧张的是，当模子在海量数据上训练后，每每会出现“小模子不具备而大模子涌现”的新能力——纵然在未见过的任务上，大模子也能显现出零样本或少样本学习的能力。
在这一浪潮中，开源社区同样功不可没。早期有EleutherAI等构造实验复现GPT-3的开源版本（如GPT-Neo、GPT-J等），而2023年Meta发布的LLaMA模子提供了高质量的底子模子，使研究者可以或许在此底子上微调出诸如Vicuna等各类开源对话模子。参数规模从几十亿到上千亿不等的开源模子相继出现，验证了规模、数据对模子能力的关键影响。同时，关于**“Scaling Laws”**（规模定律）的研究进一步体系阐明：模子越大、训练语料越富足，性能提拔越明显，但也需要平衡训练计算本钱和数据规模，以避免浪费模子容量。这一系列希望奠定了大模子期间的底子，也让学术界和工业界认识到参数和数据量对于催生模子涌现智能至关紧张。
DeepSeek的定位

在大模子发达发展的配景下，DeepSeek系列模子应运而生。DeepSeek由中国团队于2023年建立 。与OpenAI等公司的闭源战略差别，DeepSeek选择走开源蹊径，发愤打造开源界的顶尖大模子，对标当时最强的闭源模子如GPT