【大模子系列篇】大语言模子架构分类和对比

在预练习语言模子期间，天然语言处理惩罚范畴广泛采取了预练习(Pre-training) + 微调(SFT)的范式， 并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预练习语言模子。随着 GPT 系列模子的乐成发展，当前天然语言处理惩罚范畴 走向了天生式大语言模子的门路，解码器架构已经成为了现在大语言模子的主流架构。进一步，解码器架构还可以细分为两个变种架构，包罗因果解码器（Causal Decoder）架构和前缀解码器（Prefix Decoder）架构。值得留意的是，学术界所提到解码器架构时，通常指的都是因果解码器架构。

编码器-解码器架构

编码器-解码器架构是天然语言处理惩罚范畴里一种经典的模子结构，广泛应用于如呆板翻译等多项任务。原始的Transformer 模子也利用了这一架构，组合了两个分别继续编码器息争码器的 Transformer 模块。具体细节可以阅读原论文解读篇《论文解读:Transformer - Attention