为什么现在的LLM都是Decoder only的架构？

LLM 是 “Large Language Model” 的简写，现在一样平常指百亿参数以上的语言模子， 重要面向文本天生使命。跟小尺度模子（10亿或以内量级）的“百花齐放”差别，现在LLM的一个近况是Decoder-only架构的研究居多，像OpenAI不停对峙Decoder-only的GPT系列就不说了，即便是Google如许的并非全部押注在Decoder-only的公司，也确实投入了不少的精力去研究Decoder-only的模子，如PaLM就是此中之一。那么，为什么Decoder-only架构会成为LLM的主流选择呢？
  我们都知道，Transformer 模子一开始是用来做 seq2seq 使命的，以是它包罗 Encoder 和 Decoder 两个部分；他们两者的区别重要是，Encoder 在抽取序列中某一个词的特性时可以大概看到整个序列中全部的信息，即上文和下文同时看到；而 Decoder 中由于有 mask 机制的存在，使得它在编码某一个词的特性时只能看到自身和它之前的文本信息。
一、Encoder 的低秩题目

苏神夸大的留意力满秩的题目，双向attention的留意力矩阵容易退化为低秩状态，而 causal attention 的留意力矩阵是下三角矩阵，一定是满秩的，建模本领更强；
Encoder的双向留意力会存在低秩题目，这大概会减弱模子表达本领，就天生使命而言，引入双向留意力并无实质优点。而Encoder-Decoder架构之以是可以大概在某些场景下表现更好，大概只是由于它多了一倍参数。以是，在划一参数目、划一推理资本下，Decoder-only架构就是最优选择了。（参考：为什么现在的LLM都是Decoder-only的架构？）
二、 预练习使命难度

纯粹的decoder-only架构+next token predicition预练习，每个位置所能打仗的信息比其他架构少，要猜测下一个token难度更高，当模子充足大，数据充足多的时间，decoder-only模子学习通用表征的上限更高； bert的双向模子可以看到前向和后向，这在猜测的时间是自然的上风，但在练习的时间着实反而低落了学习难度，自回归模子的最难使命还是会比双向模子的最难使命要难过多。换句话说bert的双向进步了下限也拉低了上限。而当模子充足大，数据充足多的时间，decoder-only模子学习通用表征的上限更高。
三、In-context learning 对 LLM 有 few-shot finetune 的作用

上下文学习为 decoder-only 架构带来更好的 few-shot 性能：prompt和demonstration的信息可以视为对模子参数的隐式微调[2]，decoder-only的架构相比encoder-decoder在in-context learning上会更有上风，由于 prompt 可以更加直接地作用于decoder每一层的参数，微调的信号更强； 在现实使用LLM时，我们常常会到场 Chain-of-Thought 大概 In-Context （在in-context learning中，模子不根据卑鄙使命调解参数，而是将卑鄙使命的输入输出接起来之后作为prompt，引导模子根据测试集的输入天生猜测效果。该方法的表现可以大幅逾越零监督学习，并给大模子高效运用提供了新的思绪。）信息来作为prompt进一步引发模子潜力——比方到场一些例句让GPT类模子来模仿、天生更好的效果。
近期有论文指出In-Context信息可以视为一种task finetuning
Why Can GPT Learn In-Context? Language Models Implicitly Perform Gradient Descent as Meta-Optimizers
论文的数学推导是定性的，大要上是将prompt信息归为对Transformer Attention层参数的微调。
按照这篇论文的思绪，decoder-only 的架构相比 encoder-decoder 在 In-Context 的学习上会更有上风，由于前者的 prompt 可以更加直接地作用于 decoder 每一层的参数，微调信号更强。也因此，更得当 ChatGPT 这类开放域的对话模子作为底子模子。同理，在总数据量少的环境下，In-Context + Decoder-only 也更具有 few-shot 的上风——Google近期的论文在呆板翻译上也观察到了雷同征象，即中等量的单语数据+大模子+In context就能学习出很好的翻译效果：
NLP论文阅读：大语言模子的few-shot大概会改变呆板翻译的范式
四、服从题目

decoder-only支持不停复用KV-Cache，对多轮对话更友爱，由于每个token的表现只和它之前的输入有关，而encoder-decoder和PrefixLM就难以做到；
五、更好的Zero-Shot性能、更得当于大语料自监督学习

起首，对 encoder-decoder 与 decoder-only 的比力早已有之。咱们先把眼光放放到模子参数动辄100B之前的期间，看看小一点的模子参数目下、两个架构各有什么上风——Google Brain 和 HuggingFace团结发表的 What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? 曾经在5B的参数目级下对比了两者性能。
NLP论文速读：探索语言模子的最佳架构和练习方法[ICML’22 × 2]
论文最重要的一个结论是：decoder-only 模子在没有任何 tuning 数据的环境下、zero-shot 表现最好，而 encoder-decoder 则必要在肯定量的标注数据上做 multitask finetuning 才华引发最佳性能。 而现在的Large LM的练习范式还是在大规模语料上做自监督学习，很显然，Zero-Shot性能更好的decoder-only架构才华更好地使用这些无标注数据。别的，Instruct GPT在自监督学习外还引入了RLHF作辅助学习。RLHF自己也不必要人工提供使命特定的标注数据，仅必要在LLM天生的效果上作排序。固然现在没有太多有关RLHF + encoder-decoder的相干实验，直觉上RLHF带来的提拔大概还是不如multitask finetuning，究竟前者本质只是ranking、引入监督信号没有后者强。
六、大数据练习+大参数模子的涌现本领更换了multitask finetuning

前面说到，5B参数目+170B token 数据量时，在做 multitask finetuning 后 encoder-decoder 相比 decoder-only 反而在新使命（zero-shot）上会有肯定的上风。那么，在参数目再上一个台阶后，我们知道了LLM大模子表现出了涌现本领 （emergent abilities）。关于涌现本领，爱丁堡大学的Yao Fu博士有一篇很好的博客详细叙述:
A Closer Look at Large Language Models Emergent Abilities
简言之，在模子参数目充足大时，模子的本领提拔不再服从以往的log-linear的提拔法则，而是忽然急速加强性能。

我们迄今还没有办法表明涌现本领为何出现。涌现本领的一个表现是，参数目到达肯定量级后，模子具有了"复杂的推理本领"——譬如从非结构化的文本中自动地提取结构化的知识。
那么，LLM也可以自动地从大数据内里做 “self multitask finetuning”。详细来讲，大数据内里自己自然蕴含了很多使命：比如 双语网页数据-呆板翻译、论文(择要+正文)数据-文本择要、维基百科数据-定名实体辨认等等。
因此，对于常见的NLP使命、LLM可以视为已经self finetuning过了；对于复杂题目，LLM的推理本领可以把这些题目转换成几个根本使命的”和“。譬如Closed-book question-answering使命，模子可以将其转换为 Knowledge Graph Completion + Reading Comprehension + Question Answering的组合。
由此，encoder-decoder在multitask finetuning上的上风在大参数目时被LLM的推理本领给拉平了。
七、目的函数

GPT 模子选择了 Decoder，也正是由于 GPT 的预练习目的函数选取的是尺度的语言模子目的函数，使得模子在猜测某一个词的时间只思量上文信息而不参考下文。
BERT 在预练习的时间选择的不是尺度的语言模子作为目的函数，而是一种 MLM 的掩码语言模子， 也就是在猜测句子中某一个词的时间可以同时看到它前后的全部上下文信息，雷同于一种完形填空使命，以是 BERT 选择的是 Transformer 的编码器模块。
Decoder 选择的是一个更难的目的函数，它是根据前面的信息去猜测下文，猜测将来肯定是比完形填空难度要更大的。这也能从某种水平上表明白为什么雷同规模的 GPT 和 BERT 模子，GPT 的效果要比 BERT 差。但是从另一个角度去想，假如可以大概把猜测将来这个变乱做好的话，它终极所能到达的效果的天花板肯定是更高的，这大概也是 OpenAI 从一开始到现在不停对峙使用尺度语言模子目的函数来做预练习模子的此中一个缘故原由吧，固然这只是一种意料。究竟证明，从 GPT-3 开始，到迩来的 ChatGPT，OpenAI 所取得的令人惊艳的效果也肯定水平上证明白他们的选择的精确性。
八、总结

总而言之，decoder-only 在参数目不太大时就更具有更强的zero-shot性能、更匹配主流的自监督练习范式；而在大参数目的加持下，具有了涌现本领后、可以对抗encoder-decoder做finetuning的效果；在In Context的环境下、又能更好地做few-shot使命。
decoder-only 架构符合传统的 Language Model 的模式。 前几年 encoder-decoder 模子的火爆更多是依靠于在特定标注数据上的练习——比如Transformer论文中经典的WMT呆板翻译使命。
九、encoder-decoder的将来

在将来，Large Language Model+自监督练习应该还是会继承接纳 decoder-only 的架构。encoder-decoder有两个特点大概会使得它在以下两类使命上有上风：

• encoder 的多样性。很多多模态工作(BLIP、ALBEF、SimVLM)上可以瞥见 encoder-decoder的影子，由于encoder 可以用来 encoder 多种模态的信息，而decoder-only的多模态工作相对较少（微软克日的visual-ChatGPT更多方向模子级联pipeline）。
  
• Deep Encoder+Shallow Decoder的推理上风。Encoder-decoder架构原来在盘算服从上（以FLOPs权衡）就是优于其他LM的，且工业界现在常使用Deep Encoder+Shallow Decoder的组合，由于encoder自己并行度高，这类encoder-decoder的infer速率远超大型的decoder-only。在有较多标注数据的使命上，encoder-decoder还是具有资本上风的。
  

参考：
为什么现在的LLM都是Decoder-only的架构？
为什么现在的LLM都是Decoder only的架构？