Transformer 详解：相识 GPT、BERT 和 T5 背后的模子

目次
什么是 Transformer？
Transformer怎样工作？
Transformer 为何有效？
常见标题解答：呆板学习中的 Transformer

---

在技​​术范畴，突破通常来自于修复破坏的东西。制造第一架飞机的人研究过鸟类。莱特兄弟观察了秃鹫如安在气流中保持平衡，意识到稳固性比动力更紧张。呆板学习中的Transformer就是如许：修复看似无法修复的东西。
每隔几年，就会有人提出一种新的呆板学习模子，迫使你重新思考盘算性能做什么。一开始，它们会下围棋。然后，它们会制作深度伪造视频。现在，它们会写论文、天生代码，以致办理生物学标题。