深度学习 DAY2：Transformer

媒介
Transformer是一种用于自然语言处置惩罚（NLP）和其他序列到序列（sequence-to-sequence）使命的深度学习模子架构，它在2017年由Vaswani等人初次提出。Transformer架构引入了自留意力机制（self-attention mechanism），这是一个关键的创新，使其在处置惩罚序列数据时体现出色。
一、Transformer是什么？
Transformer是一种用于自然语言处置惩罚（NLP）和其他序列到序列（sequence-to-sequence）使命的深度学习模子架构，它在2017年由Vaswani等人初次提出。Transformer架构引入了自留意力机制（self-attention mechanism），这是一个关键的创新，使其在处置惩罚序列数据时体现出色。
以下是Transformer的一些紧张构成部分和特点：
自留意力机制（Self-Attention）：这是Transformer的核心概念之一，它使模子可以大概同时思量输入序列中的全部位置，而不是像循环神经网络（RNN）或卷积神经网络（CNN）一样徐徐处置惩罚。自留意力机制答应模子根据输入序列中的差异部分来赋予差异的留意权重，从而更好地捕捉语义关系。
多头留意力（Multi-Head Attention）：Transformer中的自留意力机制被扩展为多个留意力头，每个头可以学习差异的留意权重，以更好地捕捉差异范例的关系。多头留意力答应模子并行处置惩罚差异的信息子空间。
堆叠层（Stacked Layers）：Transformer通常由多个雷同的编码器息争码器层堆叠而成。这些堆叠的层有助于模子学习复杂的特性表现和语义。
位置编码（Positional Encoding）：由于Transformer没有内置的序列位置信息，它须要额外的位置编码来表达输入序列中单词的位置序次。
残差毗连和层归一化（Residual Connections and Layer Normalization）：这些技能有助于减轻训练过程中的梯度消散和爆炸标题，使模子更容易训练。
编码器息争码器：
1-1、 Transformer的结构：
Nx = 6，Encoder block由6个encoder堆叠而成，图中的一个框代表的是一个encoder的内部结构，一个Encoder是由Multi-Head Attention和全毗连神经网络Feed Forward Network构成。如下图所示：

大略结构（每一个编码器都对应上图的一个encoder结构）：
            

Transformer的编码组件是由6个编码器叠加在一起构成的，解码器同样云云。全部的编码器在结构上是雷同的，但是它们之间并没有共享参数。编码器的大略结构如下：

从编码器输入的句子起首会颠末一个自留意力层，这一层资助编码器在对每个单词编码的时间时间关注句子的别的单词。解码器中的解码留意力层的作用是关注输入句子的相干部分，雷同于seq2seq的留意力。原结构中使用到的是多头留意力机制（Multi-Head Attention），我们先从底子——自留意力机制开始讲起：
1-2、 自留意力机制
自留意力的作用：随着模子处置惩罚输入序列的每个单词，自留意力会关注整个输入序列的全部单词，资助模子对本单词更好地举行编码。在处置惩罚过程中，自留意力机制会将对全部相干单词的明白融入到我们正在处置惩罚的单词中。更详细的功能如下：
序列建模：自留意力可以用于序列数据（比方文本、时间序列、音频等）的建模。它可以捕捉序列中差异位置的依赖关系，从而更好地明白上下文。这对于呆板翻译、文本天生、情绪分析等使命非常有用。
并行盘算：自留意力可以并行盘算，这意味着可以有用地在今世硬件上举行加速。相比于RNN和CNN等序列模子，它更容易在GPU和TPU等硬件上举行高效的训练和推理。（由于在自留意力中可以并行的盘算得分）
长隔断依赖捕捉：传统的循环神经网络（RNN）在处置惩罚长序列时大概面临梯度消散或梯度爆炸的标题。自留意力可以更好地处置惩罚长隔断依赖关系，由于它不须要按序次处置惩罚输入序列。
自留意力的结构如下所示：
                                 

自留意力的盘算：从每个编码器的输入向量（每个单词的词向量，即Embedding，可以是恣意情势的词向量，比如说word2vec，GloVe，one-hot编码）