深度学习：循环神经网络——LSTM

目次
媒介
一、LSTM重要构成部分
二、LSTM的工作原理
三、LSTM的工作步调详解
1.忘记门
2.输入门
3.输出门

---

媒介

        LSTM（是非期影象网络）是一种特别范例的循环神经网络（RNN），用于处置处罚和推测序列数据。与传统的RNN相比，LSTM可以大概更好地捕捉恒久依靠关系，制止了梯度消散和梯度爆炸的题目。
 
一、LSTM重要构成部分

• 单位状态（Cell State）：
  
  
  • LSTM通过单位状态来转达信息，可以在多个时间步之间生存并转达信息。
    
  
  
• 门控机制： LSTM有三个重要的“门”：
  
  
  • 忘记门（Forget Gate）：决定哪些信息将被扬弃。
    
  • 输入门（Input Gate）：决定哪些新信息将被存储到单位状态中。
    
  • 输出门（Output Gate）：决定当前单位状态的哪些部分将作为输出。
    
  
  

 
二、LSTM的工作原理

• 忘记门：根据当前输入和前一个潜伏状态，天生一个0到1之间的值，决定扬弃哪些信息。
  
• 输入门：通过sigmoid激活函数决定哪些新信息将被添加到单位状态，并通过tanh激活函数天生新的候选值。
  
• 更新单位状态：团结忘记门和输入门，更新单位状态。
  
• 输出门：根据当前输入和更新后的单位状态，天生输出。
  

 
三、LSTM的工作步调详解

 
1.忘记门

左边部分
功能：决定应扬弃哪些关键词信息。
步调：
来自前一个潜伏状态的信息和当前输入的信息同时转达到 sigmoid 函数中去，输出值介于 0 和 1 之间，越靠近 0 意味着越应该扬弃，越靠近 1 意味着越应该生存。

 
2.输入门

中心部分
功能：用于更新细胞状态。
步调：
1、起首将前一层潜伏状态的信息和当前输入的信息转达到 sigmoid 函数中去。将值调解到 0~1 之间来决定要更新哪些信息。0 表现不紧张，1 表现紧张。
2、将前一层潜伏状态的信息和当前输入的信息转达到 tanh 函数中去，创造一个新的侯选值向量。末了将 sigmoid 的输出值与 tanh 的输出值相乘，sigmoid 的输出值将决定 tanh 的输出值中哪些信息是紧张且必要生存下来的。
 
3.输出门

右边部分
功能：用来确定下一个潜伏状态的值。
步调：
1、将前一个潜伏状态和当前输入转达到 sigmoid 函数中，然后将新得到的细胞状态转达给 tanh 函数。
2、将 tanh 的输出与 sigmoid 的输出相乘，以确定潜伏状态应携带的信息。再将潜伏状态作为当前细胞的输出，把新的细胞状态和新的潜伏状态转达到下一个时间步长中去。