深度学习自编码器 - 正则自编码器篇

序言

深度学习范畴中，自编码器（ Autoencoder \text{Autoencoder} Autoencoder）作为一种无监视学习技能，依附其独特的布局在数据降维、特性提取、非常检测及数据去噪等方面显现出强大的本领。正则自编码器，作为自编码器家属中的告急一员，通过引入额外的束缚或正则化项，不但实现了对输入数据的有用重构，更在此底子上学习了数据更为紧凑和故意义的表现。这一特性使得正则自编码器在克制过拟合、提拔模子泛化本领方面尤为突出，为处理处罚高维、复杂数据提供了新的视角和方法。
正则自编码器（Regularized Autoencoder）

  

• 编码维数小于输入维数的欠完备自编码器可以学习数据分布最显着的特性。我们已经看到，如果这类自编码器被赋予过大的容量，它就不能学到任何有用的信息。  
  
• 如果潜伏编码的维数允许与输入相称，或潜伏编码维数大于输入的过完备 ( overcomplete \text{overcomplete} overcomplete) 环境下，会发生类似的标题。在这些环境下，纵然是线性编码器和线性解码器也可以学会将输入复制到输出，而学不到任何有关数据分布的有用信息。  
  
• 抱负环境下，根据要建模的数据分布的复杂性，选择符合的编码维数和编码器、解码器容量，就可以乐成训练恣意架构的自编码器。
  
     
  
  • 正则自编码器提供如许做的大概。   
    
  • 正则自编码器利用的丧失函数可以鼓励模子学习其他特性（除了将输入复制到输出），而不消限定利用浅层的编码器息争码器以及小的编码维数来限定模子的容量。   
    
  • 这些特性包罗希罕表现、表现的小导数、以及对噪声或输入缺失的鲁棒性。   
    
  • 纵然模子容量大到富足学习一个简朴的复制功能，非线性且过完备的正则自编码器仍旧能学到一些与数据分布相干的有用信息。   
    
     
  
• 除了这里所形貌的方法（正则化自编码器最自然的表明），险些任何带有潜变量并配有一个推断过程（盘算给定输入的潜伏表现）的天生模子，都可以看作是自编码器的一种特殊情势。
  
     
  
  • 夸大与自编码器接洽的两个天生建模方法是 Helmholtz \text{Helmholtz} Helmholtz机 ( Hinton et al., 1995b \text{Hinton et al., 1995b} Hinton et al., 1995b) 的衍生模子，如变分自编码器和天生随机网络。   
    
  • 这些模子能自然地学习大容量、对输入过完备的有用编码，而不须要正则化。   
    
  • 这些编码显然是有用的，由于这些模子被训练为近似训练数据的最大概率而不是将输入复制到输出。   
    
    
  

希罕自编码器

  

• 希罕自编码器简朴地在训练时团结编码层的系数处罚 Ω ( h ) \Omega(\boldsymbol{h}) Ω(h)和重构偏差：
    L ( x , g ( f ( x ) ) ) + Ω ( h ) L(\boldsymbol{x},g(f(\boldsymbol{x})))+\Omega(\boldsymbol{h}) L(x,g(f(x)))+Ω(h)  — 公式1 \quad\textbf{---\footnotesize{公式1}} —公式1  
  
• 此中 g ( h ) g(\boldsymbol{h}) g(h)是解码器的输出，通常 h \boldsymbol{h} h是编码器的输出，即 h = f ( x ) \boldsymbol{h}=f(\boldsymbol{x}) h=f(x)。  
  
• 希罕自编码器通常用于学习特性，以便用于其他任务如分类。
  
     
  
  • 希罕正则化的自编码器必须反映训练数据集的独特统计特性，而不是简朴地充当恒等函数。   
    
  • 以这种方式训练，实验附带希罕处罚的复制任务可以得到能学习有用特性的模子。   
    
     
  
• 我们可以简朴地将处罚项  Ω ( h ) \Omega(\boldsymbol{h}) Ω(h) 视为加到前馈网络的正则项，这个前馈网络的重要任务是将输入复制到输出（无监视学习的目标），并尽大概地根据这些希罕特性实验一些监视学习任务（根据监视学习的目标）。
  
     
  
  • 不像其他正则项如权重衰减，这个正则化没有直观的贝叶斯表明。   
    
  • 如应用数学与呆板学习底子 - 贝叶斯统计篇 - 最大后验（MAP）估计形貌，权重衰减和其他正则处罚可以被表明为一个 MAP \text{MAP} MAP近似贝叶斯推断，正则化的处罚对应于模子参数的先验概率分布。   
    
  • 这种观点以为，正则化的最大似然对应最大化  p ( θ ∣ x ) p(\boldsymbol{\theta}\mid\boldsymbol{x}) p(θ∣x)，相称于最大化 log ⁡ p ( x ∣ θ ) + log ⁡ p ( x ∣ θ ) \log p(\boldsymbol{x}\mid\boldsymbol{\theta})+\log p(\boldsymbol{x}\mid\boldsymbol{\theta}) logp(x∣θ)+logp(x∣θ)。  log ⁡ p ( x ∣ θ ) \log p(\boldsymbol{x}\mid\boldsymbol{\theta}) logp(x∣θ) 即通常的数据似然项，参数的对数先验项  log ⁡ p ( θ ) \log p(\boldsymbol{\theta}) logp(θ)则包罗了对  θ \boldsymbol{\theta} θ 特定值的偏好。   
    
  • 这种观点在应用数学与呆板学习底子 - 贝叶斯统计篇有所形貌。   
    
  • 正则自编码器不实用如许的表明是由于正则项取决于数据，因此根据界说上（从笔墨的正式意义）来说，它不是一个先验。   
    
  • 我们仍可以以为这些正则项隐式地表达了对函数的偏好。   
    
     
  
• 我们可以以为整个希罕自编码器框架是对带有潜变量的天生模子的近似最大似然训练，而不将希罕处罚视为复制任务的正则化。
  
     
  
  • 如果我们有一个带有可见变量 x和潜变量  h \boldsymbol{h} h 的模子，且具有明确的团结分布  p model ( x , h ) = p model ( h ) p model ( x ∣ h ) p_{\text{model}}(\boldsymbol{x},\boldsymbol{h})=p_{\text{model}}(\boldsymbol{h})p_{\text{model}}(\boldsymbol{x}\mid\boldsymbol{h}) pmodel​(