从单模态到多模态：大模子架构演进与技能先容

   人工智能范畴的模子架构履历了从单模态（专注于单一数据范例）到多模态（融合多种数据范例）的凌驾式发展。这一过程中，残差学习、留意力机制、对比学习等技能的突破推动了模子的性能提升和应用场景扩展。本文将深入分析五个里程碑模子——ResNet、ViT、Swin Transformer、CLIP、ViLT，探究其核心架构与技能创新，并梳理从单模态到多模态的技能演进路径。
  1. ResNet — 残差神经网络

配景

2015年，何恺明团队提出的深度残差网络（ResNet）办理了深度卷积神经网络训练中的梯度消散/爆炸标题，使得构建和训练超深网络成为大概。ResNet在ImageNet比赛中取得其时开始进的性能，并得到了2015年CVPR最佳论文奖。
核心标题与办理方案

传统CNN模子在层数增长时会碰到退化标题（degradation problem）：随着网络深度增长，正确率开始饱和，然后敏捷降落。ResNet通过引入残差学习框架办理了这一标题。
原理

残差学习（Residual Learning）：随着网络深度的增长，传统的深层网络面对着梯度消散或梯度爆炸的标题，使得网络难以训练。ResNet通过引入“残差块”（Residual Block），让网络可以轻松地学习恒等映射（Identity Mapping）。这意味着，在深条理网络中，假如某一层没有对特性提取有资助，则该层可以学为零，从而不会对终极结果造成负面影响。
模子架构

ResNet的架构 ： ResNet34 利用的受 VGG-19 启发的 34 层平常网络架构，随后添加了快捷毗连。随后通过这些快捷毗连将该架构变化为残差网络，如下图所示：

ResNet的核心是残差块（Residual Block），其结构如下：

  

• 残差毗连（Skip Connection）：将输入信号直接添加到层的输出  
  
• 残差学习：网络不直接学习原始映射H(x)，而是学习残差
  

  F ( x ) = H ( x ) − x F(x) = H(x) - x F(x)=H(x)−x
一个根本的残差块可以体现为：
  y = F ( x , W i ) + x y = F(x, {Wi}) + x y=F(x,Wi)+x
此中F(x, {Wi})体现残差映射，可以是多层堆叠的卷积利用。
ResNet的完备架构包罗：

  

• 初始卷积层（7×7卷积，步长2）  
  
• 最大池化层（3×3，步长2）  
  
• 4组残差块堆叠（每组有差别数目的残差块）  
  
• 全局匀称池化  
  
• 全毗连层+Softmax
  

ResNet有多种变体，包罗ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152，数字体现网络深度。
ResNet 系列变体

     模子    层数    参数目    结构分析              ResNet-18    18    11M    底子残差块          ResNet-34    34    21M    底子残差块          ResNet-50    50    25M    Bottleneck 残差块          ResNet-101    101    44M    Bottleneck 残差块          ResNet-152    152    60M    Bottleneck 残差块    技能创新与影响

  

• 办理深度网络训练标题：残差毗连使得信息可以直接从浅层转到达深层  
  
• 梯度活动改善：短路毗连有助于梯度在反向流传中更好地活动  
  
• 体现本领加强：更深的网络具有更强的特性提取本领  
  
• 训练稳固性：残差学习框架使训练更加稳固
  

2. ViT — Vision Transformer

配景

2020年10月，谷歌研究团队发布了论文"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale"，初次将天然语言处理处罚范畴的Transformer架构直策应用于盘算机视觉使命，但是由于其模子“简单”且结果好，可扩展性强（scalable，模子越大结果越好），成为了transformer在CV范畴应用的里程碑著作，也引爆了后续干系研究。
核心头脑

ViT的核心头脑是将图像视为"单词序列"，摒弃了CNN中的归纳偏置（如平移稳定性、局部毗连等），完全依赖自留意力机制处理处罚视觉信息。
发展历程

Transformer的劈头：

  

• 2017年，Google提出了Transformer模子，这是一种基于Seq2Seq结构的语言模子，它初次引入了Self-Attention机制，代替了基于RNN的模子结构。  
  
• Transformer的架构包罗Encoder和Decoder两部分，通过Self-Attention机制实现了对全局信息的建模，从而可以或许办理RNN中的长隔断依赖标题。
  

ViT的出现：

  

• ViT采取了Transformer模子中的自留意力机制来建模图像的特性，这与CNN通过卷积层和池化层来提取图像的局部特性的方式有所差别。  
  
• ViT模子主体的Block结构基于Transformer的Encoder结构，包罗Multi-head Attention结构。
  

ViT的进一步发展：

  

• 随着研究的深入，ViT的架构和训练战略得到了进一步的优化和改进，使其在多个盘算机视觉使命中都取得了与CNN相称乃至更好的性能。  
  
• 如今，ViT已经成为盘算机视觉范畴的一个告急研究方向，并有望在将来进一步更换CNN成为主流方法。
  

模子架构

ViT将输入图片分为多个patch（16x16），再将每个patch投影为固定长度的向量送入Transformer，后续encoder的利用和原始Transformer中完全雷同。但是由于对图片分类，因此在输入序列中到场一个特殊的token，该token对应的输出即为末了的种别猜测

ViT的处理处罚流程如下：

  

• 图像分块与线性投影
  
     
  
  • 将输入图像分别为固定尺寸的方形地域（如16×16像素），天生二维网格序列。每个图像块经全毗连层举行线性投影，转化为768维特性向量。此时视觉数据完成形态转换，形成类序列结构。   
    
     
  
• 种别标志注入
  
     
  
  • 在序列首部插入可学习的分类标识向量，该特殊标志贯穿整个网络运算，终极作为图像表征的聚合载体。此利用使序列长度由N增至N+1，同时保持特性维度划一性。   
    
     
  
• 位置编码融合
  
     
  
  • 通过可训练的位置嵌入表为每个序列元素注入空间信息。采取向量相加方式而非拼接，在保存原始特性维度的条件下，使模子感知元素的相对位置关系。   
    
     
  
• Transformer编码架构
  
     
  
  • 由多层雷同结构模块堆叠构成，每个模块包罗：
       
    
  • 层归一化处理处罚的多头留意力机制：将特性拆分为多个子空间（如12个64维头部），并行捕获异构关联模式，输出重聚合后维持768维
       
    
  • 多层感知机扩展层：先辈行4倍维度扩展（768→3072）加强表征本领，再投影回原维度包管结构同一性
       
    
     
  
• 特性演化与输出
  
     
  
  • 全部编码模块保持输入输出同维度（197×768），实现深度堆叠。终极提取首位的种别标志向量作为全局图像形貌符，或采取全序列均值池化战略，接入分类器完成视觉使命。这种架构通过序列化处理处罚实现了视觉与语言模子的范式同一。   
    
    
  

ViT的公式体现：
  z 0 = [ x c l a s s ; x 1 E ; x 2 E ; . . . ; x N E ] + E p o s z_0 = [x_class; x_1^E; x_2^E; ...; x_N^E] + E_pos z0​=[xc​la