LLM 压缩之二: ShortGPT

0. 资源链接

•         论文: https://arxiv.org/pdf/2403.03853
  
•         项目代码: 待开源
  

1. 配景动机

现有的大语言模子 LLM 推理存在以下标题：

•         LLM 模子由于 scale law 极大的进步模子的推测本领，但是同样带来较大的推理延时；对于 LLM 应用摆设带来较大的寻衅。
  
•         如今的大模子加速的方法重要分为量化和压缩两种，如今量化和压缩一样寻常必要训练以规复模子精度，尤其量化较低比特时。
  

2. 内容提要

•         通太过析大模子存在的冗余性，发如今模子深度的维度存在大量的冗余；可以通过简朴的去除冗余层来加速。
  
•         本文提出了一个 BI score 的指标来表征层的紧张性，基于 BI score，本文提出一个简朴的深度剪枝方法。
  
•        
  
  
  

3. 技能细节

•         BI score 盘算公式：
  

•        
  
  
  
•         层冗余分析：
  
•        
  
•        
  
  
  

•        
  
  
  
•         Layer 剪枝
  
  
  
  •                 基于 BI score 排序，减去 BI score 小的层。
    
  
  

4. 实验分析

5. 一些思考

•         ShortGPT 给大模子剪枝提供了一个新视角，对后续的剪枝算法有较大开导。
  
•         ShortGPT 如今还比力简朴，后续应该会有更多的工作出现，优化当前的方案。