VLM-AD：通过视觉语言模子监视实现端到端自动驾驶

《VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision》2024年12月发表，来自Cruise和美国东北大学的论文。
人类驾驶员依赖常识推理来驾御多样化和动态的现实天了局景。现有的端到端（E2E）自动驾驶（AD）模子通常颠末优化，以模仿数据中观察到的驾驶模式，而不捕捉底层推理过程。这种限定限定了他们处理具有挑衅性的驾驶场景的本领。为了缩小这一差距，我们提出了VLM-AD，这是一种使用视觉语言模子（VLM）作为教师的方法，通过提供包罗非布局化推理信息和布局化动作标签的额外监视来加强培训。这种监视加强了模子学习更丰富的特性表示的本领，这些特性表示捕捉了驾驶模式背后的根本原理。紧张的是，我们的方法在推理过程中不必要VLM，使实在用于实时摆设。当与开始辈的方法集成时，VLM-AD在nuScenes数据集上的规划精度和碰撞率方面取得了明显进步。

 

研究背景与题目

现有的端到端（E2E）自动驾驶模子通过模仿数据中的驾驶模式举行优化，但缺乏人类驾驶员在复杂场景中的常识推理本领，导致在长尾变乱（如有数交通场景）中表现不佳。传统方法依赖人工标注的轨迹数据，但标注本钱高且难以捕捉隐含的推理逻辑；而直接集成大语言模子（LLM）或视觉语言模子（VLM）的方法则必要大量微调，且推理时依赖大模子，计算开销大。
焦点贡献

提出 VLM-AD 方法，通过以下创新点办理上述题目：

 

•         VLM作为教师模子：
  
  
  
  •                 在练习阶段，使用VLM（如GPT-4）自动天生非布局化推理文本（如“当前动作”“未来预测”“推理逻辑”）和布局化动作标签（如“直行”“左转”）。
    
  •                 将未来轨迹投影到前视图像中，办理VLM对时序信息明白不足的题目。
    
         
  
•         辅助使命设计：
  
  
  
  •                 特性对齐使命：通过交叉注意力机制，将模子特性与VLM天生的文本特性对齐。
    
  •                 动作分类使命：直接预测布局化动作标签。
    
  •                 通过多使命学习联合优化，提升模子对驾驶逻辑的明白。
    
         
  
•         无需推理时依赖VLM：仅在练习阶段使用VLM天生标注，现实摆设时无需大模子，包管实时性。
  

---

方法细节

 

•         数据标注流程：
  
  
  
  •                 输入：前视图像 + 投影的未来轨迹（办理时序题目）。
    
  •                 标注天生：
    
    
    
    •                         自由文本（Q1）：通过开放式题目（如“当前动作是什么？”“未来会做什么？”“推理逻辑？”）天生非布局化文本。
      
    •                         布局化动作（Q2）：从预界说动作列表（如“直行”“左转”）中选择标签。
      
                   
    
  •                 标注编码：使用CLIP将文本转为特性向量，动作标签转为one-hot编码。
    
         
  
•         模子架构：
  
  
  
  •                 辅助使命头：
    
    
    
    •                         特性对齐头：通过多头交叉注意力（MHCA）将模子特性与文本特性对齐，使用温度参数控制特性分布平滑度。
      
    •                         动作分类头：直接预测布局化动作，使用交叉熵丧失优化。
      
                   
    
  •                 丧失函数：加权联合特性对齐丧失（LalignLalign​）和动作分类丧失（LactionLaction​）。
    
         
  

---

实行结果

•         性能提升：
  
  
  
  •                 在nuScenes数据集上，VLM-AD明显降低了规划偏差（L2偏差降低14.6%-33.3%）和碰撞率（降低38.7%-57.4%）。
    
  •                 集成到UniAD和VAD模子后，均优于基线方法和对比方法（如VLP）。
    
         
  
•         溶解实行：
  
  
  
  •                 子题目贡献：推理题目（Q1-3）对性能提升最大，阐明推理逻辑是关键。
    
  •                 特性对齐方法：提出的温度归一化方法优于MSE、KL散度等传统对齐方式。
    
  •                 模子设计：使用MHCA块和CLIP编码结果最佳。
    
         
  
•         可视化分析：
  
  
  
  •                 VLM-AD天生的轨迹更平滑且符合蹊径布局，而基线模子（如UniAD）轨迹抖动较大。
    
  •                 动作预测头提供了可表明性（如精确输出“直行”而非错误转向指令）。
    
         
  

---

局限性及未来方向

•         标注质量依赖VLM：
  
  
  
  •                 VLM大概误判动作（如将右转误标为左转）或环境状态（如肴杂交通灯与行人灯）。
    
  •                 改进方向：设计更风雅的提示（Prompt）或引入多模态输入（如激光雷达）。
    
         
  
•         数据集多样性不足：
  
  
  
  •                 nuScenes数据会合97%的样本为“直行”，限定了模子对复杂动作的学习。
    
  •                 改进方向：引入更多长尾场景数据或合成数据加强。
    
         
  
•         实时性挑衅：
  
  
  
  •                 当火线法在练习阶段需调用VLM天生标注，未来可探索轻量化VLM或离线标注加快流程。
    
         
  

---

总结

VLM-AD通过VLM天生的推理监视信号，明显提升了端到端自动驾驶模子的规划本领和鲁棒性，同时克制了推理时的高计算开销。其焦点代价在于：

•         低本钱标注：使用VLM自动天生高质量监视信号，淘汰对人工标注的依赖。
  
•         可表明性：通过动作分类头提供人类可明白的决议逻辑。
  
•         通用性：可灵活集成到现有E2E框架（如UniAD、VAD），具有广泛实用性。
  

未来工作可进一步优化VLM标注的精确性，并联合多模态感知提升复杂场景的泛化本领。
如果此文章对您有所资助，那就请点个赞吧，收藏+关注 那就更棒啦，非常感谢！！！