DyFusion:基于动态融合的交织注意三维目的检测 论文剖析

目次
概况
创新点详解
1、跨注意力动态融合  Cross-Attention Dynamic Fusion
（1）特性提取
（2）体素特性编码
（3） BEV特性提取
（4）特性动态融合
①线性变更
②对Q(BEV特性)和K(图像特性)举行点积运算
③Softmax运算
④特性加权融合
⑤将盘算出来的特性与图像原特性举行毗连
2、同步数据增强  Synchronous Data Augmentation
1)点云数据增强:
2)图像数据增强:
总结

---

论文地点：
[PDF] DyFusion: Cross-Attention 3D Object Detection with Dynamic Fusion | Semantic Scholar
代码地点：
GitHub - bijiangf/DyfusionV1 at master
概况

           在主动驾驶范畴，激光雷达和摄像传感器发挥着不可或缺的作用，为准确的三维目的检测提供关键的观测数据。现有的融合算法有用地利用了两个传感器的互补数据。然而，这些方法通常将原始点云数据和像素级图像特性毗连起来，不幸的是，这一过程会引入错误，并导致每个模态中嵌入的关键信息的丢失。为相识决特性信息丢失的题目，本文提出了一种跨注意力动态融合(Cross-Attention Dynamic Fusion, CADF)战略，对两个异构数据源举行法态融合。别的，我们熟悉到这两种差别模式的数据扩充不敷的题目。为相识决这个题目，我们提出了一种同步数据增强(SDA)战略，旨在进步训练服从。我们已经利用KITTI和nuScenes数据集测试了我们的方法，结果很有渴望。值得注意的是，我们表现最好的模子在KITTI测试基准上得到了82.52%的mAP，优于其他开始辈的方法。
  从上面这段论文的原文中我们可以看出这篇论文的核心创新点在于：

  

• CADF战略—跨注意力动态融合  
  
• SDA战略—同步数据增强
  

  分别用于办理：

  

• 特性信息丢失题目  
  
• 两种模式的数据扩充不敷题目
  

CADF（右）利用交织注意融合点云和图像特性。SDA（左）接纳同步增强战略来进步模子的鲁棒性 。
创新点详解

1、跨注意力动态融合  Cross-Attention Dynamic Fusion

           我们提出了跨注意动态融合(CADF)战略，该战略利用跨注意机制动态组合跨模态特性。通过动态加权对模子举行校正，淘汰了信息丧失，减小了弊端。
   论文以为传统的盘算机视觉多模态方法常用的融合战略都过于简朴，比如直接运用算术运算和拼接来整合图像和点云特性。但如许利用会导致两个埋伏的题目，终极导致融合的有用性低沉

  

• 由于点云输入的分散性，直接将麋集的图像特性融合到点云上会导致图像语义信息的丢失。  
  
• 这种方法大概会引入数据冗余，拦阻告急信息的聚归并引入噪声。
  

基于此种考量论文提出了 新的跨注意力动态融合(CADF)战略来动态融合异构数据源。CADF框架图如下图所示。与传统方法差别，CADF接纳