马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
在雷达相机融合三维目的检测中，雷达点云希奇、噪声较大，在相机雷达融合过程中提出了许多寻衅。为相识决这个标题，我们引入了一种新的基于query的检测方法 Radar-Camera Transformer (RCTrans)。详细来说：
- 起首计划了一个雷达稠密编码器来丰富希奇的有效的雷达token，然后将它们与图像token拼接起来。通过如许做可以充实发掘每个感爱好地区的3D信息，淘汰融合阶段空token的干扰。
- 然后计划了一个剪枝序次解码器，根据得到的token和随机初始化的query来猜测 3D 框。为了缓解雷达点云中高度丈量值的歧义，我们通过序次融合布局渐渐定位物体的位置。它有助于在token和query之间得到更准确和更机动的对应关系。
- 解码器接纳剪枝训练计谋，在推理过程中可以节省许多时间，克制query失去独特性。在大规模nuScenes数据集上的大量实行表明确该方法的良好性，得到了新的SOTA的雷达相机融合3D检测结果。
项目链接：https://github.com/liyih/RCTrans
Introduction
弁言和相干工作部门这里就不先容了，在原文中作者提出了雷达传感器的两个重要缺陷：希奇和噪声大，这也是如今量产雷达最重要的痛点。导致非空的雷达pillars数量大概是激光雷达Pillars数量的10%。图一中作者比力了RCTrans模子和如今纯视觉以及相机雷达融合模子的对比，可以看到划一设置下，RCTrans都是优于RCBEVDet，在推理速率上略慢于RCBEVDet。
Method
RCTrans模子框图如图2所示，起首使用两个并行分支（雷达与图像分支）提取多模态token。在雷达分支中，我们将使用雷达稠密编码器来天生稠密有效的雷达特性。然后，position embedding添加到token中。末了，随机初始化的query将被发送到 Pruning Sequential Decoder 和token一起猜测 3D 框。整个训练是一个端到端的过程，不必要冻结任何参数，模子详细细节可以参考StreamPETR和FUTR3D。
这里先容下雷达稠密编码器，如下图所示。我们的目的是找到一个布局简朴的网络，可以自顺应地添补每个BEV雷达网格和聚合多标准信息，以促进差别巨细的目的检测。自顺应添补每个 BEV 网格的最简朴方法是使用全局自留意力机制。然而，由于BEV网格数量较多，该方法耗时较长。为相识决这个标题，起首对原始的BEV特性举行下采样，并在最小分辨率与它们交互。同时，下采样过程可以大大淘汰无效网格的数量，从而进步交互后得到的特性子量。受 U-Net的开导，我们以雷同的 BEV 分辨率毗连差别感受野巨细的特性，有效地保存了差别巨细的对象的特性，这里做了三次下采样和三次上采样。对最小分辨率做自留意力时，添加了2D position embedding。
下面先容下position embedding的天生，对于图像position embedding，我们使用PETR中提出的3D位置嵌入。给定一个图像token T i T_i Ti，一系列点 p ( u , v ) = p i ( u , v ) = ( u × d i , v × d i , d i , 1 ) , i = 1 , 2 , 。 . . , d p(u, v) = p_i (u, v) = (u \times d_i, v \times d_i, d_i, 1), i = 1, 2,。.., d p(u,v)=pi(u,v)=(u×di,v×di,di,1),i=1,2,。..,d 为界说在相机视锥空间中的点。这里， u u u 和 v v v 是token在图像空间中的索引， d d d 是沿深度轴的点数。之后，通过下列公式盘算图像位置嵌入：
P E i m = Φ i m ( K p ( u , v ) ) , P E_{i m}=\Phi_{i m}(K p(u, v)), PEim=Φim(Kp(u,v)),
此中 K K K是相机内参矩阵， Φ i m \Phi_{i m} Φim MLP网络。由于雷达无法得到物体的准确高度信息，对于雷达位置嵌入，我们使用二维BEV嵌入，忽略BEV网格的高度信息。雷达位置嵌入由式下列公式盘算而来：
P E r a = Φ r a ( Ψ ( h , w ) ) P E_{r a}=\Phi_{r a}(\Psi(h, w)) PEra=Φra(Ψ(h,w))
此中 ( h , w ) (h, w) (h,w)为BEV网格的2D坐标， Φ r a \Phi_{r a} Φra为MLP网络， Ψ ( h , w ) \Psi(h, w) Ψ(h,w) 为正弦余弦函数。通过位置嵌入，差别模态的信息可以隐式地与三维空间中的目的query对齐。
关于本文提出的剪枝序次解码器，起首初始化了在3D空间可学习的n个query参考点，对应query特性初始化为0。query位置投影到雷达空间可以用下面公式来投影：
{ r x i ′ = r x i × ( x max − x min ) + x min r y i ′ = r y i × ( y max − y min ) + y min r z i ′ = r z i × ( z max − z min ) + z min \left\{\begin{aligned} r_{x i}^{\prime} & =r_{x i} \times\left(x_{\max }-x_{\min }\right)+x_{\min } \\ r_{y i}^{\prime} & =r_{y i} \times\left(y_{\max }-y_{\min }\right)+y_{\min } \\ r_{z i}^{\prime} & =r_{z i} \times\left(z_{\max }-z_{\min }\right)+z_{\min } \end{aligned}\right. ⎩ ⎨ ⎧rxi′ryi′rzi′=rxi×(xmax−xmin)+xmin=ryi×(ymax−ymin)+ymin=rzi×(zmax−zmin)+zmin
往图像上投影可以用下面的公式（3D空间到视锥空间）：
R i m = K − 1 R r a R_{i m}=K^{-1} R_{r a} Rim=K−1Rra
对应的3D和2D position embedding可以用如下公式体现：
P E 3 d = Φ i m ( R i m ) , P E 2 d = Φ r a ( Ψ ( R r a ) ) P E_{3d}=\Phi_{im}(R_{im}), P E_{2d}=\Phi_{ra}(\Psi(R_{ra})) PE3d=Φim(Rim),PE2d=Φra(Ψ(Rra))
本文提出将单层decoder分成两个小的decoder，并独立举行模态融合。
在每个解码器层的末了，我们将猜测query的位置。在下一层，新的位置嵌入将根据更新的位置天生。给定更新后的查询 F q n + 1 F^{n+1}_q Fqn+1 ，我们猜测查询位置的偏移量 ΔR，更新后的位置 R n + 1 R_{n+1} Rn+1 可以通过 Rn + ΔR 盘算。在每一层中，我们使用序次布局来融合多模态信息，这导致解码器层数比传统的解码器要多2倍，会导致额外的推理时间。更紧张的是，随着我们在每个解码器层之后更新query的位置，一些目的query大概渐渐位于同一个地区，并失去特性独特性。这会导致某些地区的信息被忽略，留意力机制大概无法学习有效的体现学习概念，从而克制模子实现预期的性能改进。为此，我们提出了一种剪枝训练计谋，该计谋在训练期间使用 6 层解码器，在推理过程中仅使用 3 层解码器。
Experiments
实行部门，作者使用的数据集是nuScenes数据集，重要对比了3D检测指标和3D追踪指标。实行细节部门：
- 基于StreamPETR和 MMDetection3D代码库实现 RCTrans。
- 和CRN一样，将4帧汗青帧的信息聚集到当前帧，使用StreamPETR中提出的以目的为中心的时间建模来举行时间融合。
- 训练时解码器层数设置为 6，在推理过程中设置为3。在时间融合中，将剪枝后末了一层的输出插入到内存队列中。
- query数量、内存队列巨细和传播query的数量分别设置为 900、512 和 128。
- 对于雷达，和CRAFT一样，聚集了6个已往雷达扫描帧，并将雷达点的最大数量设置为 2048。雷达 BEV 的巨细设置为 128×128。
- 在8个NVIDIA A100 GPU 上训练网络，训练epoch数量为90，批量巨细为 32。速率在单个NVIDIA RTX3090 GPU 上举行评估。学校率初始值为 1 0 − 4 10^{-4} 10−4，优化器使用的是AdamW。
下面是在验证集和测试集上3D检测任务的性能对比：
如表1所示，本文们的方法在差别的图像主干网下取得了最好的性能，时间斲丧略有增长。比方，当使用 Swin-T 作为主干网并将图像巨细设置为 256×704 时，与SOTA雷达相机办理方案 RCBEVDet 相比，RCTrans将NDS 进步了 3.2%，mAP 进步了 2.4%，而耽误增长了约莫 5 毫秒。
多个主干网的实行结果表明，RCTrans具有良好的顺应性，在现实应用中有利于模子摆设和迁徙。更紧张的是，RCTrans击败了全部纯视觉的检测方法，包罗我们的视觉基线模子 StreamPETR，这证实了我们的方法可以有效地使用雷达信息来增补检测结果。在nuScenes测试集上如表2所示，RCTrans取得了64.7%的NDS和57.8%的mAP，优于全部别的方法。值得留意的是，RCTrans在mAVE上得到了巨大的性能提升，证实了模子从雷达数据中提取有效的速率赔偿信息。
如表3所示，将RCTrans与nuScenes测试集上现有的相机和雷达相机跟踪办理方案举行了比力。总体而言，我们的方法产生了最好的结果。与CRN相比，我们的方法显着进步了 AMOTA、FP、FN 和 IDS。我们比力的跟踪结果都是基于CenterPoint中基于速率的迩来间隔匹配得到的，因此跟踪性能的进步重要是由于我们的方法更正确地猜测速率。
下面是溶解实行，图像骨干网是ResNet50，分辨率是256x704。如表 4 所示，每个模块都可以连续进步性能。与单模态相比，使用多模态输入可以显着进步模子性能。与常用的BEV编码器，如SECOND相比，使用提出的雷达稠密编码器(RDE)可以得到1.3%的NDS和1.6%的mAP进步。更紧张的是，剪枝序次解码器 (PSD) 将 NDS 进步了 2.2%，mAP 进步了 2.7%。
在训练期间将解码器的数量设置为 6，在推理过程中仅使用前3层会导致出色的性能，同时将推理时间淘汰了17.7毫秒，同时将 NDS 进步了 0.2%。造成这种征象的缘故因由是，在每一层之后重新盘算position embedding可以快速得到正确的对齐和更快的收敛，但会使一些query会合在同一个地区。别的，通过序次布局在每一层融合差别的模态信息将导致更多transformer层数，在推理过程中淘汰解码器层的数量可以加速推理过程，而不会低落性能。
末了是模子鲁棒性分析，如表6所示，RCTrans在差别的传感器故障情况下优于全部现有的方法。详细来说，与 RCBEVDet 相比，RCTrans 在相机出现故障的条件下将 mAP 分别进步了 5.0%、15.3% 和 3.8%。值得留意的是，当抛弃的相机数量为3时，RCTrans 仍然可以得到靠近空抛弃一个相机的结果，这是对已往方法的紧张改进。上述征象表明，我们的模子可以在传感器故障情况下实现更稳固的结果。
|
发表于 2025-11-13 20:57:09