马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？立即注册
×
一、文献根本信息
文章标题Flow-Based feature fusion for vehicle-infrastructure cooperative 3d object detection会议NIPS(NeurIPS)作者Haibo Yu；Yingjuan Tang；Enze Xie；Jilei Mao；Ping Luo；Zaiqing Nie单位The University of Hongkong；Institute for AI Industry Research (AIR), Tsinghua University；Beijing Institute of Technology；Shanghai AI Laboratory日期2023年11月3日论文链接https://arxiv.org/abs/2311.01682代码链接https://github.com/haibao-yu/FFNet-VIC3D 择要:使用自车和底子办法传感器的协同数据可以显着提升自动驾驶感知本领。然而，时间同步的不确定性和通信限定导致了融合无法对齐的题目，这限定了路侧数据的使用。为了办理上述题目，作者提出了一个新的协同检测框架——特性流网络（FFNet）特性流网络是一个基于流的特性融合网络，可以用特性猜测模块来猜测未来时间的特性并帮助更好地同步车辆和路侧传感器特性。相比从静态图像传输提取特性，FFNet传输了时间同等的一连路侧图像特性流。此外，作者引入了一种自注意力训练方法，可以使FFNet根据底子办法传感器图像的序列，天生带有未来时间猜测本领的特性流。在DAIR-V2X数据集上的实行效果表明，FFNet比现有的协同检测方法好，且与原始数据相比仅仅必要1/100的传输资源。
|
文章整体框架：
二、配景先容
3D目的检测是自动驾驶中的重要任务，其提供了四周停滞物的位置和种别等重要信息。传统3D目的检测方法依靠于自车传感器数据，这限定了感知范围，而且在长隔断检测和盲点检测中表现欠好，带来了很多安全隐患。为了办理这些挑衅，车路协同自动驾驶范式得到了更多关注，尤其是基于相机和激光雷达的路侧传感器，这些传感器比自车安装的位置更高，提供了更广泛的感知视野。通过补充额外的路侧传感器数据，可能会得到更故意义的信息，并进步自动驾驶感知本领。在这篇文章中，作者聚焦于办理车路协同3D目的检测任务（vehicle-infrastructure cooperative 3D, VIC3d），来增强面对挑衅性交通场景时，自动驾驶系统的安全性和性能。
车路协同目的检测题目可以界说为通信带脱期定下的多传感器感知题目，现在有两个重要的挑衅：
- 底子办法数据可能被差别的车辆吸取，自车吸取的数据和路侧传感器的数据存在同步时间的不确定性（时延不是固定的）
- 车端和路侧装备的通信带宽是有限的
为了办理上述的两个挑衅，现有的重要融合框架包括三个：
融合范例分析前融合（early fusion）传输原始数据举行融合后融合（late fusion）传输检测效果举行融合中间融合（middle fusion）传输提取特性举行融合由于中间融合的方法相较于前融合低落了通信带宽的限定，相较于后融合有用提升了融合的精度，以是大部分学者接纳的是中间融合的方案。然而，现有的中间融合方案忽视了时间同步的挑衅，导致了时间融合的不对齐。因此，作者提出了FFNet来办理该题目，本文的贡献如下：
- 本文提出了一个基于流的特性融合框架来办理车路协同目的检测任务。FFNet传输特性流来为特性融合天生对齐特性，提供了一个简朴且同一的操纵来融合有价值的信息
- 文本引入了自监督训练方法来训练特性流天生器，使得具有特性猜测本领的FFNet可以镌汰差别耽误的带来的融合错误。
- 本文在DAIR-V2X数据集上对FFNet举行了验证，证明白其高的检测精度和较低的传输资源。
三、干系研究
1. 以自车为中心的3D目的检测
3D目的检测是以自车为中心的自动驾驶的根本任务。自车为中心的3D目的检测基于传感器的种别可以分为3类：基于相机的方法，基于激光雷达的方法和基于多传感器融合的方法。
- 基于相机的方法：比方FCOS3D直接从一张图像来检测3D边界框；或BEVFormer和 M 2 B E V M^2BEV M2BEV将3D图像投影到BEV视图，来实现多相机团结的3D目的检测。
- 基于激光雷达的方法：比方VoxelNet, SECOND, 和PointPillars将激光雷达点云分成体素（voxels）或圆柱（pillars），并从中提取特性
- 基于多传感器融合的方法：同时使用相机和点云数据，接纳基于点云的融合、基于相机的融合或基于公共空间的融合三类，来举行多传感器融合
与上述的方法差别，本文提出的方法以点云作为输入，使用路侧和车辆传感器的数据来降服单车视角的目的检测。
2. 车路协同3D目的检测
使用道路底子办法的信息举行目的检测，得到了工业界和学术界的广泛关注。作者总结了一些差别视角的方法：
- 车车视角：关注于车车协同的的算法用V2VNet，DiscoNet，StarNet和SyncNet，常用的数据集包括V2X-Sim、OPV2V、V2V4Real
- 路侧视角：Rope3D和BEVHeight、A9=Dataset
- 车路协同：V2X-Seq
现在的方法通过传输特性图或查询（queries）来实现协同检测，没有思量时间同步的影响。在本文中，作者提出的基于流的融合框架来办理时间同步的题目，而且用简朴同一的方法来低落传输丧失。本研究和SyncNet有本质的区别（SyncNet通过传输共同特性并融合每一帧特性来消除时延）
3. 特性流
流是一个泉源于数学的概念，表现着点随时间厘革的活动。这已经被成功地运用到很多盘算机视觉任务中，比方：光流、场景流和视频辨认。作为一个从光流中拓展的概念，特性流形貌了特性图随时间的厘革，被广泛用于差别的视频明白任务。朱等人1提出了一种以流为引导的特性融合来提升视频检测正确率。本文中，作者引入特性流来举行特性猜测，从而降服车路协同目的检测的时间同步题目。
四、FFNet网络架构
1. 车路协同3D目的检测任务界说
题目界说： 车路协同目的检测是通过使用路侧和车辆传感器数据在有限定的无线通信情况下定位和辨认四周目的。本文以点云输入作为目的，车路协同的输入包括以下两个部分：
- 通过自车传感器在时间 t v t_{v} tv时捕获到的点云 P v ( t v ) P_{v}(t_{v}) Pv(tv)，相对位姿为 M v ( t v ) M_{v}(t_{v}) Mv(tv)， P v ( ⋅ ) P_{v}\left( \cdot \right) Pv(⋅)表现自车激光雷达的捕获函数。
- 通过路侧底子办法传感器在时间 t i t_{i} ti时间捕获的点云 P i ( t i ) P_{i}(t_{i}) Pi(ti)，相对位姿为 M i ( t i ) M_{i}(t_{i}) Mi(ti)， P i ( ⋅ ) P_{i}\left( \cdot \right) Pi(⋅)表现路侧激光雷达的捕获函数。路侧传感器捕获到的汗青帧也可以用来做协同检测。
⭐由于从路侧到车端的长隔断传输必要大量的传输时间，因此时间 t i t_{i} ti是要早于时间 t v t_{v} tv的。
⭐此外，由于路侧装备的传输数据可以被差别的自动驾驶车路吸取，以是延误 ( t v − t i ) (t_{v}-t_{i}) (tv−ti)是不确定的。
Challenges： 相较于单车自动驾驶，车路协同最大的挑衅便是时间同步和传输资源。
Evaluation Metrics：
⚡均匀精度的均值（mean Average Precision, mAP）: 通过盘算每个种别的均匀精度（AP），然后对全部种别的AP取均匀值
⚡均匀比特（Average Byte, AB）: 这个概念是作者自己在他的另一篇论文中界说的（DAIR-V2X），表现每次传输的数据量巨细。
2. 特性流网络
特性流网络重要包括三个模块：
1️⃣特性流天生（路侧传感器）；
2️⃣特性流的压缩、传输息争压（路侧）；
3️⃣将特性流与车辆特性融合，得到检测效果；
2.1 特性流天生
⭐ 作者将特性流作为一个猜测函数，来形貌路侧传感器得到的特性随时间的改变。具体来说，作者接纳了当前的点云帧 P i ( t i ) Pi(t_{i}) Pi(ti)和路侧特性提取器 F i ( ⋅ ) F_{i}(\cdot) Fi(⋅)，来表征未来时间t的特性流：
F i ( t ) = F i ( P i ( t i ) ) , t ≥ t i F_{i}(t)=F_{i}(P_{i}(t_{i})),\ \ \ \ \ \ \ \ t\ge t_{i} Fi(t)=Fi(Pi(ti)), t≥ti
与之前传输前一帧特性 F i ( P i ( t i ) ) F_{i}(P_{i}(t_{i})) Fi(Pi(ti))的方法相比，特性流可以直接猜测车辆传感器数据在 t v t_{v} tv时间的对齐特性。（⚡以是接纳 F i ( t ) F_{i}(t) Fi(t)，这里的 t t t可以是车辆数据的时间 t v t_{v} tv）
❓ 公式中那边到底是 t i t_{i} ti还是 t t t啊？
为了将特性流应用到传输和协同检测中，两个题目必要被办理：
1️⃣ 表达和传输随时间厘革的一连特性流；
2️⃣ 使特性流具有猜测本领；
思量到 t v → t i t_{v}\to t_{i} tv→ti的时间隔断特别短，以是作者接纳最简朴的一阶导数来表征一连特性流随时间的厘革，如下式：
F i ~ ( t i + Δ t ) ≈ F i ( P i ( t i ) ) + Δ t ∗ F i ′ ~ ( t i ) \tilde{F_{i}}(t_i+\Delta t) \approx F_{i}(P_{i}(t_{i})) + \Delta t * \tilde{F'_{i}}(t_{i}) Fi~(ti+Δt)≈Fi(Pi(ti))+Δt∗Fi′~(ti)
此中， F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)表现特性流的一阶导数， Δ t \Delta t Δt表现未来的短时间。因此，我们仅必要得到特性 F i ( P i ( t i ) ) F_{i}(P_{i}(t_{i})) Fi(Pi(ti))和特性流的一阶导数 F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)就可以估计特性流 F i ( t ) F_{i}(t) Fi(t)。当一个自动驾驶汽车吸取到了 F i ( P i ( t i ) ) F_{i}(P_{i}(t_{i})) Fi(Pi(ti))和 F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)在不确定的延误之后，本文能用最小的盘算量来天生对齐车辆传感器数据的底子办法特性（由于它仅必要线性盘算）。为了能使特性流具备猜测本领，本文从底子办法汗青帧 I i ( t i − N + 1 ) , … , I i ( t i − 1 ) , I i ( t i ) I_{i}(t_{i}-N+1), \dots,I_{i}(t_{i}-1),I_{i}(t_{i}) Ii(ti−N+1),…,Ii(ti−1),Ii(ti)，用网络提取特性流 F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)的一阶导数。在本篇文章中， N N N为2，即表现两个一连的底子办法帧 P i ( t i − 1 ) P_{i}(t_{i}-1) Pi(ti−1)和 P i ( t i ) P_{i}(t_{i}) Pi(ti)
❓ 这么设置下来，与BEVFormer中的有何区别？
特别地，我们起首用Pillar Feature Net将两个一连的点云转换为BEV视图的两个伪图像（pseudo-images），每一帧的尺寸为[384, 288, 288] 。然后，我们拼接两个BEV伪图像为尺寸[768, 288, 288]，将拼接后的伪图像输入到一个13层的主干网络和一个3层特性金字塔网络（FPN）中，像SECOND一样，天生估计的一阶导数 F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)，其尺寸为[364, 288, 288]。（作者在附录中写了每一个网络的具体尺寸）
2.2 压缩、传输与解压缩
压缩：为了镌汰冗余信息，镌汰传输资源，作者接纳了两个压缩器（compressors）来压缩特性 F i ( P i ( t i ) ) F_{i}(P_{i}(t_{i})) Fi(Pi(ti))和导数 F i ′ ~ ( t i ) \tilde{F'_{i}}(t_{i}) Fi′~(ti)，在每个压缩器中使用三个Conv-Bn-ReLu块将特性尺寸从[384, 288, 288]压缩到[12, 36, 36]。本文在广播（broadcast）压缩特性流来使其与路侧的时间戳和标定文件干系联。同时，作者还接纳注意力蒙版（attention mask）和量化技能（quantization techniques）举行进一步压缩，使特性关注感爱好的地区。
解压缩：在吸取到车辆发送的特性流后，车辆端接纳两个解压器，每个解压器接纳三个Deconv-Bn-ReLU块构成，将压缩的特性和一阶导变为原始尺寸[384, 288, 288]
2.3 车辆传感器数据与底子办法特性流融合
作者用特性流来猜测底子办法在特性 t v t_{v} tv的特性，以对齐车辆的特性，如下：
F ~ i ( t v ) ≈ F i ( P i ( t i ) ) + ( t v − t i ) ∗ F i ′ ~ ( t i ) \tilde{F}_{i}(t_{v}) \approx F_{i}(P_{i}(t_{i}))+(t_{v}-t_{i})*\tilde{F'_{i}}(t_{i}) F~i(tv)≈Fi(Pi(ti))+(tv−ti)∗Fi′~(ti)
F i ~ ( t v ) \tilde{F_{i}}(t_{v}) Fi~(tv)表现特性流猜测的路侧传感器在 t v t_{v} tv时间的特性，这种线性的方法有用地赔偿了不确定耽误，且仅必要很小的盘算。随后，猜测的路侧传感器在 t v t_{v} tv时间的特性使用对应的标定文件，转换到车辆坐标系。既然得到了路侧传感器和车载传感器在 t v t_{v} tv时间的BEV特性图，且他们都在车辆坐标系下，那么就可以将他们的特性举行融合。（如下图所示）在车辆爱好地区外的特性都从车辆底子办法特性中删除，空的位置用0来添补。将车辆和路侧的办法举行拼接，并用Conv-Bn-Relu块来融合拼接后的特性。
末了，将融合特性输入到3D检测头中，天生更加正确的位置和辨认效果。
3. 特性流网络训练流程
FFNet的训练流程包括两个阶段：
1️⃣ 用端到端的方式训练底子的融合框架（不思量耽误）：这一阶段的目的是使FFNet融合底子办法特性和车辆特性来增强检测性能。具体来说，作者使用从车端和路侧得到的协同数据和标注数据来训练FFNet。
2️⃣ 用自监督训练来训练特性流天生器：通过底子办法序列帧的时间关联，来使用自监督学习来训练特性天生器。这个想法是通过相近的底子办法帧来构造真值，且不必要额外的手动标注。具体而言，作者天生了训练特性对 D = { d t i , k = ( P i ( t i − 1 ) , P i ( i ) , P i ( t i + k ) ) } D=\{d_{t_{i},k}=(P_{i}(t_{i}-1),P_{i}(i),P_{i}(t_{i}+k))\} D={dti,k=(Pi(ti−1),Pi(i),Pi(ti+k))}，此中， P i ( t i − 1 ) P_{i}(t_{i}-1) Pi(ti−1) 和 P i ( i ) P_{i}(i) Pi(i)是两个一连的底子办法点云帧， P i ( t i + k ) ) P_{i}(t_{i}+k)) Pi(ti+k))是 P i ( t i ) P_{i}(t_{i}) Pi(ti)的第 ( k + 1 ) (k+1) (k+1)帧
而且，作者构建了一个丧失函数来优化特性天生器，该丧失函数的目的是 t i + k t_{i}+k ti+k时间猜测的特性流尽可能地靠近 t i + k t_i+k ti+k时间的特性（作者是通过余弦相似性实现的）。
五、实行部分
1. 实行设置
数据集：作者使用了公开的真实天下DAIR-V2X数据集，该数据集包含100多个场景，以及在28个具有挑衅性的交通路口从底子办法和车辆传感器（摄像头和激光雷达）收罗的18000个数据对。该数据集包含9311对具有车路协同视角的协同3D标注数据，此中每个物体都被标注了相应的种别（轿车、公交车、卡车或厢式货车）。数据集按5 : 2 : 3的比例划分为训练集、验证集和测试集，全部模子均在验证集上举行评估。此外，原始传感器数据仅对测试集开放。
实行细节：作者使用MMDetection3D作为代码库，在DAIR-V2X训练集上对特性融合底子模子举行了40个epoch的训练，学习率为0.001，权重衰减为0.01。为了构建用于训练特性流天生器的D，我们从训练部分中选取每一对数据，并在范围内随机设置k值。关于k和D的更多信息可在3.3节中找到。FFNet的预训练使用已训练好的特性融合底子模子。我们在 D u D_{u} Du上对特性流天生器举行了10个epoch的训练，学习率为0.001，权重衰减为0.01。全部训练和评估均在NVIDIA GeForce RTX 3090 GPU上举行。检测性能使用KITTI评估检测指标举行衡量，分别包括鸟瞰图（BEV）均匀精度均值（mAP）以及交并比（IoU）为0.5和0.7时的3D mAP。对于位于矩形地区[0, -39.12, 100, 39.12]内的物体，仅思量汽车种别。附录中提供了关于FFNet和融合方法的更多实现细节。
2. 实行比力
作者将FFNet与四类融合方法举行了比力：非融合方法（比方，PointPillars[17]和AutoAlignV2[4]）、早期融合、晚期融合、中期融合（比方，DiscoNet[20]）以及V2VNet[19]。
3. 溶解实行
对比了有无特性流的特性猜测的效果，发现在有耽误的情况下，特性流模块的猜测效果较为显着。
六、总结
总结: 本文先容了FFNet，这是一种创新的用于车路协同3D（VIC3D）目的检测的中级协同框架。FFNet通过使用压缩的特性流举行协同检测，有用地办理了与时间异步和传输资源干系的挑衅。通过在DAIR-V2X数据集上举行的大量实行，FFNet显现出相较于现有开始辈方法更优越的性能。此外，FFNet可以扩展到各种模态，包括图像和多模态数据，使其成为一种通用的办理方案。而且，FFNet在多车协同感知范畴具有很大的潜力，并通过使用额外的帧来增强特性猜测本领。所提出的FFNet框架结合了特性猜测和自监督学习，为VIC3D目的检测提供了一条很有远景的途径，而且在未来办理各种协同感知任务方面具有潜力。
|
本日给各人带来的分享就到这里，接待各人交换讨论！补充一点：该文中的FFNet，在作者2025年发表在AAAI的另一篇文章（见该博客）中，也是用了该头脑来举行时序融合。
- Xizhou Zhu, Yujie Wang, Jifeng Dai, Lu Yuan, and Yichen Wei. Flow-guided feature aggregation for video
object detection ↩︎
|
发表于 2025-9-23 01:34:40