西工大经典力作！AerialVLN：空中无人机视觉语言导航数据集

•         作者：Shubo Liu, Hongsheng Zhang, Yuankai Qi, Peng Wang, Yanning Zhang, Qi Wu
  
•         单位：西北工业大学，阿德莱德大学
  
•         原文链接：AerialVLN: Vision-and-Language Navigation for UAVs (https://openaccess.thecvf.com/content/ICCV2023/papers/Liu_AerialVLN_Vision-and-Language_Navigation_for_UAVs_ICCV_2023_paper.pdf)
  
•         代码链接：https://github.com/AirVLN/AirVLN
  

重要贡献

•         论文提出了AerialVLN任务，允许智能体在四自由度（前向、左转/右转、上升/降落、左移/右移）中移动，更靠近真实的无人机飞行举动。
  
•         开发了包罗25个都会级场景的模拟器，支持一连导航和环境扩展设置，可以大概模拟动态的户外环境，如风吹树叶、车辆运行、光照厘革等。
  
•         网络了8,446条飞行路径和相应的天然语言指令，数据集规模大且多样性强。匀称路径长度为661.8米，远长于地面VLN任务的路径长度。
  
•         提出了前瞻引导（Look-ahead Guidance，LAG）战略，通过天生“前瞻”路径来改进模子的性能。每个子路径与其子指令对齐，实现了细粒度的跨模态匹配学习。
  

研究配景

研究题目

论文重要办理的题目是如安在无人机（UAV）上举行视觉语言导航。现有的视觉语言导航（VLN）任务重要针对地面上的智能体，而忽略了无人机在空中导航的应用场景。
研究难点

该题目的研究难点包罗：

•         无人机导航须要思量飞行高度和更复杂的空间关系推理。
  
•         无人机导航的环境更大且更复杂，涵盖多种都会级场景。
  
•         无人机导航的路径比地面VLN更长，匀称路径长度为661.8米。
  
•         智能体须要学习在三维空间中躲避停滞物。
  

干系工作

该题目的研究干系工作有：

•         UAV导航：早期的UAV自主导航须要办理感知、映射、定位、决议、动作分解和控制等寻衅。
  
•         地面VLN任务：如R2R、RxR、REVERIE、TouchDown等，这些任务重要针对地面上的智能体，无法反映无人机在空中导航的寻衅。
  

研究方法

论文提出了AerialVLN任务，用于办理无人机在空中举行视觉语言导航的题目。
任务界说

AerialVLN任务要求智能体（多旋翼无人机）通过天然语言指令和其第一人称视角的视觉感知，从出发点飞到止境。
任务不提供预建的导航图，任何未被物体占据的点都是可导航的。
模拟器

利用Unreal Engine 4和Microsoft AirSim插件开发了一个3D模拟器，渲染了25个都会级场景的靠近真实图片。模拟器支持一连导航、环境扩展和设置。
模拟器输出前视图的RGB图像和深度图像，并支持动态环境（如风吹树叶、车辆行驶、差别光照和睦候模式）。
数据集网络

网络了25个差别都会级环境的数据，涵盖市中央、工厂、公园和乡村等多种场景，包罗凌驾870种差别的对象。
数据集由履历丰富的无人机飞行员天生飞行路径，终极包罗8446条飞行路径，每条路径配有3条天然语言指令。
并由AMT工人标注语言指令，共网络了25,338条指令，词汇总量为4,470个词，匀称每条指令包罗83个词。
实验操持

数据集分别

将数据集分别为训练集、验证集（可见和不可见）和测试集。训练集包罗16,380条指令，验证集包罗1,818条指令，测试集包罗4,830条指令。
基线模子

评估五种基线模子在AerialVLN任务上的性能，并利用前瞻引导战略改进最佳基线模子的性能。包罗：

•         随机模子：在每个位置随机选择动作，直到选择“克制”动作或到达最大步数。
  
•         动作采样模子：根据训练集的动态度分布采样动作。
  
•         LingUNet模子：将LingUNet模子顺应为步进范式。
  
•         Seq2Seq模子：利用循环战略的序列到序列模子。
  
•         CMA模子：基于双向LSTM的跨模态留意力模子。
  

提出了前瞻引导战略（Look-ahead Guidance，LAG），通过天生“前瞻”路径来改进模子性能。详细步调包罗：

•         找到返回真实路径的最短路径，
  
•         沿真实路径进步10步，天生前瞻路径，
  
•         根据前瞻路径确定下一步的真实动作。
  

结果与分析

基线模子性能

•         随机模子的乐成率为0%，动作采样模子的乐成率低于1%。
  
•         LingUNet模子在不可见环境下的乐成率略高于动作采样模子。
  
•         Seq2Seq和CMA模子在完备数据集的不可见分割上的乐成率分别为1.0%~1.6%和2.2%~3.9%。
  
•         数据集聚合技能（DA）进步了模子性能，但仍未到达人类表现。
  

前瞻引导战略结果

前瞻引导战略显着进步了模子在不可见分割上的乐成率和SDTW指标。
模态溶解研究

视觉和语言输入对任务至关告急，去除任一输入都会导致任务变得偶然义。RGB信息对终极乐成贡献更大。
总结

论文先容了一个新的任务AerialVLN和一个大规模数据集，用于探索空中的视觉语言导航。
结果表明，现有的基线模子在AerialVLN任务上表现不佳，远低于人类表现。前瞻引导战略显着进步了模子性能，但仍需进一步研究以应对这一具有寻衅性的任务。