CoRL 2024 麻省理工学院提出T3触觉Transformer，突破触觉感知的壁垒，重塑将来呆板人

在智能呆板人范畴，触觉感知的研究正渐渐成为关注的焦点。然而，怎样让呆板人通过触觉更智能地感知和使用，依然是一个未办理的寻衅。基于相机的触觉感知是一种通过在软弹性体下嵌入相机来捕捉与环境的细粒度交互的感知方法，是最盛行的触觉感知方法之一，由于它更高分辨率和本钱更低。然而，基于相机的触觉传感器黑白常异构的，而且还没有一个被呆板人技能社区广泛接纳的融合传感器计划。那么，有没有一项技能可以或许实现跨多传感器和多任务的扩展呢？为相识决这个题目，我们本日的主角——Transferable Tactile Transformers (T3)——便应运而生，它可以或许超过差别的传感器和任务，实现触觉表征的迁移学习。
https://openreview.net/forum?id=KXsropnmNI
什么是T3？
T3是一个基于Transformer的框架，通过一个共享的主干网络结构，为差别的触觉传感器和任务提供机动、可迁移的办理方案。与传统触觉感知体系差别，T3通过预训练，可以或许快速顺应新的传感器和任务，无需从零开始训练。每个传感器和任务都有专属的编码器息争码器，但全部的知识共享同一个Transformer主干结构，从而提升服从和迁移本事。
T3的架构图如下所示：

T3架构由传感器特定的编码器、共享的Transformer主干和任务特定的解码器构成。编码器处置惩罚差别传感器的数据，主干负责提取共享的匿伏表现，而解码器根据任务范例举行特定的输出。这种计划允许T3在多种传感器和任务之间实现高效的知识迁移，大大提升了触觉感知的性能与顺应性。
FoTa：巨大的触觉数据库
为了支持T3的训练，我们研究团队创建了一个名为FoTa（Foundation Tactile）的数据集。FoTa搜集了高出3百万个来自13种差别的传感器和11种任务的数据。FoTa是迄今为止在触觉感知范畴规模最大、最多样的数据集，而且它拥有一种同一的格式。通过在FoTa数据集上举行预训练，T3具备了强盛的泛化本事，我们可以通过少量范畴的特定命据对其举行进一步的微调，而且其性能可随网络规模的增大而进步，云云便可以或许应对各种差别的感知需求。无论是过细的电子插入任务，照旧复杂的物体操控，T3都表现出色。
实际应用场景：触觉在呆板人中的突破
T3的应用不但范围于学术研究，它在多个实际使掷中表现良好。研究表明，T3可以资助呆板人在复杂的使用中取得显着进步，尤其是在精致的电子元件插入使掷中，相较于传统方法，T3大幅进步了任务乐成率。想象一下，将来的呆板人可以像人类一样，通过触摸辨认物体的微小差别，乃至在视觉受限的环境下也能完成高精度任务。
为什么T3云云特别？
T3接纳共享的Transformer主干结构，团结特定传感器的编码器和任务解码器，实现跨传感器、跨任务的触觉感知。这意味着，无论是面临差别范例的传感器，照旧差别的使用任务，T3都能轻松顺应。我们提出将可转移触觉变压器（T3）作为主干网络，从差别的触觉传感器中学习，并为差别的鄙俚任务产生输出。

• 多传感器兼容
  现有的触觉传感器因计划差别显着，无法跨装备迁移。而T3通过构建FoTa数据集，包罗了13种传感器和11项任务，高出300万条数据，为模子的学习提供了丰富的数据支持，而且可以兼容多种传感器。
  
• 任务泛化本事强
  T3在使掷中的表现良好，特别是在精密使用中，如电子元件插入任务，相较于传统方法提升了25%的乐成率。对于其他任务，T3通过少量微调数据，可以或许快速顺应新任务，显现出强盛的迁移学习本事。
  

为了测试预训练T3的性能，我们计划了一个具有举动克隆的呆板人准确插入任务。此任务的目标是将3个电子部件插入PCB上，每个部件都有相应的安装孔：一个3针拨动开关、一个12针双堆栈USB端口和一个17针VGA毗连器。由于PCB上的孔和零件上的引脚之间的间隙仅为0.4mm，以是这项任务必要很高的精度，实现这种精度必要积极探索触觉反馈。在实际天下的应用中，由于严肃的遮挡，仅依赖视觉每每是不敷的。
实行装备（左）以及相干零件（右）的表示图如下所示：

为了探究T3的优劣，我们训练和评估了3个战略：一个没有触觉输入的底子战略，一个由重新开始训练的神经网络编码的触觉输入战略，以及一个由T3编码的触觉输出战略。除了触觉输入，全部3个战略都可以访问由MLP编码的雷同呆板人状态模态和由预训练的ResNet18编码的外部视觉模态。这三种战略都将当前步调的观测值作为输入，并推测呆板人在下一个时间步调实行的3-DoF动作。在推理时，呆板人以约2Hz的速率实行推测的3-DoF动作，最多30步。如果呆板人在30个步调内乐成插入组件，则该变乱被视为乐成。
相干实行的乐成率（左）平静均步调数（右）如下图所示：

从结果中我们不丢脸出：触觉模式对于这项电子插入任务至关告急，此中仅视觉战略在插入两个更具寻衅性的部分的全部测试中都失败了；使用预训练的T3作为该战略的触觉编码器有助于进一步进步团体性能，此中全部三个部分的任务乐成率都更高；T3另有助于淘汰插入零件所需的触觉探索步调的数目。
T3的技能亮点

• 多任务顺应：T3的架构不但限于简朴的分类任务，还能处置惩罚如位姿回归、物体辨认等复杂任务。通过传感器特定的编码器与任务特定的解码器，T3在多任务环境下表现出极高的机动性和顺应性。无论是物体的分类照旧准确的位姿估计，T3都可以或许有用应对，充实发挥Transformer的结构上风，显现出其在差别场景中高效处置惩罚触觉感知数据的本事。
  
• 预训练模子的上风：T3在FoTa大规模数据集上举行了预训练，涵盖了来自13种传感器和11项任务的300万+数据点。这使得T3不但可以或许实现零样本迁移学习，还可以在面临全新的任务或传感器时快速上手，无需重新开始训练。预训练的T3在很多任务上显现了显着的性能提升，特别是在复杂的长时间打仗使用使掷中，比方多引脚电子元件的插入任务，T3相较于传统方法进步了25%的任务乐成率。这种高效的迁移本事使T3在实际应用中具有极大的上风。
  

应用远景
触觉感知是呆板人在复杂使用中不可或缺的关键本事，特别是在必要高精度和精致控制的范畴，如医疗手术、工业组装和手术呆板人等。T3的出现，为呆板人带来了更加机动和准确的触觉感知本事。通过T3，将来的呆板人将可以或许处置惩罚微小的物体，并完成精致的装配和使用，比方在局促空间内插入多引脚电子元件。这种触觉感知技能还可以用于手术呆板人，资助外科大夫完成更复杂、更准确的手术使用。
T3不但提升了呆板人的感知精度，还为其提供了应对多样化任务的本事，特别是那些必要在视觉受限或完全不可用的环境中举行使用的任务。无论是工业中的复杂机器装配，照旧医疗范畴中极眇小的手术，T3都可以或许通过更精致的触觉反馈，进步任务的完成服从与乐成率。
将来预测
T3展示了触觉感知范畴的将来趋势，为呆板人与人类的互动带来了全新的大概性。将来，呆板人将不再仅依赖视觉和声音，还将通过“触摸”完成更多复杂使用，比方从电子装备的精密装配到医疗中的微创手术。触觉技能的进步使呆板人能在更复杂的环境中自若使用，减小失败风险，并显着提升任务的乐成率。随着这一技能的发展，我们可以预见，呆板人将在生产、物流、医疗等范畴发挥更大作用，显着提升各行业的自动化程度。
别的，T3的通用性使其成为将来智能呆板人范畴中的关键技能支持。将来的呆板人不再范围于特定任务或传感器，而是可以应对更多样的任务和环境。通过这项技能，呆板人与人类之间的互动将更加天然、智能，乃至有大概实现基于触觉的情绪互换，进一步紧缩人机之间的差距。
总结
T3不但仅是触觉感知范畴的一次技能突破，更为将来呆板人怎样感知和使用天下提供了全新思绪。无论是在工业范畴中的高精度装配，照旧在医疗手术中的复杂使用，T3都显现出广泛的应用远景。通过这一技能，我们看到了触觉感知怎样为呆板人赋能，使其更加智能化。