集成视触觉传感器的呆板人利用学习

强化学习是一种仿人学习的方法，其在不绝与环境交互试错的过程中举行学习，进步自身的认知。其具有如下的优点，起首是数据依靠性低，强化学习通过与环境的交互来学习，镌汰了对标志数据的依靠性，可以大量的镌汰资本。其次是探索性强，强化学习通过与环境的交互来举行学习，可以更好地探索新的战略。末了是可表明性好，强化学习方法所利用的代价函数、战略等都具有明白的表现情势，可以大概为动作决定过程提供肯定的表明本领。因此，强化学习（RL）是实行复杂任务的有用方法，智能体在与环境交互中利用观察值（Observation）来实行得当的动作以进步夸奖（Reward）值，从而完成任务。这种方法实用于复杂任务和未知环境。现在已经提出了多种强化学习战略，如SARSA、Q-learning、DQN、TD3、PPO和DPO。
固然基于强化学习的方法已经在呆板人利用范畴取得了不少结果，但仍然存在着不少的标题。由于呆板手缺少末了传感器，其所能获取的信息很少，乃至只作为一个末了实行器。这使得许多时间要去根据先验知识举行来利用基于模子的强化学习，这会大大低落练习出来的强化学习模子的鲁棒性和一样平常性。
如果可以大概在呆板手末了加装传感器来获取更加丰富信息，这些信息可以丰富强化学习的信息量，并作为观察值（Observation）来对齐假造和实际，完成强化学习的迁移，进步团体模子的鲁棒性和一样平常性。视触觉传感器作为一款一连型柔性传感器，与柔性利用有着天然的适配性。将视触觉传感器作为实行器的末了传感器，则可以在利用物体的同时，获取物体的信息。有研究利用天生对抗网络（GAN）基于真实触觉图形来天生伪触觉图像，并以此作为强化学习的观察值。终极利用Tactip完成了外貌跟踪利用任务假造到实际的迁移。但由于GAN网络所利用数据的埋头性，该方法并不具有鲁棒性。另有研究者筹划一种新的肌腱毗连多功能光学触觉传感器MechTac。该传感器可以用于视野中物体的感知（TacTip）和视觉盲区中触摸点位置简直定（TacSide）。该论文中所提到的二值化卷积层大大进步了图片的猜测服从。

图1 视触觉传感器作为末了实行器举行捋线利用
上述研究表明视触觉传感器可以很好地获取物体外貌信息，这有助于强化学习假造向实际迁移时信息对齐，但这也带来了不小的挑衅。上文先容了强化学习是一种仿人学习的方法，其通过与环境交互试错来不绝学习，但这就存在试错资本。如果在实际中直接举行强化学习练习，则会造成如数据收罗服从低、装备磨损和安全事故。因此，为了低落强化学习的练习资本，进步安全性和稳固性。强化学习通常在假造环境中举行数据的收罗和练习。如果想在呆板手上加入末了传感器，尤其是柔性传感器，并利用强化学习作为练习战略，则会遇到许多困难，比方在假造中怎样仿真柔性传感器的变形并获取正确的物体信息。这大大进步了仿真的难度，从而限定了其在强化学习的应用。
为了办理这些标题，人们开始关注到视触觉传感器的仿真方法，如有限元法（FEM）、关键点法和移动最小二乘物质点法（MLS-MPM）等。为了猜测视触觉传感器弹性体的变外形态，有研究者利用 MLS-MPM 作为变形猜测方法并开发了仿真环境，但它只思量了弹性的弹性变形，未思量被利用物体的弹塑性。因此，它仅实用于视触觉传感器与刚性物体之间的相互作用。尚有研究者利用有限元（FEM）的方法来对视触觉传感器举行了仿真，通过视触觉传感器的标志点来对齐假造和实际的信息，完成了插拔刚体，钥匙开锁等刚性利用。然而对于可变形物体而言，其拥有着更加复杂的变形特性，如弹性、塑性和弹塑性变形。这会继承加大仿真的难度，是一个巨大的挑衅。

图2 利用从假造到实际的强化学习练习战略举行呆板人抓取利用

图3 利用有限元法（FEM）对视触觉传感器举行仿真并终极迁移到实际
随着盘算机图形学技能的发展，越来越多基于物理的方法开始应用到仿真环境的筹划中。为了模拟弹塑性体，有研究利用粒子群来表现弹塑性体（即橡皮泥），通过粒子之间信息的交互来表征物体因相互作用而发生的变形，并终极形貌其变形特性。

图4 针对可变形物体的仿真效果
由于弹塑性体的复杂特性，大概发生弹性、塑性和弹塑性变形。因此视触觉传感器与弹塑性体之间的相互作用更为复杂，这就必要更为先辈的仿真方法及可靠的物理引擎。