触摸已被证明是对重要的灵巧操控的 机器人。最近，由于其低成本和丰富的信号，GelSight传感器引起了基于学习的机器人的极大兴趣。

基于学习的方法在GelSight传感器上能很好地工作的原因是，它们可以输出高分辨率的触觉图像，从中可以估算出通常对机器人控制至关重要的各种特征，例如物体的几何形状，表面纹理，法向力和剪切力 。触觉图像可以输入到基于CNN的标准计算机视觉管道中，从而可以使用多种不同的基于学习的技术：在Calandra等人中。2017年，在Tian等人的文章中，对以自我监督方式收集的GelSight数据进行了训练成功分类器的培训。2019 Visual Foresight，一种基于视频预测的控制算法用于使机器人完全基于触觉图像来滚动模具，并且 Lambeta等。2020年，将基于模型的RL算法应用于使用GelSight图像进行的手动操作。

不幸的是，由于它的大尺寸以及仅在一侧敏感，因此在实际的实际情况下应用GelSight传感器仍然具有挑战性。在这里，我们介绍了一种基于GelSight的新型，更紧凑的触觉传感器设计，该设计可实现全向感测，即使传感器 像人的手指一样在各个侧面都灵敏，并说明这如何为感觉运动学习开辟新的可能性。我们通过教一个机器人拾取电插头并纯粹根据触觉反馈将其插入来证明这一点。

GelSight传感器

标准的GelSight传感器（如左下图所示）使用现成的网络摄像头来捕获硅胶凝胶皮肤变形的高分辨率图像。凝胶皮肤的内表面用彩色LED照明，为触觉图像提供足够的照明。

GelSight样式传感器（左侧）与OmniTact传感器（右侧）的比较

现有的GelSight设计是平坦的，敏感区域较小或仅提供低分辨率信号。例如，先前版本的GelSight传感器可提供高分辨率（400x400像素）图像，但又大又平坦，仅在一侧提供灵敏度，而商用OptoForce 传感器（最近被OnRobot停产）是弯曲的，但仅提供力读数作为单个3维力矢量。

OmniTact传感器

我们的OmniTact传感器设计旨在解决这些限制。它以紧凑的外形在其曲面上提供了多方向和高分辨率感测。与GelSight相似，OmniTact使用嵌入到硅胶凝胶中的摄像头来捕获皮肤的变形，从而提供丰富的信号，从而可以推断出诸如剪切力和法向力，物体姿态，几何形状和材料特性等多种特征。

OmniTact使用多个摄像头，使其具有高分辨率和多方向功能。传感器本身可以用作“手指”，并且可以集成到抓手或机械手中。它比以前的GelSight传感器更紧凑，这可以通过利用内窥镜中通常使用的微型相机并将硅凝胶直接浇铸到相机上来实现。