仅在视觉上(例如在屏幕上)或仅通过触摸它来感知对象，有时可以限制我们能够推断出它的内容。然而，人类具有整合视觉和触觉刺激的天生能力，利用可用的任何感官数据来完成他们的日常任务。
利物浦大学的研究人员最近提出了一个新的框架来生成跨模态的感官数据，这有助于在两者中的一个无法直接访问的情况下复制视觉和触觉信息。例如，他们的框架可以允许人们在视觉上和触觉上感知屏幕上的对象(例如，电子商务网站上的服装项目)。
“在我们的日常生活中，我们可以根据触觉反应或观察表面纹理的触觉反应来认知地创建物体的可视化，”进行该研究的研究人员之一单罗博士告诉TechXplore。“这种感知现象，称为联觉，其中一种感觉的刺激导致一种或多种其他感官的无意识反应，可用于弥补难以接近的感觉。例如，当一个人抓住一个物体时，我们的视力将会受到手的阻碍，但会产生触摸响应以“看到”相应的功能。“
罗博士描述的感知现象通常发生在感知源不可用时(例如，当触摸袋内的物体而不能看到它们时)。在这种情况下，人类可能“触摸看到”或“看到感觉”，根据使用其他感官收集的信息来解释与特定意义相关的特征。如果在机器中复制，这种视觉 - 触觉机制可能有几个有趣的应用，特别是在机器人和电子商务领域。
如果机器人能够整合视觉和触觉感知，他们可以根据他们正在使用的物体的视觉特征(例如形状，大小等)更有效地规划他们的抓握和操纵策略。换句话说，机器人会在抓住物体之前使用相机收集的视觉信息来感知物体的整体触觉特性。另一方面，在抓住相机视野外的物体时，他们会使用类似触觉的响应来弥补可用的视觉信息的缺乏。
如果与尚未开发的触觉设备配对，罗博士及其同事提出的框架也可以用于电子商务，例如，允许顾客在购买之前感受到衣服的结构。考虑到这一应用，研究人员使用条件生成对抗网络使用触觉数据生成伪视觉图像，反之亦然(即使用视觉数据生成触觉输出)。
“在网上市场，顾客通过观看衣服或其他物品的照片购物，”罗博士说。“然而，他们无法触摸这些物品来感受他们的材料。在购物时感觉物品非常重要，特别是在购买精致物品时，例如内衣。允许用户在家中感受物品，使用尚未使用的触觉设备开发完成后，我们提出的跨模式感官数据生成方案可以帮助电子商务客户做出更明智的选择。“
罗博士及其同事在VITac数据集上评估了他们的模型，该数据集包含100种不同类型织物的宏观图像和触觉读数(使用GelSight传感器捕获)。他们发现，它可以使用与另一个相关的数据有效地预测一种感觉(即视觉或触觉)的感觉输出。
“我们以纹理感知为例：布料纹理的视觉输入图像用于生成同一块布料的伪触觉读数;相反，布料的触觉读数用于预测同一布料的视觉图像， “罗博士解释道。“织物的纹理，即纱线分布模式，在视觉图像和压力分布(即触觉)读数中看起来相似。但是，这项工作也可以扩展到实现跨模态视觉 - 触觉数据生成的感知通过考虑两个域之间的差异来考虑其他对象属性。“
由罗博士及其同事进行的研究，在没有触觉或视觉信息的情况下，为不同的织物产生逼真的触觉和视觉模式取得了显着的成果。使用他们的框架，研究人员使用视觉数据成功“复制”了织物的触觉元素，反之亦然。
“据我们所知，这项工作是实现机器人跨模式视觉 - 触觉数据生成的第一次尝试，也可以扩展到其他模式的跨模态数据生成，”罗博士说。“我们研究的实际意义在于，我们可以利用其他感官来构成难以接近的感觉。”
将来，罗博士及其同事提出的框架可用于改进机器人的掌握和操纵策略，以及增强在线购物体验。他们的方法还可以用于扩展分类任务的数据集，方法是生成原本无法访问的传感数据。
“在未来的研究中，我们将尝试将我们的方法应用于许多不同的任务，例如在现实世界环境中的视觉和触觉分类，具有不同外观的物体(例如形状，颜色等)，”罗博士说过。此外，所提出的视觉 - 触觉数据生成方法将用于促进机器人任务，例如抓取和操纵。
概述最近在arXiv上发表的这项研究的论文将在2019年5月20日至24日在加拿大蒙特利尔举行的机器人与自动化国际会议(ICRA)上发表。在会议上，罗博士还将举办一个与他的研究主题相关的研讨会，名为“ViTac：整合视觉和触觉，用于多模态和跨模式感知”。
免责声明：本文由用户上传，如有侵权请联系删除！