研究人员正在开发一种方法，让机器人通过“倾听”震动来获得触觉，使它们能够识别材料、理解形状，并像人类用手那样识别物体。人类自然地使用来自物体的声波—例如摇动杯子以估计剩余汽水的多少，或敲击扶手检查是否为木质。这种直觉能力是科学家们即将赋予机器人的能力，增强它们日益扩展的感知能力。
想象一下，你正在一家黑暗的电影院里，想知道你巨型杯子里还剩多少汽水。你没有打开盖子，而是摇晃了杯子，倾听冰块的撞击声，帮助你判断是否需要加满。
将杯子放下后，你可能会思考扶手是否是真正的木头。几下敲击后发出空心的声音让你得出它是塑料的结论。
我们通过物体产生的声音直观解读环境的能力是我们自动进行的。研究人员现在即将将这一技能嵌入机器人，从而显著增强它们的感知能力。
在即将于2024年11月6日至9日在德国慕尼黑举行的机器人学习大会（CoRL 2024）上，杜克大学的新研究介绍了一种名为SonicSense的系统，使机器人能够以仅人类能够实现的方式与环境互动。
杜克大学机械工程和材料科学教授、博士生导师陈博远的首席作者刘家勋解释道：“目前，机器人主要依靠视觉来理解周围环境。我们旨在开发一种解决方案，可以处理日常物体的复杂性和多样性，赋予机器人更强的‘感受’和把握环境的能力。”
SonicSense由一个四指的机器人手组成，每个手指尖都配有一个接触麦克风。这些传感器能够捕捉到机器人在敲击、握持或摇动物体时产生的震动。由于麦克风接触物体，它们能够过滤掉背景噪音。
通过记录的交互和接收到的信号，SonicSense能够提取频率特征，并利用先前的知识和最新的人工智能进展，确定物体的材料及其三维形状。如果系统遇到不熟悉的物体，可能需要多达20次互动才能识别，但它可以在仅仅四次互动中成功识别熟悉的物体。
陈教授说：“SonicSense为机器人提供了一种类似于人类的体验声音和触觉的新方式，改变了当前机器人感知和与物体互动的方式。虽然视觉扮演着至关重要的角色，但声音可以揭示视觉可能忽视的额外信息。”
在他们的论文和演示中，陈和他的团队展示了SonicSense所实现的各种能力。例如，当摇动一个装有骰子的盒子时，该系统不仅能够计数盒子里的骰子，还可以识别出它们的形状。同样，它可以通过摇晃瓶子来确定瓶中液体的容量，通过敲击物体的外部，能够创建物体形状的三维地图，并识别其材料。
虽然SonicSense不是第一种此类系统，但它通过使用四个手指而非一个、采用能忽视环境声音的触摸感应麦克风，以及利用先进的人工智能方法，超越了早期的尝试。这种设计使其能够识别由多种材料制成的复杂形状的物体、反射表面以及视觉系统难以分析的材料。
刘家勋指出：“大多数数据集是在受控实验室或通过人类观察编制的，但我们需要让机器人在不可预测的实验室环境中独立与物体互动。复制这种复杂性在模拟中是具有挑战性的。解决受控环境与真实世界数据之间的差距至关重要，SonicSense通过让机器人直接与现实世界的多样和混乱方面互动，消除了这一差距。”
这些特性使SonicSense成为在动态、无结构环境中训练机器人感知物体的坚实基础。此外，该系统具有成本效益；通过使用在音乐录音、3D打印等广泛可用组件中的普通接触麦克风，建造成本保持在200美元以上。
展望未来，团队专注于提高系统同时管理多个物体的能力。通过引入物体跟踪算法，机器人将能够在动态和杂乱的环境中导航，更接近人类在现实任务中展现的适应能力。
另一个重要进展在于机器人手本身的设计。陈说：“这仅仅是个开始。在未来，我们预见SonicSense将集成到更复杂的机器人手中，具备增强的操作技能，使机器人能够执行需要精细触感的任务。我们渴望探索此技术的未来发展，加入其他感官模式，例如压力和温度，以便实现更复杂的互动。”
该项目获得了美国陆军研究实验室STRONG计划（W911NF2320182, W911NF2220113）和DARPA的FoundSci计划（HR00112490372）以及TIAMAT（HR00112490419）的支持。
引用：“SonicSense: 从手中的声学振动中感知物体，”刘家勋，陈博远。2024年机器人学习大会。 ArXiv版本可在：2406.17932v2和通用机器人实验室网站上获得。
