康奈尔大学的研究人员创建了一种机器人喂食系统，该系统采用计算机视觉、机器学习和多模态传感技术，以安全地喂养由于严重移 动障碍而面临困难的人士，比如脊髓损伤、脑性瘫痪和多发性硬化症的患者。康奈尔安·S·鲍尔斯计算机与信息科学学院的计算机科学助理教授、该系统的首席开发者Tapomayukh “Tapo” Bhattacharjee解释说：“喂养残疾人士可能是一个挑战，因为许多人无法向前倾斜，需要将食物直接放入他们的嘴里。涉及到有其他复杂医学状况的个体时，这一挑战就变得更加困难。”
该研究论文的标题为《感受咬合：基于稳健口腔感知和物理互动意识控制的机器人辅助口内咬合转移》，在于2023年3月11日至14日于科罗拉多州博尔德举行的人机交互会议上发表。该研究获得了最佳论文荣誉提名，团队更广泛的机器人喂食系统的展示荣获最佳展示奖。
Bhattacharjee和他的EmPRISE实验室在助理机器人领域处于领先地位，多年来致力于教导机器如何喂养人类。教机器识别盘子上的食物、拾起食物并将其转移到护理接受者的嘴中是一项复杂的挑战。
“最后5厘米，从餐具到嘴内是极具挑战性的，”Bhattacharjee表示。
一些护理接受者可能难以自己喂食，这个机器人喂食系统旨在帮助他们。根据Bhattacharjee的说法，有些人的嘴非常小，宽度不到2厘米，而其他人可能会在嘴里持有餐具的情况下发生意外的肌肉痉挛。此外，有些人只能在嘴的特定区域咬食物，他们会用舌头推餐具来表明这些区域。他补充说：“当前的技术只考虑到一个人的面部，并假设他们会保持静止，这往往并非如此，可能对接受护理的人造成极大限制。”论文的首位作者、计算机科学博士生Rajat Kumar Jenamani表示，该机器人配备了两个重要功能，以应对这些挑战：实时口腔追踪和动态响应机制。实时口腔追踪可调整用户的运动，而动态响应机制使机器人能够感知物理交互的性质并相应地做出反应。这意味着该系统能区分突然的痉挛、故意的咬合以及用户尝试操控嘴中餐具的行为。该机器人在三个地点的用户研究中喂养了13名具有不同医疗状况的个体，包括EmPRISE实验室。研究人员在康奈尔伊萨卡校园、纽约市的一家医疗中心和康涅狄格州一位护理接受者的家中测试了机器人。研究人员报告称，机器人的用户发现其安全且舒适。“这是对任何自主机器人辅助喂食系统与终端用户进行的最全面的实际评估之一，”Bhattacharjee说。团队的机器人配备了一个多关节机械臂，尖端持有定制设计的餐具，能够感知施加的力量。口腔追踪方法基于数千张具有不同参与者头部姿势和面部表情的图像进行训练，结合了两个摄像头提供的数据。研究人员表示，通过将餐具放置在下面，可以准确地检测口腔并克服餐具本身造成的视觉障碍。Jenamani称，该响应机制能够感知物理交互，并使用视觉和力量感应来理解用户如何与机器人互动。
“我们让个体仅用舌头就能控制一台20磅重的机器人，”他解释道。
他指出用户研究是项目中最令人感到奖励的部分，强调机器人对护理接受者及其护理人员产生的重要情感影响。在一次会议中，患有裂脑症的女儿的父母参与其中。一名罕见的出生缺陷患者四肢瘫痪的女孩成功地使用该系统喂养自己。“这是一个真实情感的时刻；她的父亲举起帽子庆祝，而她的母亲差点流下泪水，”Jenamani说。研究人员表示，尽管需要进一步探索该系统的长期可用性，但其令人鼓舞的结果突显了改善护理接受者独立性和生活质量的潜力。Bhattacharjee表示：“这令人惊奇，且非常充实。”论文的共同作者还包括M.S. ’23的Daniel Stabile和神经科学博士生Ziang Liu。该研究由南卡罗来纳大学的计算机科学家Abrar Anwar和哥伦比亚大学的Katherine Dimitropoulou进行。该研究的主要资金来源于国家科学基金会。
