最近的两项研究展示了利用视频或照片开发模拟以训练机器人执行现实世界任务的人工智能系统。这种方法有可能显著降低培训机器人在复杂环境中所需的成本。
参与创建大型人工智能模型（如ChatGPT）的研究人员使用广泛的互联网文本、照片和视频资源进行培训。然而，培训物理机器人面临独特的挑战：收集机器人数据的成本很高，而在现实世界中导航的机器人数量有限，这意味着缺乏在动态环境中有效表现所需的易获取数据，例如住宅。
为了解决这个问题，一些研究人员开始使用模拟进行机器人训练。然而，这种方法通常需要平面设计师或工程师的输入，这可能会既耗时又昂贵。
华盛顿大学的研究人员最近的研究展示了利用视频或照片生成模拟以培训机器人在现实环境中操作的人工智能系统。这一创新可能大大降低在复杂环境中操作机器人所需的培训费用。
在第一项研究中，用户使用智能手机扫描一个空间以捕捉其布局。该系统名为RialTo，随后构建该空间的“数字双胞胎”模拟，允许用户定义各种元素的功能（例如如何打开抽屉）。机器人可以在模拟中练习类似的动作，通过细微的变化来学习如何有效执行它们。第二项研究介绍了URDFormer，一个系统，它分析在线上找到的实际环境的图像，以快速生成机器人训练的逼真模拟环境。
这两项研究都在机器人科学与系统会议上展示，第一项研究于7月16日在荷兰代尔夫特展示，第二项研究于7月19日展示。
“我们的目标是促进可以从现实世界设置过渡到经济高效模拟的系统，”华盛顿大学保罗·G·阿伦计算机科学与工程学院的助理教授、两项研究的共同资深作者Abhishek Gupta解释道。“这些系统允许机器人在模拟环境中训练，提高它们在物理空间中的功能性。这对于安全至关重要；训练不良的机器人可能会造成损害或伤害。此外，如果机器人可以通过扫描智能手机来编程以在家中工作，那么这使得这一技术更易于获取。”
虽然许多机器人在结构化环境（如生产线）中表现出色，但教会它们与人接触并在较少控制的环境中导航则面临更大的挑战。
“在工厂中，任务高度重复，”URDFormer研究的主要作者、华盛顿大学阿伦学院的博士生Zoey Chen指出。“虽然这些任务可能具有挑战性，但一旦编程，机器人就可以不断执行。相对而言，家庭是独特的并且不断变化，具有各种各样的物体、任务、布局和人。这就是人工智能对机器人工程师非常有益的地方。”
这两个系统以不同的方法应对这些挑战。
RialTo是Gupta与麻省理工学院的一组团队开发的，要求一个人穿越环境，捕捉其几何形状和交互元素的视频。例如，在厨房场景中，他们会录制打开橱柜、使用烤面包机和访问冰箱等动作。该系统然后利用现有的人工智能模型，并通过图形界面稍微让用户输入以展示组件的运动，基于录像构建一个模拟厨房。随后，一个虚拟机器人通过试错在这个模拟空间中进行训练，进行操作烤面包机等任务——这种实践方法被称为强化学习。
通过这个模拟过程，机器人提炼其技能，适应环境中的变化和障碍，比如放在烤面包机旁边的杯子。这导致一个机器人可以将其学习转移到实际的厨房环境中，达到与在实际厨房中直接训练的机器人几乎一样的表现。
另一方面，URDFormer更注重快速和经济的模拟生成，而不是单一设置的精确度。它汇编在线找到的图像，并将其与对象运动的既定模型（例如厨房抽屉和橱柜通常如何操作）对齐。因此，它可以迅速生成多种通用的厨房模拟，使研究人员能够在广泛的场景中训练机器人。然而，权衡的是，这些模拟缺乏RialTo生成的模拟的精确度。
“这两种方法可以协同工作，”Gupta提到。“URDFormer在众多场景中提供宝贵的训练。相对而言，RialTo在将预训练机器人部署在家居环境时变得尤其有用，旨在取得约95%的成功率。”
展望未来，RialTo团队希望将其系统应用于真实的家庭环境（之前的测试主要在实验室进行），Gupta对将少量实际训练数据与这些系统结合以提高其效果表现出了兴趣。
“理想情况下，即使是少量的现实世界数据也可以解决问题，”Gupta表示。“然而，我们仍需确定如何将昂贵的现实世界数据与更经济但不完美的模拟数据最佳结合。”
URDFormer论文的其他共同作者包括华盛顿大学的学生Aaron Walsman、Marius Memmel、Alex Fang、Karthikeya Vemuri和Alan Wu，以及来自NVIDIA的研究科学家Kaichun Mo。阿伦学院的Dieter Fox教授也共同署名了URDFormer论文。URDFormer研究涉及麻省理工学院博士生Marcel Torne、Anthony Simeonov和Tao Chen的贡献，以及研究助理Zechu Li和本科生April Chan的贡献。麻省理工学院的助理教授Pulkit Agrawal是共同资深作者。URDFormer的研究得到了亚马逊科学中心的部分资助，而RialTo则得到了索尼研究奖、美国政府和现代汽车公司的部分资助。
