研究人员推出了PanoRadar，这是一种创新工具，旨在增强机器人的视觉能力，使其能够利用基本的无线电波创建其周围环境的详细3D表示。
随着机器人可靠感知系统的发展，主要的障碍之一是在恶劣天气条件下的功能。传统的视觉传感器，如相机和LiDAR（光检测和测距），在浓厚的烟雾和雾霭环境中表现不佳。
自然界已经证明，视觉不仅仅依赖于光。各种生物已适应在没有可见光的情况下感知其环境；例如，蝙蝠使用声音回声进行导航，而鲨鱼可以检测由其猎物产生的电场。
无线电波的波长比光长得多，能够更有效地穿透烟雾和雾霭，甚至能够穿透某些材料——这些能力超出人类视觉。然而，机器人通常依赖于有限范围的传感器：它们可能使用相机和LiDAR，这可以提供清晰的图像，但在困难条件下不够强大，或者使用传统的雷达，它能够穿透障碍物，但只能生成低分辨率的图像。
对此局限性，一组来自宾夕法尼亚大学工程与应用科学学院（Penn Engineering）的研究人员创造了PanoRadar，这是一种专门工具，利用简单的无线电波将机器人的视觉能力提升到新的高度，能够转换为其周围环境的复杂3D图像。
“我们开始探讨是否可以融合这两种传感器的优势，”计算机与信息科学助理教授Mingmin Zhao解释道。“我们的目标是结合在雾霾和挑战性条件下表现良好的无线电信号的可靠性，以及视觉传感器提供的高分辨率。”
在即将于2024年国际移动计算与网络会议（MobiCom）上发布的论文中，赵和他的团队，包括无线音频视觉与电子感知实验室（WAVES Lab）以及嵌入式计算与集成系统工程研究中心（PRECISE Center）的博士生Haowen Lai，最近的硕士毕业生Gaoxiang Luo以及本科助理Yifei（Freddy）Liu，揭示了PanoRadar如何利用无线电波和人工智能（AI）使机器人能够在最艰难的环境中导航，例如充满浓烟的建筑或雾霭弥漫的道路。
PanoRadar的工作原理类似于一座灯塔，环绕扫射其光束以扫描整个区域。该系统由一组旋转的垂直天线阵列组成，用于检查其周围环境。随着天线旋转，发送无线电波并监听来自环境的反射，类似于灯塔的光束如何识别船只和海岸结构。
得益于先进的AI技术，PanoRadar超越了基本的扫描方法。与灯塔仅是在移动时点亮区域不同，PanoRadar智能地整合各个方向的旋转数据，以增强成像质量。尽管传感器本身的成本仅为典型LiDAR系统的一小部分，但这种旋转技术生成了一密集的虚拟测量点阵列，实现了类似于LiDAR的成像质量。“关键的进步在于我们如何处理无线电波数据，”赵补充道。“我们的信号处理和机器学习方法能够提取来自环境的详细3D信息。”
对赵的团队来说，一个主要障碍是设计在机器人运动时保持高分辨率成像的算法。“为了实现与LiDAR相媲美的分辨率，我们需要高度精确地结合来自各个位置的数据，”首席作者Lai表示。“当机器人移动时，这尤其具有挑战性，因为即使是轻微的运动不准确性也会显著影响图像质量。”
另一个挑战是编程系统以理解其感知到的内容。“室内环境展示了规律的模式和形状，”Luo说。“我们利用这些模式来训练我们的AI解释雷达输入，类似于人类如何学习理解视觉环境。”在训练阶段，机器学习模型利用LiDAR数据来验证其解释，从而实现持续的自我改进。
“我们在不同建筑中的实地测试表明，无线电感知在传统传感器失效的地方表现优越，”Liu评论道。“该系统能够在烟雾中保持准确追踪，甚至能够绘制包含玻璃墙区域的地图。”这是因为无线电波可以穿透空气中的颗粒，使系统能够检测到LiDAR无法捕捉的特征，比如玻璃表面。PanoRadar令人印象深刻的分辨率也实现了对人的精确识别——这一能力在自动驾驶和危险场景的救援操作等应用中至关重要。
未来，团队计划研究PanoRadar如何与其他传感技术（包括相机和LiDAR）结合，以构建更强大的多模态感知系统。他们还扩展了测试范围至各种机器人平台和自动驾驶车辆。“对于关键任务而言，拥有多种传感方法至关重要，”赵强调。“每种传感器都有其优缺点，通过明智地结合它们，我们可以开发出更好地准备应对现实世界挑战的机器人。”
这项研究是在宾夕法尼亚大学工程与应用科学学院进行的，并得到了教师创业基金的支持。
