研究人员已经证明,贴在路边的停止标志或限速标志上的多彩贴纸可以“混淆”自动驾驶车辆,导致不可预测且可能危险的操作。
加利福尼亚大学尔湾分校的研究人员首次证明,贴在路边的停止标志或限速标志上的多彩贴纸可以混淆自动驾驶车辆,导致不可预测和可能危险的操作。
在最近在圣地亚哥举行的网络和分布式系统安全研讨会上,加州大学尔湾分校唐纳德·布伦信息与计算机科学学院的研究人员描述了以前只被理论化的现实世界影响:低成本且易于部署的恶意攻击可以使某些自动驾驶汽车的交通标志对人工智能算法不可检测,同时使不存在的标志凭空出现。这两种攻击都可能导致汽车忽视道路命令,触发意外的紧急刹车、超速和其他违规行为。
科学家表示,他们的研究涉及三种最具代表性的人工智能攻击设计,是对畅销消费车型中的交通标志识别系统进行的首次大规模评估。
“Waymo每周提供超过150,000次自动驾驶服务,街上有数百万辆装配有自动驾驶功能的特斯拉汽车,这表明自动驾驶技术正在成为美国及全球日常生活的重要组成部分,”共同作者、加州大学尔湾分校计算机科学助理教授阿尔弗雷德·陈表示。“这一事实突显出安全的重要性,因为这些系统中的漏洞一旦被利用,可能导致安全隐患,成为生死攸关的问题。”
研究的首席作者宁飞王,是Meta的研究科学家,他在加州大学尔湾分校攻读计算机科学博士学位期间进行这项工作,他表示,团队选择的攻击载体是具有旋转多彩设计的贴纸,这些贴纸可以混淆用于无人驾驶汽车交通标志识别的人工智能算法。
“这些贴纸可以由任何拥有开放源代码编程语言(如Python)和图像处理库的人以低廉和简单的方式制作,”王说。“这些工具结合一台配有显卡的计算机和一台彩色打印机,就是阻碍自动驾驶汽车 TSR 系统所需的一切。”
他补充说,在项目中发现的一个有趣的发现与许多现代商业 TSR 系统中常见的空间记忆设计相关。虽然该特性使得消失攻击(似乎从车辆视野中移除标志)变得更困难,王表示,它使得伪造一个虚假的停止标志“比我们预期的要简单得多”。
陈指出,这项研究是首次在具有可商用车辆的真实场景中对此安全威胁进行的研究。
“学术界已经研究了多年的无人驾驶车辆安全,并发现了最新自动驾驶技术中的各种实际安全漏洞,”他说。“但这些研究主要限于学术环境,使我们对商业自动驾驶车辆系统中的此类漏洞的理解受到极大限制。我们的研究填补了这一关键空白。”
陈表示,通过关注该领域现有研究的小子集,他的团队能够揭示各种破损假设、不准确性和虚假声明。例如,之前没有学术研究认识到商业 TSR 系统中空间记忆设计的常见存在。当陈的团队成员在之前设计的学术研究设置中建模这样的设计时,他们揭示的结果直接挑战了早期观察和声称的结论。
“我们相信这项工作应该只是一个开始,我们希望能够激励更多学术界和产业界的研究人员系统地重新审视这些安全威胁对真实世界无人驾驶车辆的实际影响及其重要性,”陈说。“这将是我们在社会层面上真正知道是否需要采取行动以确保街道和高速公路安全的必要第一步。”
陈和王在这个项目中还与前加州大学尔湾分校的研究生佐藤高美和罗云鹏;现有的加州大学尔湾分校研究生谢少元;以及德雷克塞尔大学计算机科学助理教授徐凯迪合作。这项工作得到了国家科学基金会和美国运输部CARMEN+大学交通中心的支持,加州大学尔湾分校是其成员之一。