看不见的障碍物：首个针对自动驾驶多传感器融合感知的漏洞攻击

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序把安全装进口袋

漏洞

看不见的障碍物：首个针对自动驾驶多传感器融合感知的漏洞攻击

2021-06-15 11:04:50

本文的研究内容来自加州大学尔湾分校（UC Irvine）的一个专攻自动驾驶和智能交通的安全研究团队，该团队由Qi Alfred Chen教授指导。5月份，该团队在IEEE S&P 2021（计算机安全四大顶会之一）上发表了“工业级L4自动驾驶系统里的感知模块的安全”的研究结果，并且由陈老师的博士生Ningfei Wang进行汇报。FreeBuf特此报道。

Key Finding

通过实验，研究团队发现L4自动驾驶里用的最广泛的用来提高系统鲁棒性的多传感器融合感知(Multi-Sensor Fusion based Perception)技术存在一个安全漏洞，使得攻击者可以3D打印出一个恶意的3D障碍物，放在道路中间，从而让自动驾驶车辆的camera和LiDAR机器学习检测模型都识别不到，从而从根本上绕过多传感器融合感知模块让其识别不到这个障碍物并且撞上去，造成严重交通危害。所有相关材料都附在本文最后。

研究工作概览和亮点

现今L4自动驾驶系统正在被逐渐商业化。百度已经在北京、长沙和沧州开始大规模测试无人驾驶出租车，百度获得加州全无人驾驶测试许可，Waymo甚至已经开始在美国凤凰城测试不需要安全驾驶员的完全自动驾驶出租车。

在自动驾驶系统里，“感知”实时周围物体，是所有重要驾驶决策的最基本前提。

感知模块负责实时检测路上的障碍物，比如：周围车辆，行人，交通锥（雪糕筒）等等，从而避免发生一些交通事故。因为感知模块对无人车安全的重要性，商业高级别（L4）无人车系统普遍采用多传感融合的设计，即融合不同的感知源，比如激光雷达（LiDAR）和摄像头（camera），从而实现准确并且鲁棒的感知。

在这样的设计中，根据“并非所有感知源都同时被攻击（或可以被攻击）”这一假设，总是存在一种可能的多传感器融合算法，可以依靠未被攻击的源来检测或防止单感知源攻击。这个基本的安全设计假设在一般情况下是成立的，因此多传感器融合通常被认为是针对现有无人车感知攻击（单感知源攻击）的有效防御策略。

然而我们发现，在识别现实世界中，这种多传感器融合的障碍物感知存在漏洞。

通过这个漏洞，我们可以同时攻击不同的感知源，或者攻击单个感知源（只有LiDAR或者camera的检测），使得无人车无法成功检测前面的障碍物并直接撞上去。

在这项工作中，我们首次对当今无人车系统中基于多传感器融合的感知进行了安全分析。

我们直接挑战了上述基本的安全设计假设，证明了“同时攻击自动驾驶多传感器融合感知中所有感知源”的可能性。这使我们第一次具体了解到使用多传感器融合作为无人车感知的一般防御策略能提供多少安全保障。

攻击演示视频

具体来说，我们发现恶意3D障碍物可以被用作针对基于多传感器融合的无人车感知的攻击载体，同时具有有隐蔽和物理上可实现的特点。我们的关键发现是，3D障碍物的不同形状可以同时导致LiDAR点云中的点位置变化和camera图像中的像素值变化。因此，攻击者可以利用形状操作，同时向camera和LiDAR引入输入扰动。

这样的攻击载体还有另外两个优点：

(1) 它很容易在物理世界中实现和部署。例如，攻击者可以利用3D建模构建这类障碍物，并进行3D打印。目前市面上有很多在线3D打印服务，攻击者甚至不需要拥有3D打印设备。
(2) 它可以通过模仿能合法出现在道路上的正常交通障碍物，如交通锥或障碍物（如石头），并伪装为比较常见的磨损或破损的外观，实现高度隐蔽性（如图1）。

1623905089_60cad3415d262b9f392b3.png!small?1623905096418

图1：生活中路面可能出现的形状奇怪或破损的物体

为了使其既容易部署又能造成严重的碰撞，攻击者可以选择较小的障碍物，如岩石或交通锥，但用花岗岩甚至金属填充，使其更硬更重。

例如，一块0.5立方米的石头或一个1米高的交通锥，里面填充一些铝，很容易超过100公斤，如果汽车在高速行驶时撞到，有底盘损坏、撞碎挡风玻璃甚至失去控制的风险。

另外，攻击者还可以利用某些道路障碍物的功能（如交通锥作为标识的功能）。例如，攻击者可以设计一种仅针对无人车的攻击，将钉子或玻璃碎片放在生成的恶意交通锥障碍物后面，这样，人类驾驶员能够正常识别交通锥并绕行，而无人车则会忽视交通锥然后爆胎。

在这里，安全损害并不是需要由碰撞交通锥体本身造成的，因此在这种情况下，恶意的交通锥体可以像普通交通锥体一样小而轻，以使其更容易3D打印、携带和部署。

为了评估这一漏洞的严重性，我们设计了MSF-ADV攻击，它可以在给定的基于多传感器融合的无人车感知算法中自动生成上述的恶意的3D障碍，我们提出创新性的设计提升攻击的有效性、鲁棒性、隐蔽性和现实生活中的可实现性（如图2）。

我们选择了3种障碍物类型（交通锥、玩具车和长椅）进行测试，并在真实世界的驾驶数据上进行评估。我们的结果显示，在不同的障碍物类型和多传感器融合算法中，我们的攻击实现了>=91%的成功率。

我们还发现，我们的攻击是：

（1）基于用户研究，从驾驶者的角度看是隐蔽的；
（2）对不同的被攻击车的位置和角度具有鲁棒性，平均成功率>95%；
（3）制作出来的恶意的3D障碍物可以有效转移并用于攻击其他MSF算法，平均转移攻击成功率约75%。

1623726943_60c81b5f418c187312a7a.png!small?1623726943979

图2：基于优化的恶意的3D物体生成概述

为了了解攻击在物理世界中的可实现性和严重性，我们3D打印了生成的恶意障碍物（图3），并在使用了多传感器融合感知得真车上进行评估。

图4是我们使用的装配了LiDAR和 camera 的测试车辆。我们发现恶意的障碍物可以在总共108个传感器帧中的107帧中（99.1%）成功躲过多传感器融合的检测。在一个微缩模型的实验环境中（图5），我们发现我们的恶意的障碍物在不同的随机抽样位置有85-90%的成功率逃避多传感器融合感知的检测，而且这种有效性可以转移。

图3: 3D打印出来的恶意障碍物

图4: 安装LiDAR和camera的真车设置和检测结果

图5: 微缩模型的实验环境和检测结果

为了了解端到端的安全影响，我们使用产品级的无人车模拟器LGSVL进一步评估MSF-ADV（图6）。在100次运行中，我们的恶意的交通锥对Apollo的无人车造成100%的车辆碰撞率。相比之下，正常交通锥体的碰撞率为0%。

1623727142_60c81c2616576b8a7157b.png!small?1623727142844

图6: Apollo和LGSVL在端到端攻击评估的截图

多传感器融合不是自动驾驶安全的银弹

我们的文章一个比较大的贡献是让大家意识到多传感器融合感知同样存在安全问题。

很多前人工作事实上把多传感器融合当做对于单个传感器攻击的有效防御手段，但是之前却并没有文章去系统性的探究这一点。我们的工作填补了这一个关键的知识空白，证明其实并不完全是这么一回事。我们生成的3D恶意的障碍物可以让多传感器融合感知系统失效，从而导致无人车撞到这种物体上并造成交通事故。

我们认为比较切实可行的防御手段是去融合更多的感知源，比如说更多的不同位置的camera和LiDAR，或者考虑加入RADAR。但是这不能从根本上防御MSF-ADV，只能是说让MSF-ADV生成过程更加困难。我们已经就这个漏洞联系了31家自动驾驶公司，同时建议它们应用这些缓解手段。我们觉得不论是研究者还是自动驾驶公司都需要投多更多精力去系统性地探究自动驾驶里的的安全问题。

常见问题与解答

为了实现同样的攻击目标，为什么攻击者不能直接向无人车扔石头或者直接在无人车前面放钉子或玻璃碎片？

我们是计算机安全研究人员，所以我们的目标是研究特定于计算机技术（在我们的例子中指的是自动驾驶）的安全漏洞。我们的最终目标是在计算机技术层面修复它们。

扔石头、放钉子或玻璃碎片并不是针对于无人驾驶这种特定技术的攻击，非无人驾驶车辆也会受到损害，同时这样的研究也无助于暴露出无人驾驶技术中的安全隐患相比之下，我们的恶意的障碍物可以被人眼正确识别出来，但无人车系统却无法正确识别，这个才是我们需要研究的技术问题。通过发现和解决此类问题，无人车技术可以更好地接近人类驾驶的水平和性能，从而实现无人车技术的最终目标：代替人类驾驶。

一般车上都有的紧急刹车系统可以防御这种攻击吗？

紧急刹车系统可以减轻它的的风险，但既不能完全防止此类攻击，也不能消除防御攻击的需要。首先，无人车系统必须设计为能够自行处理尽可能多的安全隐患，而不是完全依赖紧急刹车系统。紧急刹车系统仅设计为紧急情况或者备用安全保护措施；它永远也不应该用来代替无人车警觉性。就像司机驾驶一样，没有人完全依赖紧急刹车系统来确保安全；我们必须始终保持谨慎并尽可能的主动做出安全决策，然后仅依靠紧急刹车系统作为在极端情况下尽力而为的后备保护。因此，我们必须要想办法在无人车系统级别上解决这种漏洞。

其次，现如今的无人刹车系统本身际上远非完美，并且可能具有很高的漏报率。例如，AAA 报告称，很多车（例如雪佛兰迈锐宝、本田雅阁、特斯拉 Model 3 和丰田凯美瑞）的紧急刹车系统故障率为 60%。此外，即使无人车的紧急刹车系统能够成功紧急停车，但是也无法避免无人车被后面的车追尾。

我们有对无人车公司进行漏洞报告吗？他们是怎么答复的？

截至 2021 年 5 月 18 日，我们对 31 家开发或者测试无人车的公司进行了漏洞报告，其中 19 家（约 61%）已经回复了我们。根据答复，大多数公司目前都在调查它们是否会受到影响以及受到的影响程度。有些公司已经与我们开会讨论他们的调查。

关于研究团队

本次研究作者团队，来自加州大学尔湾分校、密西根大学安娜堡分校，亚利桑那州立大学，伊利诺伊大学厄巴纳-香槟分校，英伟达Research，中国百度深度学习技术与应用研究和国家工程实验室，嬴彻科技，一共有9名研究人员。四位同等贡献第一作者来自加州大学尔湾分校，密西根大学安娜堡分校，亚利桑那州立大学和英伟达Research，分别是Ningfei Wang, Yulong Cao, Chaowei Xiao和Dawei Yang。三位教授分别是Qi Alfred Chen, Mingyan Liu, Bo Li。以及两位来自于百度和嬴彻科技的研究人员，分别是Jin Fang和Ruigang Yang。