FIRST, MANAGE SECURITY THREATS TO MACHINELEARNING

作者：RAND WALTZMAN AND THOMASSZAYNA

PS：这里的FIRST一语双关，既是“关键的第一步”，又是“事件响应与安全小组论坛”的缩写。红色字体是个人觉得比较新颖的观点。紫色加粗字体是敏感词屏蔽，因此改为错别字表示。

本文应美国国家安全委员会(National Security Commission on Artificial Intelligence)联合主席埃里克•施密特(Eric Schmidt)和罗伯特•沃克(RobertWork)的呼吁提交。它回答了第3个问题(a部分和b部分)，该问题是：国家安全领域应该把哪些类型的人工智能研究放在政府、学术界和私营部门的合作与怎样合作上，以及美国需要什么样的基础设施？

美国陆军坦克旅再次在中东作战。它的坦克最近装备了使用遥控无人机作为侦察机器人的计算机视觉瞄准系统。不幸的是，敌手欺骗了视觉系统，误将首雷闪光识别为炮火。坦克操作员向两英里外的友军开火。虽然美军赢得了战斗，但他们失去了6名战士、5辆坦克和5辆战车——所有这些都是友军所造成的。该坦克旅旅长说道：“我们的装备是致命的，容不得半点差错。”

这是一个真实的事件。这些坦克没有自动化的计算机视觉系统——但总有一天会有的。

欺骗和战争一样古老。到目前为止，欺骗行为的目标一直是人。但是机器学习和人工智能的引入开启了一个全新的机会世界，针对机器进行欺骗。我们正看到一缕新兴的、不断扩大的欺骗时代的曙光。

机器学习的快速发展使得为民用和军用开发新技术成为可能，从视频和文本分类到复杂的数据分析和决策。然而，匆忙实现和部署包含高级机器学习组件的不安全系统会引入危险的漏洞，这些漏洞将被不法分子以我们可能还不了解的方式加以利用。机器学习技术的一些最有前途的应用是决策支持系统，其中对于生命的决策是基于对大量数据的快速分析。在这种类型的系统中引入欺骗可能会导致灾难性的后果，如引起友军伤害或派遣部队进入埋伏区。对机器学习的日益依赖及其对欺骗的敏感性对军事行动有着深远的影响。

机器学习系统中的漏洞

机器学习技术的固有漏洞必须将其视为国家层面的关键问题，应该得到国家层面的优先响应。虽然似乎不可能消除所有的漏洞，但有可能减轻它们。例如，一种基本的缓解技术是确保操作员对系统的行为有一个清晰和连续的视图，这样如果出现问题，就可以进行某种类型的（人工）手动操作。另一个例子是，在一个设计用来学习和适应环境的系统中，应该在其运行期间进行持续的测试，以确保系统没有偏离轨道。还要定期对操作员进行观察或与系统进行交互，以防止操作员产生错误的安全感。研究机器学习系统的安全性可能并不时髦，但这与实现它们的承诺同样重要。机器学习有一个核心弱点，操作员可能知道一个系统通过编程来学习什么，但他们不能确定系统实际上学到了什么。这使得漏洞不可能完全解决。该漏洞会引发攻击机器学习系统的尝试，以测试它学到了什么，并找出它的弱点。

尽管机器学习技术可能受到各种方式的攻击，但它们都试图通过欺骗使系统生成错误的感知、错误的分类或错误的决策分析。侦查和反欺骗的工作还处于非常初级的阶段，目前还缺乏坚实的理论基础。

军事领域机器学习的潜在隐患

机器学习的漏洞对国防部有着根本且深远的影响。五角大楼正大力推动将机器学习整合到整个行动中，以对抗主要的竞争对手。这项工作始于2017年4月，当时建立了算法战跨职能团队。该团队的目标是利用人工智能和机器学习技术来理解和高速整合来自不同来源的大量数据。高度自动化的数据收集和处理以最小化决策周期的设想是诱人的，并有潜力保持美国相对于成熟对手的技术优势。

围绕对机器学习的希望和宣传，攻击者和防御者之间展开了激烈的竞争，攻击者不断寻找新的方法来愚弄、逃避和误导机器学习系统，而防御者则试图找到盲点并消除漏洞。由于机器学习系统固有的漏洞，这种状态会一直存在。事实上，随着机器学习接管越来越多的任务，新的漏洞也必定会出现。

考虑现代战场上日益复杂的后勤规划和支援需求。机器学习的应用将使军队在各种任务自动化、效率和准确性达到新高度时具有前瞻性和预见性。然而，对手可以试图欺骗这样一个系统，从而导致规划者和操作员犯下灾难性的、可能致命的后勤错误。

机器学习在其当前发展状态下的引入极大地增加了攻击的可能性，而对于如何管理它的理解却相对较少。现在的问题是，那些采用机器学习的机构——比如国防部——如何管理机器学习，将其固有风险降低到可接受的水平，同时保持竞争力。

跨职能团队的算法战有一个致命的缺陷——它没有明确地给出一个命令来确定如何检测和反击对手误导和欺骗机器学习技术的企图。这便失去了一次机会。所有未来的努力都应该包括一项特定的任务，即在识别和开发针对由使用机器学习技术独特性方面，引入漏洞缓解策略。

其中有些错误不可避免，因为目前缺乏对机器学习系统漏洞的全面理论性理解。这已得到研究界的认可，并推动了最近的一些研究投资，例如，国防高级研究计划局(Defense AdvancedResearch Projects Agency, DARPA)和国家科学基金会。然而，这些努力还处于早期阶段，目前正在忙着将机器学习应用到实际应用中。

以前的经验说明了潜在的危险并指出了可能的缓解措施。1988年11月，最早的计算机病毒之一莫里斯蠕虫在因特网上造成了严重破。几周后，首个计算机应急响应协调中心(Computer EmergencyResponse Team Coordination Center , CERT/CC)在卡内基梅隆大学软件工程学院成立，以帮助工业界、学术界和政府管理网络安全。这种模式很快在全世界得到了复制。接下来的两年中，事件响应小组的数量成倍增长。然而，一年后，Wank蠕虫病毒揭示了团队在全球协调方面的缺陷。其结果是在1990年成立了事件响应与安全小组论坛(Forum of IncidentResponse and Security Teams, FIRST)。它的任务是协调和促进全球事件响应小组之间的协调与合作。US-CERT目前是国土安全部国家保护和规划理事会的成员，是世界上400多个同类组织的第一个成员。

尽管FIRST如何努力，它的所有成员中，（海军部长的网络安全准备审查2019年3月指出）大部分毫无用处，但中国和俄罗斯特别是集中他们的努力在战略和执行规模规模方面达到其目标，而美国仍旧束手无策，常常无法达到预期效果。显然，美国面临着有能力的对手，他们愿意利用弱点为自己牟利。华盛顿应该把网络领域的经验应用到机器学习上。

五角大楼要如何管控机器学习安全

联合人工智能中心(JointArtificial Intelligence Center , JAIC)、美国国防部AI卓越中心、美国国防部实验室和国防部高级研究计划局(DARPA)已经朝着正确的方向迈出了第一步。但这些努力只是一个开始。五角大楼不能重复过去的错误，因为软件和网络安全漏洞长期以来被视为次要问题，而不是一级的国家安全威胁。在机器学习系统被开发和部署之前，开发策略和技术来减轻和管理它们的安全问题应该是最优先考虑的事情。机器学习安全需要广泛的组织支持和系统周到的资金。

当前的组织，如FIRST和它在世界各地的所有CERT成员都应该得到加强和扩展。它们将需要付出更大的努力，直接解决由于引入机器学习技术而使计算机系统更加脆弱的问题。经典的计算机安全漏洞定义为：通过绕过数据、应用程序、服务、网络和/或设备的底层安全机制，导致对这些数据、应用程序、服务、网络和/或设备的未授权访问的事件。然而，欺骗一个机器学习系统，不需要将它暴露给外部输入。例如，在最近的一个实验中，一个场景中佐轮首炝的简单转动使机器视觉系统将佐轮首炝视为捕鼠器。这种类型的攻击超出了今天CERT人员的经验。因此，现有的人员将必须对新型专业知识进行补充，并且需要额外的研究议程来匹配使用机器学习所造成的独特漏洞。他们必须认识到，虽然机器学习系统可以在许多方面超越人类的表现，但它们也可能以人类无法想象的方式产生（无法预期的）后果。

有些管理机器学习安全性的方法会与那些用于传统软件漏洞的方法相类似。其中应该包括利用红队来发现和修复潜在的安全漏洞，以及对机器学习系统中发现的漏洞(包括安全漏洞、潜在的敌对输入和其他类型的漏洞)进行秘密上报。虽然机器学习系统究竟学到了什么肯定存在一些不确定性，但是通过使用新的形式验证来证明机器学习系统的关键属性，可以避免重要漏洞。

主动防御措施应该包括预测机器学习的进步程度，目的在于如何提升有效系统攻击的可能性。应该设立一个研究议程来发展对机器学习漏洞的全面理论性理解。这样的理解将适用于防御和减轻技术的发展。这些技术将会用于识别、开发和分发标准工具，以测试机器学习系统中的常见安全问题。潜在的与硬件相关的方法也要考虑，比如将安全特性集成到特定的机器学习硬件中，例如图形处理单元、现场可编程门阵列，以及应用特定的集成电路，比如张量处理单元(Tensor Processing Unit，防止复制、限制访问、促进活动审计等等)。其他与硬件相关的措施要包括确定设计具有安全特性的硬件的可行性，以及采用这种硬件的政策推动。

虽然正在采取积极措施解决机器学习系统的安全问题，但必须果断行动，将对这些问题的审议在我们所有努力中占有突出地位，而不是事后才加以考虑。私营部门、学术机构和政府都应作为平等的伙伴，相互努力、相互支持。实现这一目标的一个方法是加强和提高国家标准与技术AI标准组织的知名度和重要性，该组织是由2019年2月11日的行政命令13859创建的。NIST要确保AI标准组织来自具有代表性的私营部门、学术机构和政府组织(特别是与公共福利相关的机构，如联邦贸易委员会消费者保护局、卫生与公共服务部门等)的成员作为其工作的组成部分。这将有助于NIST促进私营部门、学术机构和政府间的互动。为了加强人工智能标准的工作，还要建立机制，在公共安全和福利受到影响的情况下，制定有关机器学习应用程序可靠性和安全性的可执行标准。

业界和学术界在机器学习的研究和开发方面处于领先地位。学术界需要行业和政府的财政支持。政府需要业界和学术界帮助确定其需求，并开发和部署机器学习应用程序到其服务中。如果没有一个完整的国家方案，我们就会制造出大量的漏洞，使机器学习的益处相形见绌，使它的成果变得难以捉摸。

结论

虽然人工智能和机器学习在军事行动中的前景十分诱人，但这些系统的引入也会带来大量新的漏洞。这些漏洞是机器学习的关键，不应该被忽视。随着机器学习系统在军事行动中的角色越来越重要，它们作为欺骗目标的重要性也在增加。对手可以利用机器学习来欺骗和误导，例如，使用这种技术的各种决策支持、规划和情景感知系统。在军事环境中，这类系统的错误结果可能导致战场损失和人员伤亡。

机器学习技术中的漏洞问题应该被作为一个关键的国家层面问题来对待。消除所有的漏洞是不可能的，但是可以缓解。一个欺骗的新时代已经来临，我们必须承认这点，并采取相应的行动——当然越快越好。