编者按语
鉴于人工智能和机器学习在战略竞争中的作用，必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索投毒、逃避、逆向工程和推理四类对抗性方法，为了解这些系统中的漏洞提供了一个窗口。作者以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。文章得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但必须继续投资并鼓励人工智能在道德上的使用。
前言
人工智能在日常生活中无处不在，战争也不例外。有报道称，2020年1 月对伊朗顶级核科学家的暗杀是由一种自主的、人工智能增强的步枪执行的，该步枪每分钟可发射600发子弹。俄罗斯和中国正在迅速发展，并在某些情况下部署支持人工智能的非正规战争能力，而为我们的日常生活提供动力的人工智能系统开始出现同样的裂痕、偏见和不良后果，这只是时间问题。这种不良企图用于发动战争并旨在杀戮的人工智能系统中，也不是什么天方夜谭。
鉴于人工智能和机器学习在战略竞争中的作用，我们必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索对抗性方法，可以开始建立这样的认知。对四类对抗性方法的考察，为了解这些系统中的漏洞提供了一个窗口。在本文中，我们将以目标识别问题作为基础示例，探讨如何攻击AI系统的学习和思维。该分析得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但我们必须继续投资并鼓励人工智能在道德上的使用。
对抗性方法
与其他军事系统一样，人工智能系统经历了多个不同的生命周期阶段——开发（数据收集和训练）、测试、操作和维护。在这当中的每一个阶段都存在必须识别的独特漏洞，我们对此进行了很多解释。我们将继续开发一个假设的人工智能目标识别系统，该系统正在学习识别敌方装甲车辆。在每个阶段，我们都将探索相关类别的对抗方法——投毒、逃避、逆向工程和推理——以及我们如何保护系统免受每种方法的侵害。
1.1 投毒
任何人工智能系统开发的第一步都是问题识别和数据收集。随着我们识别敌方装甲车的挑战，必须明确当前的问题。想识别所有敌方装甲车，还是只识别特定对手的某种类型？这个问题定义指明需要收集和准备一组相关数据，在这种情况下，这些数据将包括大量感兴趣的敌方装甲车辆的图像。我们不仅必须积累所有感兴趣的车辆的图像，而且还需要各种条件下的图像——例如，不同的光线、不同的角度、有限的曝光和备用通道（例如，红外线、日光）。然后由数据分析师准备数据，用于人工智能系统的训练。然而，开发人工智能系统所需的大量数据会造成漏洞。数据量意味着分析师没有能力验证每张收集的图像是否为真实的敌方装甲车，或者图像代表了装甲车的全部类型。
这个阶段是对手可以通过一种称为投毒的技术攻击人工智能系统的第一个阶段。中毒的目的是改变AI系统在训练中使用的数据，从而使AI学习到的数据存在缺陷。此过程会在系统投入运行之前攻击系统的完整性。
制作恶意原始数据以得出有缺陷的分析结果的基本方法与传统的军事欺骗相同。水银行动是二战期间盟军入侵诺曼底之前的一项欺骗行动，旨在攻击德国的防御分析模型。为了完成这次攻击，盟军创建了一支由乔治·巴顿中将领导的幽灵军队（中毒数据），以诱导德国人对他们应该将防御重点放在哪里（模型输出）的分析（模型）。
如此大规模的欺骗操作，在当今互联互通的社会中可能更难实现，但对数据投毒是可行的。对手知道我们正在追求支持人工智能的目标识别。知道这样的人工智能系统需要其当前装甲车辆的训练图像，对手可以通过操纵其车辆的外观来毒化这些训练图像。这可能就像在他们怀疑可能受到监视的车辆上添加一个独特的符号（如红星）一样简单。然后，AI系统将根据这些故意操纵车辆的有毒图像进行训练，并“学习”所有敌方装甲车辆都有红星。
虽然这种中毒攻击会在竞争状态下发生，但当对手部署没有红星的装甲车以避免被发现时，这种影响就会在冲突中体现出来。此外，对手可以在民用车辆上涂上红星，以诱导我们的人工智能系统错误地将民用车辆识别为军用 车辆。
可以通过多种方式确保我们的系统正确学习。详细的数据管理可以帮助减轻风险，但会消耗宝贵的时间和资源。相反，可扩展的解决方案包括数据治理策略，以提高用于AI系统的数据的完整性和代表性。在 AI生命周期的所有阶段，适当放置技术控制和训练有素的人员将进一步降低中毒攻击的风险。
1.2 逃避
第二种攻击类型，规避，依赖于类似的基本攻击原理，但在AI系统运行时部署它们。逃避攻击不是毒化AI正在学习的内容，而是针对AI学习的应用方式。这听起来可能微不足道。但是，它对攻击者成功所需的资源以及防御者需要采取的行动具有重大影响。在中毒攻击中，攻击者需要控制或操纵用于训练模型的数据的能力。在规避攻击中，攻击者至少需要能够在操作期间控制AI系统的输入。
规避攻击非常适合计算机视觉应用，例如面部识别、对象检测和目标识别。一种常见的规避技术涉及稍微修改某些图像像素的颜色，以攻击AI系统如何应用它所学到的知识。在人眼看来，似乎什么都没有改变；然而，人工智能现在可能会对图像进行错误分类。研究人员展示了这种技术的效果，先前正确识别熊猫图像的人工智能系统，在面对整个图像中添加了人眼无法察觉的颜色（显示看起来是仍然是相同的图像）时，它被操纵了。人工智能不仅将熊猫误认为是长臂猿，而且非常自信。
对于那些可以访问AI系统输出或预测结果的攻击者，可以开发出更强大（所有熊猫图像都被错误识别）或有针对性（所有熊猫都被视为另一种特定动物）的逃避方法。
规避攻击原理也可以在物理世界中使用——例如，戴上特制的太阳镜来模糊或改变你在面部识别摄像头上的图像。这与伪装背后的原理相同。在这种情况下，对手的目标是模型的感知而不是人类的感知。在军事环境中，如果对手知道我们的AI瞄准系统是在带有沙漠伪装的坦克上训练的，那么对手的坦克可以简单地重新涂上林地伪装，以故意逃避A 系统的检测。人工智能增强型自主侦察系统现在可能无法有效识别目标，也无法为指挥官提供及时准确的情报。
规避攻击是研究最广泛的对抗方法之一，因此防御所有可能的攻击媒介将被证明具有挑战性。然而，强化人工智能系统的步骤可以增加对它们按预期运行的整体信心。其中一个步骤是在部署之前应用工具进行评估。这些工具针对各种已知的对抗性方法测试AI系统，为我们提供对其稳健性的定量测量。在动作过程中尽可能保持人员参与也可以减轻规避攻击。
1.3 逆向工程
前两类攻击在开发和运行期间针对AI系统具有相似的基本原理。这些攻击也与欺骗和伪装等传统军事概念有着天然的相似之处。然而，人工智能系统面临的风险并不那么简单，在开发和运营之外还存在潜在的漏洞。人工智能系统在维护或存储时存在哪些漏洞？如果对手通过网络入侵或在战场上捕获下一代支持人工智能的无人机获得对人工智能系统的访问权，会有哪些风险？
第三种情形，称为逆向工程的攻击中，攻击者攻击AI系统的目的是提取AI系统所学的内容，并最终使模型得以重建。要进行逆向工程攻击，对手需要能够将输入发送到模型并观察输出。这种攻击绕过了模型本身的任何加密或混淆。对于我们假设的目标识别AI，这种攻击可以由对手发出不同类型的车辆（输入）并观察哪些车辆引起 AI 的响应（输出）来进行。虽然这种攻击需要时间并冒着资源损失的风险，但最终对手将能够了解目标识别模型能够识别出哪些威胁。
有了这些信息，对手就可以开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易开发之外，直接了解AI如何做出决策，会使对手能够预测我们的反应或完全避免反应措施。这种对人工智能增强决策过程的洞察力将对整个冲突过程中的运营安全构成重大威胁。
保护AI系统免受逆向工程可能会很困难，尤其是因为任务要求可能要求系统允许许多查询或加权输出，而不是简单的二元决策。这凸显了需要一系列量身定制的政策来管理与对抗性方法相关的风险。这些可能包括对支持人工智能的系统的严格问责，特别是那些部署在边缘的系统，如无人机或智能护目镜。此外，可以通过只允许授权用户查看系统输出来施加访问限制。
1.4 推理攻击
最后一类攻击，称为推理攻击，与逆向工程有关。对手不是试图恢复AI系统学到的东西，而是试图提取AI系统在其学习过程中使用的数据。这是一个微妙但有意义的区别，对在敏感或分类数据上训练的模型具有重要意义。
为了进行推理攻击，与逆向工程一样，对手需要能够将输入发送到模型并观察输出。通过一组输入和输出，对手可以训练一个对抗性AI，该AI预测是否使用给定的数据点来训练我们的友好模型。
想象一下，目标识别AI是根据对手新武器系统的机密图像进行训练的。使用推理攻击，对手可以得知该武器系统的机密性已被泄露。换句话说，对人工智能系统的推理攻击可能会促进机密情报的泄露。如果在对峙期间这样做，可能会对危机和冲突产生重大影响。
与逆向工程非常相似，管理与推理攻击相关的风险将主要通过策略决策来处理。除了访问策略决策之外，在AI系统的训练中何时使用敏感或机密数据、使用什么类型的数据以及使用什么数量等问题，都将面临艰难的决策。这些决策需要平衡性能与风险，以开发仍能满足任务要求的人工智能系统。
对大国竞争的启示
当然，这显然不是对所有对抗方法的详尽解释。然而，这个框架应该提供一个充分的概述，领导者可以借此探索将人工智能系统整合到军事应用中，会有哪些积极和消极的全部影响。美国和其对手都在追求这项技术，以在未来的战略竞争中获得不对称优势，双方都无法赢得这样的优势。
2.1 数据不对称
当考虑技术和不对称优势时，从第一原则开始并考虑对“原材料”的相对获取是有用的。在人工智能系统中，原材料是数据——大量的数据。美国是否可以获得与我们的对手相同质量和数量的数据？考虑到美国国家安全中围绕隐私和数据安全的法律因素和社会规范——它们本身就是关键话题——答案显然不是“是”。这表明美国在人工智能系统的开发和部署方面将处于固有劣势。
2.2 开发能力
训练有素的人员是人工智能系统的另一个关键资源。正如陆军已确定其“以人为本”战略，拥有合适的人员对于美国在战略竞争中的成功至关重要。美国在工业、学术界和军队方面都有人才。能否招募、留住这些人员，并将其用于解决棘手的国家安全问题，这是一个值得深思的悬而未决的问题。在短期内，应该识别已经在军队中的有才华的人，并且应该同步各个组织在人工智能方面的不同进展和成果。
2.3 人工智能只是一种工具
人工智能是一种工具。像任何其他工具一样，它具有固有的优势和劣势。通过对这些优势和劣势进行深思熟虑和现实的评估，美国可以在人工智能的风险和回报之间找到最佳平衡。虽然人工智能可能无法提供美国在战略竞争中寻求的最大不对称优势，但我们也不能将技术让给在该领域大量投资的对手. 相反，美国可以而且应该支持人工智能的道德使用，促进对强大人工智能的研究，并为人工智能系统开发防御性最佳实践。在了解人工智能系统的脆弱性和局限性的基础上实施这些行动和其他行动，将引导美国更有效地将人工智能纳入大国竞争时代的战略。
作者简介
Nick Starck上尉是美国陆军网络军官，目前在陆军网络研究所担任研究科学家。他的研究重点是信息战和数据隐私。
David Bierbrauer上尉是美国陆军的一名信号官。他于2021年获得约翰霍普金斯大学应用数学和统计学工程学硕士学位。目前是陆军网络研究所的数据工程师和数据科学家。
Paul Maxwell博士于1992年被任命为装甲军官，并担任过 XO/S-3 营、S-4 旅、连长、侦察排长、XO 连和机械化步兵排长。在美国军事学院，先后担任电气工程与计算机科学系讲师、助理教授、副教授。他目前的职位是西点军校陆军网络研究所的副主任。
参考资源
1、https://mwi.usma.edu/artificial-intelligence-real-risks-understanding-and-mitigating-vulnerabilities-in-the-military-use-of-ai/
声明：本文来自网空闲话，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
