系统防范及应对人工智能攻击风险
在当前开发使用的人工智能应用系统中，人工智能算法存在着以统计方式进行学习、完全依赖数据等固有特性，意味着人工智能系统在攻击面前脆弱不堪。人工智能攻击是指恶意操纵人工智能系统，致其功能失常。
目前，网络内容过滤、军事、执法、商业等是高风险的人工智能应用领域，若遭受人工智能攻击，可能对国家和社会的安全造成严重后果。
对此，该报告提出应通过制定和实施“人工智能安全守则”计划，作为一项公共政策机制，系统地防范和应对人工智能攻击风险。
21 世纪的恐怖分子将不再需要炸弹、铀或者生化武器。他们只需要一些胶布和一双健步鞋，通过把一小块胶布粘贴到十字路口的交通信号灯上，恐怖分子就可以让自动驾驶汽车将红灯识别为绿灯，从而造成交通事故。在城市车流量最大的十字路口，这足以导致交通系统瘫痪，而这卷胶布可能只需 1.5 美元。
人工智能算法带来以下问题：它们引以为傲的“学习方式”，恰恰成为敌人得以攻击和操控它们的途径。在人类看来仅仅是被轻微污损的红灯信号，对于人工智能系统而言则可能已经变成了绿灯。这就是“人工智能攻击”。
其中一种攻击类型是：敌人将一小块精心挑 选的胶布粘贴到交通信号灯上或者将少量肉眼不可见的数字尘土嵌入到数字图像文件中，从而获得对人工智能系统的控制权。
另一种攻击类型是：敌人在人工智能系统中安装后门，在其选定的特定时间和特定地点摧毁该系统，又 称人工智能污染。
人工智能攻击问题与传统意义上的网络安全问题不同。人工智能攻击问题源于人工智能算法固有的特性，它并非修正某个出错代码就可以解决，也就是说，对人工智能漏洞发动攻击，不需要入侵目标系统，甚至不需要使用电脑。
这是一种新型的网络安全问题，无法通过现有的网络安全策略和工具解决。相反，解决这些问题需要新的方式和方法。
人工智能攻击的技术特点
1.1根源
机器学习算法支撑着人工智能系统。而机器学习算法具有以下特征，意味着人工智能系统在攻击面前脆弱不堪。
机器学习通过“学习”一些相对敏感的模式而获得能力，这些模式很有用但也容易被干扰。与公众的认识相反，机器学习模型并不是“聪明的”，也无法真正模仿人类的能力。
事实上，它们的工作能力来自学习一些统计学上的关联性，这些统计特性很容易被玩弄。
由于完全依赖数据，数据恰恰成为扰乱机器学习模型的主要途径。机器学习完全通过从数据集中提取模式而实现“学习”。与人类不同，机器学习模型并没有可用的基础知识， 它们的全部知识都来自提供给它们的数据。污染数据，就可以污染人工智能系统。
算法的黑盒特性，导致很难对其进行检查。机器学习算法（如深度神经网络）的学习和工作过程至今仍然是一个神秘的黑盒子。因此，很难判断某个机器学习模型是否被敌人渗透，甚至无法确定某个输出错误是源于遭受攻击还是系统本身性能不佳。
以上特征说明，目前还没有完美的技术方案足以应对人工智能攻击。这些漏洞并非传统的网络安全补丁方式可以解决，问题源于人工智能本身的固有特性。
1.2类型
人工智能攻击是指有目的地操纵人工智能系统，旨在致其功能失常。这些攻击可分为两种形式，分别针对算法的不同缺点。
输入型攻击（Input Attacks）：针对输入人工智能系统的信息进行操纵，从而改变该系统的输出。从本质上看，所有的人工智能系统都只是一台机器，包含输入、计算、输出三个环节。攻击者通过操纵输入，就可以影响系统的输出。
污染型攻击（Poisoning Attacks）：在人工智能系统的创建过程中偷偷做手脚，从而使该系统按照攻击者预设的方式发生故障。其中一种最直接的方法是对机器学习阶段所用的数据做手脚。这是因为人工智能通过机器学习“学会”如何处理一项任务，由于它们学习的唯一源泉就是数据，因此污染这些数据，就可以污染人工智能系统。
1.3效果
由于人工智能系统被集成进商业领域和军事领域的应用中， 上述攻击可能带来严重的后果：
造成破坏：攻击者使人工智能系统发生功能失常，从而造成破坏效果。例如，造成自动驾驶车辆误认红绿灯，冲撞其他车辆或行人。
实现隐匿：攻击者通过人工智能系统躲避监测。例如，使原本用于阻止恐怖主义宣传活动的社交网络内容过滤机制失常，造成恐怖音视频材料在网络上大肆传播。
降低系统可信度：攻击者使人们对人工智能系统失去信心，导致该系统被关闭。例如， 自动预警系统多次对常规事件发出错误警报，最终该系统不得不关闭。再如，视频安防系统误将野猫或树枝视作安全威胁，而使真正的威胁者逃过检测。
存在攻击风险的人工智能应用系统
2.1内容过滤机制
内容过滤是数字社会的免疫系统，它们使平台干净健康并且防止恶性传播。内容过滤也可以用于对内容进行管控，从而满足互联网通信的要求。
目前，互联网上每天分享的图片数量超过 30 亿。基于人工智能的内容过滤系统已成为实现这一任务的主要工具，被互联网行业广泛采用。例如，Facebook 在 2018 年第一季度删除了 2100 万个淫秽色情内容片段，其中 96% 是由算法标记出来的。
近年来，内容过滤的应用越来越紧迫。“伊斯兰国”组织成功地使用社交媒体作为招募人员的主要途径。虚假信息活动者在社交网络上散发虚假内容，影响美欧国家的民主选举。
这些内容都以美国的互联网平台作为武器，因此，人工智能内容过滤机制有着重要的意义，包括保卫国家安全。
由于内容过滤的重要意义，攻击者有很强的动机对其发动攻击，或者制造出快捷攻击工具。在人工智能攻击面前，很难想象内容过滤机制还能继续完成既定任务。
再者，很难防止或者监测内容过滤机制所遭受的攻击，因为它们毫无征兆。
此外，许多其他的网络攻击活动都会留下可检测的事件，如信息窃取、系统瘫痪，然而，攻击内容过滤机制并没有相类似的预警信息。
因此，社交网络平台在知道被攻击时可能已经太晚了，2016 年美国总统大选就是现实案例之一。网络内容运营商必须采取积极主动的措施，防范、审查和回应此类攻击。
2.2军事领域
人工智能应用于军事，是未来战争的主要特点。美国国防部近期将人工智能、机器学习与军事整合起来，并作为优先事项，建立了联合人工智能中心（JAIC）。国防部的 Maven 项目，旨在使用人工智能分析全动态视频（FMV）， 表明军方试图使用人工智能识别地面目标。
国防高级研究计划局（DARPA）和空军研究实验室（AFRL）发布了“运动及静止目标获取与识别” 数据集，旨在建立人工智能能力，对目标对象进行分类和识别。军事对抗的环境意味着敌人可能采取许多精巧的方式，对军事系统实施攻击。
因此，军事系统的保卫工作也面临着特别巨大的挑战：
第一，敌人可能俘获物理设备，如含有人工智能系统的无人机、武器装备等。
这可能导致 “边缘计算”在军事领域的扩散。在边缘计算中， 数据和人工智能算法直接在设备上存储及运行。国防部已经将“边缘计算”作为优先开发项目。这要求人工智能系统在被敌人俘获时应当能够触发保护措施。
第二，军事领域的特殊性，要求军方必须建立相适应的特殊数据集和工具。
这些数据集和系统代价高昂，并且它们必须在不同的应用和部门之间得到广泛的共享。然而， 数据集或系统的任何受损，都将使所有依赖的系统暴露在攻击者面前。
第三，建立这一特殊数据集的过程可能存在被敌人渗透的环节。在建立数据集的过程中，用于训练模型的个体数据样本是秘密的，应当受到保护。
第四，军方在作战条件下，很难检测到一次人工智能攻击的存在。
2.3执法活动
国家司法研究所认为，人工智能可能成为刑事司法系统的一个永久组件，因其可以倍增人类的模式识别能力。亚马逊公司近期启动了一个人脸识别系统，被美国警方率先使用。该系统将目标对象的人脸图像与一个大型犯罪分子面部特征数据库进行匹配。
很容易理解为什么执法机关热衷于使用人工智能技术。执法人员将这项新一代人工智能工具视为跟上科技发展的必要举措。在互联网上，信息内容呈现爆炸式增长，此时，人工智能可以提供更高的监管和预防效率。与人类不同，机器从来不知疲倦。
基于人工智能的执法工具也更容易成为违法犯罪人员攻击的目标。有研究显示，戴上一副多色眼镜就可以对基于人工智能的人脸识别系统实施攻击，极大地削弱其准确性。由于这种人工智能系统的应用广泛，潜在的此类攻击目标将持续增加。
2.4商用领域
某些商业人工智能应用和服务遭受攻击并不会产生严重的社会后果，但也有一些应用若受到攻击将是非常危险的。自动驾驶汽车和卡车非常依赖于人工智能，其遭受攻击可能导致每天数百万人面临安全危险。在机场设立的一些自动身份筛查机器也非常依赖人工智能，其遭受攻击可能危及空防安全和国家边境安全。
该领域人工智能出错造成的代价有目共睹。
Uber 的自动驾驶汽车曾在亚利桑那州的坦佩市撞死一名行人，其中的人工智能系统未能检测到路面上行人的存在。然而目前还不清楚是否是这名行人的特殊行为模式触发了此次的事故，如果确实如此，那么攻击者可以模仿此类行为模式实施人工智能攻击。
人工智能攻击对网络安全的影响
3.1与传统网络安全问题的比较
从本质上看，人工智能攻击与大众所知的网络安全攻击并不相同。与传统的网络安全漏洞不同，导致人工智能攻击的根源是不可“修复” 或“修补”的。传统的网络安全漏洞通常是程序员或用户出错的结果。
这些错误可以被发现并改正。然而，人工智能攻击问题更在于“内在”的因素：其自身的算法及其所依赖的数据就是问题所在。
对于人工智能攻击而言，培养一个成熟的 IT 部门或者采用 90 个字母的超长口令并不能解决问题，算法本身存在固有的缺陷是攻击的根源。
但两者也存在一些重要的共同点。许多人工智能攻击是需要以获得访问特定数据集或模型的权限为前提的。
在许多情况下，实施此类攻击需要采用传统的网络攻击手段，破坏系统的机密性和完整性。此外，传统的网络安全策略仍然是应对人工智能攻击的优先办法。
3.2进攻性的武器化
任何网络漏洞都可能转化为网络武器。对于人工智能攻击而言也是如此，特别是在军事和情报领域。由于其他国家可能开始将人工智能和机器学习集成至军事决策和自动化武器之中，人工智能攻击工具的武器化趋势尤为突出。
美国已经能够将人工智能攻击工具武器化， 对敌人的人工智能系统实施攻击。这样可能实现两个目标。
一是将人工智能战略强国的优势迅速转变为弱势，帮助美国打击其地缘政治对手。这主要针对中国和其他大力发展人工智能技术的国家。
二是发展进攻性的人工智能攻击能力，可以帮助美国军队建立防御同类攻击所需的技能。成功的进攻能力意味着同样相应的防御能力。美国可将人工智能攻击武器用于压力测试或培养“红队”。
然而，进攻性的人工智能攻击武器也可能带来风险。这些进攻性武器出现后，可能流入敌人手中。这与其他网络武器一样。最明显的例子是，美国国家安全局已经因为泄露其 EternalBlue 渗透工具而备受批评，包括导致 WannaCry 和 NotPetya 病毒事件发生。
3.3可行性问题
人工智能攻击真的已经成为一种真实的威胁了吗？这是一个重要的问题。由于此类攻击有赖于复杂精细的人工智能技术，许多人可能错误地认为方法技术上的困难能够阻挡人工智能攻击的实现。许多人会认为人工智能攻击不值得重视。
这种观点是错误的。最近出现的新事物足以证明其观点的错误。Deepfake——一种使用复杂人工智能技术的合成视频，被毫无技术基础的用户广泛使用和传播，制作虚假的名人色情视频，尽管其中的技术非常复杂，但在 Reddit上甚至专门有一个页面供人们分享其制作的此类视频。
原因包括两点：
首先，虽然 Deepfake 背后的技术十分复杂，但是人们能够制造出工具， 简化其使用方法。
其次，计算机硬件普及，意味着任何人都可以在其个人电脑上运行此类程序，这导致实施人工智能攻击简单易行。
建立人工智能安全守则计划
本报告提出建立一个“人工智能安全守则”（人工智能 Security Compliance）的计划，作为一个主要的公共政策机制，用以防范人工智能攻击风险。
该计划旨在：①减少人工智能系统遭受攻击的风险；②减少此类攻击的作用效果。
为实现上述目标，该计划将鼓励利益相关方采取一系列最佳实践，保护其人工智能系统， 使系统具有更强的抗攻击能力。这些最佳实践涵盖人工智能系统的整个生命周期。
4.1计划阶段
在计划阶段，应重点要求利益相关方意识到人工智能系统创建过程中存在的固有风险。具体包括适当评估人工智能系统相关的风险， 并且采取措施对数据集采集等预备性工作予以保护。
4.1.1人工智能适当性测试
开展“人工智能适当性测试”是指评估当前及未来人工智能应用的风险。这些测试应当就人工智能用于某个应用领域的可接受程度作出判断。人工智能适当性测试应当评估该人工智能应用系统所存在的脆弱性、遭受攻击时可能引发的后果以及是否有可供替代的非人工智能方案等。
人工智能适当性测试应聚焦于以下 5 个问题：
价值，即人工智能系统能带来什么样的价值？
攻击难易性，即敌人对该人工智能系统实施一次攻击的难度多大？
损害，即攻击会对该人工智能系统造成怎样的损害？
机会成本，即如果不使用人工智能系统，将付出多少成本？
替代方案，即是否有替换该人工智能系统的其他方案？
4.1.2评估和更新数据政策
应评估和更新数据收集及共享活动，防止这些数据本身成为攻击人工智能系统的武器。这包括严格检验数据收集活动和限制数据共享。这样的评估是有必要的，因为数据可能成为一种武器，用于人工智能攻击。
应当使利益相关方意识到数据可能恰恰是危险所在。这尤为重要，因为现在社会普遍的认识是：数据是企业、政府和军队的“数字黄金”。由于人工智能完全依赖数据，那么数据就成为开展人工智能攻击的康庄大道。
检验数据集收集。对于每一次数据集收集，人工智能用户应当考察以下几个问题，以发现潜在的数据集漏洞：
敌人可能如何操纵这些数据？
是否有敌人意识到数据正在被收集？
数据的完备性如何？
数据集可能存在哪些不准确的地方？
是否有被忽视的数据？
数据集中是否存在不具代表性的数据？
限制数据共享。重要的人工智能系统必须限制数据的共享，从而使人工智能攻击更难以实施。对于关键性的应用场景，应当确立规则，禁止数据被默认共享。
而若出现例外情况需要进行共享，就必须提供充分的理由。应当清晰写明数据共享政策，并严格遵守。
事实上， 当数据被广泛共享时，将有很大的风险，即数据可能被窃取或在无意中泄露至不安全的系统。
4.2实施阶段
在实施阶段，应重点要求利益相关方在创建和部署人工智能系统时采取适当的预防措施。包括保护相关的资产，防止被用于发动人工智能攻击；升级监测系统，提高攻击预警能力。
4.2.1保护软资产
对于那些可能被用于发动人工智能攻击的资产，如数据集和模型，应当予以保护，并且对这些资产所在的系统进行网络安全升级。
人工智能系统运营者必须意识到保护资产的必要性，包括数据集、算法、系统详细信息、模型等，并采取有效措施进行保护。在很多情况下，这些资产都并未被视为保护性资产，而是作为“软资产”，缺乏保护。这是因为人工智能攻击这一概念尚未得到广泛认知，相应的资产也就被定为低安全层次。
4.2.2升级入侵检测
应当升级入侵检测系统，以便更好地探测资产是否被渗透，并且识别敌人实施攻击的行为模式特征。
即便对软资产采取了“更强硬”的保护力度，人工智能攻击仍然可能发生，此时就需要入侵检测系统。政策制定者应当鼓励升级入侵检测系统，设计良好的算法，对攻击者的行为方式进行识别。当数据集或模型等资产被未授权者访问时，入侵检测系统应当立即反应，并采取适当的应对措施。
4.3处置阶段
在处置阶段，应重点要求利益相关方对不可避免的攻击事件制订响应计划。包括对可能的攻击行为制订特定的响应计划，研究人工智能系统被渗透后可能对其他系统产生什么影响等。
4.3.1建立攻击响应计划
利益相关方必须判断人工智能攻击者可能采取什么方式攻击其人工智能系统，并且制订响应计划减少危害影响。为判断最有可能发生的攻击，利益相关方根据现有的威胁，研判敌人可能采取怎样的人工智能攻击实现其意图。例如，对于社交网络而言，最有可能的攻击是欺骗其内容过滤机制的“输入型攻击”。
随后，应当制订响应计划。响应计划应当基于对攻击的最佳应对实践和对损害后果的最佳控制。仍然以社交网络为例，依赖于内容过滤机制的网站可能需要使用基于人力的内容审查进行响应。军方需要制定新的协议，优先在早期对人工智能算法入侵或攻击进行识别，并据此对遭渗透的系统实施替换或对算法立即进行重新训练。
响应计划也可以包括现实世界可采取的行动。例如，警方可以对“输入型攻击”制订响应计划，要求立即派遣现场交通管理人员，在交通信号灯或路标遭受人工智能攻击后介入现场交通指挥。
4.3.2绘制脆弱性地图
政策制定者应当要求人工智能系统运营者绘制一张脆弱性地图，显示特定资产或系统遭受渗透后对所有其他系统可能产生的影响。
由于数据极其容易传输， 许多人工智能系统可能共享同一份数据集。这样的数据共享也存在负面效应：一份数据资产被渗透， 其他使用该数据的系统也可能被渗透。
因此，有必要快速地认识一份资产所受渗透是如何影响其他系统的。
这一目标可以通过绘制并共享脆弱性地图来实现。组织机构应当绘制脆弱性地图，记录其不同的人工智能系统所共用的资产。
该地图应当能够快速反映出资产或系统所受的渗透影响，而不需要再进行额外的分析才能判断哪些系统将受影响。例如，该地图应当包括哪些系统使用了同一份数据集。如果该数据集在后来被渗透，那么管理员可以立即知道其他哪些系统存在风险。
实施和执行
5.1实施
人工智能安全守则计划应当由公共部门和私营部门分别实施。特别是政府在采购使用人工智能系统时，应当强制企业实施该守则。当企业向政府销售人工智能系统产品时，该守则应当列为一项前提条件。
此外，不同的公共部门可以实施不同版本的守则，以满足各部门的需求。
对于军方而言， JAIC 就是实施该守则计划的最佳备选方案。它是一个中心化的军用人工智能系统控制机制，可对守则计划实施有效的管理。
对于私企而言，监管者应当强制其在高风险的人工智能中采用守则，例如内容过滤和自动驾驶汽车。
在某些情况下，守则可以由国会直接立法的形式实施。例如，在相对不规则的社交网络空间，立法者和行业界都呼吁增加额外的监管。任何的行业监管机制都可以促进人工智能安全守则的实施。
5.2执行
一旦人工智能安全守则计划开始实施，监管者应当明确各个实体组织如何承担相应的责任以满足该守则的要求，并且与其成员共同交流这些责任分担原则。关键领域的人工智能用户应当负责按照良好的道德准则行事，并且采取适当的措施防止人工智能攻击。
众所周知，广泛使用的人工智能算法都不堪一击，因此企业当然无法彻底防范人工智能攻击，就像它们也无法彻底防范传统网络攻击一样。
然而，它们应当采取合理的措施，包括采纳本报告所提出的政策建议，如开展严格的人工智能适当性测试、制订和实施攻击响应计划、升级入侵检测能力等，使攻击者难以对数据集和模型等资产下手。
5.3其他建议
5.3.1优先研究防御机制和更稳健的算法
应当增加研究资金投入，对防御人工智能攻击的方法和更具稳健性的新型人工智能算法进行研究。强制在与人工智能相关的研究活动中增加安全评估环节。
政府资助机构，如国防高级研究计划局（DARPA）应当使用其议程设置权力，将人工智能安全确立为一项关乎国家安全的重要而紧迫的议题。
目前，大部分研究项目主要集中在提升人工智能算法能力上，这些研究主要关注其准确性等指标，然而，研究人员应当进一步考虑如何提升算法的稳健性。DARPA 的“保障人工智能对抗欺骗行动的鲁棒性”项目就是一个良好的开端。
此外，研究人员还应当致力于建立测试框架，并且与行业界、政府、军方的人工智能系统运营者共享这一框架。
5.3.2为利益相关方提供威胁意识教育
联邦贸易委员会、国防部、司法部应当发出安全预警，通报现有的人工智能攻击风险以及可采取的预防性措施。
首先，应当将人工智能攻击的风险公之于众，使利益相关方合理地考虑其应用领域是否值得引进人工智能，并且能够制订响应计划以防人工智能攻击事件发生。
其次，应当提供一些资源，告知相关方其可以采取的防范人工智能攻击的方法。
5.3.3对人工智能应用进行再评估
应当再次评估人工智能在未来应用中的角色，考察其安全性。政策制定者必须研究和再次评估人工智能在众多应用中的角色。
事实上， 美国核武器控制系统的组件之一，即美国战略自动指挥控制系统，目前仍然在使用 20 世纪 70 年代的技术，而未采用如今流行的计算机。这是因为对于此类应用系统而言，网络安全漏洞是一个太大的风险。
军方在优先开发人工智能系统的同时，并未任由人工智能取代人力操控，这是一个良好的例子。
最终，某些人工智能应用系统会被证明是过于有威胁性的。自动化武器系统，包括那些并未采用人工智能的自动化武器，仍然存在着争议，因为人工智能攻击或算法出错将引起不可接受的损害。
结论
一项新事物产生的未知感，往往可能会给人类带来恐惧。如今，人工智能呈现出鲜明的未知性，这种未知性甚至超出人类思维所能思考的范围。也许在未来，新的技术进步能够帮助人们更好地认识这些机器到底是如何学习的。
从本质上看，人工智能算法就是一种模式匹配器。它们本身充满漏洞，在每一个阶段都容易被操纵和污染。人工智能漏洞深深植根于人工智能本身的“基因”之中，因此人工智能攻击并不是偶然事件，它不是打补丁就能解决的。
本报告归纳了存在人工智能攻击风险的若干关键领域，包括内容过滤机制、军事、执法、商业等应用系统。
随着人工智能越来越多地进入这些领域，人类社会面临越来越严峻的风险。政策制定者必须开始着手应对这些问题，通过建立人工智能安全守则计划，防止危险发生。在高风险领域中，应当强制实施和执行这样的人工智能安全守则，而在低风险领域，可以自愿遵守此类安全守则。
作者简介
马库斯· 康米特（Marcus Comiter）， 哈佛大学计算机科学博士研究生，贝尔弗科学与国际事务研究中心研究员，研究方向为机器学习、计算机与无线通信网络、安全。
译者简介
黄紫斐，上海外国语大学国际关系与公共事务学院博士研究生，研究方向为国际关系、全球信息安全及治理。
选自《信息安全与通信保密》2019年第十期
声明：本文来自信息安全与通信保密杂志社，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
