美国人工智能安全顶层战略及重点机构研发现状
中国电子科技集团公司第三十研究所 金晶 戴朝霞
中国电子科技集团有限公司发展战略研究中心、中国电子科学研究院 秦浩
人工智能作为未来重要的战略技术，各国都开始重视人工智能的发展布局，尤其是美国等军事强国高度重视人工智能的发展，特别是人工智能的安全性问题。2019 年，美国密集发布了多项人工智能安全顶层战略，规划未来人工智能的发展方向，对人工智能研发计划进行大量投资，开发可以抵御针对人工智能系统的安全风险，培养和吸引各类人才，抢占人工智能发展的战略制高点。
一、制定人工智能安全顶层战略，加速推动人工智能在国家安全领域的应用
自《2016 年国家人工智能研发战略计划》发布以来，人们对人工智能安全在科学和社会层面的理解迅速增长。这些新知识在很大程度上帮助专家识别新的问题，但针对人工智能安全问题的解决方案仍然难以解决。因此，美国政府接连发布了多项顶层战略，推动政府、学术界和产业界合作，探索人工智能的安全解决方案。
2019 年 2 月，美国总统特朗普签署了《国家人工智能倡议》，启动美国“人工智能计划”，将技术研发确定为美国保持在人工智能领域全球领先地位的首要任务。该倡议旨在集中联邦政府的资源来发展人工智能，以促进美国国家繁荣，增强美国国家和经济安全，改善美国人民生活质量。当前，美国在人工智能创新方面处于世界领先地位，很大程度上归功于其强大的研发生态系统。美国联邦政府通过在多个机构投资世界级人工智能研究项目的方式，为人工智能的创新做出重大贡献。
2019 年 2 月，美国国防部发布了《2018 年国防部人工智能战略概要——利用人工智能增进国家安全与繁荣》，该战略着重强调了发展人工智能的重要意义，分析了美国国防部在人工智能领域面临的战略形势，阐明了国防部部署人工智能的战略举措及重点领域，以期维持和加强美国在军用人工智能领域的领先优势，抢占未来竞争制高点。国防部将人工智能技术纳入决策和作战，降低部署军力面临的风险，形成军事优势，并成为拓展人工智能在美国全球防御体系中应用的先驱。
2019 年 6 月，美国白宫科技政策办公室发布第二版《国家人工智能研发战略计划：2019 更新版》，该计划在《2016年国家人工智能研发战略计划》的基础上进行了更新，不仅要确保人工智能系统的安全性，同时还强调要扩大公私合作关系，加快人工智能的发展。该计划明确了联邦政府投资人工智能研发的优先事项，其目的是引导研发资金流向如美国国家科学基金会、美国国家卫生研究院和美国军方等联邦机构，推动人工智能领域的前沿技术研究。
2019 年 8 月，美国国家标准技术研究院发布《美国在人工智能领域的领导地位：联邦政府参与开发技术标准与相关工具的计划》，该计划就政府如何制定人工智能技术标准给出了指导意见，强调美国政府应持续参与人工智能标准的开发活动，推进可信人工智能技术的发展，确保使用了人工智能技术的系统安全可靠，并具有鲁棒性。
2019 年 9月，美国政府发布了《2020财年“网络与信息技术研发项目”预算补编》，首次按部门报告了人工智能研发领域非密、非国防的联邦投资，为持续跟踪美国人工智能研发投入奠定了基础。根据美国发布的 2021 财年预算申请文件，美国国家科学基金会为其人工智能项目申请了8.5 亿美元，比 2020 财年预算增加了 70%。
2019 年 11 月，美国国家安全委员会人工智能小组发布《中期报告》，对人工智能在国家安全方面的影响进行了初步评估。该研究小组受美国国会委托，自 2019 年 3 月起开展为推进人工智能在国家安全和国防领域发展的研究工作。2019 年 7月 31 日，该小组向美国国会提交了人工智能初版报告，确定了维护美国在人工智能领域优势地位的五项基本原则，强调应尽快将人工智能技术用于保护国家安全。该项研究的最终报告将于 2021 年 3月完成。
2019 年 11月，美国国会研究服务中心发布《2016-2019 年人工智能研发进展报告》，记录了过去三年联邦政府投资人工智能研发活动的最新进展，包括近期和当前联邦机构项目和活动的具体案例。该报告根据《国家人工智能研究与发展战略计划：2019 更新版》中所述的八项战略，分别介绍了不同机构开展人工智能研究的情况，各个机构所开展项目和活动的多样性反映了美国联邦政府对人工智能投资的广度和深度。
2020 年 2 月，美国白宫科技政策办公室发布《美国人工智能计划：首个年度报告》。该报告主要从投资人工智能研发、共享人工智能资源、消除人工智能创新障碍等方面，总结了美政府过去一年在实施“美国人工智能计划”方面取得的重大进展。
通过美国近两年来颁布的一系列政策可以看出，为了保持其在人工智能发展领域的全球领导地位，未来美国政府一定还会举大力发展人工智能，不仅强调对人工智能创新与发展的促进，同时更关注人工智能的安全可靠，在增加人工智能研究投入的同时，期望借助人工智能保护国家安全。
二、美国主要机构及军兵种的人工智能安全研发情况
如今，越来越多的机构期望利用人工智能技术抵御网络攻击，但如何确保人工智能系统的安全，则是一个新的难题。人工智能的安全性包括保护人工智能系统以及运行这些系统的数字基础设施的安全。一套强有力的联邦人工智能安全新计划将确保美国保持技术领先的地位，并安全可靠地挖掘人工智能的潜力。在人工智能的长期研发投资方面，美国国防高级研究计划局（DARPA）、情报高级研究计划局（IARPA）和三军实验室处于领先地位。
（一）DARPA 关注人工智能安全性和鲁棒性，力求提高系统的防御能力
许多先进的人工智能系统在运行过程中，其内部机理是很难被人理解的，这使得人工智能的“可解释性”成为一个关键的安全挑战。DARPA 的“可解释人工智能”（XAI）项目正试图解决这一问题，该项目于 2018 年 6月启动，将推动研究人员理解人工智能行为决策背后的原理和机制，进而改善人机协作，使人工智能系统在能够被人类理解的同时保持极高的性能。XAI 旨在更好地了解人工智能的漏洞，并培养用户对人工智能系统的信心。
2018 年 9月，DARPA 宣布了其“下一代人工智能”（AI Next）计划，该计划将针对新的和现有的人工智能研发项目进行长期投资。该计划的关键领域包括：自动化的国防部关键业务流程，如安全许可审查或操作部署的授权软件系统；提高人工智能系统的鲁棒性和可靠性；增强机器学习和人工智能技术的安全性与弹性；降低功耗、数据和性能的低效性；并开创下一代人工智能算法和应用。
除了新的和现有的研究外，DARPA 的“人工智能探索”（AIE）计划是“下一代人工智能”计划的关键组成部分，该项目于 2018 年 7月首次对外宣布。AIE 包括了一系列高风险、高回报的项目，研究人员将在获得合同后的18 个月内确立新人工智能概念的可行性。利用简化的合同程序和资助机制，帮助研究人员在三个月之内启动探索性的研究工作。2018 年 7月至 2019 年 10月期间，DARPA 已经完成了13 个不同的人工智能主题项目的合同授予。
2019 年 2 月，DARPA 宣布启动“确保人工智能对抗欺骗的鲁棒性”（GARD）项目，旨在开发新一代抵御对机器学习模型开展的敌对欺骗攻击。该项目将研究如何建立人工智能系统，以抵御特定、预先设定的敌 对攻击。GARD 的三个主要目标是：发展具备鲁棒性的机器学习理论；在各种环境下创建和测试具备防御能力的人工智能系统；构建一个新的测试平台，以表征机器学习的防御能力。
2019 年 3 月，DARPA 举行了人工智能研讨会（AIC），向外界展示了其在推动人工智能技术发展方面所做的投资及最新的研究成果。AIC 力求借助领域内专家的力量，加强和扩大 DARPA的创新生态系统，在确保国家安全的前提下，向政府通报 DARPA 对人工智能未来发展的愿景及优先事项，助推发展强大、安全、可靠、自适应的人工智能技术、系统和应用。
在需要高度自治的网络安全系统中实施人工智能也是一个有待进一步研究的领域，DARPA 的“网络超级挑战赛”（CGC）正在为实现此目标而努力。CGC 是 DARPA 于 2013 年发起的全球性网络安全挑战赛，旨在推进自动化网络防御技术发展，即实时识别系统缺陷、漏洞，并自动完成打补丁和系统防御，最终实现全自动的网络安全攻防系统，它涉及人工智能代理自动分析和对抗网络攻击。
（二）IARPA 探索人工智能的异常检测技术，避免隐私数据被恶意篡改
2016 年 2 月，IARPA 启动了“网络攻击自动非常规传感器环境”（CAUSE）项目，旨在开发新的非常规、多学科传感器技术，能够比现有方法更早地检测和预测网络攻击。IARPA 在 2016 年以 1140 万美元的价格将该项目签给了BAE 系统公司，希望该公司能够通过识别并提取内部和外部传感器的先导信号，对网络攻击进行检测和预报。
2018 年 3月，IARPA 宣布启动“良好用户环境”（VirtUE）项目，该项目旨在利用人工智能来改善对网络异常的检测。VirtUE 的目标是：创造性地定义和开发用户环境，使其更具安全性、动态性和可审核性；开发动态的分析工具，利用新的环境，自动检测和威慑用户在新的云基础设施中所面临的安全威胁。IARPA 希望借助 VirtUE 项目改善工作站和虚拟桌面的安全性。
2018 年 12 月，IARPA 发布“安全、可靠的智能学习系统”（SAILS）项目广泛机构公告。人工智能和机器学习技术可以简化业务流程，并在决策环节提供帮助，但这些系统容易受到针对个人隐私的网络攻击，这类攻击主要是为了盗取用于训练人工智能和机器学习模型的信息，尤其是模型反演攻击和成员推理攻击。SAILS 项目旨在寻求用于创建可抵御隐私攻击的人工智能和机器学习模型，并让模型创建者相信训练有素的模型不会泄露系统中的敏感信息。
2019 年 5 月，IARPA 发布“ 人工智能木马”（TrojAI）项目广泛机构公告，寻求开发可用于在人工智能系统中检测特洛伊木马的技术。TrojAI 旨在检测敌方是否向人工智能系统中插入了木马或后门，比如恶意篡改用于机器学习的训练数据。因此，TrojAI 项目的目标是保护训练数据、清理训练数据，同时保护训练后数据模型的完整性。
（三）美空军推动人工智能军事伦理发展，建立并维护人机之间的信任关系
2019 年 9月，美国空军发布了人工智能战略，这份人工智能战略详细阐述了美国空军的人工智能定义、发展背景和目的以及空军所关注的五个人工智能领域，同时，还提供了防止竞争对手获得优于美国优势的方法和手段。该战略阐述了在数字时代如何有效引领人工智能安全和军事伦理所必须的基本原则和目标。
美国空军科学研究办公室（AFOSR）管理着针对美国空军基础性研究的投资资金。目前，空军科学研究办公室针对三个人工智能项目进行长期投资。
1、“计算认知和机器智能”（CCMI）项目：该项目的总体设想是在空军面临的复杂、敌对和机动性环境中，实现未来计算系统的高性能、高适应性、灵活性和自我修复能力。该项目涵盖了计算智能和机器智能的全部领域，从负责在复杂的问题解决和决策任务中实现对符合合理认知的人类行为进行推理，到创建鲁棒的智能系统所必需的非认知智能计算模型。
2、“信息、计算、学习和融合科学”（SICLF）项目：该项目从大型异构数据集中提取和获取所需信息，这类大型异构数据库覆盖了从雷达到视频信息等诸多领域，且都是由美国空军收集整理而成。为了理解和解释各种数据源中包含的信息，需要从这些数据集中提取相关信息，并基于先验知识和概率进行推理。
3、“信任和影响”项目：该项目的首要目标是提高对人类信赖和团队合作的基本理解，阐明人们如何在人机之间建立、维护和修复信任。特别值得关注的是对人类社会和认知过程的研究，这些研究为人和机器组成的系统设计以及新型人机交互技术的开发提供帮助。该项目的另一个目标是在国家安全的背景下推进社会影响力。人们对开发计算方法和使用大规模数据集来理解社会和文化行为特别感兴趣，“信任和影响”项目将对有效威慑、信任建立、信任校准和反恐行动的相关研究进行投资。
（四）美海军制定人工智能框架，着力发展人工智能多学科融合与算法研究
美国海军研究办公室（ONR）负责协调、执行和推动美国海军及海军陆战队的科学技术项目，它通过向美国和世界各地的学术界、工业界及政府等一系列合作伙伴提供资金或授予合同，管理并资助基础科学、应用科学以及先进技术的研发。海军研究办公室的人工智能项目包括：
1、“机器学习、机器推理和人工智能”项目：这三种技术都专注于开发科学的基础研究以及高效的计算方法，从而构建多功能智能代理，在最少的人类监督下执行各种任务。此外，智能代理应该能够在非结构化、开放、复杂和动态变化的环境中与人类团队，以及其他代理进行无缝协作。
2、“自主系统的人机交互”项目：旨在创建认知兼容的智能自主系统和机器人，它们可以作为人类的队友，实现人、机器人、智能代理和自主系统之间的对等协作。这样的系统将减少与智能自主系统接口的认知负担，并使机器人和自主系统的监督控制与训练成为可能。
3、“人机合作的认知科学”项目：旨在开发基于经验的人类认知模型和可达到人类智能水平的计算架构。该项目追求的是在认知领域和社会层面兼容的智能系统，这些智能系统能够使人类更强大甚至取代人类，同时在人机合作的操作范围内成为出色的队友或助手。
4、“自主科学”项目：该项目专注于自主领域的多学科研究，探索人工智能、机器学习、控制理论、人类因素、生物学、认知科学、心理学、经济学、运筹学、应用数学、海洋学、物理学和神经科学等领域之间的相互联系。
2019 年 9 月，美国海军分析中心（CNA）发布了《海军人工智能框架》报告，介绍了海军作战部面临的挑战以及如何将人工智能应用与海军关键任务联系起来，并介绍了人员配备和组织机构要求、政策考虑以及海军作战部高效使用人工智能所需的解决方案。海军作战部也将根据需求制定和完善政策，提前解决人工智能特定领域内可能出现的法律、道德和安全问题。
（五）美陆军设立人工智能工作组，重点发展人工智能自适应态势感知能力
美国陆军研究办公室（ARO）及其陆军研究实验室通过对相关研发活动提供支持，增强人工智能技术在国家安全领域的应用。目前，陆军研究办公室将在以下三个领域重点发展人工智能技术：（1）自主系统，包括自适应感知、移动和导航；（2）态势感知分析，包括数据融合、人工神经网络、预测分析以及常识和对抗推理；（3）人工智能团队合作，包括界面技术、自然语言处理，以及针对士兵训练与表现的评估。
2018 年，美国陆军未来司令部根据 2018-18 号陆军指令设立了人工智能特别工作组，该工作组需制定和实施美国陆军的人工智能战略，并与陆军的跨部门小组协调推进陆军现代化工作。如今，成立一年多的美国陆军人工智能特别工作组正开始以各种各样的方式将人工智能项目融入美军行动，意图在快速发展的人工智能世界中领先一步。
纵观 DARPA、IARPA 和美国三军所开展的人工智能项目及发布的战略框架，DARPA 在人工智能的技术和理论研究方面一直走在前列，它的 AI NEXT 项目将掀起人工智能的第三次浪潮，提高人工智能系统的稳健性。美国三军也在加快人工智能技术在战场上的应用，期望借助该技术提高战场机动性、提升态势感知能力，优化软硬件的处理能力。
三、结语
无论是现在还是将来，人工智能的安全性都是一个关键问题，这不仅需要政府针对人工智能研发进行大量投资，同时也需要政府、工业界、学术界和产业界之间的通力合作。2021 年，美国国防部针对人工智能的规划投资已经从 2020 年的 13.6 亿美元增加到 19.8亿美元，人工智能领域 5000 万美元以下的项目数量也从 119 个增加到 161 个。未来，在广泛使用人工智能系统之前，还会面临各种各样的安全挑战，包括复杂和不确定的系统环境、无监督条件下的学习、对人类目标的理解偏差、人机交互过程中人本身出现的失误等都会对人工智能系统的安全性带来影响，但美国已经从顶层战略、组织机构、技术研发、资金投入等多个方面做好了准备，我国也应当适时借鉴美国的经验，夯实人工智能的基础理论研究，加速人工智能技术的创新研发，推动人工智能在各领域的应用落地。
本文刊登于《网信军民融合》杂志2020年5月刊
声明：本文来自网信军民融合，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
