美英人工智能国家战略中的信息安全

文/王亦澎，中国信息通信研究院

如果说今天的人工智能是互联网，乃至整个信息技术领域的皇冠，那么安全无疑是皇冠的基座。就像任何新技术一样，人工智能的安全与否很大程度上影响着其未来的发展和应用。符合什么标准的人工智能才算是安全的？或者人工智能的安全主要包括哪些方面？本文拟通过对美英人工智能国家战略的简要分析，介绍当下人工智能安全问题的几个主要维度。

1. 美国

2016年10月，美国相继发布了两份与人工智能发展相关的战略文件，《国家人工智能研究和发展战略计划》和《为了人工智能的未来做好准备》。12月，白宫又发布了一份名为《人工智能，自动化和经济》的报告。

《国家人工智能研究和发展战略计划》

由美国国家科学技术委员会下属的网络和信息技术研究与开发小组委员会发布，主要针对人工智能产业本身的发展。该战略为美国联邦政府资助的内部和外部人工智能研究制定了一系列目标，确定了政府资助人工智能领域研究的七项重大计划，包括：1. 对人工智能研究进行长期投资；2. 开发有效的人类与人工智能协作方法；3. 了解并解决人工智能的伦理、法律和社会影响；4. 确保人工智能系统的安全可靠；5. 开发用于人工智能培训及测试的公共数据集和环境；6. 制定标准和基准以测量和评估人工智能技术；7. 更好地了解国家人工智能人力需求。该战略最后提出了两方面建议：1. 开发一个人工智能研发实施框架，以抓住科技机遇，并支持人工智能研发投资的有效协调，与战略的第一至六项计划相对应。2. 研究创建和维持一个健全的人工智能研发队伍的国家愿景，与战略第七项计划对应。

《为了人工智能的未来做好准备》和《人工智能，自动化和经济》

与前一份战略不同，这两份报告主要针对的是人工智能对国家社会、经济可能产生的影响。《时刻准备着：为了人工智能的未来》介绍了人工智能的发展历史和在公共领域的应用现状，分析了政府在推动人工智能发展中应当扮演的角色，强调应充分重视人工智能在未来可能带来重大的影响和挑战，要求保持国内和国际两个维度、多主体间的密切合作。报告在最后，就研究、标准、政府应用人工智能、实践、监管政策、人员队伍建设等方面提出了建议。《人工智能，自动化和经济》是《为了人工智能的未来做好准备》的延续，针对人工智能对劳动就业的影响问题进行了展开，从生产力、劳动力等方面进行了分析，并就投资、培训以及工人转型过渡等方面提出了建议。

特朗普时代的美国人工智能政策

2018年3月，美国白宫科技政策办公室发布了《科学和技术要点——特朗普执政首年回顾》，该报告回顾了自2017年1月执政起，特朗普政府在科学和技术领域取得的重大成就。其中在人工智能领域主要包括四点：1. 消除自治系统商业化的监管障碍；2. 将无人机整合进国家航空系统；3. 实现自动驾驶汽车在美国道路上的安全部署；4. 利用机器学习改善医疗诊断。不难看出，特朗普政府对于人工智能的关注更多地集中在具体的应用和落地。虽然美国科技界对重视人工智能发展的呼声依然高涨，但美国从国家层面对人工智能制定的战略性政策目前依然停留在上文所述的三份战略上。

2.  英国

英国2016年先后发布了两份与人工智能相关的战略，分别是《人工智能对未来决策的机会和影响》和《机器人技术和人工智能》。2017年，英国政府将人工智能作为英国经济社会发展面临的四项挑战之一，写进了《产业政策：建设面向未来的英国》。2018年4月，包括英国在内的25个欧盟国家签署了人工智能合作宣言，随后欧盟委员会发布了《欧盟人工智能》草案。

《人工智能对未来决策的机会和影响》

由英国政府科学办公室发布，报告主要解释了人工智能的基本概念和应用现状，分析了人工智能应用将给英国政府和社会带来的益处，并就处理人工智能带来的道德和法律风险提出了建议。报告中重点关注了人工智能对个人隐私、就业以及政府决策可能带来的影响。虽然报告在最后并未提出十分具体的应对建议，但是报告明确英国政府应当以积极、负责的态度处理与人工智能相关的决策。并重申了人工智能发展过程中应当遵守现有法律规范，但对于有限的、受控的试错应抱开放态度。

《机器人技术和人工智能》

由英国下议院科学和技术委员会发布，报告主要关注英国机器人、自动化和人工智能产业整体，针对英国如何充分利用自身优势，把握产业发展过程中的机遇进行了分析。报告首先分析了人工智能给社会带来的影响，重点聚焦于对就业和教育的冲击。其次，报告分析了人工智能在安全和可控以及治理上的挑战。最后，报告确定了一份包括资金、领导者以及技术三个方面的2020的行动计划。

《产业政策：建设面向未来的英国》

由英国商务能源与产业战略部发布，报告阐明了英国围绕理念、就业、基础设施、商业环境以及地区发展五个方面的发展政策，目标是提高全英的生产力和收入水平。在该份战略中，人工智能和大数据与绿色发展、新型流动性以及社会老龄化一起被认为是英国未来发展面临的四项主要挑战。该战略在人工智能领域提出了四项优先目标：1. 将英国打造成为人工智能和数字经济的全球创新中心；2. 支持产业部门利用人工智能和数据分析技术提高生产力；3. 保持在安全和合理使用人工智能和数据上的世界领先，以增强公众和企业的信任和信心；4. 帮助公众发展适应未来工作需要的技能。

欧盟人工智能合作宣言与《欧盟人工智能》草案

2018年4月，包括英国在内的25个欧盟国家签署了人工智能合作宣言，宣言明确表示欧盟成员国将就提高欧盟在人工智能领域的竞争力以及协调处理人工智能带来的社会、经济、道德以及法律等问题开展合作。随后发布的《欧盟人工智能》草案以拥抱变革开篇，介绍了欧盟在全球人工智能竞争格局中所处的地位，并就推动欧盟人工智能发展提出了倡议。草案认为：首先，应推动欧盟技术和产业能力发展，以提高人工智能在各个经济领域中的利用；其次，应做好准备，以应对人工智能发展带来的社会经济变革；第三，应构建恰当的道德和法律框架，为人工智能的应用和发展提供可信任、可问责的环境；第四，在联合各成员国、各利益相关方，甚至国际社会各方力量，共同推进人工智能发展的过程中，欧盟可以、也应当发挥更加积极的作用。

二、美英人工智能发展战略中的信息安全

在美英两国的几份人工智能战略对信息安全均有涉及，虽具体表述不同，但大体逻辑基本一致，主要包括以下几个方面：

1、透明和可信

美英人工智能战略均将透明，作为人工智能安全和可控的首要指标。人工智能的透明性可以理解为人工智能行为的可解释性。目前基于包括深度学习在内的多种人工智能算法，对于用户来说均是不透明的，缺乏有效的机制对其行为进行解释。无法准确解释产生结果的原因就意味着无法对结果进行验证，这在很多关乎用户安全的领域，例如医疗、自动驾驶等，会使用户产生严重的不信任感。其中，《美国国家人工智能研究和发展战略计划》对人工智能应当达到的透明、可信进行了分析，认为系统的透明可信应当具体体现在以下几个方面中：1.  透明，即以用户可见的方式进行操作；2. 可信，即用户可接受的系统输出；3. 可审计，系统可评估；4. 可靠，系统按照用户期望行动；5. 可恢复，用户可在需要时恢复控制。虽然，透明、可信被认为是人工智能安全可控的首要因素，但美英两个的多份战略均承认，目前还没有科学有效的方法对人工智能的决策过程进行追踪和解释。

2. 可验证和可确认

可验证性和可确认性是透明和可信在逻辑上的自然延伸。人工智能系统需要新的方法来验证和确认，《美国国家人工智能研究和发展战略计划》认为“可验证”指确定系统满足正式规范，而“可确认”指确定系统满足用户的操作需求。安全的人工智能系统需要新的评估方法（确定系统是否发生故障，尤其当系统可能在预期参数以外运行时）、诊断方法（确定故障原因）和维修方式（调整系统以解决故障）。《机器人技术和人工智能》中则强调验证和确认的方法需要制度化，并强调目前尚没有有效的方法可以保证人工智能系统的测试和量化。

3. 道德和隐私

道德和隐私问题主要针对的是人们对数据密集型人工智能算法出错和滥用的敏感性，以及对性别、年龄、种族或经济类信息可能产生的影响所表达的担忧。其中，由于利用人工智能系统进行决策依赖于密集的数据收集和处理，并且这种工作是一种日常的、持续的。在这种情况下，大数据所带来的隐私保护和数据权属问题被放大，需要寻找新的平衡点。除去纯粹的数据相关问题，出现在人工智能设计上的更大的问题本质上是公正、公平、透明和负责。在这个问题上《机器人技术和人工智能》引用了谷歌相册软件将深色皮肤的人群标记为大猩猩的例子，意在说明技术上的偏差可能导致不安与仇视。《美国国家人工智能研究和发展战略计划》认为如何表示和“编码”人类价值和信仰体系是人工智能发展的重要研究课题。

4. 责任模式

对于责任模式担忧出现在《机器人技术和人工智能》中，指人工智能系统的设计者和部署者对于人工智能系统行为的结果应当承担何种责任。相比以上几个方面，责任模式的问题更加具有针对性，目前主要体现在关于自动驾驶汽车行驶过程中出现事故的责任分担上。

5. 安全防护和长期优化

《美国国家人工智能研究和发展战略计划》中强调了传统的网络安全在人工智能环境中可能带来的新的挑战。认为嵌入关键系统中的人工智能系统必须耐用、安全，以应付大范围的蓄意网络攻击。认为人工智能系统的应用将带来一些新的，独特的威胁形式。报告列举了一项名为“对抗机器学习”的研究项目，该项目通过“污染”训练数据、修改算法或通过对阻碍其得到正确识别的某一目标进行微小变化（例如，欺骗面部识别系统的假肢），以此来探索对人工智能系统的独特危害。报告认为在需要高度自主性的网络安全系统中实施人工智能是一个需要进一步研究的领域。同时，报告还强调，人工智能系统最终可能采取“循环自我改进”，即大量软件修改会由软件自身进行，而非由人类程序员进行。为了确保自我修改系统的安全性，需要进行额外研究来进行开发，例如建立自我监测架构通过设计者的原始目标来检查系统的行为一致性；或可证明的，能抵抗自我修改的价值架构等。

人工智能系统面临的一个个安全问题 反映出了技术和产业的不成熟，但不能据此将其妖魔化，否定人工智能发展的可能性。目前，关于人工智能治理的研究和讨论已经成为世界范围的热点。虽然离形成最终结论尚有距离，但已有研究报告提出了包括强化算法透明、明确告知义务、制定评测标准、限制应用领域、插入人工环节、创新法律责任等多种方案，试图解决人工智能发展带来的种种问题。

创新总是意味着产生新的问题，而这些问题最终同样需要通过创新解决。创新的挑战从来不在于创新本身，而是对能否有效适应新事物和解决新问题的考验。今天我们如何以审慎、包容和创新的态度面对人工智能发展带来的变化，是政府、社会、企业以及用户今天共同面临的课题。

（本文刊登于《中国信息安全》杂志2018年第5期）