文 | 中国科学院成都文献情报中心 徐婧

所谓人工智能，即让人所创造的机器或人工系统模拟人类智能，包括模拟人类计划、学习、语言、感知、情感、意念表述等方面的能力。人工智能概念于1956年首次被提出，期间，几经起落。在经历了60年的发展后，人工智能进入爆发式增长期，已成为推动新一轮科技革命和产业变革的驱动力。根据普华永道的一份报告预测，到2020年，人工智能所带来的生产率和消费者需求将使全球GDP增长14%（相当于15.7万亿美元）。

然而，技术的进步往往是一把“双刃剑”，一方面，人工智能已为科学发展和社会发展的方方面面带来了很多有益的应用，特别是在网络安全领域，有望开辟出一条新的路径；另一方面，人工智能正在改变国家、机构和个人未来的安全远景，包括人工智能自身存在的各种安全问题以及人工智能被滥用而产生的安全问题。

一、人工智能已成为国家安全重要影响因素，捍卫网络空间需要人工智能

人工智能可能会成为21世纪最重要的全球性问题之一，人类的未来将很大程度上受到如今我们对待人工智能安全所采取措施的影响。因此，也不难解释，近年来，国际国内无论是政府机构还是专家组织，都在积极探索问题并寻求解决方案。2018年2月，由来自14家业界、学术界机构的26名人工智能专家共同撰写的《人工智能的恶意使用：预测、预防和缓解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation）报告指出，人工智能现存和未来五年内可能会带来三大方面的威胁，即数字威胁、物理威胁和政治威胁。中国信息通信研究院于2018年9月发布的《人工智能安全白皮书》，将人工智能的安全风险分为网络安全风险、数据安全风险、算法安全风险、信息安全风险、社会安全风险和国家安全风险。2019年1月，美国国会咨询机构——国会研究服务部（CRS）更新《人工智能与国家安全》（Artificial Intelligence and National Security）报告，分析了人工智能在军事上的应用、挑战以及其风险。2019年2月，美国加州大学伯克利分校长期网络安全中心的《面向AI安全：更健全的未来全球愿景》（Toward AI Security Global Aspirations For A More Resilient Future）报告指出，未来人工智能安全主要包括四个方面：数字/物理安全、政治安全、经济安全和社会安全。2019年4月，欧盟人工智能高级专家组正式发布《人工智能伦理指南》（Ethics Guidelines for Trustworthy AI）探讨了“可信赖人工智能”的7个关键条件。

无论是从政治、经济和社会安全还是从数字安全角度考虑，人工智能已经成为影响国家安全的重要因素，这一因素的重要性已经受到各国政府包括国防部门的密切重视。美国网络司令部司令曾直言不讳地解释网络空间与人工智能的关系：网络空间仅仅依靠人类智能是一种“失败的策略”，若不能在捍卫网络空间时使用某些级别的人工智能或机器学习技术，学习网络空间大规模行动数据，则必然会落后于对手。

2019年2月公布的《2018年美国国防部人工智能战略摘要》（Summary Of The 2018 Department Of Defense Artificial Intelligence Strategy）指出，人工智能是未来确保美国能够赢得战斗和战争的关键技术之一，国防部要加速拥抱该技术。美国情报机构认为，人工智能等新兴技术提升了竞争对手的军事和情报能力，目前，各国正加速开发对国家安全具有重大影响的高性能、具备特定用途的人工智能系统。事实上，根据美国国会咨询机构今年1月的报告《人工智能与国家安全》（Artificial Intelligence and National Security）显示，美国国防部和其他国家正在开发一系列军事人工智能应用。人工智能正被广泛应用于情报收集和分析、物流、网络作战、信息作战、指挥控制以及各种半自主和自主车辆领域，美国军方也已将“算法战争混合任务团队”（代号Maven计划）的多种人工智能技术部署到伊拉克和叙利亚的军事行动中。

各国政府都已意识到人工智能技术的重要作用，积极投入资源开展部署。截至2019年2月，至少有27个国家制定了人工智能相关的战略或计划，与此同时，人工智能的相关投入也在大幅增长。美国于2019年2月11日签署名为《保持美国在人工智能领域领导地位》的行政令（Executive Order on Maintaining American Leadership in Artificial Intelligence），宣布启动“美国人工智能行动计划”（American AI Initiative），旨在通过国家级战略加速推动人工智能发展、维护其国家利益。美国防部紧随其后也推出国防部人工智能战略，认为人工智能可以用于决策和作战，加强关键基础设施防御，简化工作流程等方面。欧盟在2018年4月出台人工智能政策文件《欧洲人工智能》（Artificial Intelligence for Europe），希望联合各成员国和私企加大投资力度，力争使欧盟到2020年总投资达到200亿欧元，同时兼顾制定恰当的伦理和法律框架。中国于2017年7月推出《新一代人工智能发展规划》，力争到2030年达到世界领先水平。新加坡政府于2019年3月计划额外投入5亿新元（约合人民币24.8亿元）用于提升新加坡的核心数字技术，其中人工智能是其重头戏。俄罗斯计划于2019年6月中旬完成人工智能国家战略的制定，以加强对人工智能等产业的投资和支持。

二、人工智能网络安全风险已然显现

人工智能的网络安全风险存在于两个方面，一是人工智能自身存在的安全问题，包括人工智能会带来信任问题、隐私数据窃取问题、自身漏洞被攻击等问题。二是人工智能滥用引发的安全隐患，包括深度造假、大规模高效率攻击等。

1. 人工智能自身安全问题

一项技术必然有其自身存在的脆弱部位，人工智能技术也难于幸免。

人工智能学习框架和组件存在安全漏洞风险，国内网络安全企业的研究团队曾屡次发现TensorFlow和Caffe等软件框架及其依赖库的安全漏洞，这些漏洞可被攻击者利用进行篡改或窃取人工智能系统数据和信息，导致系统决策错误甚至崩溃。

人工智能存在可靠性问题。人工智能的开发和训练可能有误，导致人工智能决策失误或意外故障。例如，2018年3月，一辆正在进行自动驾驶测试的优步（Uber）撞死了一名正在推行自行车穿越马路的女子。后续分析报告显示，自动驾驶系统未能正确分类物体，在撞击前尝试紧急制动之前的1.3秒中曾多次改变分类。2016年11月，在深圳举办的中国高新技术成果交易会上，一个名叫小胖的儿童机器人突然原因不明反复撞击展台，造成一人受伤。

人工智能还容易受到外界的欺骗。人工智能依赖对大量样本数据的学习，如果样本数据不规范或有错误，人工智能则很可能被外界的信息欺骗。已有安全专家发现，黑客可以通过篡改数据集或现实环境攻击人工智能，使之做出完全错误的决策。例如，2017年12月，麻省理工学院的计算机专业学生在并不知道人工智能算法代码的情况下，对人工智能进行操纵，让谷歌云视觉AI项目将“机枪”错认成了“直升机”。

2. 人工智能滥用的安全隐患

人工智能在科技、社会等方面都有很多有益的应用，然而，其滥用的危害同样不可小觑。

人工智能可以被武器化并用于加强和升级网络攻击。传统网络攻击中，攻击规模和攻击效率难以兼顾，而使用人工智能自动执行网络攻击在很大程度上可以兼顾这两个方面。有专家指出，人工智能可用于实现真正大规模的攻击自动化，还可以降低攻击成本。

“深度造假”是指利用人工智能技术可以制作超写实的视频或音频记录，将一个人的动作和语言叠加到另一个人身上，逼真地伪造出某人似乎在做或说他们实际上没有做的事情。这项技术已经被各国专家关注，并认为其可能造成煽动政治暴力等严重后果，而人工智能技术的加入使深度造假难以检测。

人工智能还能帮助黑客更方便地绕过传统的安全工具，例如，名为DeepLocker的新型攻击工具能够绕过传统的安全工具，在设备中安装勒索软件或其他恶意软件。

人工智能会加大隐私泄露风险。人工智能可实现大量多维度数据的深度挖掘分析，甚至是进行数据的再学习和推演，导致现行的数据匿名化等安全保护措施无效。剑桥分析公司就是通过关联分析的方式获得了海量的美国公民用户信息，借此实施各种政治宣传和非法牟利活动。

三、人工智能有望开辟网络安全新路径

人工智能技术可增强网络安全人员应对威胁的能力，提升网络空间适应能力。传统的网络安全工具仅能抵抗已知的恶意代码，黑客只需要一小部分代码便可绕过防御，而基于人工智能的工具可通过训练检测更广泛的网络活动模式中的异常，从而提供更全面和动态的保障。人工智能已经被证明是最有效的网络安全检测技术，机器学习在检测未知威胁上表现格外出色。人工智能的进步催生了更智能和更自主的安全系统。通过机器学习，这些系统可以在无人工干预的情况下自行学习并自我改进。

事实上，基于人工智能的网络安全防护应用已成为网络安全产业发展的重点方向，应用场景日益广泛，市场前景广阔。据美国网络安全研究公司Cybersecurity Ventures发布的《2019年度网络犯罪官方报告》（Official 2019 Annual Cybercrime Report）预计，到2021年，网络犯罪数量将增加三倍，市场将缺少350万名网络安全从业人员。严重的人员缺口为AI解决方案创造了机遇，人工智能将有助于威胁检测和响应的自动化。此外，人工智能可以减轻安全从业人员的负担，自动执行重复性、繁琐的任务。

被誉为美国技术创新摇篮的国防高级研究计划局（DARPA）已经明确，要在2018年至2022年间投入20亿美元发展第三代人工智能技术，而其网络安全项目研究也反映出向智能化发展的趋势，已开展的项目中不乏相关技术应用，社会工程主动防御（ASED）项目和人机探索软件安全（CHESS）项目，即是其中的代表。ASED项目在过去两年已投入2500多万美元，并将在2020年继续投入1300万美元。该项目利用机器学习技术训练智能机器人，从而自动识别攻击者并对其进行主动攻击。如果项目成功，ASED将显著降低对手发动的社会工程攻击的有效性。CHESS项目则是为了突破漏洞识别问题中的人工操作效率局限，将人类专家的经验与计算机的高效优势结合起来，开发人机协同的推理软件，从而更加高效地发现漏洞。此外，美国国税局网络安全部门也正在打造基于人工智能的解决方案，通过持续学习，提供跨网络的网络威胁实时监控。

四、总结

近年来，人工智能的飞速发展给网络安全带来的不尽的挑战，需要我们保持警惕并做到未雨绸缪。与此同时，我们也要看到，人工智能也给网络安全注入了新活力，带来了新的创新路径。

（本文刊登于《中国信息安全》杂志2019年第7期）

声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。