文 | 上海交通大学网络安全技术研究院院长 信息内容分析技术国家工程实验室 李建华
随着人工智能和网络空间安全技术的飞速发展，这两个领域逐步交织融合。一方面，人工智能技术越来越成为网络空间安全技术难题的重要解决手段，网络安全领域的专家采用人工智能技术应对越来越复杂的网络攻击手段；另一方面，人工智能技术本身具有一定脆弱性，带来诸如对抗样本攻击等新的漏洞，甚至由于缺乏必要的约束机制，引发了人工智能技术威胁人类的担忧。习近平总书记指出：“没有网络安全，就没有国家安全。”近年来，人工智能也逐渐被提升到国家战略的高度。2017年，人工智能首次将被写入政府工作报告，提出要加快人工智能等技术的研发和转化。对这两个领域交融发展的梳理，有助于发现一些解决问题的新思路，更好地推动国家战略的实施。
基于人工智能的新型网络安全技术
近年来，网络空间安全威胁扩展到一些新的领域，形成了泛在的网络安全威胁，网络攻击手段空前复杂。
美国东部时间2016年10月21日7点10分-17点（北京时间21日19点10分-22日5点），黑客操控数百万网络摄像头及相关数字视频录像机（DVR）作为“肉鸡”，通过未来（Mirai）僵尸网络以分布式拒绝服务攻击（DDoS）劫持攻击方式瘫痪了美国主要域名服务器（DNS）供应商Dyn公司的服务器，导致包括推特（Twitter）、贝宝（Paypal）、声田（Spotify）、奈飞（Netflix）、爱彼迎（Airbnb）、极特软件源代码托管服务平台（Github）, 以及红迪网（Reddit）和《纽约时报》等在内的美国知名网站无法访问，半个美国陷入断网状态。
2017年，“想哭”（WannaCry）勒索软件对各个行业造成了巨大影响。它通过社会工程学尝试感染目标组织的环境，通常为带有恶意宏的Office文档附件的钓鱼邮件。一旦感染环境中的一台计算机后，该变种会尝试利用微软在MS17-010中修复的SMBv1的漏洞在内网主动传播。这一蠕虫行为，是真正让这一变种带来如此巨大影响的原因。
网络空间威胁朝泛化和复杂化的趋势发展，各类网络攻击也更加具有持续性和隐蔽性。传统的安全防护仅仅依靠部署于边界或特殊节点的防火墙、入侵检测系统、入侵防御系统（IPS）等安全设备进行的静态控制被动式防御已不再适用于高级持续威胁（advanced persist threat，APT）、零日（0day）攻击等新型网络安全威胁的防护，亟需对传统的安全防御方式进行优化和改进，形成智能化的防御体系，应对多样化和持续化威胁。
人工智能技术被网络安全领域的专家用来应对越来越复杂的网络攻击手段。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。它企图了解智能的实质，并生产出一种能以人类智能相似的方式作出反应的智能机器。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但是，能像人那样思考，也可能超过人的智能。人工智能涉及计算机、通信、数学、认知、心理等交叉学科。从终端、网络到云端，人工智能推动了各类软件硬件技术架构的革新，催生了众多新兴应用和服务。
人工智能可以被用于用户行为分析、网络流量分析和入侵检测、网络终端反恶意软件、Web 应用防火墙或数据库防火墙、以及商业流程反欺诈检测等。人工智能成为网络安全人员的辅助工具，基于人工智能技术的网络安全自动化分析能够在海量信息中筛选出有价值的信息，极大降低安全人员的工作压力，提高其工作效率。基于人工智能的漏洞挖掘技术，同样也可以被用于软件的恶意攻击过程，还可以实现漏洞修复与攻防对抗。
人工智能在网络安全领域得到应用，并且取得很多成功的案例。英国网络安全服务提供商旺德拉（Wandera）被认为是移动威胁检测和防御市场的领导者。旺德拉于2017年发布了它的威胁检测引擎米蓝（MI:RIAM）。据报道，它检测到400多种针对企业移动车队的重新包装的司洛克（SLocker）勒索软件。麻省理工学院的计算机科学和人工智能实验室（CSAIL）于2016年开发了一个称为AI2的系统，这是一个自适应机器学习的安全平台，帮助分析师做那些类似“大海捞针”的工作。AI2每天检查数百万次登录，系统能够过滤数据并将其传递给人类分析师，从而将警报降低至每天大约100次。由计算机科学与人工智能实验室CSAIL和初创公司PatternEx进行的实验表明，攻击检测率升至85％，误报率降低5倍。
人工智能面临的安全问题
人工智能技术在很多领域取得了成功，但是，也引发了人们的担忧。2017年5月，阿尔法狗（AlphaGo，或译“阿尔法围棋”）的出现让人工智能成为公众热议的话题。在与围棋世界冠军柯洁历经了约3个半小时的对弈后，执黑的阿尔法中盘获胜，而柯洁投子认输。尽管柯洁当时等级分世界第一，比赛中的表现也相当精彩，但是，在人机大战中仍处于绝对弱势。阿尔法狗的获胜，引发了大家对人工智能的好奇，同时，也增加了对人工智能发展的担忧与恐惧。
人工智能自身存在脆弱性和不完整性，传感器欺骗、软件缺陷、数据投毒、系统安全、网络安全都会给人工智能在应用过程中造成不可逆的安全威胁。人工智能的算法也存在安全风险，主要表现在：算法设计或者实施有误，如算法目标函数有误、目标函数计算成本过高或者算法模型表达能力有限；算法对数据的依赖，例如，算法模型性能对训练数据与质量存在较强依赖性、含有噪声或偏差的训练数据可影响算法模型准确性；对抗样本攻击可诱使算法识别出现误判漏判，产生错误结果，包括逃避攻击和模拟攻击；算法潜藏偏见和歧视，决策结果可能存在不公，例如，算法设计者价值观影响或者训练数据本身带有歧视性；算法黑箱造成监管困境和决策争议，例如，算法拥有者不愿公开、社会公众不能理解或者开发者也无法解释。
对抗样本是人工智能应用受到的主要威胁之一。对抗样本是通过对被检测样本进行微小的改动从而欺骗人工智能识别的技术。从网络安全领域看，通过对恶意代码插入混淆操作就有可能对人工智能产生欺骗。网络犯罪分子采用各种手段，例如，对代码采取各种混淆或加密，甚至利用现有人工智能的缺陷生成对抗样本进行攻击。由于目前的人工智能技术仍然处于黑箱状态，并不能从理论上杜绝对抗样本的攻击。
2017年，密歇根州华盛顿大学以及加州大学伯克利分校的研究人员表示，通过进行小幅调整停止标志，他们可以使自动驾驶汽车的计算机视觉算法不可见。这意味着，黑客可以强迫自动驾驶汽车以危险的方式行事并可能导致事故。人类驾驶员会注意到“被黑”的停车标志，但是，神经网络可能完全失明。这意味着，黑客可以强迫自动驾驶汽车以危险的方式行驶并可能导致事故。
人工智能算法的漏洞可以被恶意利用，从而使人工智能应用偏离原先的设计。微软的智能聊天机器人Tay，最初被设定为一个年龄19岁的少女，具有一些幽默机制，适合和18至24岁的用户聊天。万万没有想到的是，Tay在 Twitter 上线没几天就“误入歧途”甚至出现偏激言论，而这正是源自一些不良网民利用人工智能系统的漏洞而进行的一场恶搞。此次这个学习漏洞在于“Repeat After Me”机制，只要对Tay提到这句话，Tay就会将对方的话进行重复，因此，不管是何种偏激的种族主义语言，都会被Tay重复，这个状况像滚雪球一样大量出现在Tay的Twitter上，由于偏激言论不断出现，最终导致微软关闭了Tay。
作为人工智能发展核心的算法和数据都存在潜在的安全问题，会导致人工智能决策的风险。从编程的角度看，任何的代码都是由人编写，因此，无法确保程序完全安全、可靠、可控和可信。从数据角度看，人工智能依赖大数据，同时，数据的质量也会影响算法的判断。军事数据获取、加工、存储和使用等环节都存在一定的数据质量和安全风险，从而增加军事领域使用人工智能的安全风险。伴随着人工智能武器的开发，国际社会面临的另一大难题就是反扩散问题，恐怖主义组织以及不负责任的国家获取人工智能武器并威胁国际安全和平。人工智能从某种意义上而言，也是一种程序和软件，因此，它面临的扩散风险要远远大于常规武器。类似于美国国家安全局的网络武器库被黑客攻击，并且在暗网交易，最后被黑客开发为勒索病毒的案例，也有可能在人工智能武器领域重现。
针对人工智能的安全性问题，需要构建安全的机器学习方法。目前，已经有很多这方面的安全机器学习算法被提出，包括使用多个分类器的技术、使用具有隐私保护能力的机器学习算法、博弈论理论在数据挖掘中的应用等。最典型的例子，就是搜索引擎的排名算法。过去，这个算法常常被搜索结果优化服务商所欺骗，甚至形成了一个具有规模的产业；现在，搜索引擎的排名算法已经考虑了这方面的问题，对抗相关排名优化的机制能力比以前强得多。在网络安全领域，更安全的机器学习算法，将会很快得到广泛的应用。
对人工智能和网络空间安全交融发展的思考
人类历史上每一次重要的飞跃式发展都由颠覆式创新技术引领，像蒸汽机、电力、信息化等。人工智能所带来的智能化将会引领下一次变革。为了更好地推动和实施国家战略，抓住新技术带来的机遇，必须要加强跨领域的技术革新。人工智能和网络信息安全两大领域的交叉融合发展，有利于推动相关前沿科技和产业的加速发展。
第一，用人工智能构建“智慧”安全解决方案。在网络空间威胁朝泛化、复杂化的发展趋势下，各类网络攻击手段更加具有持续性和隐蔽性，网络空间安全亟需智能化的安全技术。在这方面，人工智能可被用于用户行为分析、入侵检测、反欺诈活动、威胁情报处理等过程。深度学习等人工智能技术可以用来构建网络安全智能模型，以实现恶意软件分类、入侵检测和攻击智能感知。
第二，人工智能所带来的新问题要靠人工智能自身解决。人工智能算法目前所遭受的对抗样本攻击，主要还是由于算法本身的脆弱性和不完整性造成的。人工智能算法在很多单一方面已经超过人类，不太可能在人工智能之外找到解决人工智能领域问题的手段。人工智能模型需要特定的网络安全防御和保护技术，以对抗敌对的机器学习，同时，保护机器学习中的隐私、保障联合学习的安全等。
（本文刊登于《中国信息安全》杂志2019年第7期）
声明：本文来自中国信息安全，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
