作者简介
宁庭勇
云赛智联股份有限公司技术分公司架构师，主要研究领域为云计算、网络安全、人工智能等。
熊 婕
云赛智联股份有限公司技术分公司城市规划师，主要研究领域为智慧城市顶层规划、云计算、大数据等。
胡永波
云赛智联股份有限公司技术分公司副总经理，主要研究领域为智慧城市顶层规划、大数据等。
论文引用格式：
宁庭勇, 熊婕, 胡永波. 人工智能应用面临的安全威胁研究[J]. 信息通信技术与政策, 2021,47(8):64-68.
人工智能应用面临的安全威胁研究
宁庭勇 熊婕 胡永波
（云赛智联股份有限公司，上海 200233）
摘要：当前自动驾驶技术、智能助理、人脸识别、智能工厂、智慧城市等人工智能技术已广泛落地，但相关领域安全事件的快速增长，使得消费者和业界对人工智能网络安全问题和威胁的关注度也在不断提高。人工智能应用的安全与智能化应用所带来的红利，犹如一个硬币的两面，永远同时存在且重要性凸显。通过对近年来人工智能安全的政策、技术发展特点及人工智能应用落地所面临的安全威胁进行探讨，提出了一套可参考的安全框架和落地实施方法。
关键词：人工智能；模型安全；数据安全；人工智能安全；可信人工智能
中图分类号：TP393.08 文献标识码：A
引用格式：宁庭勇, 熊婕, 胡永波. 人工智能应用面临的安全威胁研究[J]. 信息通信技术与政策, 2021,47(8):64-68.
doi：10.12267/j.issn.2096-5931.2021.08.010
0 引言
纵观当今社会，人工智能（Artificial Intelligence，AI）已广泛渗透经济生产活动的各个环节。AI将催生新技术、新产品、新产业、新业态、新模式，实现社会生产力的整体跃升，推动社会进入智能经济时代。目前，我国大型企业基本都已在持续规划投入实施AI项目，已有超过10%的企业将AI与其主营业务相结合，实现产业地位的提高和经营效益的优化[1-2]。虽然AI技术已经开始在众多行业中找到落地场景，成为助推传统业务数字化转型的重要工具，但AI技术在工程化和应用落地过程中还面临诸多挑战[3]。例如，产品能力参差不齐、缺乏行业基准和标杆、用户选型存在困难、由算法缺陷和应用安全隐患所衍生的安全事件频发等，这些问题制约了AI技术产业的深入发展。
1 人工智能领域应用面临安全考验
1.1 安全现状
根据艾瑞咨询研究院的报告[2]，过去几年AI安全研究论文呈现爆炸式增长。近两年，全球政府、学术界和工业界发布的AI安全性方面的研究论文多达3500 篇[2]，美国、中国、欧盟之间的激烈竞争预计将在可信AI竞赛中继续。现实中的AI安全事件正在快速增长，尤其在汽车、生物识别、机器人技术和互联网行业。作为AI的早期采用者，最受关注的行业是互联网（23%）、网络安全（17%）、生物识别技术（16%）和自治（13%）[1-2]。AI行业对于现实世界的黑客攻击还没有做好充分的准备，60种最常用的机器学习（ML）模型平均至少有一个安全漏洞[4]。
1.2 芯片、算法和数据的安全可控变得十分重要
随着近5年AI渗透率在各行业的提升，AI的局限和问题逐渐暴露，如对抗样本带来的安全隐患、原理不可解释等。能真正落地，并用于关键应用场景的AI方案必须是安全、可控、可理解的，否则很难说服用户买单，尤其是企业级、政府级客户。国内近些年在AI安全标准方面建树不少。中国信息通信研究院自2018年就启动了AI第三方评测工作[3]，针对产业实际问题,建设权威的测试数据集和软硬件环境，牵头完成AI评测标准体系，其中《ITU-T F.748.11（2020）》是国际首个AI芯片评测标准；2018年7月，中国电子工业标准化技术协会发布由中国人工智能开源软件发展联盟起草的《T/CESA 1026-2018人工智能深度学习算法评估规范》团标；2021年3月，中国金融标准化技术委员会正式发布了由中国人民银行提出的《人工智能算法金融应用评价规范》（JR/T 0221-2021）行标。这些研究和标准研究机构正在从芯片、算法、应用等各个层面不断地给与市场指导规范。
1.3 人工智能的发展也在改变网络安全的发展
AI技术的发展在很大程度上也改变了原有的网络攻防模式，自动化攻防的出现更是加速了整个网络空间安全领域的发展。AI与安全是相辅相成的关系，AI的应用给网络空间赋予了新的内涵，网络安全和大数据技术的进步也能让AI在更多的领域得以应用 [5]。国内主要的安全厂商如安恒信息、深信服、360等都先后在自身的安全产品中加入了大数据和AI技术用以抗衡网络攻防中巨量数据分析和攻击特征识别等问题。
2 人工智能应用安全架构
2.1 人工智能技术应用所面临的安全问题类别
从AI产业层次来看，AI分为基础能力层、感知与认知技术层、领域应用赋能层 [6]。基础层主要是AI的三大基本要素，即算力、算法和数据 [7]；技术层主要是基于AI的研究方向分类，主要分为感知类技术和认知类技术；应用层主要为AI技术落地在各领域智能化场景实现AI赋能，具体参见图1。
图1 人工智能产业发展技术层级
整体上看，AI系统面临以下几个方面的安全挑战：从软件及硬件方面来看，理论上应用、模型、平台和芯片的编码都可能存在漏洞或后门，一旦攻击者发现，则能够利用这些漏洞或后门实施高级攻击。从算法模型方面来看，攻击者同样可能在模型中植入后门并实施高级攻击，由于部分模型的不可解释性，在模型中植入的恶意后门会很难被检测。在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望暴露自己训练的模型，但通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息，甚至可以训练出对抗样本用以攻击原有模型。同样，如果训练模型时的样本覆盖性不足，会使模型鲁棒性不强，当面对恶意样本攻击时，模型也会无法给出正确的判断结果。从数据安全方面来看，如果攻击者能够在训练阶段掺入恶意数据，则会影响模型推理能力，如果攻击者在推理阶段对要判断的数据加入少量噪音，就会产生刻意改变判断结果的严重问题。在用户提供训练数据的场景下，攻击者有可能通过反复查询训练好的模型获得用户的隐私信息进而产生敏感数据泄露的问题 [8]。以上这些问题有的存在于基础层，有的存在于技术层面，大部分都是在应用层使用后暴露出来，如近年来特斯拉自动驾驶发生的Autopilot安全事故 [9]，有很大一部分都是训练样本不足或现实环境中的对抗样本识别出现偏差后造成的严重后果。
面对如上众多而又广泛的安全问题，AI系统部署到业务场景时需要在三个层次实施防御和安全增强。一是注意对已知攻击进行有针对性地防御；二是通过各种措施提升模型健壮性；三是使用数据安全技术保证数据的安全和隐私保密；最后，就是在模型部署的业务中设计各种安全机制保证架构的安全。参考AI应用架构，其主要分为模型训练环境和生产环境两个部分，一般情况下两个环境是相对隔离并运行在不同的物理或云环境中（见图2）。
图2 人工智能应用架构
2.2 人工智能训练环境中的安全威胁
在训练环境中，样本数据准备环节要防范数据投毒攻击以造成模型倾斜，为模型提供可解释性样本数据的同时要注意反馈机制规避虚假数据导入，并要保证系统的数据自洽性；在模型训练环节，要防止闪避和后门攻击，同时在模型设计方面要保证模型的可验证性及样本数据足够完整，并要充分考虑数据噪声，训练出足够健壮的模型；训练出的推理模型要针对模型窃取攻击进行测试和验证，并对模型的可解释性进行充分的分析，同时针对应用场景需求，可以设计多个模型进行适配。
2.3 人工智能推理环境中的安全威胁
在生产环境中，数据采集环节要防止数据过度采集，对个人属性的生物特征，如人脸、指纹、声音等信息要适度进行脱敏或转换后再进行利用，在数据传输和应用环节可适当采用数据加密技术和访问控制手段进行保护；在业务系统模型管理方面，要有专门的模型仓库管理和监控机制，要保障模型的安全访问和使用情况审计，对每个不同的模型实例都要有详细的访问控制和调用的日志管理；在最终的业务逻辑中，在满足业务稳定运行的条件约束下，系统需要分析识别最佳方案并发送至控制系统进行验证并实施。通常业务安全架构要对各个功能模块进行隔离，并设置对模块之间的访问控制机制，以减少攻击程序针对推理程序的攻击面。在业务系统中，使用持续监控和攻击检测程序，用以综合分析系统安全状态，给出当前威胁风险级别。当威胁风险较大时，综合决策可以不采纳自动系统的建议，将最终控制权交回界面，通过人员判断保证在遭受可疑攻击情况下的可控性。在业务系统进行关键操作时，业务程序要对AI推理给出的分析结果进行确定性分析，当确定性低于阈值时交回界面人工处理。在业务模型可选的情况下，可以搭建业务“多模型架构”，通过对关键业务部署多个AI模型，避免单个模型出现异常时不影响业务最终决策，从而提升整个系统的强壮性。
3 人工智能应用安全生命周期
为了应对AI应用所面对的各种威胁，笔者建议使用AI安全生命周期框架来启动AI应用安全计划（见图3）。
图3 人工智能应用安全生命周期
在AI应用安全生命周期中，4个区域代表了AI系统从开始规划设计到部署应用成熟使用的各个阶段，并不断循环进行持续改进。这些步骤从基本到复杂依次进行，后面的步骤依赖于前面的结果。AI生命周期参考了NIST网络安全框架和Gartner的自适应安全架构（网络安全生命周期管理的流行参考框架）。
3.1 识别阶段
该阶段的目标是通过资产管理、威胁建模和风险评估活动了解当前人工智能安全态势。其行动为：通过资产管理，识别和记录所有使用的人工智能模型、数据集、云平台和供应商；通过威胁建模，了解破坏模型、数据集、环境和供应链的风险；通过风险评估，执行安全审计并确定模型、数据集和其环境中的漏洞优先级。
3.2 保护阶段
该阶段的目标是实施保护性控制，如安全意识、系统强化和安全人工智能开发实践。其行动为：通过建立安全意识，从管理、产品安全和人工智能开发等各方面对利益相关者进行安全风险教育；使用模型强化措施，对模型的攻击应用进行安全防御，确保安全输入，防止数据外泄；通过安全开发，完善应用程序安全的常规流程，涵盖从开发到落地的整个过程。
3.3 检测阶段
该阶段的目标是通过定期渗透测试，验证安全监控和威胁检测系统抵御主动攻击。其行动为：通过安全监控，收集和分析来自业务系统中推理业务的事件和异常，如访问、错误和度量问题；通过威胁检测，检测并阻止针对业务系统机密性、完整性和可用性的对抗性攻击 [10]；通过渗透测试，进行红蓝对抗演习，以评估系统的稳健性，并检查检测和响应控制机制是否可靠。
3.4 响应阶段
该阶段的目标是通过引入调查、遏制实践、缓解工具、技术和程序，为人工智能安全事件做好准备。其行动为：通过特征提取，建立人工智能安全事件分类、影响分析和技术调查的专业知识；通过事故响应，制定事故控制和与利益相关者沟通的行动指导手册；通过建立应急预案，改善技术控制和组织政策，以减少重复发生人工智能安全事件的机会。
4 结束语
综上所述，人工智能应用的大规模普及和发展需要很强的安全性保证。本文主要从当前人工智能应用所面临的主要安全威胁进行分类描述，对人工智能应用落地的训练和推理环境所面临的三大安全威胁进行了剖析。最后，结合安全领域的现有经验，提出了人工智能应用安全生命周期的阶段和具体方法论，供业内实施人工智能应用时予以参考。
参考文献
[1] Adversa. 人工智能面临十大安全威胁[EB/OL]. (2021-04-27)[2021-05-10]. https://zhuanlan.51cto.com/art/202104/659922.htm.
[2] 艾瑞咨询研究院. 2020年中国人工智能产业研究报告[EB/OL]. 2020[2021-05-10]. http://report.iresearch.cn/report_pdf.aspx?id=3707.
[3] 中国信息通信研究院. 中国信通院2021年首批“可信AI评测”正式启动,即可报名![EB/OL]. (2021-02-08)[2021-05-10]. https://www.sohu.com/a/449513509_735021.
[4] Adversa. The road to secure and trusted AI[EB/OL]. (2020-09-01)[2021-05-10]. https://adversa.ai/reportsecure-and-trusted-ai/.
[5] 陈映村. 浅谈人工智能在计算机网络领域的应用[J].数码世界, 2017(11):186.
[6] 秦健, 刘鑫. 人工智能专利技术市场运营的风险与应对[J]. 电子知识产权, 2019(2):66-71.
[7] 胡文颖. 回顾人工智能以史为镜, 正视未来[J]. 通信世界, 2018(20):30-31.
[8] 华为技术有限公司. 华为AI安全白皮书[R], 2018.
[9] 雷锋网. 特斯拉Autopilot 系列事故最详细梳理|系列之一[EB/OL]. ( 2017-03-31)[2021-05-10]. http://www.sohu.com/a/131377916_114877.
[10] 方滨兴, 时金桥, 王忠儒, 等. 人工智能赋能网络攻击的安全威胁及应对策略[J]. 中国工程科学, 2021,23(3):60-66.
Research on security threats of AI application landing
NING Tingyong, XIONG Jie, HU Yongbo
(Inesa Intelligent Tech Inc., Shanghai 200233, China)
Abstract: With the rapid popularization of automatic driving technology, intelligent assistant, face recognition, intelligent factory, smart city and other AI Artificial intelligence technologies and the rapid growth of related security incidents, consumers and the industry are paying more and more attention to AI network security issues and threats. The security of artificial intelligence applications and the dividends brought by intelligent applications, like two sides of a coin, always exist at the same time and the importance is highlighted. This paper discusses the development process of AI security in recent years and the security threats faced by AI application landing, and puts forward a set of reference security framework and landing implementation methods.
Keywords: artificial intelligence; model security; data security; artificial intelligence security; trusted artificial intelligence
本文刊于《信息通信技术与政策》2021年 第8期
声明：本文来自信息通信技术与政策，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
