前言
随着人工智能技术的发展，人工智能安全技术也呈现出创新发展的态势。人工智能安全技术，包括针对人工智能自身的攻防技术和基于人工智能的攻防技术。本文基于对近2年网络空间安全领域顶级会议技术成果的全面深入分析，从攻击人工智能的技术、防护人工智能的技术、基于人工智能的攻击技术以及基于人工智能的防护技术四个方面，研究了人工智能安全技术的最新进展，供大家参阅。
一、攻击人工智能的技术
1. 对抗样本技术
2020年以来，对抗样本技术的发展重点在于不断将对抗样本扩展至音频、软件等非图像领域，以及不断降低黑盒场景下的样本生成代价。
2020年8月，出现了一种对黑盒商用自动语音识别系统进行对抗样本攻击的技术[1]，利用与目标无关的白盒模型增强近似于自动语音识别系统的替代模型，自动生成音频片段作为对抗样本，大多数攻击的开发只需4.6小时的训练数据，就可以确保将几乎100%的目标命令成功转换为可用的对抗样本。
2.机器学习模型窃取技术
2020年以来，机器学习模型窃取技术的发展重点在于不断降低窃取成本，以及探索新型窃取渠道。
2020年2月，出现了一种通过利用对抗样本、迁移学习等机制进行模型窃取的攻击技术[2]，能够以比此前技术少得多的成本，成功对Microsoft、Face++、IBM、Google以及Clarifai等的真实商用系统进行模型窃取攻击，窃取获得几乎与原模型性能相当的模型。
3.木马后门攻击技术
2020年以来，木马后门攻击技术的发展重点在于构建能够躲避当前先进检测技术的更隐蔽的木马后门。
2020年11月，出现了一种通过利用现有多个标签的良性特征组成的木马后门技术[3]，能够躲避当前最先进的木马后门扫描器。一个带有合成后门的神经网络在良性数据上可以达到与其原始版本相当的精度，当输入中存在复合触发器时，就会出现误分类。
4.数据中毒技术
2020年以来，数据中毒技术的发展重点在于针对自然语言处理、联邦学习等重要人工智能应用，构造针对性的、高效的数据中毒攻击。
2021年2月，出现了一种针对联邦学习的模型中毒攻击的通用框架[4]，利用该框架所构造的数据中毒攻击，效能大幅超越了此前的中毒攻击，新攻击比此前的攻击技术能够使模型准确率下降1.5至60倍。
5.数据泄漏攻击技术
2020年以来，数据泄漏攻击技术的发展重点在于不断探索、发现与利用新的数据泄漏渠道。
2020年11月，出现了一种嵌入模型的数据泄漏攻击技术[5]，通过三类攻击导致嵌入模型泄漏信息，表明嵌入向量可以反转以部分恢复输入数据，通过仅在少数标记的嵌入向量上训练推理模型，即可轻松提取诸如文本作者身份之类的属性信息。
二、防护人工智能的技术
1. 对抗样本防御技术
2020年以来，对抗样本防御技术的发展重点在于针对不同应用领域特点，构建针对性的高效的鲁棒训练方法，提升人工智能在遭遇对抗样本攻击时的鲁棒性。
2020年8月，出现了一种具有鲁棒性验证能力的PDF恶意软件分类技术[6]，通过将鲁棒性可形式化验证训练应用于PDF恶意软件检测，从而提高PDF恶意软件检测在面临对抗样本攻击时的效能，能够实现92.27%的PDF恶意软件检测鲁棒性，同时保持99.74%的检测准确率和0.56%的误报率，并且大幅增加攻击成本。
2.毒化数据检测技术
2020年以来，毒化数据检测技术的发展重点在于根据具体应用对数据完整性的要求以及与数据应用中系统不变量的特征，构建高效的异常数据检测机制。
2020年8月，出现了一种针对无人系统注入信号的高效检测技术 [7]，通过使用常见物理不变量，基于离线系统识别方式，根据CUSUM算法，运用隐蔽攻击评估异常检测工具的有效性，从而找到防御弱点，可检测到更多攻击，速度更快且误报率更低。
3.安全计算技术
2020年以来，安全计算技术的发展重点在于将同态计算、联邦学习等机制融入机器学习，将其应用于计算流程，从而能够达到安全计算所要求的数据隐私、模型隐私高保障、抗恶意用户，并大幅提升安全计算整体效能。
2021年2月，出现了一种高效能私密机器推理技术[8]，将矩阵编码引入基于同态计算的线性计算，通过深度优化将占大部分总计算成本大幅降低，能够比此前最好技术运行时间提高2至8倍。
三、基于人工智能的攻击技术
1. 基于人工智能的攻击区块链技术
2020年以来，基于人工智能的攻击区块链技术发展重点在于将强化学习等人工智能基础机制用于区块链攻击技术自动发现。
2021年2月，出现了一种基于深度强化学习攻击区块链的技术[9]，能够针对区块链激励机制进行自动攻击分析，发现了新型攻击方法。将该技术应用于比特币、以太坊等，能够自动发现已知的一系列攻击方法，并且发现了一类针对以太坊的新型攻击。
2.基于人工智能的攻击智能手机技术
2020年以来，基于人工智能的攻击智能手机技术发展重点在于基于手机侧信道获取的数据学习话音规律，从而推断新的话音内容。
2020年2月，出现了一种基于深度学习的智能手机话音窃听技术[10]，通过使用深度神经网络，分析话音引起的手机运动感知器件振动信号，从而能够用于还原语音信号，能够比当前最好的方法提高3倍成功率。
四、基于人工智能的防护技术
1. 基于人工智能的安全性分析基础技术
2020年以来，基于人工智能的安全性分析基础技术的发展重点在于将强化学习、迁移学习等人工智能基础机制，创新应用于模糊测试、污点分析等安全性分析基础技术组成部分中对效能影响较大的部分，提升该组成部分关键能力，从而能够使安全性分析技术发现此前技术无法发现的安全脆弱性，提升分析速率、准确率等关键效能指标。
2021年2月，出现了一种基于强化学习的模糊测试技术[11]，能够高效调度模糊测试种子输入，提高模糊测试程序覆盖率。将该技术应用于DARPA CGC，能够比此前最好技术多检测出20%程序错误。
2.基于人工智能的安全检测技术
2020年以来，基于人工智能的安全检测技术的发展重点在于将深度学习、图片分类神经网络等人工智能技术，创新应用于恶意软件检测、恶意广告检测等，从而能够提高检测准确率、降低运行开销、减少人工工作量等。
2021年2月，出现了一种基于深度学习的恶意挖矿活动实时检测技术[12]，通过基于图像的分类区分良性网页和使用Wasm实施未经授权的挖矿网页。将该技术应用于真实网页，能够从最新的加密劫持恶意软件中即时检测挖矿活动，准确率为98.97％，检测时间平均为25.9毫秒，最多只使用4％的CPU和6.5％的RAM开销。
3.基于人工智能的防御加固技术
2020年以来，基于人工智能的防御加固技术的发展重点在于将对抗性机器学习、迁移学习等人工智能基础机制，创新应用于验证码、安全策略等防御机制加固，从而能够提高验证码破解难度、加速安全策略部署等。
2020年11月，出现了一种基于对抗性机器学习的验证码能力加固技术[13]，通过对验证码进行对抗性扰动，从而提升面对深度学习等自动验证码破解技术时可用性。将该技术应用于一个拥有数亿用户的大型国际电子商务平台上，能够将验证码的攻破率降低50%以上。
参考文献：
[1] “Devil’s Whisper: A General Approach forPhysical Adversarial Attacks against Commercial Black-box Speech RecognitionDevices”，USENIXSecurity，2020.
[2] “CloudLeak: Large-Scale Deep Learning ModelsStealing Through Adversarial Examples”，NDSS，2020.
[3] “Composite Backdoor Attack for Deep NeuralNetwork by Mixing Existing Benign Features”，ACM CCS，2020.
[4] “Manipulating the Byzantine: Optimizing Model PoisoningAttacks and Defenses for Federated Learning”，NDSS，2021.
[5] “Information Leakage in Embedding Models”，ACM CCS，2020.
[6] “On Training Robust PDF Malware Classifiers”，USENIX Security，2020.
[7] “SAVIOR: Securing Autonomous Vehicles withRobust Physical Invariants”，USENIX Security，2020.
[8] “GALA：Greedy ComputAtion for Linear Algebra inPrivacy-Preserved Neural Networks”，NDSS，2021.
[9] “SquirRL: Automating Attack Analysis onBlockchain Incentive Mechanisms with Deep Reinforcement Learning”，NDSS，2021.
[10] “Learning-based Practical Smartphone Eavesdropping with Built-inAccelerometer”，NDSS，2020.
[11] “Reinforcement Learning-based Hierarchical Seed Scheduling forGreybox Fuzzing”，NDSS，2021.
[12] “MINOS: A Lightweight Real-Time CryptojackingDetection System”，NDSS，2021.
[13] “Text Captcha Is Dead? A Large Scale Deployment and Empirical Study”，ACM CCS，2020.
声明：本文来自网安思考，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
