MITRE和Microsoft日前发布了其最新合作研究成果，对抗式机器学习威胁矩阵（Adversarial Machine Learning Threat Matrix）。参与该项研究的还有Bosch、IBM、NVIDIA、Airbus、Deep Instinct、Two Six 实验室、多伦多大学、卡迪夫大学、软件工程学院/卡耐基梅隆大学、普华永道会计师事务所以及贝里维尔机器学习学院，是一个以聚焦行业的开放框架，可让安全分析人员检测、响应和补救针对ML系统的威胁。

MITRE的首席未来学家，高级副总裁兼MITER Labs总经理查尔斯·克兰西（Charles Clancy）解释说，无论欢迎还是担心它，人工智能（AI）都在不断演进并向未来迈进。

MITRE从事人工智能研究和开发已有数十年，涉及许多不同领域。但是，机器学习（ML）方面的最新技术改进将在金融、医疗保健和国防等关键领域催生重大变革。许多企业渴望利用这些重大的进步，却没有审查其机器学习系统的安全性。

对抗式ML威胁矩阵简介

对抗式ML威胁矩阵旨在缩小学术分类和操作问题之间的差距。例如，下图显示了对抗性ML威胁矩阵。在顶部是“战术”，它模仿了攻击和防御，对应于攻击者行动的大类。每个细胞都是一种“技术”，归属于一种战术。一些技术是独特的专门针对ML的，在图中被标记为橙色。其余的与原始ATT&CK共享保持一致，尽管它们在ML上下文中可能有略微不同的含义。需要注意的是，虽然矩阵显示为一个表格，但在同一行中的单元格之间并没有先验的关系——一个给定的攻击将有一个独特的模式，即技术从战术中选择，而不考虑它们在表格中的顺序。目前列出的战术共有七类，分别是模型侦察、初始突破、命令执行、持久潜伏、模型规避、数据渗出和影响后果。

框架的主要受众是安全分析师，MITRE认为保护ML系统是一个信息安全问题。对抗性ML威胁矩阵的目标是将对ML系统的攻击定位在一个框架中，以便安全分析人员能够针对这些新的和即将出现的威胁进行定位。矩阵的结构类似于ATT&CK框架，这是因为它在安全分析师社区中得到了广泛采用——通过这种方式，安全分析师不必学习新的或不同的框架来了解ML系统的威胁。对抗式ML威胁矩阵也有明显的不同，因为ML系统上的攻击与传统的公司网络上的攻击有本质上的不同。

研究人员在这个框架中植入了一组经过微软和MITRE审查的漏洞和对手行为，这些漏洞和行为对生产ML系统是有效的。通过这种方式，安全分析人员可以关注ML系统面临的现实威胁。开发者还从微软在这方面的丰富经验中吸取了教训:例如，发现窃取模型并不是攻击者的最终目标，但实际上会导致更阴险的模型逃避。当攻击ML系统时，攻击者会结合使用“传统技术”，如网络钓鱼和横向移动以及与之对抗的ML技术。

与ATT@CK Enterprise的区别

因为对抗的ML威胁矩阵是在ATT&CK Enterprise之后形成的，所以它保留了术语:例如，威胁矩阵的列被称为“战术”，单个实体被称为“技术”。

然而， 这里有两个主要区别:

ATT&CK Enterprise一般是为企业网络而设计的，企业网络由工作站、堡垒主机、数据库、网络设备、活动目录、云组件等子组件组成。ATT&CK Enterprise的策略(初始访问、持久化等)实际上是对企业网络初始访问的简称;企业网络中的持久性。在对抗式ML威胁矩阵中，MITRE承认ML系统是公司网络的一部分，但试图更加强调攻击的独特性。

区别1:在对抗式ML威胁矩阵中，“战术”应该解读为“侦察ML子系统”、“持久化ML子系统”、“规避ML子系统”等。

分析现实世界对ML系统的攻击时，研究人员发现攻击者可以采取不同的策略:仅依赖传统的网络安全技术;只依赖对抗的ML技术;或者结合传统的网络安全技术和ML技术。

区别2:在对抗式ML威胁矩阵中，“技术”有两种形式:橙色的技术是ML系统特有的；白色的技术适用于ML和非ML系统，直接来自企业ATT&CK。

注意:对抗式ML威胁矩阵还不是ATT&CK矩阵的一部分。

在对Clancy和负责MITRE决策科学研究计划的Mikel Rodriguez的访谈中，两位专家介绍了人工智能、机器学习以及该对抗式ML威胁框架的相关工作。

机器学习倍受业界关注

查尔斯·克兰西（Charles Clancy）表示，自1950年代以来，随着算法和基础技术的成熟，人工智能已经日渐流行。但是在2012年，基础技术取得了重大突破，即所谓的“深度学习革命”的来临。这些算法与计算处理能力和新的众包数据集（crowdsourced data sets）的迅速增加相结合，开辟了AI的新领域，即以前认为不可能的深度学习。

从图像处理和图像分类开始，这导致了许多不同的应用。这些技术相融合，现在支持高度自动化且依赖复杂的机器学习算法。未来在通信、医疗保健、交通运输、军事、关键基础设施等领域的应用几乎是无限的。

现在，随着通信从4G到5G的发展，连通性将大大增加。这意味着人们将越来越依赖物联网。从智能电网到智能交通，获得访问互联网的能力对于利用AI自动化和提高周围一切的效率至关重要。

机器学习与物联网相结合后的风险

克兰西表示，IoT与ML的结合当然有风险。无论是系统故障还是恶意行为者导致其行为异常，人工智能都可能造成重大破坏。研究表明，停车标志上的贴纸会使自动驾驶汽车的视觉系统误认为是限速标志，或者可以启用语音功能的系统释放私人记录。

但是，在了解机器学习风险方面，至少有两种方法可以查看：一种是人工智能将为人们周围的系统增加效率和功能。另一种是一些人担心现实世界所依赖的系统（例如关键基础设施）将受到攻击，由于AI变坏而毫无希望地陷入困境。

相信AI的风险常常被夸大，而事实却介于两者之间。通常，AI并不是攻击者的首要途径，特别是在攻击关键基础设施方面。电力行业存在一个不言而喻的事实，那就是电网中最危险的对手是……松鼠。记住这一点-人工智能存在风险，但它也非常有价值。无论哪种方式，火车都是沿着轨道行驶，因此需要确保AI尽可能安全，即使面对攻击者。

这就是为什么对MITRE、Microsoft和其他组织感到乐观的原因，他们合作支持对抗式机器学习威胁矩阵。

AI时代意味着什么？

Mikel Rodriguez表示，80年代后期人们只是在尝试使互联网正常工作，而不是在安全方面进行建设。从那时起，其实人们一直在付出代价。与AI领域相同。正如查尔斯所说，2012年让其感到惊讶。专注于使AI在现实世界中工作，而并没有投入安全。

突然，机器学习开始起作用，并且增长速度比预期的快得多。AI的好消息是，它可能还不算太晚。因此，很高兴能够针对有关安全性、隐私性和功能安全性的技术挑战在此矩阵框架上进行研究。尽管未来还有很多大问题无法通过该计划解决，但类似地，人们将解决在互联网初期被忽视的那种基本问题。

“红队”概念的重要性

Rodriguez认为，红队源自网络安全，这是对抗性方法或“道德黑客”的力量，其目的是揭露漏洞，以使系统更强大。通过MITER ATT＆CK™ 框架，MITRE在红队方面拥有丰富的经验。

红队的关键要素是应对实际威胁。因为如果只是想像一下潜在挑战和脆弱性的范围，那么将一事无成。相反，使用此威胁矩阵，安全分析人员将能够使用基于真实事件的威胁模型，这些事件模型通过机器学习来模拟对手的行为。

对抗性机器学习威胁矩阵也将帮助安全分析师进行综合的系统性思考。虽然学术界正在进行研究工作，比如研究特定的漏洞，很有意义，但重要的是要考虑这些问题如何相互影响。此外，通过提供不同漏洞的通用语言或分类法，威胁矩阵将促进组织之间更好的沟通和协作。

MITER主导“对抗式机器学习威胁矩阵”计划

克兰西表示， MITRE在技术复杂的多方利益相关者问题上具有丰富的经验，例如航空安全信息分析和共享（ASIAS）计划以及ATT＆CK。其已经习惯于解决这样的问题，工作从未有干完的时候。

为了获得成功，MITRE知道其需要带来分析师社区的经验，他们可以共享真实的威胁数据并改善防御。为此，所有组织和分析师都必须确保他们有一个值得信赖的中立团体，他们可以汇总这些现实事件并保持一定的隐私级别，而在MITRE中也是如此。

AI、IoT及对ML系统的威胁发展趋势

克兰西认为，其对未来以及AI和物联网如何使世界更安全感到乐观。但毫无疑问，人工智能也会带来挑战，其中许多挑战并非严格意义上的技术挑战。人们可能会看到支持AI的深度伪造助长虚假信息活动，并且由于数据不佳等原因，已经看到算法偏差。所有这些都是很重要的问题。

无论如何，首先必须关注机器学习安全性、功能安全性和隐私性的基础知识。他很很期待MITRE可以与Microsoft和整个社区一起完成的这项伟大工作。

声明：本文来自网空闲话，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。