MITRE ATT&CK第四轮评估结果发布

MITER 每年会针对不同的攻击组织进行模拟，对参加的各个安全厂商进行评估。2022 年 3 月，MITER 发布了最新一轮的 ATT&CK 安全解决方案评估结果。这是继 2018 年测试评估检测 APT3、2019 年测试评估检测 APT29、2020 年测试评估检测 Carbanak/FIN7 后的第四轮评估。

评估目标

在 2021 年第四季度进行的 ATT&CK 第四轮评估的假想敌是 Wizard Spider + Sandworm，本轮评估的重点是对数据加密（T1486）部分进行测试。Wizard Spider 利用 Ryuk 勒索软件进行数据加密，Sandworm 利用 NotPetya 进行数据加密。

Wizard Spider

Wizard Spider 是一个以获取经济利益为目的的攻击团伙，从 2018 年 8 月开始一直在针对各种组织发起勒索软件攻击行动。

Sandworm Team

Sandworm Team 是一个被认为是俄罗斯的 APT 组织，该组织被美国司法部和英国国家网络安全中心归因为俄罗斯 GRU 74455 部队。

Sandworm Team 最典型的攻击案例包括 2015 年和 2016 年针对乌克兰电力公司的攻击以及 2017 年的 NotPetya，该攻击组织至少从 2009 年开始就一直保持活跃。

参评厂商

征集参评厂商从 2021 年 3 月中旬到 5 月末截止。如下所示，参与本轮评估的 30 个厂商依旧是全明星阵容。卡巴斯基依旧缺席，不知道是不是制裁的缘故。有一些新玩家，例如 Rapid7 和 Qualys。

评估环境

评估在 Microsoft Azure 云上进行，分为两个组织的网络。主机操作系统分别是 Windows Server 2019、Windows 10 Pro 和 CentOS 7.9，某些主机上禁用了 Windows Defender。

覆盖技术

两个组织使用的技术项如下所示，Wizard Spider 的技术项为紫色， Sandworm 的技术项为蓝色，二者都有的技术项目为灰色。

结果评估

实际上，ATT&CK 评估不仅会看检测数量，还会看是否捕获了攻击的子步骤、是否提供了有效告警、是否阻止了攻击。

本轮评估的两个场景下一共设计了九十个攻击步骤，其中 Linux 部分是可选参与的，但没有提供该系统上解决方案的厂商将无法得到该部分的可见性分数。

检测分为五级：

N/A（不适用）：厂商并不支持检测 Linux 环境
None：厂商没有能够检测发现
Telemetry（遥测）：通过遥测收集的数据在远端检测
General（通用）：检测发现恶意行为，但没有提供更多细节
Tactic（战术）：检测能够提供出攻击者战术意图的相关信息
Technique（技术）：检测能够提供出攻击者技术方式的相关信息

告警分为三级告警：通用告警、战术告警、技术告警。

技术告警能够使得分析人员快速定位并处理，除了对安全事件的基本描述外还带有上下文。例如不仅仅告警恶意 PowerShell 脚本执行，还告知分析人员恶意脚本要通过更改注册表项利用 Winlogon 在登录时执行任意程序进行持久化。

评估结果

MITRE 的评估指标此前在第三轮评估中介绍过，可以移步查看：

MITRE ATT&CK 第三轮评估结果发布
Avenger，公众号：威胁棱镜MITRE ATT&CK 第三轮评估结果发布

整体的结果如下所示：

厂商	检测数量	分析覆盖	遥测覆盖	可见数量
AhnLab	83	59	24	83
Bitdefender	115	106	3	106
Check Point	117	103	3	103
Cisco	111	74	26	90
CrowdStrike	112	94	16	105
Cybereason	109	108	1	109
CyCraft	77	64	13	77
BlackBerry Cylance	97	71	24	89
Cynet	123	102	11	107
Deep Instinct	76	59	15	63
Elastic	108	71	35	98
ESET	90	69	17	75
Fidelis	128	85	22	94
FireEye	97	85	6	89
Fortinet	96	85	9	87
Malwarebytes	83	83	0	83
McAfee	113	84	26	107
Microsoft	110	98	5	98
Palo Alto Networks	107	107	0	107
Qualys	81	50	23	66
Rapid7	70	23	46	62
ReaQta	71	62	9	71
SentinelOne	108	108	0	108
Somma	69	28	41	68
Sophos	99	67	27	88
Broadcom Symantec	93	87	5	92
Trend Micro	133	100	13	105
Uptycs	97	81	15	92
VMware Carbon Black	90	57	33	90
WithSecure	83	66	17	83

注：检测数量项 MITRE 已经不再直接公布，本文采用数据中的 Total_Detections 进行统计。与原指标含义肯定存在统计口径上的差异，但仍沿用原指标的表述，不同轮次间该指标不具备可比性。

按照排名整理下前五名，乍一看没有明显的赢家，没有任何一个厂商表现出了异乎寻常的统治力。

分项来看，首先是检测数量，趋势科技夺魁：

接着是分析覆盖，由 SentinelOne 与 Cybereason 并列第一：

在可见数量上，Cybereason 险胜 SentinelOne：

最后是遥测覆盖，画风大变：

计算检测数量与遥测覆盖的相关系数的话，为 -0.247。而与分析覆盖和可见数量则趋向正相关，可见绝大多数引擎都是不非常依赖遥测的。例如，Palo Alto Networks 与 SentinelOne 在遥测上均为零双双倒数，但检测数量的排名却均能排在中间。此类更为典型的厂商是 Bitdefender 与 Check Point，二者都强依赖就地检测而遥测并不擅长（注：下图橙色为遥测排名，蓝色为检测排名）。