原文作者：Bushra A. Alahmadi, Louise Axon, and Ivan Martinovic

原文标题：99% False Positives:A Qualitative Study of SOC Analysts’ Perspectives on Security Alarms

原文链接：https://www.usenix.org/system/files/sec22summer_alahmadi.pdf

笔记作者：nerd@SecQuan

文章小编：bight@SecQuan

简介

该文为发表于USENIX 2022的99% False Positives: A Qualitative Study of SOC Analysts’ Perspectives on Security Alarms。目前许多安全工具会产生大量的告警信息误报。本篇文章关注SOC从业者对安全工具高误报的看法，并对这一问题进行定性研究。虽然部分误报的动机是好的，但是验证警告的问题是否真实存在却是一个繁琐的过程，不断对误报进行验证最终会导致工作人员倦怠而忽视真正的安全问题。因此，作者提出可以在5个不同层面提高安全报警的质量，以帮助安全人员更有效的验证安全告警。

安全工具基本使用情况

作者通过对来自七个SOC中的21个SOC从业人员进行调查问卷和访谈的方式进行定性研究。首先，作者通过问卷对受访从业人员在工作中使用安全工具的情况做了一个基本调查。90％的受访者使用IDS，80％使用SIEM，55％使用日志聚合分析程序。在所有受访者中，只有两人使用基于机器学习的工具。

对于误报，在受访者中，有45％的从业人员表示每天收到少于5K的警报，另外也有部分来自大型机构的从业人员表示其每天会接收超过100K警报。对于误报，有受访者表示在其工作中，每100个告警中有一个是真实的威胁。

对于从业人员使用安全工具的方式，调查结果如下表所示。55％的SOC从业人员更加依赖于他们自身的知识和经验（A-8）;从业人员经常被要求去判断安全的工具给出的结果是否正确（A-7）。虽然大部分从业人员在使用安全工具时都存在部分不愉快的体验，并且普遍承认安全工具的告警过多（A-4），但是并没有一边倒的认为现今的安全工具是无用的（A-3）。从业人员们认为安全工具判断的流程中应该加入人工的干预以过滤误报或发现自动工具遗漏的异常情况（A-5、A-6）。

误报的界定、验证与改善

作者主要针对误报的界定、验证与如何改善误报等内容对SOC从业人员进行采访，主要观点总结如下：

  • 安全工具生成了大量的错误告警，这些工具生成的警报需要由分析员手动验证。验证告警是一个受多种因素（例如SOC类型、SOC服务的客户类型等）影响的繁琐过程。在SOC中，从业人员的操作远未实现自动化，工作者通常需要利用其自身知识来确定报警是误报还是真实威胁。

  • 误报与误报之间也存在区别，从业者认为安全工具给出的所有误报中存在噪声（良性动机的误报）。例如用户已意识到安全工具警告的问题，但是出于业务层面的考虑予以忽略，或者业务本身就与某些恶意行为有相同的操作等等。部分受访的从业人员表示他们所遇到的大部分误报均为此类良性触发的误报。

  • 为了改善安全工具报警的质量，可以通过提高其可靠性、可解释性、分析信息、上下文信息和可迁移性实现。对于提高安全工具的可靠性，以机器学习模型来说需要关注其所选用的特征与模型的训练目标。应有明确清晰的训练目标，而不应该过于广泛（如识别蠕虫程序就相对明确而识别恶意程序就相对宽泛）。此外，也不应选用范围广泛（如JAVA版本号）或经常发生变动的特征（如恶意域名）。

  • 对于提高可解释性，仍以基于人工智能的安全工具为例。传统的人工智能模型像一个黑盒，从业人员难以评估其结果产生的原因。为了提高其解释性，可以结合人工智能解释性方向的研究成果，促进工具产生人类专家可以理解的预测结果并允许人类专家经验对模型进行一定程度的干预，从而不断提高其解释的效果。在实际应用的过程中，分析师不应过分相信系统，应基于系统解释并加以自己的判断。

  • 在验证告警时，分析师仍需要依赖其自身经验。因此可以结合知识图谱技术提高安全告警中附带的分析信息。知识图谱能用来获取获取有关安全威胁的宏观知识、聚合来自不同源或不同类型的数据。通过查询知识图谱，分析师能够交互式得获取辅助信息，帮助其分析、推理安全告警是否为真实威胁。

  • 上下文对于研判安全告警也同样重要。例如，监控异常网络活动的SOC工具应考虑客户的工作时间（例如周末不上班），以消除部分告警误报。可以尝试将各类日志与其上下文数据使用知识图谱进行表示。在这样的图谱中，可以合并关于客户、网络和来自外部实体的知识以提供更多上下文信息。分析人员也能依据这些上下文信息对误报进行过滤。

  • 当前的安全工具基本上都需要针对用户的使用环境进行特定配置，无法应对环境的变化。作者还是以基于机器学习的安全工具举例，可以使用基于迁移学习来构建系统，使得用户能够重用供应商的预训练模型，构建一个新模型以应对其自身的使用环境。

声明：本文来自安全学术圈，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。