很高兴与大家分享这篇关于现代安全数据堆栈演变的文章。

许多人甚至会说，网络安全从根本上说是一个数据问题。如果你拥有数据，你就拥有了一切。

这就是为什么我们看到Palo Alto Networks、Crowdstrike和思科等所有主要上市安全公司都在大力投资，以抢占这一领域的市场份额。

今天的文章深入探讨了Splunk等SIEM的历史作用、Anvilogic等较新的解决方案，以及未来10年SIEM的发展前景。

由于现代企业中安全工具和应用程序的快速激增，安全数据堆栈是目前网络安全领域增长最快的赛道之一。我们看到了网络安全与数据基础设施技术之间的融合与交叉，我们将在本文章中对此进行探讨。

摘要

  • 上个月，思科完成了网络安全史上最大的收购案之一，以280亿美元的价格收购了SIEM巨头Splunk。在私有化市场上有如此多炙手可热的初创公司的情况下，他们为什么要进行如此大规模的收购呢？答案就在于，他们明白安全数据是网络安全行业的顶峰。

  • 安全信息与事件管理（SIEM）一直是安全运营中心（SOC）团队的重心。SIEM解决方案旨在通过从各种安全解决方案收集、聚合和分析日志和事件数据，实现威胁检测和安全事件响应。

  • Splunk 等传统 SIEM 创造了这一赛道。它们是为企业内部构建的。然而，随着云计算的兴起和安全工具的爆炸式增长，这些传统厂商已无法满足现代安全和云原生技术架构的需求。

  • 主要问题是在这些平台上获取和存储数据的成本。其次，这些解决方案产生的告警数量不断增加。在传统平台上管理安全数据的成本成倍增长，与利用云数据平台的机会成本相比更是如此。Snowflake 等平台上云原生计算和存储的性能和进步，以及威胁狩猎功能的改进，使得传统解决方案难以使用。

  • 新一代云原生数据平台的出现，取代了这些仍在市场上占据很大份额的传统 SIEM。数据平台的下一代发展包括安全 ETL 数据管理和编排平台，以及围绕低成本存储构建的各种新型云原生 SIEM（多数据 SIEM、下一代 SIEM 和云安全数据湖）。在堆栈的更右侧，我们看到传统的 SOAR 正在向更原生的 AI 响应与报告和 XDR 平台演进。我们在文章中提供了详细的细分和分析。

SIEM的历史

什么是 SIEM？

在过去十年中，安全工具的激增导致大量告警涌入安全运营团队。这些告警的数量通常每天成千上万，解决起来非常耗时，还可能导致误报或重复。为了解决这个问题，团队开始使用SIEM解决方案。

SIEM 解决方案通过收集、汇总和分析来自安全解决方案、网络基础设施、终端、服务器、数据库和云应用程序等一系列来源的事件数据，支持威胁检测和事件响应。这些数据曾经主要是基于时间序列的日志数据，现在被编排到一个中央控制台中，该控制台可对其进行识别、关联和分类，并发出有意义的告警。SIEM 工具有了长足的进步，现在可以利用更广泛的数据源进行实时监控、威胁发现、事件调查和响应、策略执行以及合规性报告。

SIEM 功能包括：

  1. 日志收集、日志分析和日志关联

  2. IT 合规性、应用监控

  3. 实时告警、仪表板和报告

  4. 接收近乎实时的遥测信息，描述环境中的活动

  5. 当最近的数据流偏离标准基线或符合企业希望检测的特定标准时，就会发出告警（事件）。

它们旨在帮助安全运营团队了解何时发生了漏洞或事件。对于安全团队用来防止漏洞发生的每一种工具，几乎都会有另一种工具在更远的地方用来捕捉那些从预防措施的缝隙中漏掉的东西；这种 "第二层防御 "是大部分安全行业的前提，例如 EDR、NDR 和最近的 CDR 等赛道。所有这些赛道大致都属于 "检测和响应 "工具的范畴，就终端、网络和云基础设施而言，可以使用专用的单点解决方案。这些工具可以全面了解网络攻击，加强威胁管理，并帮助满足监控和合规要求。

虽然检测和响应本质上是一个反应性问题，但在使用 SIEM 之前，SecOps 团队的响应甚至更加迟缓--他们甚至无法开始调查某件事情，直到信息通过自动化程度较低的手段到达他们手中。而且，即使他们启动了调查，也需要对不同领域的日志进行推测性梳理，试图拼凑出一个故事，过程非常繁琐。Rak Garg 的一篇精彩文章详细介绍了 SIEM 的出现。一般来说，SIEM 是一种将所有这些遥测数据整合到一个单一的海量数据池中的方法。通过整合来自不同领域的数据，安全团队可以对孤立的数据进行关联并添加上下文，从而进行更复杂的检测。

发生了什么变化？2002 年至今

第一代 SIEM（即 Splunk）在很大程度上是为内部部署、单体式部署而设计的。由于 Splunk 最先进入市场，因此他们基本上可以将 SIEM 的 4 个主要组件整合在一起：a) 用于摄取数据的转发器；b) 用于实现搜索的索引器；c) 用于保留数据的存储层；d) 用于查询的搜索头。当时，这主要是为了方便客户，因为他们所摄取/索引的大部分遥测数据都是在内部生成的，而且由一家厂商处理所有事务也很方便。然而，情况发生了变化。

Source: Anvilogic

在这 22 年的时间里，技术格局发生了翻天覆地的变化，但主要有几个主题推动了这一市场的发展：

  1. 从内部部署转向云计算：随着应用程序和 IT 基础设施的分布越来越广，如何构建 SIEM 系统的管道也变得更加复杂。必须为新出现的数据源建立新的连接器，而且在跨越混合环境时，监控也会成为一个更加细致的挑战。

  2. 数据量激增：传统 SIEM 的成本在很大程度上与数据量挂钩，也就是说，采集和索引的数据越多，线性成本就越高。众所周知，企业正在以创纪录的速度积累数据，这意味着 SIEM 的成本也在相应增长。为此，IT 和安全领导者在过去几年中花费了大量时间寻找巧妙的方法和工具来预处理、减少并优先处理输入这些昂贵系统的数据。

  3. 计算与存储分离：虽然向云计算的转移带来了一些复杂问题（如上所述），但它也提供了新的功能，可以很好地解决问题。通过将计算（独立昂贵）和存储（独立便宜）分离，IT 领导者可以开始设计更智能的架构，同时优化性能和成本。像Snowflake这样的公司就是一个范例，说明了如何利用这些功能建立云原生业务，从而颠覆传统的内部部署工具。

  4. 数据基础设施的进步：云基础架构还使我们更容易利用存储技术的进步，更高效地存储和查询各种数据类型。例如，列式数据存储非常适合大规模数据聚合的经典用例。

传统 SIEM 面临的挑战：厂商锁定

传统 SIEM 可定义为几十年前构建的 SIEM，主要用于企业内部使用案例。它们已成为大型企业 SOC 团队的重心，根深蒂固，粘性极强。这里的旗舰公司就是 Splunk。他们开创了这一市场，并设计了最初的 4 步流程，即对跨域的大量实时日志数据进行摄取、存储、分析和告警。

值得一提的是，Splunk 和该市场中的一些厂商（如 Elastic）目前仍在大型企业中根深蒂固，拥有最大的市场份额。其中一些厂商拥有云原生解决方案。在 2023 年被思科以 280 亿美元收购之前，Splunk 一直是一家规模庞大的独立公司。Splunk 在 24 财年第四季度结束时的总收入超过 40 亿美元--这提醒我们，尽管这个市场有很多创新，但世界大部分时间还是运行在传统软件上。

由于以下原因，许多企业发现自己被这些传统 SIEM 卡住并锁定。对于使用 Splunk 等平台的客户来说，这种厂商锁定现象尤为严重。企业目前正在与以下问题作斗争：

  1. 随着云计算的发展，我们发现大型企业需要管理的数据量和数据种类也在激增。由于许多传统的 SIEM 无法很好地处理这些数据，因此按数据量收费的单片式 SIEM 的成本不断上升。此外，这些厂商还需要计算检测、调查处理、检索和从冷存储中恢复旧日志所需的费用。

  2. 由于成本原因，公司无法将所有数据发送到 Splunk，因此未收集的安全数据无法用于威胁检测目的，从而带来了更多风险。

  3. 要迁移到不同的 SIEM，企业需要重新构建所有检测内容和自定义功能，这一过程既痛苦又昂贵。

  4. 另一方面，数据湖以更低的成本减少检测差距的能力也有了显著提高，这增加了使用传统 SIEM 的机会成本。

一般来说，这种 SIEM 厂商锁定会加剧数据管理问题，造成孤岛式数据源之间缺乏关联性，并需要为调查进行数据补水。目前，企业解决 SIEM 锁定问题的策略包括将安全数据重定向到更实惠的存储、构建自己的安全数据湖或完全替换 SIEM。每种方法都有其独特的挑战，例如必须重新开发多年的定制和检测内容、管理数据孤岛以及冒着运营中断的风险。为了应对上述挑战，SIEM 市场在更新的赛道和更新的架构设计方面都取得了快速发展。下面我们将详细介绍这些演变。

云原生 SIEM 的演变

随着越来越多的公司将生产和 IT 应用程序迁移到云，对更现代化、云规模 SIEM 系统的需求也随之而来，并利用云存储和计算重新设计了架构。向云和新数据工具的演进创造了一个新的安全数据环境，厂商正在为生态系统的不同方面提供解决方案。有六大类云原生厂商正在重塑新格局：

  1. ETL Data Orchestrators ETL 数据编排器

  2. Multi-data SIEMs 多数据平台 SIEM

  3. Next-Gen SIEM 新一代 SIEM

  4. Cloud Security Data Lake 云安全 数据湖

  5. AI Response & Reporting AI响应和报告

  6. XDR Platforms XDR 平台

SaaS应用和安全工具

一切从这里开始。与过去几年相比，云计算的发展导致更多 SaaS 和安全工具的涌现，随之而来的是企业内部产生的数据爆炸式增长。安全工具正在生成更多告警，更重要的是，Salesforce、Confluence、Workday 等非安全工具都有相关的安全数据需要监控。

数据 ETL 和编排器

一旦生成所有这些告警，以安全为重点的 ETL 和编排器就开始发挥作用。在传统环境中，所有这些数据都必须进行规范化、解析并输入到 Splunk 中（需要大量成本）。然而，像 Cribl、Observo 和 Monad 这样的公司已经成为数据存储和管理中介。它们充当智能策略层，吸收过滤和清理数据（日志和事件），然后将其路由到这些大型 SIEM。这些设备通过智能过滤和管理数据流，与各种应用程序、数据管理和存储系统集成。这就减少了不必要的数据复制和数据存储管理成本。

需要支付巨额 Splunk 管理费用的客户已经开始寻找减少实例臃肿的方法。通过对输入 SIEM 的数据类型进行更多选择，他们能够提高数据质量并降低成本。这使这些大型 SIEM 的客户能够节约成本，因为这些大型 SIEM 需要解析的数据更少。另一方面，这些编排者能够从节省的成本中获取一定比例，并将其转嫁给大型 SIEM 客户（F500 Splunk 实例的成本可轻松达到 7 或 8 位数）。

多数据平台 SIEM

Anvilogic

Anvilogic 是一款多数据平台 SIEM，旨在帮助安全运营中心 (SOC) 采用可扩展且经济高效的安全数据湖，而无需翻新现有工具（如 Splunk）。他们的战略重点是克服 "SIEM Lock-in "挑战，将安全分析与日志层分离，这样安全团队就可以使用 Anvilogic 在他们选择的数据平台上检测和应对威胁，而不会干扰现有流程。该平台旨在通过消除跨数据平台的检测差距来降低风险，同时削减与安全数据存储和摄取相关的 SIEM 成本。他们将 Snowflake 用于大容量数据源和高级分析，支持内部部署和云来源的一系列数据的相关性。它包括在 Splunk 和 Snowflake 中设计和测试的精心策划的内容，以及一名能说流利英语的AI copilot，该copilot也是底层平台方面的专家，可帮助分析师跨 Splunk、Snowflake 和 Azure 构建和部署威胁检测用例。他们最初是一个基于人工智能的 SOC 平台，旨在简化进入检测工程和威胁狩猎的过程，现在已发展成为企业 SOC 的全面威胁检测和响应解决方案。

Source: Anvilogic

Anvilogic 的与众不同之处

1.简化 SOC 对安全数据湖的采用

Anvilogic 的与众不同之处在于其平台的灵活性，可与各种数据源和安全解决方案集成。该平台倡导战略性数据管理，优先考虑高效存储而非集中管理。他们旨在通过将大容量用例重新分配到更具经济可行性的数据平台，降低风险，减少数据存储成本，并使安全团队能够利用安全数据湖。

这种方法旨在缓解厂商锁定问题，使企业能够选择多个厂商和平台来满足其安全分析需求。Anvilogic 将自己定位为一种可跨不同数据平台促进分析和检测的解决方案，与传统的 SIEM 方法形成鲜明对比，后者依赖于在单一架构下维护所有处理、存储和分析功能。

Source: Anvilogic Platform

2.自定义检测内容和威胁狩猎功能

Anvilogic 提供简单明了、便于分析的功能，可在不断增加的受支持数据平台基础上定制威胁检测和狩猎。这种方法旨在简化安全威胁的检测、调查和响应，使企业能够优化其 SOC 操作，而不必局限于单一的数据生态系统。Anvilogic 强调打破安全数据源和工具之间的孤岛，解决存储但未主动使用的 "暗数据 "的挑战。Anvilogic 支持包括 SPL、SQL 和 KQL 在内的各种语言，并提供低代码检测工程解决方案，帮助企业在其选择的数据平台上实现检测覆盖。公司通过其内部 Purple 团队在威胁检测内容生成方面进行了大量投资，该团队专门创建与 MITRE 技术相一致的检测内容，并提供了一个强大的 AWS、Azure 和 GCP 云威胁检测用例列表。Anvilogic 通过巧妙地开发和维护各种版本的威胁检测规则脱颖而出，这些规则都是根据他们所支持的特定平台量身定制的。他们还能让客户轻松定制这些预建规则，以适应其独特的环境。

3.通过共存 SIEM 和数据湖优化成本

因此，Anvilogic 的核心理念是增强客户现有的 Splunk 部署，并在其旁边采用一个安全湖，同时提供一个可在客户的技术堆栈中工作的检测工程和威胁狩猎工作台。他们将其称为 "多数据平台 SIEM"。该解决方案可适应多云环境，具有可扩展性，能够应对不断变化的网络安全威胁。为了帮助企业应对变化和数据存储的复杂性，Anvilogic 还提供了人工智能辅助功能，可优先将用例迁移到更具成本效益的平台，并根据客户的平台调整现有的检测规则。此外，它还利用人工智能提供的洞察力，促进在其连接的底层平台中调整其检测建议。总之，这种与企业 SIEM 共存的策略有助于管理企业的重大变更管理。

总之，Anvilogic 通过提供灵活、开放的平台，强调成本效益和在现有日志库和数据湖中可部署的威胁检测定制化，使自己从竞争对手中脱颖而出。通过让企业利用更具成本效益的数据存储和摄取选项，Anvilogic 有助于降低安全运营的总体成本，同时减少威胁检测差距。这种方法解决了传统 SIEM 系统面临的共同挑战，如厂商锁定、高成本和有限的定制选项。

新一代 SIEM

Panther Labs: 检测工程

Panther Labs 是下一代 SIEM 解决方案，可集中、规范和分析安全数据，使网络安全团队能够大规模检测、调查和监控安全威胁和错误配置。公司的核心产品架构建立在三大云提供商和 Snowflake 的存储层之上。Panther 的平台将每天数 TB 的原始日志转化为结构化的安全数据湖，以支持实时检测、快速事件响应和彻底调查。使用 Amazon S3 的能力还有助于降低存储大量数据的成本。

根据交谈，Panther Labs 在这一市场中的核心能力是其在云安全数据上的 "检测即代码"（DAC，detection-as-code）能力。Splunk 的查询语言已经变得非常复杂，以至于有了自己的培训课程和认证，而 Panther 则为分析师提供了简单地用 Python 定义检测逻辑的能力。他们解决了从内部部署系统过渡到云环境所面临的挑战，特别是在数据集成和分析方面。Panther Labs 解决了企业从根深蒂固的传统系统过渡到基于云的现代解决方案时所面临的困难。不过，要让企业完全过渡到 Panther 或将传统 SIEM 完全拆分是非常困难的，因此他们不得不想办法让企业在云平台上对现有数据进行定制化安全检测。

Hunters AI

Hunters 是 Splunk 等传统平台的另一种替代方案，主要利用基于 Snowflake 的安全数据湖。其平台在多租户环境中支持托管和云模式选项。与 Panther Labs（强调 "检测即代码"）或 Anvilogic（多数据平台）相比，Hunters 的一个关键区别在于，他们优先考虑为减少分析师工作量而定制的自动化功能。这是通过它们与 SIEM 的高级集成实现的，它们试图在检测流程的早期提供更高级的 SOAR，以帮助自动执行调查任务。根据我的讨论，他们的核心优势在于响应和报告，尽管他们提供了数据和检测的所有组件。他们所有人工智能和自动化功能的基础是他们的 Axon 团队，该团队一直致力于威胁狩猎。

Source: HuntersAI Plaftorm

Hunters 的平台拥有 300 多个数据集成，并采用开放式网络安全模式框架 (OCSF) 标准来打破数据锁定，增强跨各种数据形式的搜索能力。我的一个核心收获是，传统的 SIEM 可能需要几个月的时间才能完全集成，相比之下，Hunters 具有快速的开箱即用流程，告警触发和数据上载等基本功能可在几天内完成设置。这种快速部署能力确保中小型企业几乎可以立即从该平台中获益。这种一站式解决方案专为寻求内置检测机制的团队而设计，只需极少的调整和强大的图形数据库即可进行深度分析和未来威胁检测。他们的解决方案专注于中端市场，以规模较小的 SOC 团队为目标，通常使用 MDR 渠道合作伙伴。

EDR 转 XDR 厂商

该市场发生的一个重大变化是，许多传统的 EDR 厂商已扩展其平台，以提供 XDR 功能。我们注意到，中小型企业通常更倾向于扩展检测和响应（XDR）。在 SIEM 巩固其在企业 SOC 团队中的地位的同时，EDR 市场也发生了相邻的演变，从而产生了一种具有竞争力的替代方案。XDR 在两个方面与 SIEM 有所区别。其一，它们能摄取更广泛的数据源；其二，它们能在平台上处理更多的调查和修复工作流。

EDR 厂商（如 SentinelOne 和 CrowdStrike）一开始使用的代理可阻止终端上的恶意软件。EDR 厂商从他们可以安装代理的任何地方收集遥测数据，如终端、工作站、云基础设施以及电子邮件、身份等。然而，随着时间的推移，他们扩大了这些代理的覆盖范围，将企业中利用 XDR 解决方案的其他表面区域也包括在内。

什么是 XDR？

XDR 平台围绕数据湖构建，能够摄取的数据远不止遥测数据。它能够通过 API 从各种安全域（终端、网络、云）摄取数据，并提供本地响应功能。它们利用人工智能和行为分析对高风险告警进行优先排序，并提供跨多个安全工具的自动修复功能。总的来说，这扩大了它们的遥测范围，超出了 SIEM 通常包含的范围。从 EDR 到 XDR 的厂商还将其核心竞争力从为终端检测创建调查和修复工作流扩展到了这些新的额外表面区域。因此，对于部署了 SentinelOne 和 CrowdStrike 大型 EDR 的企业来说，XDR 已成为一种新兴的设计模式。在其他许多情况下，许多中小型企业也采用了这些厂商的产品。

💡快速理解SIEM 与 XDR 之间的区别💡

需要注意的是，XDR 和 SIEM 有很大不同。SIEM 解决方案面向安全分析和数据规范化，需要进行仔细的手动调整，而且往往容易出现假阳性或不重要的事件告警。它们还需要与 SOAR 解决方案手动集成，以实现事件响应自动化。最后，SIEM 解决方案要满足与报告和日志保留功能相关的合规性和法规要求。因此，SIEM 解决方案最适合拥有庞大安全团队、日志管理和合规用例的大型企业。相比之下，XDR 解决方案最适合作为面向中小型企业的端到端检测和响应平台。

Crowdstrike：XDR 和下一代 SIEM

Crowdstrike 于 2021 年完成了对 Humio 的收购。此次收购增强了 CrowdStrike 的 XDR 功能，实现了实时数据摄取和关联。Humio 是一家为综合日志管理提供云日志管理以及数据、指标和痕迹的实时可观测性的公司。该产品已在 Crowdstrike 的许多产品中得到应用，这些产品主要围绕 Crowdstrike Falcon LogScale 和 Falcon Search 保留业务。

通过收购 Humio，CrowdStrike 极大地改进了其数据湖产品，受益于 Humio 利用经济高效的云存储桶进行大规模日志记录的能力。这一整合增强了 CrowdStrike 的能力，使其能够在不同环境中进行更全面的日志记录，并促进实时威胁检测。这一广泛的数据频谱可容纳大规模、多 TB 的数据摄取，并确保统一的可视性。通过基于云的桶式存储，它消除了实时数据和归档数据之间的界限。对于 DevOps 而言，CrowdStrike 获得了一个确保即时数据可观察性的工具，并利用简化的查询语言有效地汇总实时日志数据。其他优势还包括通过基于角色的访问控制、自由文本搜索和高级告警机制简化了用户管理，这对于主动式基础设施监控和灵活、不受限制的数据查询至关重要，有效优化了 CrowdStrike 在先发制人的安全措施和运营控制方面的态势。它还允许他们取消对无索引和无预解析字段搜索的限制，以提高灵活性。

CrowdStrike 的 Falcon Threat Graph 内置的实时分析和智能过滤功能与 Humio 的实时日志管理和无索引数据摄取功能相结合，加速了 Crowdstrike 的 XDR 功能。最近几个月，Crowdstrike 将这一 XDR 平台扩展为更大的下一代 SIEM 产品。该解决方案的长期表现将由时间来证明

SentinelOne: XDR

同样，Scalyr 提供日志分析和可观测性 SaaS，以支持云应用。该公司的平台提供云原生日志管理、可视化和分析工具，可将服务器日志和指标汇总到一个实时、集中的系统中。

此次收购加强了 SentinelOne 的 XDR 产品组合，为其提供了高性能的后端分析引擎，增强了其管理和分析具有实时可观测性的大规模日志数据的能力。Scalyr的noSQL数据库使SentinelOne能够利用PowerQueries提供精简的查询功能，这是SentinelOne受益匪浅的地方。这扩展了他们的弹性搜索合作伙伴关系的可扩展性，丰富了他们的事件数据云服务，从而最大限度地减少了平均解决时间（MTTR），提高了实时查询能力，并在单个屏幕上实现了全面的故障排除，同时促进了加速的 DevOps 实践。因此，SentinelOne 现在能够支持可访问 API 的后端存储，确保以更低的成本延长事件数据的保留时间，并通过基于角色的访问控制增强用户管理体验。所有这些功能使 SentinelOne 更容易被 SIEM/SOAR 使用，因为 SIEM/SOAR 需要快速、大规模地获取事件数据。

总之，Scalyr 的技术增强了 SentinelOne 的 XDR 功能。它使他们能够在多个系统中摄取更多 TB 的数据，并进行更好的关联，从而使安全团队能够自主检测、响应和缓解威胁。与 Crowdstrike 相比，SentinelOne 还没有进一步开发下一代 SIEM 解决方案。他们完全专注于构建奇点数据湖（singularity Data Lake）和奇点XDR保护平台。还有其他解决方案，如 Microsoft SentinelOne，我们还没有广泛讨论。

Palo Alto的 Cortex XSIAM

Cortex XSIAM 是 Palo Alto 集 SIEM、XDR、ASM（攻击面管理）和 SOAR 安全操作平台于一体的综合解决方案。其中许多不同的解决方案来自于他们之前对不同厂商的收购。他们的愿景是创建一个自主的 SOC 平台，以简化和增强安全操作。

XSIAM 扩展了这些功能，纳入了人工智能驱动的分析和自动化，以提高检测准确性和响应时间，如解决事件所需的时间。与 Crowdstrike 或 SentinelOne 等 XDR 平台相比，XSIAM 更广泛地将安全功能集成到一个平台中，从而消除了在不同安全控制台之间切换的需要，简化了用户体验并提高了运营效率。

资料来源Palo Alto Networks 投资者简报

现场的一些对话强调，Palo Alto Networks 的生态系统不像其他一些厂商那样开放，这对于希望避免被一家公司束缚的公司来说可能是一个挑战。使用谷歌 BigQuery 的 XSIAM 平台不允许客户直接访问数据湖，这就限制了客户，使他们只能通过用户界面和 API 使用该产品。对于希望直接访问其数据进行分析的客户来说，这可能是一个限制。但是，如果客户已经将 Palo Alto 用于其网络或 EDR 平台，那么他们就不会有上述问题。

AI响应与自动化（下一代 SOAR）

虽然 SIEM 非常适合汇总日志和进行检测，但传统上它们缺乏自动修复工作流的功能。因此，相邻的 SOAR 赛道应运而生：安全编排自动化与响应。Splunk 开发了自己的本地 SOAR，但 Tines、Torq、Demisto（被PANW收购）和 RevelStoke（被Arctic Wolf收购）等其他公司也在此领域成为领先的独立解决方案。

SOAR 如何发挥作用

  1. 编排：SOAR 工具可连接和整合不同的安全工具和系统，使它们能够无缝协作。通过这种集成，可以自动从各种来源收集数据，然后用于更深入的分析。

  2. 自动化：SOAR 允许根据工作流程和预定义规则自动执行常见的重复性任务。这种自动化可包括在防火墙上阻止 IP 地址、暂停用户账户或收集可疑事件的其他数据等操作。

  3. 响应：虽然 SIEM 系统擅长检测和告警，但它们生成的告警往往超过安全团队的手动处理能力，而且并非所有告警都是关键告警。SOAR 有助于对这些告警进行优先排序，并更有效地做出响应。SOAR 平台可自动执行响应操作，或使用提供逐步程序的 "操作手册 "引导安全分析师完成结构化响应流程，以缓解不同类型的安全事件。

Torq

Torq 是这一赛道趋势的一个案例研究。Torq 将自己称为安全运营的 "超自动化 "平台。Torq 平台与上文讨论的 SIEM、安全数据湖和 XDR 解决方案高度互补，可作为可扩展的信息总线发挥作用，提供可观察性并实现安全流程自动化的民主化。传统的模式是先检测，然后在 SIEM 中记录，最后进行 SOAR，这种模式正在被打破。取而代之的是先检测，然后立即自动化修复的转变。

该赛道中的新一代提供商正在利用人工智能创建更高保真的响应和自动化。这些平台利用人工智能对安全事件做出高度精确的自动化响应。它们超越了预定义的工作流程，利用上下文智能实时决定最佳行动方案。有许多初创公司，如 Torq、Tines、Hunters、Dropzone AI、Prophet 和 Symbian，都主要专注于这一赛道。

内部云 DIY 数据湖

有些公司拥有庞大复杂的 SOC 团队，他们决定构建和管理自己的安全工具。其中许多公司倾向于使用现有的 Snowflake 和 Databricks 数据平台构建整个 SIEM。公司必须手动构建自己的检测规则和查询，以获取安全数据的摄取和检测。内部工作越多，需要的安全人才就越多。Snowflake 具有良好的热数据存储能力，但没有冷存储层。这在拥有安全人才的高端市场更受欢迎。设计模式通常如下：

  1. 转发器：利用云提供商和 SaaS 应用程序提供的丰富 API（以及 Kafka 和流处理等更实时的技术）来收集遥测数据。Cribl 和 Observo 等工具可用于拦截和过滤日志，以进行经济高效的预处理。

  2. 存储：S3/GCS 可为长期保留提供经济高效、可扩展的存储。数据仓库平台（如 Snowflake）可用于计算。

  3. 索引器：可以利用 Panther Labs 和 Anvilogic 等现代可组合 SIEM 平台，在数据湖之上构建一个可查询的界面。

随着时间的推移，购买者的成熟度不断提高，安全分析师和架构师也更全面地掌握了 SIEM 的基本组件，并在内部架构这些解决方案方面取得了进展。然而，考虑到巨大的人才缺口和手动构建 SIEM 所需的复杂性，这种选择并不受欢迎。

竞争格局讨论

Splunk ES

Splunk 是 SIEM 市场的主导者，但在从内部部署向云计算转变的过程中却举步维艰。它因价格昂贵而声名狼藉，在被思科收购后，它的未来发展方向也引起了客户的担忧。Splunk 价格昂贵有其架构和业务方面的原因，但随着企业将更多的工作负载转移到云（基础设施需要大量的可扩展性和数据存储），这个问题只会随着时间的推移而变得越来越严重。Anvilogic 等厂商通过将安全分析从日志层中分离出来，使团队能够在他们选择的数据平台上进行检测、调查和响应，从而实现了差异化。这种策略通过更广泛地使用数据来支持跨不同数据平台的威胁检测，从而避免了厂商锁定。由于数据摄取以及检测和调查处理所需的计算成本较高，Splunk 限制了客户的灵活性。

检测分析层：Panther Labs & Hunters AI

Panthers 和 Hunters 都要求客户即拆即换并部署其云计算下一代 SIEM。Anvilogic 等其他公司则帮助企业更轻松地管理变化和复杂的过程。Anvilogic 的平台可以通过 Anvilogic Splunk App 在其 Splunk 部署中部署检测，并逐步将当前未在 Splunk 中处理的大量数据转移到 Snowflake，以获得额外的检测覆盖范围。这种过渡具有成本效益，可以按照客户自己的节奏逐步完成。使用 Anvilogic，客户可以保持对数据管道的完全控制。其模块化检测功能允许检测直接在客户的数据平台（Splunk、Azure 和 Snowflake）上运行，支持独特的多数据平台策略，是企业 SOC 的理想选择。相反，Panthers 和 Hunters 在将数据长期存储到 Snowflake 之前会对数据流进行处理，这就要求客户将所有数据发送给这些厂商。这一过程可能会导致合规性、成本和锁定等问题，让许多企业对其数据的运输地点感到不安。最后，Anvilogic 还通过集成的 SOC Copilot 与 Panthers 和 Hunters 区别开来，Copilot 经过 SOC 专业知识、底层数据模型和 Snowflake、Splunk 和 Azure 架构的全面培训，可访问 VirusTotal、IPinfo、WHOIS 等各种外部威胁情报工具，提供在线 SOC 援助，减轻检测工程、调查、分流和威胁狩猎活动中的人工任务。

云数据平台/下一代 SIEM/XDR 平台

下一代 SIEM 的威胁检测内容通常非常分散，主要用于支持将数据导入其平台的连接器。Palo Alto Networks XSIAM 或 IBM QRadar Cloud Native 等解决方案尽管提供了大量嵌入式威胁检测内容库，但往往重数量轻质量，导致大量选项缺乏可操作的规则集，而且安全团队也不容易进行定制。厂商提供的内容往往缺乏关于企业如何有效地将其内容付诸实践的明确说明，导致检测工程（DE）团队不得不独立确定日志源要求，以启动规则集。Anvilogic 的威胁检测内容由其内部紫色团队维护，该团队定期研究威胁环境，将威胁行为者的技术转化为直接面向 Azure、Splunk 和 Snowflake 用户的量身定制的检测集，并提供带有 SOC Copilot 的低代码生成器，可在几分钟内轻松构建自定义检测内容。

此外，值得注意的是云服务商。云服务提供商SIEM，如 Chronicle、Sentinel 和 AWS Security Lake 提供的 SIEM，由于其对现有 CSP 客户的补贴定价模式，为降低 SIEM 许可成本提供了一个潜在的解决方案，但它们也有自己的挑战，如痛苦的翻新和替换过程，以及 CSP 自身数据源之外的有限功能，因此与其他 SIEM 相比，它们的解决方案对某些企业来说并不实用。

至于 XDR 平台，如果您已经从套件厂商那里购买了其他产品，那么这些平台有利于整合，但它们也有一些缺点，例如，撕裂和替换过程很痛苦，由于其黑盒性质，检测工程和内容很差，难以定制，而且在厂商自己的 EDR 数据之外，其功能也很有限。

市场的未来发展方向

在追溯市场演变和会见该领域的创始人/投资人的过程中，我们发现了几个主要的主题。如果有一点是明确的，那就是 SIEM 行业的未来不会像过去那样。基础设施、数据量、人工智能和攻击模式的发展趋势要求 SOC 团队继续调整他们的工具。行业正在抓住的几个趋势：

  1. 多数据云平台：我们将看到更多支持多种数据平台的 SIEM 系统，使企业能够以最适合其需求的方式使用不同的数据存储解决方案，如 Azure、Splunk 或 Snowflake，而不会被锁定在单一厂商。下一代 SIEM 将能够在生成数据的不同云中运行检测，从而适应企业中日益增长的多云环境趋势。

  2. 分布式数据湖：越来越多的安全团队希望拥有自己的基础架构，并体验 SIEM 的所有优势。安全运营团队将越来越多地采用安全数据湖，而无需更换现有的 SIEM 解决方案，从而实现更好的成本管理和可扩展性。这样，新兴的 SIEM 厂商就能满足客户在云和数据湖方面的任何需求。通过拥有底层数据湖，企业可以：（1）更透明地了解哪些数据进入了检测和响应系统；（2）更灵活地为检测和响应以外的环境构建基础架构--同一数据湖可用于其他环境，如 ML 工程等。

  3. 检测工程：检测工程是一门新兴学科，终于迎来了它的 "阳光时刻"。越来越多的安全团队希望采用 "检测即代码"（Detection-as-Code）等做法，让 SOC 分析师能够编纂检测逻辑并更有效地扩展自己。通过使用简单（但有效！）的 Python 脚本实现检测自动化，SOC 团队可以将精力集中在附加值更高的活动上，如调整检测以提高准确性或分流高优先级事件。

  4. 释放数据量：虽然这些新兴厂商中的许多都是对 Splunk 的巨大改进，但我们发现，取代它们仍然异常困难。Splunk 最大的客户每年的支出高达 7-8 位数，这意味着该平台存储了大量企业中最敏感的数据。安全领导者们并没有立即放弃 Splunk，而是逐渐从该平台中解脱出来，他们采用了一些巧妙的策略，比如将大容量用例转移到更具成本效益的日志解决方案（如 Anvilogic），或者在日志进入他们选择的水槽（如 Observo）之前对其进行预处理。

  5. AI SOC 分析师：我们希望看到AI驱动的 "安全直升机 "等功能进入 SOC。Dropzone 和 Prophet Security 等公司就是这方面的早期范例。这一赛道将 " AI代理 "的概念扩展到了 SOC，这意味着程序不仅仅是处理文本和生成新内容，它还将实际执行 SOC 分析师的工作，包括优先级排序、分流和修复关键告警。

总结

未来几年，这是一个值得持续关注的重要市场。我们的文章涵盖了传统 SIEM（安全信息和事件管理系统）的局限性，以及云原生 SIEM 的未来，云原生 SIEM 利用云存储和计算以更具成本效益和灵活性的方式管理更大的数据量。我们的文章还预测了未来的市场方向，强调了多数据云平台、分布式数据湖和检测工程的重要性，它们正在重塑企业在多云环境中管理和分析安全数据的方式。

另一个值得关注的领域是将 XDR 和 SOAR 平台融合为一个人工智能驱动的响应和报告工具。随着人工智能/LLMs 的进步，这一市场的发展速度非常快，我将在今后的文章中详细介绍。感谢您阅读到这里。

原文链接：

https://softwareanalyst.substack.com/p/the-evolution-of-the-modern-security

声明：本文来自安全喵喵站，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。