作者：Frank Zou@全息网络科技，安全内参经授权首发。

内部威胁的挑战

随着越来越多的外部攻击者通过高级持续性威胁变成“影子内部人士”（”shadow insider”），内部威胁已成为首席安全官首要关注的问题之一。一份新的内幕威胁报告显示，绝大多数公司和政府机构都很脆弱，在过去的十二个月中，近一半的公司遇到内部攻击。目前解决内部威胁的方法主要基于SIEM（安全信息和事件管理）和UEBA（用户和实体行为分析）两种技术。那么它们的工作原理是什么，其效果又是怎样？

我们先来谈谈SIEM。根据全球著名咨询公司Frost＆Sullivan最近的数据显示，2017年企业大约购买了12亿美元的SIEM设备和服务。不幸的是许多拥有SIEM系统的客户对产品的使用和其提供的价值并不满意。 C.A.沃克研究机构于2018年2月进行了一项深入调查，所涉及的机构广泛，包括不同规模、不同收入、以及不同的行业，提供了对SIEM产品的详细分析。

调查发现：（1）超过一半的IT部门不得不雇佣至少2名全职专业员工来管理他们的SIEM；（2）即使使用这些专家人员，他们也会收到太多的报警，以致无法实时回应；（3）已经安装和使用了SIEM的企业，有三分之一的IT部门表示如果有可能，他们宁愿将SIEM拿掉不用。当被问及其所用SIEM系统的有效性时，只有28％的受访者认为他们非常有效。47%的中型公司（79家中的37家受访者），收入在1亿美元至10亿美元之间，和36％的大型企业 （95家中的34家受访者），收入超过10亿美元，表示有些效果。

当使用SIEM来检测企业的内部威胁时，第一个困难是在企业内建立正常活动的有效基线所需的时间和专业知识。简单地部署一个SIEM并打开每个预先配置的规则都不是有效的，并且通常会导致海量的报警。所以企业必须投入大量资源收集和审查日志数据，逐渐对典型活动进行梳理和理解。只有完成这些以后，SIEM团队才能确定如何配置报警，以发现异常行为，并定义用哪些事件和规则来标记有意义的事故。

第二个问题是SIEM产生的误报数量，这些都是安全人员必须不断处理的事件。在大型企业网络中，SIEM每分钟可产生10,000个警报，其中包括大量的误报，并需要大量人力资源进行分析才能识别真正的恶意活动。通过不断调试，SIEM可能每个月产生大约10,000个警报。一线安全运营中心（SOC）的工作人员必须检查每个警报，最终每月可产生100个待查事件，供进一步调查。把SIEM中的信号与噪音分开可不是开玩笑的。即使使用昂贵熟练的IT和安全专家，企业也很难从中获得预期的收益。

SIEM失败的根源 – 垃圾进，垃圾出

SIEM系统通过收集来自SNMP陷阱或Syslog的标准日志，或者通过代理或采集器来帮助收集日志。这些日志来自各类产品，包括用户设备，网络交换机，服务器，防火墙，防病毒软件，入侵检测/防御系统等。虽然每个日志都带有与其特定产品相关的一些有意义的信息，但这些日志中没有一个是专门为SIEM的需要来特殊设计的，只是各类产品为自身运营而生成的副产品，绝大多数对安全而言毫无价值。尽管如此，SIEM仍然努力从这些不相关的大数据中筛选出有意义的信息，进行关联和分析，最终导致“垃圾进，垃圾出”现象。事实上，日志仅代表某些更深层次问题的表象，是原产品在运营中对其关注的事件的侧面反映。它们各自独立地携带碎片的、孤立的、和不相关的信息，而将它们堆放在一起从中去寻找有意义的事件很容易导致完全错误的结论。

由此可见，要进行准确的异常行为检测，发现内部威胁，必须提高数据源的精准性。要根据分析的目标，从原始的数据流中按照需要定向采集源数据，生成与安全相关的日志。内部威胁所涉及的关键安全元素包括用户，设备，应用程序和所传送的数据。而这些关键元素之间的关系则是隐藏在原始流量本身之中。只有充分理解原始流量，并挖掘其内在关系，才有可能将这些隐藏的关系梳理清楚，使其浮出水面。单纯依赖第三方提供的杂乱无章的大数据日志而试图寻找这些关键元素之间的关系只能导致误报。 由于SIEM不处理任何原始流量，无法系统地获取关联分析所必需的元数据，从而失去了准确分析的基础，造成大量误报，浪费大量人力资源。 

UEBA – 在沙滩上建造的摩天大楼

目睹SIEM的失败，一些新的厂商和现有的SIEM厂商开始关注用户行为，并开发了Gartner已将其命名为用户和实体行为分析（UEBA）的产品。UEBA试图在问题发生之前通过对用户行为画像来建立行为的基线来检测异常行为，例如检测不法的内部人员试图窃取机密文件。然而UEBA所使用的数据源与SIEM如同一辙，即来自不同产品的各类日志。有的UEBA更是直接使用SIEM所收集的日志，把UEBA作为一个应用模块建立在SIEM产品之上。所不同的是，UEBA并不使用SIEM所收集的所有日志，而只是选择性地使用与用户行为相关的部分，聚焦用户行为。一些UEBA厂商也试图增加日志的来源，超出了SIEM所及的范围。 但事实上一个典型的SIEM产品可能已经收集了来自不同供应商的数百种的日志，每种日志的格式可能各有不同，而对这数百种日志的清洗和预处理已经使一般的系统不堪重负，更何况增加新的数据来源。

与SIEM产品类似，因为UEBA没有捕获自己的元数据，甚至一些UEBA是直接建立在SIEM之上，所以UEBA继承了与SIEM完全相同的问题：垃圾进 — 垃圾出，使行为异常检测的误报率居高不下。此外，这些系统也是资源密集型的，必须由具有特殊专业知识的人员进行调试。因此只有有实力的大企业才有能力购买、实施、和维护，一般企业是无法承担的。

唯一出路 – 按需采集

检测异常行为的基础是要对被分析的元素进行准确画像。这个元素可以是用户（用户行为分析）、可以是设备（设备行为分析）、可以是某个应用（应用行为分析）、也可以是某个或某类文件或数据（数据行为分析）。对某个元素的画像，其实就是描述其正常行为。而行为的描述则只能通过某个元素与其它元素的互动关系来完成的。比如描述一个司机的行为，除了要知道他的常用名字之外，还要知道他通常开什么车、经常走哪条路 、从哪里出发、去哪里、拉什么货以及拉多少等。离开了这些相互的关系，仅仅依靠一个名字是无法准确描述和判断司机的行为是否正常。同样的道理，要准确描述一个网络用户（比如一个员工）的正常行为，我们必须了解他通常使用哪些上网设备、登陆哪些服务器或网站、传输哪些数据或文档、是否含有敏感内容、以及传到哪里去等。但是给一个网络使用者画像要比给一个司机画像要困难很多。原因很简单，司机的一举一动我们都可以通过我们的眼睛直接观察到， 或者通过在安装在各个路口的摄像头间接查询到。 而一个人在网上的一举一动就没有那么简单了。因为一个用户通过他使用的联网设备在网络里的操作不是简单直观的，即便是坐在他的旁边也不一定就能够看得懂。就算是在网络里安装了流量采集器，把所有的流量都截取下来，没有很好的工具，我们也无法看得明白，更何况是理清上述的互动关系呢？因此把不可视的网络行为展现成一个IT从业人员不需要任何特殊培训就能一目了然的直观举动是检测异常行为的关键所在。

如何能够寻找出用户与其所用设备、应用、以及所传输的数据之间的内在关系呢？网络作为数据的高速公路、网络设备作为数据的收发节点、网络流量（数据包）作为数据的载体，就如同我们的邮政系统一样，一定携带了揭秘这些关系的必要信息。但是有关元素之间关系的一些关键信息通常并没有包含在一般的网络日志中，必须从网络的流量中和网络设备中直接提取，根据所分析的目标量身定制日志。只有这样，才能彻底解决目前SIEM或UEBA产品所面临的困境。

掌握了网络元素之间的关系，与只知道与单个网络元素相关的活动相比，异常行为检测的误报率会显著降低。例如CFO从服务器-1访问10个财务文件可以被认为是正常的（因为这是他平时工作的基本行为），但是如果是某工程师（即不同的用户）从服务器-1访问同样10个文件就可能是不正常的（因为工程师平常工作从来不登录财务服务器-1）。因此，实时掌握谁访问了哪个服务器，接触了什么文件可以提高检测的准确度和速度。如果不清楚这些关系，安全工具就不可能辨别出访问这10个文件是否是应该报告的异常的事件。

结语 

SIEM作为海量日志的管理平台，有它固有的价值。但作为内部威胁的检测工具，则是牵强附会。切合实际的讲，企业不可能够通过翻新SIEM或UEBA来实现其从未设计过的功能来应对内部威胁。24 x 7的网络威胁环境需要以数据为核心（数据是一切威胁的目标），自动化、智能化，以支持快速准确的检测和响应能力。“快速”指的是实时或接近实时检测和响应异常/异常行为。“准确”指的是通过应用精确的行为分析，消除误报带来的无尽痛苦。不论是SIEM还是现有的UEBA，显然都无法胜任这些要求。

声明：本文来自安全内参，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。