困局
阿里安全情报团队自从15年成立以来，面临整个阿里经济体复杂业务上寄生的各种黑灰色产业，各种不同的黑灰产催生出不同的业务风险，如撞库、数据窃取、ddos攻击、黄牛抢购、营销活动薅羊毛、刷单炒信、钓鱼诈骗、流量劫持等等。
这意味着情报需要针对这些不同种类的风险都需要有所应对，老板经常问到情报的一个核心问题：情报如何才能做到发现未知风险？ 第一时间听到这句话的时候，让我想起了黑天鹅事件（黑天鹅事件指非常难以预测，且不寻常的事件，通常会引起市场连锁负面反应甚至颠覆）。“黑天鹅”事件是指满足以下三个特点的事件：
第一，它具有意外性。
第二，它产生重大影响。
第三，虽然它具有意外性，但人的本性促使我们在事后为它的发生编造理由，并且或多或少认为它是可解释和可预测的（以上抄自MBA 百科）。
对于企业安全风险管控来说，一直寄希望于避免或者降低出现黑天鹅事件风险出现，因此有的时候就将这个“锅“扔给情报（我选择go die）。
在情报发展的历程中，16年，曾经出现过一次类似黑天鹅事件的重大风险。基于黑天鹅的第三特性以及情报临危受命，就开始就着这一个重大风险搞起一个专项，尝试去解决发现未知重大风险。从开始的立项、到事件论证分析、到组织调整、研发数据投入也搞的热火朝天。最后发现几个事情，一个是其实这个风险本身很早就有各种线索、投诉，而且持续存在，只是最终在由个案牵出时发现整体的产业规模非常之大、影响之广让大家为之震惊。因此问题关键在于何时能够监控到事件的规模达到一定的程度，过早大家对这个事件的危害没有感知，太迟了事件爆掉了也不行。情报需要在这个临界点之前监测到并且上报，并且阐述整体风险的规模、风险上升的速度、预测才能引起上层重视从而作出决策。二是针对这个具体的“黑天鹅”事件来做分析、模型、监测也只能解决跟这一类的安全风险问题，也解决不了发现其他未知风险的问题。
那么基于已经出现的风险来做发现不了未知风险，那么单纯从各种异常来做呢，不设定具体的风险域，这一条路可行么？情报在17年也是经过尝试的。从内外部各种异常收集回来，通过数据分析、模型来尝试挖掘之前未曾发现的风险。最后发现直接从异常着手，是很难运营并且很难与具体某一类风险关联的，每一个异常都需要情报分析的同学深入背后溯源调查才有可能发现背后真实原因。这里有一个异常的真实案例，某天出现某个接口的机器pv暴增，甚至导致正常业务都快瘫痪，但是单单从这个接口的pv去分析根本找不到背后的原因。最后某天通过外部的一些情报维度分析发现原来这次的爆表机器PV同这个情报关联的，这条从异常到风险之路路也困难重重最终放弃。
降维
情报在这条路上一直探索如何去解，回归发现“未知“风险这一句话，我们还是需要细细拆解研究的。先来阐述这个“风险”，对一个互联网企业来说来自不同维度的风险是非常之多的，有来自政策、监管层面的风险，来自竞对手的自身优势业务的布局、打压风险、负面黑PR风险，有来自消费者、商家的投诉不满、舆情升级风险，有来自各种黑灰产造成平台资损、商业业务经营秩序环境被扰乱伤害、数据泄露、以及各种原因导致的消费者、商家被诈骗的风险。情报团队重点focus在黑灰产领域的情报，这个领域的风险理论是可以梳理完整的，这里绘制了一张我们当前主要面临的黑灰产风险大图：
这里只是从大类上进行分类，每一个大类下面又会又细分的小类，如通信诈骗，子种类又是繁多的。
在来一起看看“未知”这个关键字解读，“未知“一个很哲学的词语，曾经甚至有业务提出要求情报发现我未知的风险，然后呢已知什么是不会告诉你的，去要一些异常数据的时候说只要给我我未知的就行，这些都是已知异常拿过去没有用不给，这里我只能拿这张图来表示我的心情：
这里我想把“未知“这个词限定在针对已知风险域下面出现的新的未知风险， 而未知风险域类似黑天鹅事件，本身是无法预料的，更难针对一个谁都不知道的事情去做情报，情报一定是要有明确对手的。如果大家能够一致认可将”未知“限定在针对已知风险域下面出现的新的未知风险，那么就可以继续开展下去了，如果不能认可，那只能选择
如果针对已知风险域下面出现的新的未知风险来做情报的话，需要重点关注2个维度，一个维度是出现新型的攻击手法、漏洞、软件，另外一个维度是风险能够持续的监控、评估规模，能够在规模化被利用的时候及时发出预警。
最终问题降维，从发现未知（风险域）的未知风险，转变到从已知（风险域）发现未知风险。这就意味情报需要对梳理的企业需要面对的黑灰产风险域做到全覆盖，能够对每个风险能够看清大盘，监控风险规模。但是这在有限的人力、情报能力的制约、黑灰产持续的动态对抗下这也是一个难题需要思考怎么解，这里面每一个黑灰产对应的风险想要看清楚也需要很大的代价持续深耕的。
解法
在降维这一思路的前提下，针对上面提到的难题目前也有一些清晰的思路和降低难度的解法。
一个是缘由情报的拼图属性，情报从外部视角、对手视角，通过信源获取获取到的各种维度数据、异常、加工分析、建模，数据并不完整，但不影响从这些碎片拼图中去评估、看清真正的大盘风险。比如下面几张比较形象的dog图：
碎片
拼图
全貌
因此情报如果针对每个风险域找到关键的一些抓手，能够做到40-50%的风险水位监控，其实理论上能做到前面提到的2个重点关注的维度（新的手法、漏洞，规模化利用上升）。
另外一个关键需要解决不同风险域之间的能力抽象、共建，快速适配新的不同风险接入，有限的人力下这是一个必须要能够解决的问题。目前情报通过重点打造报针对不同风险域的抓手、路径、能力抽象成能力块，类似乐高积木的方式。在新的风险域能够快速接入已有的能力组件，情报分析人员只需要针对这个风险域场景特有的一些维度研究，并编写能力组件添加平台即可。平台将这些不同的能力组件进行瓶装，从而完成对一个风险域情报视角的刻画。只有这样才有可能解决在有限的人力面对多个风险快速介入，并且能够评估。我们内部把这个叫TiBlokcs，TiBlocks是情报平台的中台核心能力，设计思想同现在业界比较火的自动编排产品有点类似。
设计原理图
最后放一张目前情报整体的能力业务架构图，这些内容均由内部的情报平台来承载，对外已经将一些敏感的内容隐去，但结构内容不变。
能力架构图
挑战
针对这些困局，情报目前有一些思路、策略来解决，但同时新的挑战、困难仍然面临很多。情报核心能力底层2个非常基础的能力：溯源能力、信源能力的建设，尤其是如何建立持续稳定、高质量的信源尤为重要。一方面需要能结合黑灰产业务场景理解针对内部的数据进行充分挖掘的数据研发人才，另一方面需要外部各种开源、闭源的信源获取的安全攻防人才。同时针对这些内外部信源，如何建立针对风险的水位评估建设、抓手路径，看清大盘需要有对数据、攻防一体的人才来运营。情报是一门综合学技能科的运用，能够接触非常多的不同领域的业务及风险，在建设这些核心能力的基础上，研究方向也很难限定，当前唯一限制我们的就是想象力。非常期待和欢迎更多志同道合、有想象力的安全人才加入阿里安全-归零实验室，一起black to zero| back to zero。今天开幕的isc大会的口号是从0开始， 你看我们实验室名字早就是归0实验室了。
同时也需要同业界更多的反网络黑灰产、情报相关的生态同盟公司一起加强合作，携手共同防御、主动出击，治理网络黑灰产。
PS
情报持续招人情报技术专家-P7-P8、情报数据挖掘专家等不限，具体JD信息见，
https://job.alibaba.com/zhaopin/position_detail.htm?spm=a2obv.11410903.0.0.3bc044f6dt3q6W&positionId=41554
https://job.alibaba.com/zhaopin/position_detail.htm?spm=a2obv.11410903.0.0.6bb844f6ndn05f&positionId=36325
https://job.alibaba.com/zhaopin/positionList.htm?keyWord=JXVGRjA4JXU2MjgwJXU2NzJGJXU2MEM1JXU2MkE1JXU4NEREJXU1MTlCJXVGRjA5&_input_charset=UTF-8&
欢迎自荐或推荐，推荐成功请吃帝王蟹……简历发back2zero@service.alibaba.com或者私信我都可
声明：本文来自instruder，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。
