13-16年，在贴吧做了三年的内容安全，看着现在雪球/小红书/探探等一大波app都在倒下，感觉这块应该是所有ugc平台的名门了，回看当年做过的东西，免得长时间不做都忘了。

我进入到贴吧的时候，整个贴吧的内容安全的架构在老人的努力之下已经有了一个比较牛逼的基础了，当时第一版的策略配置平台已经上线，基础的原始特征也已经上线的，也就是说大部分的策略缺的就是一个“人”去研究，配置，测试召回，抽检，正式上线的过程，应该是基于这个背景，我就被招募过来了。

贴吧内部搞内容安全的有几个部门，大部分时间都需要几个部门相互配合。

1）社区基础技术部：主要提供一些通用的技术能力，当时Trate，Urate都是他们提供的，这个部门一清水的都是博士，都是大牛，但是他们平行支持了很多部门，精力会有些许分散。

2）贴吧技术部：中间各种部门架构调整，但是核心产品团队和技术团队的配合变化不大，PB/FRS 页面污染率是我们的核心KPI，

3）在线管理部：基本上需要审核的内容大部分都在他们那里，他们也是平行支持部门，所有需要审核的内容最终都是流到这个平台审核完成的。

在开头的两年里面，我基本就是跪其他所有人的，因为污染率都是每周评估一次的，一次不达标就要被老板们diao了，周一早晨的case study就会很难看了。

简单粗暴来说，所有的内容安全策略，都是基于词表的，匹配词表的方式入门有两种：精准匹配 or 模糊匹配，一开始贴吧内使用的都是内置词表，所以每次你要是更新一下词表内容，就需要重新发布策略，策略是在几百台机器上的，有延迟，第一版的策略平台我记得应该是5-10min左右才会全量生效，内置词表改外置词表的需求一直到第二年才有人搞。

后面匹配方式又升级到了命中至少两个，前置匹配，后置匹配等各种方式，匹配的各种手段都用过了，折腾这个之后开始折腾文本的二级处理，二级处理主要是抽出文本里面的数字，字母，前几个字，后几个字，基本上能尝试的都尝试过了，当时基本上都是每天都是和研发新增各种特征，然后特征可能有效就这么几天，过几天坏人变了，就需要做新的特征，这样才能把污染率打下去。

最早的时候，所有的特征和策略都是围绕文本本身的，所以大部分的时间就是在分析这段文本有什么特征，然后上线一个策略把有类似特征的帖子全部都召回了，然后自行评估 or 找客服评估一下准确率，准确率ok就把删帖的开关打开，如果不ok，就重新调整策略一直到ok为止，这是一个极其枯燥无聊的事情，新人总是做的很开心。

虽然和黑产这么人肉每天对抗也能勉强达标，但是这个时候已经出现一些更上层的问题了，急需要搞定。

1）黑产为什么这么搞？怎么搞的？收益到底有多大？

2）黑产是谁？黑产有什么？黑产的成本到底是多少？

3）文本的升级版就是图片/视频，纯文本越来越很难发现黑产的特点，召回率越来越低。有没有升级的手段？

当时只是每天看帖子的我，基本对老板提的这些问题一脸懵逼，当时运气还不错，有个专门对抗做黑产的人，金盆洗手不做了，用自己的大号过来私信我有没有机会聊聊，于是顺理成章的我开始了做黑产研究的事儿。。

第二年重点主要就是引入了用户侧的行为数据开始做策略，明天再写吧，今天出差了起来的特别早。。困了早点睡。

12年前老片了，但是这一抹鬼魅的微笑，让这片就是不一样了

接着回顾在贴吧做内容安全的日子

第一年的结果：

好处：

1. 大部分实时对抗的策略都已经齐全了，也就是说无论你做怎样的文本变形，对抗是没有意义的，这种变形都可以很简单的进行还原。

2. 实时策略的召回延迟到全部帖子延迟也就在2-3min左右，也就是说很快就能看到效果了，对于老板来说见效快就是有意义的。

14年基本从上半年开始之后，贴吧开始搞商业化，也就是俗称的卖吧，商业化最为麻烦的就是在之前策略很多会认为是广告，甚至是垃圾的东西就会堂而皇之的摆到台面上，删了金主爸爸的帖子，一堆bd和运营会找上门来的。

缺点：

1. 来个全局大于天的爸爸，要求各种豁免的时候，你会发现最终的结果却是各种策略删除，甚至最后封号都不知道怎么封的。

2. 贴吧是最后回复时间的绝对倒序，作弊的帖子发出之后，只要有人回复，还是会被顶上来，如何让策略的召回能够倒流是关键。

3. 之前策略生效不生效基本都是靠猜，词表的也还好，后来越来越复杂，基本就没办法搞了，所以需要一个方便的东西能够debug策略，（减少rd的工作量也好，给rd甩锅也好）

第二年应付的第一个大的问题记得就是贴吧做了一个首页推荐，当时首页的这个规则被黑产debug了，他们就疯狂的发黄贴，结果整个推荐页基本全部都是黄贴，点击链接下载出来的基本都是“看片神器”（认识的那个朋友就是圈子最早做这个的），由于是不同的从业者在做，所以帖子的基本特征都不太一样，所以很棘手的问题就是策略的失效非常快，基本周一分析的，周三就有新的了。这个时候如何更快的去分析策略在case当中的生效过程比较重要。

感谢研发同学，第二年差不多第一个上线的就是debug平台，之后策略当中每个特征值都能看到，策略生效不生效自己一个人就去搞了，分析过程当中发现到底是策略的问题还是特征的问题基本上一眼就能看到了。

但是这个东西只能说是一个效率工具，没人分析也是没什么用的了。

后来黑产开始不仅仅在一条帖子里面作恶，最明显的就是一楼可能只是引流，二楼开始发一些东西，三楼开始更多，最后在楼中楼里面疯狂的顶帖，一样可以达到发新帖的效果。这个时候就上了第二个大杀器，策略回溯。

一开始为了求准，主要是规则策略的回溯，后来发现规则策略已经不能覆盖那么多种类的恶意了，就开始增加了文本模型，用户模型的回溯，尤其是用户模型的回溯这个很牛逼，它本身的计算是参考了用户最近20条的帖子内容+发帖行为来进行计算分值的，重新回溯的计算量大了几个数量级的，不过后来都顺利上线搞定了。

全局策略的调整是最坑的，当你发现你的策略怎么都不生效的时候，要么就是全局策略做了豁免，或者全局策略之前就进行了干掉了，当时处理某周姓老虎的时候，所有和他相关的策略做了差不多1天多，才清理完毕。

其他杂七杂八的改进包括把内置词表修改为外置的，也加快了一点效率，这个时候删帖删除太多，引发一个问题，就是整个百度账号注册量从7亿多应该是暴涨到了12还是13亿，为啥？因为passport和网易账号没啥区别。。注册门槛基本是0.

第二年基本上就是按下葫芦浮起瓢的过程，当时还把整个策略系统复用到了百度网盘，百度地图各种ugc场合，自我感觉就是一个救火员吧，除了见识到了越来越多的黑产，其实并没有太多的成长。

这么各路折腾下来，基本第三年就要开始了。

接着聊贴吧内容安全的那点事儿

大块来说，所有的ugc安全问题主要是涉政，涉黄/暴/恐，广告，后来又增加了涉版权的板块，按照不同的板块，解决方案大同小异，重点讲第三年根据不同的类型是尝试去稳定性解决的。

整个贴吧的策略系统是这样的

所有的帖子，先过ngix层的全局策略，这个基本上主要是为了拦截一些发贴机的发帖，和一些超级敏感词的发帖，但是有些时候会出一些搞笑的事情，比如说有些敏感词配置错误，被发现了，这些基本上都快成为贴吧的段子了。

在贴吧内，策略的召回帖子（注意这里的召回不等于删除，也不等于封禁）/删除帖子/封禁用户，三种操作都是相互独立的，其中所有的策略都可以召回帖子，但是删除和封禁都是有一定的优先级的，

所以第二层帖子会同时经过不同的策略池（三个部门），你可以理解为不同的策略池是独立的，只要有一条召回就会召回，但是水池内部的设计是串联型结构，所以会出现以下几种情况：

1. 同一个水池内的高优先级的水池召回了帖子，却没有开删除和封禁的开关，会导致后面低优先级的会无法删除帖子，这个时候如果其他水池的策略也没有删除帖子的话，这个帖子就会被遗漏。

2. 很多时候在测试策略的时候，有时候记得把策略优先级调整到最低的时候，但是却忘了把用户封禁的开关关闭，这个时候可有可能导致大量用户被误伤，这种投诉也不少。

解决方案就不提了，毕竟是“人工智能”

后来做的第三层就更有意思了，就是众审（这个不是我做的），我们把一部分有嫌疑的帖子，推送给人工（志愿者）去审核，当时这个模式应该是贴吧第一个做的。而且准确率是通过了自己部门客服抽检的，不知道这个人力依赖很重的模式还是否做下去了。

之前的数据源只有新发帖数据，后来接入了投诉/用户反馈等不同的数据源，依赖策略对数据源进行分类，就是策略不一样的用途了，孰优孰劣不太好说，起码灵活性上要好一点。不过上线这些东西本质上是来源于一些更临时的问题的压力，未必说是因为有长远的眼光。

不能将用户从发帖-到回帖-再到客服恢复误伤作为一整个闭环来解决系统内的问题，是一个极其短视的反作弊工程师。

还有一些其他的类型。

1. 涉政

涉政的内容，其实在贴吧还是比较好解决的，除了有一段时间，某功夫利用贴吧的私信系统进行疯狂的推广，当时的文本应该是我见过的最狠的变形，例如：

“推开一扇门，你就可以闻到不一样的空气，xx.xx.xx”

基本上全部都是类似这种，反正文本打分，基本的规则是没啥用的，最重要每天发的量对于当时没啥正常用户的私信系统来说，简直可以说是DDos攻击，溯源用的账号，基本都是淘宝买过来的1-2年号，一块钱14个，高峰期一天基本上封禁100万号是有的，纯账号成本就7万了，前前后后对抗了四个月左右吧，后面复盘过，轮子的成本绝对有1500万，不得不说美国爸爸给的钱真多。

后面在做百度云的时候，百度云的私信和评论也被他们搞了一顿，而且用的是已经在贴吧被封禁的账号，这个百度跨部门的坑以后再说。

以前基本上如果去甲方爸爸跪都是在线管理部的同学去跪，后来就拉上我们一起去跪，。感谢天翼老沙，涉政，黄，赌，暴恐相关的基本都是我们几个一起搞下来的。

后面也尝试过打案子针对一些比较猖獗的黑产进行打击，但是我走的时候，都没有落地，甚至还扣押了我一台电脑，到现在还在佳一那里，我还没去拿呢。

不过从长期来看，这块应该会成为大部分app能否活下去的一个关键因素，好像目前数美这个服务卖的还不错，八卦说是挖了微信的一个人做的，不知真假，不想确认。

2. 利用投诉、举报删帖

在那个年代，由于投诉举报的量不是特别的大，所以大部分都是人工来处理的。如果平时不是很过分的话，基本人工都是能搞定的，于是黑产就开始动歪心思了，

他们用大量的小号或者被盗账号进行投诉，然后造成后台大量的投诉堆积，堆积之后客服同学只能找rd清理数据，rd手一抖就把被投诉帖子清理了，顺利帮黑产解决了问题，尤其是在一些收费删帖当中，经常会见到坏人用这种方式来删帖，你说这是谁的锅吧，不好说，你要说不是锅吧，整个链条上的所有人，都是逃不掉的。

声明：本文来自胖冉看世界，版权归作者所有。文章内容仅代表作者独立观点，不代表安全内参立场，转载目的在于传递更多信息。如有侵权，请联系 anquanneican@163.com。