在進(jìn)行內(nèi)容治理時(shí)，我們需要考慮需要治理的對(duì)象及其方式，本文從12個(gè)維度出發(fā)，談?wù)勆暇€一條策略、一條規(guī)則的完整流程，希望對(duì)你有所幫助。

本文基于智能驗(yàn)證碼和延時(shí)審核的背景，聊聊上線一條策略、一條規(guī)則的完整流程，本文目錄如下圖。

這是一本書(shū)中的一個(gè)規(guī)則挖掘流程，下文的流程可以理解為這個(gè)流程的完整版，在他的基礎(chǔ)上有一些補(bǔ)充。

一、價(jià)值觀

1. 業(yè)務(wù)類

不管是內(nèi)容治理還是業(yè)務(wù)治理，第一步要確定的是，我們需要治理什么。不同公司業(yè)務(wù)不同，在業(yè)務(wù)側(cè)需要治理的內(nèi)容也大不相同。

例如美團(tuán)點(diǎn)評(píng)可能需要治理虛假評(píng)價(jià)、惡意差評(píng)等公信力問(wèn)題。只有真實(shí)、對(duì)用戶有幫助的內(nèi)容才能留得住用戶的信任，下圖來(lái)自美團(tuán)在拉勾的招聘要求。

例如微博可能需要在各個(gè)環(huán)節(jié)控制不良內(nèi)容的產(chǎn)生和消費(fèi)。

例如知乎可能需要治理不友善、抄襲、男女權(quán)等氛圍向的內(nèi)容。

在 58 同城社區(qū)模塊，則需要能夠提升用戶對(duì)業(yè)務(wù)認(rèn)知，及能夠提升留存的內(nèi)容。所以相應(yīng)的需要治理掉虛假信息、低質(zhì)內(nèi)容、重復(fù)內(nèi)容、改寫抄襲、水帖等。

2. 底線類

對(duì)于底線類的內(nèi)容各公司相差不會(huì)太大，都是來(lái)自外部倒逼的治理：指令、輿情。

1.2 1 指令

指令有兩種，第一種是國(guó)家部門公開(kāi)發(fā)布的清查、政治指令。這類指令一般描述得較為抽象和寬泛，需要專業(yè)的政府關(guān)系部門和風(fēng)控部門共同進(jìn)行研判解讀后，基于平臺(tái)定位制定具體的執(zhí)行范圍和方向。

比如：6 月 15 日，中央網(wǎng)信辦宣布在全國(guó)范圍內(nèi)開(kāi)展“清朗·‘飯圈’亂象整治”專項(xiàng)行動(dòng)。豆瓣開(kāi)始對(duì)違規(guī)賬號(hào)、問(wèn)題小組等進(jìn)行刪除和解散，愛(ài)奇藝對(duì)集資、打榜徹底“自查自糾”。

另一種是國(guó)家部門直接給企業(yè)下達(dá)的查殺的指令，比如互聯(lián)網(wǎng)舉報(bào)中心收到 xx 舉報(bào)，命令平臺(tái)處理，這類指令必須執(zhí)行。

1.2.2 輿情

輿情一般指用戶或媒體在站外對(duì)平臺(tái)出現(xiàn)的內(nèi)容進(jìn)行負(fù)面評(píng)價(jià)，并達(dá)到一定傳播量，如果不及時(shí)處理，可能對(duì)平臺(tái)品牌形象、聲譽(yù)有惡劣影響。官媒發(fā)出的負(fù)面評(píng)價(jià)，嚴(yán)肅程度不亞于指令。

比如：9 月末，《新京報(bào)》和《央視網(wǎng)》等多家媒體報(bào)道了社交媒體的“佛媛”現(xiàn)象，一時(shí)間上了熱搜。各個(gè)社區(qū)在第一時(shí)間進(jìn)行了清查，抖音共處罰利用“佛媛”形象營(yíng)造人設(shè)開(kāi)展虛假營(yíng)銷行為相關(guān)賬號(hào) 48 個(gè)，其中永久封禁賬號(hào) 7 個(gè)，同時(shí)，清理違規(guī)視頻 148 條。小紅書(shū)第一時(shí)間已啟動(dòng)專項(xiàng)檢查，清理違規(guī)筆記 70 篇，封禁賬號(hào) 3 個(gè)。

10 月，很多人假期出游后，在社交網(wǎng)絡(luò)上吐槽小紅書(shū)“濾鏡景點(diǎn)”，一時(shí)沖上了熱搜，之后小紅書(shū)進(jìn)行了公開(kāi)道歉。

對(duì)于外部倒逼的指令、輿情，一般由企業(yè)內(nèi)專業(yè)的公關(guān)部門，政府關(guān)系部門進(jìn)行快速交涉和判斷，給出應(yīng)對(duì)措施到各個(gè)部門執(zhí)行落地，進(jìn)行生態(tài)治理是其中必備的措施之一。

二、如何發(fā)現(xiàn)未發(fā)現(xiàn)的問(wèn)題

需要治理的問(wèn)題可以分為兩類，一類是已知的問(wèn)題，我們知道這個(gè)問(wèn)題存在，只是考慮如何更好的識(shí)別、如何識(shí)別變形、如何引導(dǎo)用戶不發(fā)違規(guī)內(nèi)容、需要治理到什么程度、如何處罰、如何教育等，例如治理重復(fù)內(nèi)容、改寫內(nèi)容。

但還有一類是，我們不需要的內(nèi)容，但是我們當(dāng)前并未發(fā)現(xiàn)這個(gè)這個(gè)問(wèn)題，如何才能更好的發(fā)現(xiàn)這個(gè)問(wèn)題。例如我們最近治理過(guò)的一類型問(wèn)題，雖然在寫自己經(jīng)歷，但我們分析后發(fā)現(xiàn)這類型帖子極易出現(xiàn)詐騙行為。這類型就屬于之前未關(guān)注到，但很明確這類型類容是我們不需要的，需要新發(fā)現(xiàn)這個(gè)問(wèn)題。

我們常用的幾種發(fā)現(xiàn)未發(fā)現(xiàn)的問(wèn)題包括：

• 監(jiān)控體系/預(yù)警體系：通過(guò)對(duì)某些核心指標(biāo)的監(jiān)控，例如提現(xiàn)金額、發(fā)帖頻率、發(fā)帖量、頻繁切換賬號(hào)等的監(jiān)控，如果指標(biāo)出現(xiàn)異常，則去排查相應(yīng)的問(wèn)題，順藤摸瓜可能又會(huì)挖出一系列黑產(chǎn)。
• 離線數(shù)據(jù)分析：定期或非定期的分析歷史數(shù)據(jù)，也可以發(fā)現(xiàn)一些未發(fā)現(xiàn)的問(wèn)題。例如我們?cè)治鰵v史數(shù)據(jù)發(fā)現(xiàn)有一批用戶從 5 月份開(kāi)始，頻繁的在評(píng)論中發(fā)布「新年快樂(lè)」相關(guān)內(nèi)容，經(jīng)分析，發(fā)現(xiàn)是一個(gè)哈爾濱的黑產(chǎn)團(tuán)隊(duì)。
• 臥底在黑產(chǎn)群內(nèi)：平時(shí)多關(guān)注黑產(chǎn)作弊方式，臥底在相應(yīng)群內(nèi)，及時(shí)發(fā)現(xiàn)新型違規(guī)方式，然后再回來(lái)完善自己產(chǎn)品的風(fēng)控體系。
• 用戶反饋：時(shí)常關(guān)注用戶反饋，從用戶反饋中發(fā)現(xiàn)平臺(tái)方未關(guān)注到的問(wèn)題。
• 舉報(bào)：也算是用戶反饋的一種。

建立審核團(tuán)隊(duì)反饋 case 流程：平臺(tái)人員很清楚知道哪些是需要的內(nèi)容，哪些是不需要的內(nèi)容，但見(jiàn)的 case 一定沒(méi)有審核人員多。審核人員見(jiàn)過(guò)足夠多的 case，但是規(guī)則未包含的內(nèi)容他們并不清楚哪些是不需要的。雙方各有優(yōu)劣勢(shì)，所以可以將平臺(tái)的價(jià)值觀，即第一步的問(wèn)題也同步到審核團(tuán)隊(duì)，他們可以把規(guī)則暫時(shí)未包含到的，但是他們覺(jué)得可能不需要的 case 提供給平臺(tái)人員，即可發(fā)現(xiàn)某些不知道的問(wèn)題。

每日瀏覽社區(qū)：是對(duì)上一步的補(bǔ)充，既然平臺(tái)人員對(duì) case 了解的不夠多，那就去加強(qiáng)了解。

建立紅線內(nèi)容快速反應(yīng)流程：這個(gè)主要是針對(duì)一些緊急的輿情事件，例如李易峰事件、唐山打人事件等（這兩個(gè)案例雖說(shuō)常遇到，但比較輕，平時(shí)需要處理的更多是更緊急更嚴(yán)重的不適合在公眾號(hào)舉例的輿情事件，會(huì)被刪文）。

除了上面提到的，還有其他還未成方法論的方式，只是偶爾用來(lái)發(fā)現(xiàn)問(wèn)題。

發(fā)現(xiàn)問(wèn)題后需要對(duì)問(wèn)題有個(gè)初步評(píng)估，這個(gè)問(wèn)題的嚴(yán)重性、涉及量、如果治理對(duì)業(yè)務(wù)的影響、需要多大成本來(lái)治理等，此時(shí)需要有個(gè)大概預(yù)估。

例如涉黃、詐騙、危害青少年的內(nèi)容，可能占比很低，也很不好識(shí)別，但結(jié)果很嚴(yán)重，所以必須得解決。

例如發(fā)帖時(shí)很多內(nèi)容使用相同圖片，對(duì)消費(fèi)用戶體感不好，量級(jí)可能也大，但是影響程度較輕，且可通過(guò)降權(quán)分發(fā)，或分發(fā)打散，只需要不讓同一個(gè)人看到相同圖片即可，所以可不治理，或優(yōu)先級(jí)很低。

三、收集樣本

不管是已知的問(wèn)題，還是新發(fā)現(xiàn)的問(wèn)題，在制定規(guī)則、策略前，都需要大量的樣本，而根據(jù)不同問(wèn)題類型可能會(huì)有不同的收集樣本，例如：

巡檢團(tuán)隊(duì)提供，把篩選樣本標(biāo)準(zhǔn)給到巡檢團(tuán)隊(duì)，找出更多樣本。不同公司也可能是標(biāo)注、質(zhì)檢、審核團(tuán)隊(duì)，也有可能是產(chǎn)品自己來(lái)篩選。

自己跑 SQL，如果有可量化的標(biāo)準(zhǔn)，即自己就可初篩樣本。例如滿足最近 3 天發(fā)帖量 ≥20 & 所發(fā)帖觸發(fā) ≥3 個(gè)不同職業(yè)標(biāo)簽 & 注冊(cè)時(shí)間晚于 2022 年 1 月 1 日。

四、特征分析

這一步得有點(diǎn)刨根問(wèn)底，順藤摸瓜的精神，以及對(duì)數(shù)據(jù)敏感性、對(duì)業(yè)務(wù)足夠理解、對(duì)用戶足夠理解。所以，雖然是屬于數(shù)據(jù)分析范疇，但產(chǎn)品往往會(huì)比數(shù)據(jù)分析做得更好。

這一步能說(shuō)出來(lái)的方法論屬于流程性的，不具有實(shí)際操作性，具有實(shí)操性的又沒(méi)有固定的方法論，我以兩個(gè)案例來(lái)講是咋做的吧。

1. 案例一，多設(shè)備多賬號(hào)

問(wèn)題介紹，我們通過(guò)知識(shí)圖譜發(fā)現(xiàn)部分賬號(hào)和設(shè)備之間存在關(guān)聯(lián)關(guān)系，例如同一個(gè)賬號(hào)短時(shí)間內(nèi)在多個(gè)設(shè)備上登錄過(guò)，同一個(gè)設(shè)備短時(shí)間內(nèi)登錄過(guò)多個(gè)賬號(hào)，且他們相互之間還存在金額轉(zhuǎn)移行為、帖子內(nèi)容質(zhì)量低、抄襲、大量刪帖等問(wèn)題。

注：下面案例中所涉及數(shù)字，并非我做分析時(shí)實(shí)際取的數(shù)字，為了公司策略安全，下面數(shù)字我隨意寫的，可根據(jù)自己產(chǎn)品實(shí)際情況做調(diào)整。

具體分析這個(gè)問(wèn)題，我們就取最近 3 個(gè)月內(nèi)，同一個(gè)設(shè)備上登錄 ≥5 個(gè) uid，及同一個(gè) uid 在≥3 個(gè)設(shè)備上登錄過(guò)，兩個(gè)條件作為兩個(gè)問(wèn)題單獨(dú)分析。

先針對(duì)同設(shè)備商登錄多個(gè) uid 這個(gè)問(wèn)題，具體分析時(shí)需注意：

做好用戶分群：按登錄 uid 數(shù)量做用戶分層，例如 ≥20 個(gè)，10-20 個(gè)，5-10 個(gè)。

結(jié)合其他數(shù)據(jù)：針對(duì)這三個(gè)用戶群再看對(duì)應(yīng)的金額轉(zhuǎn)移情況，以及內(nèi)容違規(guī)情況。最終會(huì)形成一個(gè)矩陣，類似 RFM 模型中的矩陣。

例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄 uid 數(shù)量 5-10 個(gè)，則金額轉(zhuǎn)移違規(guī)的概率 17%，內(nèi)容違規(guī)的概率 27%。

例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄 uid 數(shù)量≥20 個(gè)，則金額轉(zhuǎn)移違規(guī)的概率 93%，內(nèi)容違規(guī)的概率 73%。

例如一段時(shí)間內(nèi)同一個(gè)設(shè)備上登錄 uid 數(shù)量 5-10 個(gè)，但是這部分 uid 有 37%的 uid 在同一段時(shí)間內(nèi)在≥3 個(gè)設(shè)備上登錄過(guò)。

給不同處罰：結(jié)合上面矩陣，根據(jù)不同嚴(yán)重情況基于用戶不同處罰。例如違規(guī)嚴(yán)重且識(shí)別準(zhǔn)確，則直接拉黑。違規(guī)不嚴(yán)重但識(shí)別準(zhǔn)確，則限制功能。違規(guī)嚴(yán)重但識(shí)別不準(zhǔn)確，則送人審。這里所說(shuō)的「嚴(yán)重、不嚴(yán)重」「準(zhǔn)確、不準(zhǔn)確」，都是在數(shù)據(jù)分析的結(jié)果下有確定的數(shù)值的。

2. 案例二，信用卡詐騙規(guī)則

提供篩選規(guī)則給巡檢團(tuán)隊(duì)，他們?cè)谝欢ǚ秶鷥?nèi)的內(nèi)容中篩選出 xx 條可能有問(wèn)題的內(nèi)容給我，我在通過(guò)瀏覽分析出其中的特性，再針對(duì)特性做一些延展，例如包含追債、網(wǎng)貸、催更等關(guān)鍵詞，圖片包含手寫、聊天截圖、蓋章合同簽字、信用卡相關(guān)的海報(bào)等。

下一步制定規(guī)則時(shí)就會(huì)根據(jù)這些特定，并再做一些拓展即可（MECE 原則）制定規(guī)則。

在排查他們的其他行為，以及內(nèi)容，是否存在比較高概率也存在相同問(wèn)題，先接受些誤傷，在支持用戶做申訴。

五、制定策略/規(guī)則/模型

在分析出一些特征后，我可能會(huì)通過(guò)規(guī)則、策略、模型來(lái)解決。

1. 策略/規(guī)則/模型之間的關(guān)系

策略：通常指機(jī)審的策略，例如最常見(jiàn)的觸發(fā)某些關(guān)鍵詞就不通過(guò)。

規(guī)則：通常指人審的規(guī)則，作為策略的補(bǔ)充，包含部分策略，但又無(wú)法完全包含策略，他們是下圖的關(guān)系。

機(jī)審策略有，人審規(guī)則無(wú)。例如針對(duì)識(shí)別重復(fù)文本，需要和歷史庫(kù)內(nèi)進(jìn)行對(duì)比，人工則不可能做到這件事。

機(jī)審策略有，人審規(guī)則有。例如針對(duì)男子裸露上體，策略不一定能夠很準(zhǔn)確，如果漏過(guò)，則需要人審時(shí)識(shí)別出來(lái)。

機(jī)審策略無(wú)，人審規(guī)則有。例如以語(yǔ)氣助詞出現(xiàn)的不文明用語(yǔ)，如：

他們的看老子穿裙子還叫老子爬樹(shù)（語(yǔ)氣助詞）

可能基于成本，或算法成熟度等原因，會(huì)把某些規(guī)則僅讓人工來(lái)識(shí)別，之后可能逐漸的也會(huì)替換成機(jī)器識(shí)別。

模型：模型可以是作為策略的一個(gè)工具，例如我們需要根據(jù)帖子和話題相關(guān)度來(lái)決定帖子是否需要獎(jiǎng)勵(lì)，或者是否需要分發(fā)，可能就會(huì)開(kāi)發(fā)一個(gè)相關(guān)度模型，根據(jù)相關(guān)度不同，配置不同的策略處理方式。也可以將多條策略融合之后開(kāi)發(fā)的模型，直接用于對(duì)內(nèi)容的判斷。注：不要一味地相信模型，模型可解釋性遠(yuǎn)低于策略，開(kāi)發(fā)周期長(zhǎng)，效果不一定比簡(jiǎn)單配置一條策略好。

2. 策略篩選用戶

做策略則是一個(gè)不停地切蛋糕的過(guò)程，而使用的刀便是由用戶特征組成的規(guī)則，5.2 下面內(nèi)容來(lái)自知乎。

5.2.1 用戶情況

5.2.2 策略方法一：?jiǎn)我?guī)則變量刀

單變量組成的規(guī)則，就是一把切出頭的刀，一切到底。

一刀切當(dāng)然是不夠的，我們需要多切幾刀。

通過(guò)上面兩刀我們留在中間的用戶，只有兩個(gè)壞用戶，壞賬率控制在了 15%。通過(guò)率則到了。

5.2.3 策略方法二：多變量規(guī)則刀

單變量規(guī)則刀切的顆粒度刀，對(duì)于變量要求高，一刀切就怕切大了。所以，從維度上看，可以用多個(gè)維度的變量去切樣本，例如二變量。二變量的刀便成為了矩形刀。

多變量能夠把區(qū)域區(qū)分得更加細(xì)膩，如上圖按面積計(jì)算的通過(guò)率就提升了。

5.2.4 策略方法三：模型透視鏡

嘗試完各種初級(jí)變量刀之后，就可以將模型透視鏡引入了。模型透視鏡的作用不在于切，而在于給凌亂不堪的樣本帶來(lái)秩序 – 排序能力。

在用了模型透視鏡之后，再配合變量刀就容易得多了。

5.2.5 策略方法四：用戶分層刀

以上的方法都是基于一塊蛋糕來(lái)操作的，在原有的基礎(chǔ)上不斷的切：所有人都被切了同樣的刀。但是，我們有時(shí)候可能想做得更加細(xì)膩一些，商品推薦有千人千面，策略當(dāng)然也能做。這時(shí)候就需要用用戶分層刀了。

用戶分層刀將一個(gè)蛋糕變成了兩塊，兩塊分別過(guò)刀。

有了不同的分群，我們?cè)賮?lái)一個(gè)個(gè)多刀。

當(dāng)然實(shí)際中策略同學(xué)還有更多的方法，我羅列了幾種常見(jiàn)武器。探索最佳策略的過(guò)程，也是不斷挑選武器，不斷嘗試應(yīng)用武器的過(guò)程。

3. 策略處理方式

通過(guò)上一步篩選出用戶或內(nèi)容或行為，或其他任何東西。我們還需要對(duì)不同場(chǎng)景、不同類型、不同嚴(yán)重程度、不同用戶分群等等等基于不同的處罰。可能是不通過(guò)、可能是封號(hào)、可能是做挑戰(zhàn)、可能是送人審等。隨著業(yè)務(wù)發(fā)展，策略和處理方式都會(huì)逐漸的精細(xì)化。

4. 制定規(guī)則/策略注意點(diǎn)

5.4.1 豐富性

策略多樣：審核標(biāo)準(zhǔn)的落地應(yīng)在視頻、?頻、?本、圖?、直播等不同內(nèi)容形態(tài)下具備靈活性，滿?內(nèi)容安全的前提下還要符合不同產(chǎn)品形態(tài)、內(nèi)容形態(tài)的傳播特點(diǎn)。

避免?硬：審核標(biāo)準(zhǔn)要能最?限度保護(hù)內(nèi)容、尤其是優(yōu)質(zhì)創(chuàng)作者的內(nèi)容，審核標(biāo)準(zhǔn)的?不?是為了規(guī)避?險(xiǎn)，也要充分滿?平臺(tái)的發(fā)展需要；規(guī)則上不應(yīng)該只有刪除和通過(guò)，也應(yīng)包含提醒、退回、限制、分地區(qū)等等多種策略。

5.4.2 前瞻性

前瞻視?：審核標(biāo)準(zhǔn)的制定應(yīng)盡量前置于?險(xiǎn)的發(fā)?，這也需要制定者有豐富的業(yè)務(wù)經(jīng)驗(yàn)與?險(xiǎn)意識(shí)；

舉一反三：出現(xiàn)一個(gè)問(wèn)題，需梳理出同類型的問(wèn)題一并制定規(guī)則。

發(fā)展眼光：審核標(biāo)準(zhǔn)應(yīng)盡量???遠(yuǎn)并能持續(xù)執(zhí)?，避免頻繁改動(dòng)，這樣會(huì)過(guò)于消耗業(yè)務(wù)資源、同時(shí)也會(huì)影響執(zhí)?效果。

5.4.3 清晰易懂，主要針對(duì)人審規(guī)則

條款清晰：審核標(biāo)準(zhǔn)的撰寫要措辭準(zhǔn)確、??簡(jiǎn)潔，對(duì)于操作者也要便于理解、便于操作，忌諱晦澀難懂與執(zhí)?脫節(jié)。

案例得當(dāng)：除?字規(guī)則外，需要搭配適當(dāng)案例?便理解與對(duì)標(biāo)實(shí)操。

5.4.4 易于執(zhí)行，主要針對(duì)人審規(guī)則

換位思考：審核標(biāo)準(zhǔn)不是為了有?有，應(yīng)本著?便執(zhí)?的原則，?條審核標(biāo)準(zhǔn)要輻射到?百、上千名審核同學(xué)，應(yīng)有敬畏之?，換位思考，制定過(guò)程要始終站位落地層?。

操作便捷：審核標(biāo)準(zhǔn)不僅僅是紙?上的?字，應(yīng)充分考慮執(zhí)?的便捷性、判斷的準(zhǔn)確性。

例如，我們需要治理虛假信息，不能說(shuō)看起來(lái)像假的，或者在你的價(jià)值觀中是假的，得細(xì)分場(chǎng)景，例如對(duì)于曬工資，對(duì)于滴滴司機(jī)/外賣員/快遞員崗位，若月薪≥一定值，則認(rèn)為這是條虛假信息。因?yàn)橛行袠I(yè)數(shù)據(jù)，行業(yè)內(nèi)只有不到 x%的人高于這個(gè)數(shù)值，我們接受這個(gè)誤傷，并且針對(duì)這個(gè)誤傷我們也不是直接干掉，給他的處罰只是不分發(fā)而已。

例如，我們某條規(guī)則針對(duì)嬰兒不執(zhí)行，規(guī)則描述中不能說(shuō)嬰兒或 1 歲以下的人，因?yàn)閷徍巳藛T無(wú)法判斷?？梢杂盟砩系哪承?biāo)志，例如還不能走路的小孩。

5.4.5 注意誤傷

制定一個(gè)策略時(shí)，需注意可能的誤傷，如果誤傷量級(jí)過(guò)大，會(huì)影響業(yè)務(wù)。

5.4.5 做好平衡

例如我們有一個(gè)安保方案，監(jiān)管讓我們?cè)谀承┨厥鈺r(shí)期，針對(duì)某些類型賬號(hào)不允許發(fā)布內(nèi)容，發(fā)現(xiàn)對(duì)業(yè)務(wù)的流量影響過(guò)大，我們會(huì)設(shè)置更嚴(yán)格的策略，以確保在安全的前提下盡量小的對(duì)業(yè)務(wù)造成影響。

例如我們一個(gè)策略，觸發(fā)「xxx」相關(guān)的某些內(nèi)容刪除，因?yàn)槿菀状嬖陲L(fēng)險(xiǎn)，且對(duì)應(yīng)內(nèi)容對(duì)業(yè)務(wù)無(wú)價(jià)值，所以在用用戶無(wú)感知的前提下，內(nèi)容有些誤傷也沒(méi)關(guān)系。

六、預(yù)上線

從嚴(yán)謹(jǐn)流程上來(lái)說(shuō)，一條策略不允許直接上線，都得先經(jīng)過(guò)預(yù)上線，觀察一段時(shí)間數(shù)據(jù)，然后優(yōu)化，根據(jù)預(yù)上線的數(shù)據(jù)優(yōu)化后再上線。即使非常緊急，也只是縮短預(yù)上線觀察數(shù)據(jù)的時(shí)間而已。

預(yù)上線定義：讓策略空跑一段時(shí)間，只需知道哪些用戶、哪些設(shè)備、哪些內(nèi)容等觸發(fā)了策略，但并不實(shí)際對(duì)他們?cè)斐商幜P。

在預(yù)上線之后可以對(duì)策略分為兩種類型，看是否會(huì)對(duì)用戶行為鏈路受影響。

如果風(fēng)控的動(dòng)作會(huì)導(dǎo)致用戶的行為鏈路受影響，建議進(jìn)行 ABtest，例如處罰后就會(huì)出現(xiàn)滑塊驗(yàn)證。

如果風(fēng)控的動(dòng)作對(duì)用戶操作無(wú)感知，建議染色標(biāo)記，例如海外 ip 在某些時(shí)間段內(nèi)發(fā)的內(nèi)容在某些場(chǎng)景不分發(fā)。

七、評(píng)估及調(diào)優(yōu)

我們?cè)诟鱾€(gè)環(huán)節(jié)都會(huì)存在評(píng)估，只是有的時(shí)候會(huì)嚴(yán)謹(jǐn)?shù)幕跀?shù)據(jù)來(lái)評(píng)估，有的時(shí)候會(huì)大概預(yù)估，這一步是指預(yù)上線、ABtest、染色標(biāo)記后，需觀察數(shù)據(jù)做好評(píng)估，以及調(diào)優(yōu)策略。但這一步所列的評(píng)估，也并不一定只在這一步使用，在前面決定要解決這個(gè)問(wèn)題，制定策略時(shí)也可能會(huì)用到。

常用評(píng)估方面包括召回率，準(zhǔn)確率，規(guī)則穩(wěn)定性等。

對(duì)業(yè)務(wù)流量的影響，對(duì)審核人力的影響，對(duì)舉報(bào)申訴的影響等。

不同業(yè)務(wù)可能還會(huì)有其他一些關(guān)注的指標(biāo)，例如影響發(fā)帖量、影響用戶量、影響頭部用戶量等。甚至還聽(tīng)說(shuō)過(guò)某公司 Q4 會(huì)選擇性把風(fēng)控放松一些，一方面影響年度目標(biāo)，一方面影響明年的業(yè)務(wù)預(yù)算，這也是需要評(píng)估的方面之一。

指標(biāo)評(píng)估后，會(huì)根據(jù)對(duì)策略的目標(biāo)決定是否需要調(diào)優(yōu)，若已滿足需求，則可以進(jìn)入下一階段，策略正式上線。

八、策略正式上線

策略由預(yù)上線變?yōu)檎缴暇€，在功能上可能只需要在一個(gè) btn 上調(diào)整下?tīng)顟B(tài)，但在流程上還有很多事需要做。

1. 上線前做好各方同步

一條新策略上線之前，需要同步到相關(guān)的各方。我們業(yè)務(wù)曾經(jīng)發(fā)生過(guò)，策略運(yùn)營(yíng)上線一條策略，導(dǎo)致大量?jī)?nèi)容推到人審，人審出現(xiàn)積壓，然后策略運(yùn)營(yíng)和審核主管出現(xiàn)吵架。

2. 繼續(xù)觀察數(shù)據(jù)

當(dāng)策略穩(wěn)定后還需要關(guān)注一定周期內(nèi)的數(shù)據(jù)，例如 1 天，3 天，7 周后的治理效果。這個(gè)問(wèn)題是否在減少，用戶是否會(huì)變形方式在違規(guī)，是否還有進(jìn)一步優(yōu)化空間，有沒(méi)有引入新的問(wèn)題等。

例如不允許發(fā)布聯(lián)系方式，上線一個(gè)治理聯(lián)系方式的策略，用戶是否以其他變形的聯(lián)系方式在違規(guī)，這個(gè)都是需要上線后需要相應(yīng)關(guān)注的。

用戶是否有負(fù)面反饋，舉報(bào)申訴量是否有相應(yīng)變化，觸發(fā)量級(jí)是否也預(yù)上線時(shí)一致。

九、策略監(jiān)控及優(yōu)化

在整個(gè)風(fēng)控系統(tǒng)中包括一個(gè)子系統(tǒng)「監(jiān)控預(yù)警」，這個(gè)系統(tǒng)監(jiān)控的其中一塊是對(duì)策略的監(jiān)控，包括策略穩(wěn)定性、召準(zhǔn)率等。詳細(xì)監(jiān)控可到那個(gè)模塊時(shí)再來(lái)寫對(duì)策略的監(jiān)控，這里說(shuō)說(shuō)日常人工的觀察。

在策略上線后，人工在瀏覽產(chǎn)品時(shí)也需要主要相應(yīng)內(nèi)容是否又被解決，是否有漏掉，是否有變形。

例如我們?cè)?jīng)有條策略是禁止男子裸露上體，某一天發(fā)現(xiàn)海爾兄弟也被審核人員干掉，但這并非我們本意，所以完善規(guī)則，這條規(guī)則僅針對(duì)真人適用。

例如我們?cè)?jīng)有條策略是同一個(gè)人發(fā)布相同圖片超過(guò)一定次數(shù)，則后續(xù)發(fā)包含這張圖片的帖子會(huì)有一定處罰，上線后發(fā)現(xiàn)誤傷比預(yù)上線狀態(tài)大，高于預(yù)期，所以調(diào)整閾值。

例如我們?cè)?jīng)有條策略是不允許多賬號(hào)多設(shè)備這種行為，策略上線后發(fā)現(xiàn)某類特殊人群是有多賬號(hào)多設(shè)備需求的，且平臺(tái)也允許，所以選擇性放過(guò)這類人群。

十、策略調(diào)整及下線

在不同時(shí)間段，或者遇到了某些問(wèn)題之后，可能會(huì)將策略下線及合并。

1. 特殊時(shí)期

在某些特殊時(shí)期，我們可能會(huì)將策略更嚴(yán)，例如國(guó)慶、七一、春節(jié)，以及某些歷史事件日期。

此時(shí)策略就會(huì)涉及到上下線，例如某些特殊期間，針對(duì)不同等級(jí)的賬號(hào)、不同渠道來(lái)源的內(nèi)容、不同屬性的內(nèi)容，審核策略會(huì)不同。如對(duì)于境外 ip 以及中國(guó)的某些省份發(fā)的內(nèi)容需要全部經(jīng)過(guò)人審，甚至全部可能全部干掉這些內(nèi)容。

2. 策略整合及下線

隨著業(yè)務(wù)發(fā)展，策略人員的變動(dòng)，新開(kāi)發(fā)模型，業(yè)務(wù)變化等原因。就一定會(huì)出現(xiàn)策略逐漸龐大復(fù)雜，策略間出現(xiàn)交集、并集，或需要多策略聯(lián)動(dòng)處理，以及一些模型可覆蓋策略，需將策略下線等情況。

此時(shí)就需要定期的復(fù)盤歷史策略，將需要廢棄的廢棄，多條策略需要合并的做合并。

在新上線一條策略時(shí)也需要注意看看是否歷史已有類似策略，是否可以合并到之前的某條策略上。

感觸：雖然上面這樣說(shuō)，但具體實(shí)操時(shí)大家往往不敢去干這件事，就像新來(lái)的程序員去改老系統(tǒng)的 bug 一樣，看似沒(méi)用，但可能導(dǎo)致整個(gè)系統(tǒng)崩潰。但為了系統(tǒng)長(zhǎng)遠(yuǎn)發(fā)展，雖然下線、合并策略很麻煩，但這件事依然值得做。

十一、制定策略的經(jīng)驗(yàn)

在這一年半時(shí)間，我制定過(guò)幾百條策略，人審規(guī)則也更新了幾十版，踩過(guò)一些坑，也總結(jié)出一些經(jīng)驗(yàn)。

如下經(jīng)驗(yàn)主要包括兩部分，我自己總結(jié)，及參考網(wǎng)絡(luò)上別人的總結(jié)但我也有相同感觸。

平衡風(fēng)險(xiǎn)和收益的能力，是風(fēng)控產(chǎn)品經(jīng)理非常重要的一個(gè)能力。

制定策略，甚至整個(gè)防控，多從作弊動(dòng)機(jī)角度考慮，而不只是從識(shí)別出違規(guī)內(nèi)容角度考慮。

做治理時(shí)不要貪大，一開(kāi)始就想所有問(wèn)題都解決，導(dǎo)致工作沒(méi)辦法進(jìn)行。得確定好重點(diǎn)，一個(gè)周期內(nèi)核心解決某幾個(gè)問(wèn)題，制定好指標(biāo)，制定好衡量標(biāo)準(zhǔn)，飯得一口一口吃，問(wèn)題得一個(gè)一個(gè)解決。

建立標(biāo)準(zhǔn)化工作流程，即：策略上線標(biāo)注流程。一條策略上線是一個(gè)很長(zhǎng)線程，若沒(méi)有一個(gè)標(biāo)準(zhǔn)化流程，容易漏掉其中一些步驟。

遇到問(wèn)題必然先臨時(shí)用規(guī)則引擎或者離線分析的方法甚至產(chǎn)品的方法打擊一波，而后考慮長(zhǎng)期的防御機(jī)制。

制定策略通常是先大力出奇跡，然后再逐步優(yōu)化誤傷，然后逐步轉(zhuǎn)化為模型。但也看策略邏輯，例如針對(duì)大 V，大力出奇跡就直接干掉了 5% 的大 V，可不行。

風(fēng)控產(chǎn)品自己一定要去做檢測(cè)，策略配置人員也是人，也可能出現(xiàn)配置錯(cuò)誤，不能讓這種錯(cuò)誤出現(xiàn)在線上用戶反饋了再去排查問(wèn)題，需要做好驗(yàn)證。

對(duì)模型穩(wěn)定性、召準(zhǔn)率要做好監(jiān)控，不然哪天模型沒(méi)運(yùn)行了都不知道，我司發(fā)生過(guò)這事，過(guò)了一天多用戶反饋才發(fā)現(xiàn)。

堅(jiān)持低成本、低誤傷、高收益，數(shù)據(jù)說(shuō)話的原則。

Spam問(wèn)題具有時(shí)效性，反spam更要快速有效。

不要指望一個(gè)策略或一組策略解決所有問(wèn)題。

勿以善小而不為，當(dāng)成本也很小的時(shí)候，一些收益看起來(lái)小的策略，在多個(gè)策略綜合起效的時(shí)候，也能帶來(lái)很大的收益。

十二、內(nèi)容治理的難點(diǎn)

問(wèn)題瑣碎、變種多（例如我們?cè)谂笥讶Α⑽⑿湃喊l(fā)的各種變形與微信對(duì)抗）、對(duì)抗性強(qiáng)、問(wèn)題定義難、競(jìng)品邏輯隱藏，公開(kāi)可參考資料少、結(jié)果難評(píng)估、不易發(fā)現(xiàn)不知道的問(wèn)題、違規(guī)無(wú)孔不入等等等。