風(fēng)控系統(tǒng)，即風(fēng)險(xiǎn)控制系統(tǒng)，一般指在產(chǎn)品功能設(shè)置上，通過技術(shù)、運(yùn)營(yíng)等方面規(guī)避來(lái)自政策、黑產(chǎn)、平臺(tái)、競(jìng)爭(zhēng)等層面的風(fēng)險(xiǎn)，避免對(duì)產(chǎn)品造成收益上的損失甚至造成毀滅性的打擊。

下面本文就盤一下，風(fēng)控系統(tǒng)及其相關(guān)的功能建設(shè)。

一、風(fēng)險(xiǎn)的分類

產(chǎn)品的運(yùn)營(yíng)伴隨著風(fēng)險(xiǎn)的產(chǎn)生，其中會(huì)有來(lái)自各方面的不同類型風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)都會(huì)一定程度上影響產(chǎn)品的運(yùn)營(yíng)效果。

1. 按風(fēng)險(xiǎn)的來(lái)源分類

1）法律禁止類

指由相關(guān)國(guó)家機(jī)構(gòu)明令禁止的內(nèi)容/行為，比如涉黃、涉政、未成年、引起不良社會(huì)現(xiàn)象的謠言等內(nèi)容，或者詐騙、盜竊等行為。這類內(nèi)容/行為被監(jiān)管部門發(fā)現(xiàn)，則會(huì)導(dǎo)致公司的產(chǎn)品受到影響（比如下架、勒令整改）。此外，國(guó)家禁止的內(nèi)容/行為會(huì)隨著隨著文化管控的需求變更會(huì)有新的防控要求變更，比如為了懲治網(wǎng)絡(luò)暴力，監(jiān)管部門有對(duì)相關(guān)內(nèi)容APP提出內(nèi)容管控要求。

2）黑灰產(chǎn)業(yè)類

指通過作弊進(jìn)行非正常手段獲利，比如抽獎(jiǎng)活動(dòng)刷抽獎(jiǎng)、拉新注冊(cè)刷人頭薅羊毛等，這些行為會(huì)導(dǎo)致產(chǎn)品的運(yùn)營(yíng)收益下降。

3）三方平臺(tái)類

指依賴于第三方平臺(tái)合作的產(chǎn)品（比如安卓應(yīng)用商城、蘋果Apple store，通過上架第三方平臺(tái)）通過符合其他平臺(tái)的規(guī)則來(lái)實(shí)現(xiàn)盈利，如果出現(xiàn)違規(guī)，可能會(huì)導(dǎo)致下架、功能限制等平臺(tái)處罰措施，導(dǎo)致產(chǎn)品的正常運(yùn)營(yíng)受到影響。

4）腳本外掛類

主要指用戶通過腳本、外掛等方式，進(jìn)行非正常的用戶操作，從而破壞產(chǎn)品的用戶生態(tài)，比如游戲的外掛、網(wǎng)賺產(chǎn)品的自動(dòng)完成任務(wù)，這些行為一方面損害了正常用戶的利益，一方面導(dǎo)致平臺(tái)運(yùn)營(yíng)成本增大（游戲的外掛/腳本會(huì)加速游戲內(nèi)容的損耗、網(wǎng)賺平臺(tái)則會(huì)加大平均的讓利成本）。

5）競(jìng)品競(jìng)爭(zhēng)類

主要指其他競(jìng)品平臺(tái)的不良內(nèi)容，用商業(yè)詆毀官方或者合作的公司，導(dǎo)致品牌利益受損。一般容易出現(xiàn)在內(nèi)容平臺(tái)上，比如水軍進(jìn)行負(fù)面輿論的爆破。

6）內(nèi)部風(fēng)險(xiǎn)類

指內(nèi)部成員產(chǎn)生的風(fēng)險(xiǎn)內(nèi)容，比如內(nèi)部成員泄露商業(yè)機(jī)密、發(fā)表負(fù)面言論內(nèi)容等，對(duì)企業(yè)造成損失。

7）業(yè)務(wù)影響類

有些內(nèi)容雖然不會(huì)違反法律法規(guī)，也不屬于上面的類型，但它卻會(huì)對(duì)產(chǎn)品的運(yùn)營(yíng)產(chǎn)生影響，基本由運(yùn)營(yíng)人員基于業(yè)務(wù)特征進(jìn)行總結(jié)。比如內(nèi)容社區(qū)會(huì)有些內(nèi)容會(huì)不符合平臺(tái)的調(diào)性，影響核心用戶的留存；比如女性社區(qū)的厭女內(nèi)容，業(yè)務(wù)上會(huì)需要對(duì)這些風(fēng)險(xiǎn)內(nèi)容進(jìn)行一定程度的限制。

2. 按風(fēng)險(xiǎn)的主體分類

1）內(nèi)容風(fēng)險(xiǎn)

來(lái)自各方（比如用戶、黑產(chǎn)、競(jìng)品、內(nèi)部）發(fā)表的對(duì)產(chǎn)品具有風(fēng)險(xiǎn)內(nèi)容，其中涵蓋法律禁止、黑灰產(chǎn)業(yè)、不良競(jìng)爭(zhēng)廣告、影響用戶體驗(yàn)等影響業(yè)務(wù)效果的內(nèi)容。比如用戶發(fā)表敏感內(nèi)容、發(fā)表廣告、發(fā)表不符合社區(qū)規(guī)范的內(nèi)容。

2）行為風(fēng)險(xiǎn)

來(lái)自各方（比如用戶、黑產(chǎn)、競(jìng)品、內(nèi)部）做出的對(duì)產(chǎn)品具有風(fēng)險(xiǎn)的行為，其中涵蓋黑灰產(chǎn)業(yè)、腳本外掛、競(jìng)品競(jìng)爭(zhēng)、內(nèi)部風(fēng)險(xiǎn)、業(yè)務(wù)影響等方面。比如黑產(chǎn)高頻刷注冊(cè)；比如競(jìng)品在社區(qū)內(nèi)高頻發(fā)布引流廣告。

3）賬號(hào)風(fēng)險(xiǎn)

指用戶賬號(hào)安全相關(guān)的風(fēng)險(xiǎn)，主要來(lái)自黑產(chǎn)對(duì)用戶、用戶對(duì)用戶之間。用戶賬號(hào)信息、密碼等如果被泄露或竊取，可能會(huì)導(dǎo)致賬號(hào)被他人盜號(hào)，從而做出損害原號(hào)主利益的事情。比如，盜號(hào)者用原號(hào)主的賬號(hào)發(fā)表違規(guī)內(nèi)容，進(jìn)行違法犯罪的行為，或者直接賣掉賬號(hào)。

4）產(chǎn)品風(fēng)險(xiǎn)

指黑產(chǎn)對(duì)產(chǎn)品、用戶對(duì)產(chǎn)品產(chǎn)生的風(fēng)險(xiǎn)，例如被黑客攻擊或者承載服務(wù)量級(jí)過高導(dǎo)致產(chǎn)生的問題。

黑產(chǎn)有時(shí)會(huì)直接對(duì)產(chǎn)品本身進(jìn)行攻擊，從而對(duì)產(chǎn)品的運(yùn)營(yíng)造成嚴(yán)重影響，并以此威脅企業(yè)支付贖金才停止攻擊。舉個(gè)例子，曾經(jīng)有一款名為《濡沫江湖》的游戲，在上線初期遭受黑客的DDoS攻擊，導(dǎo)致公司的服務(wù)器癱瘓。黑客通過郵件直接向游戲廠商勒索，迫使廠商不得不購(gòu)買第三方防護(hù)技術(shù)，花費(fèi)了整整一年90萬(wàn)的費(fèi)用才成功抵御住這次攻擊。

此外，還有一些產(chǎn)品面臨的風(fēng)險(xiǎn)是用戶訪問量超過原本的承載量，導(dǎo)致用戶原本的使用受到影響。當(dāng)產(chǎn)品的用戶訪問量超出了原有的承載能力時(shí)，可能會(huì)導(dǎo)致產(chǎn)品性能下降、用戶體驗(yàn)惡化等問題。

5）互動(dòng)風(fēng)險(xiǎn)：

用戶之間的互動(dòng)行為可能會(huì)帶來(lái)一定的風(fēng)險(xiǎn)，尤其是在雙邊/多邊平臺(tái)上，例如滴滴的司機(jī)與用戶之間的互動(dòng)以及閑魚的賣家與買家之間的互動(dòng)。不良的滴滴司機(jī)可能會(huì)對(duì)用戶造成傷害，而不良的閑魚買家可能會(huì)進(jìn)行商品掉包等行為。

這些互動(dòng)所產(chǎn)生的風(fēng)險(xiǎn)可能會(huì)違反法律法規(guī)，從而對(duì)產(chǎn)品的運(yùn)營(yíng)產(chǎn)生不利影響。

這些風(fēng)險(xiǎn)內(nèi)容往往會(huì)集中出現(xiàn)在具有以下特征的產(chǎn)品上：

1. 用戶能自由發(fā)表內(nèi)容的產(chǎn)品，比如社區(qū)、聊天產(chǎn)品。
2. 用戶能夠通過產(chǎn)品獲取實(shí)際利益的產(chǎn)品，比如網(wǎng)賺返利產(chǎn)品、電商平臺(tái)產(chǎn)品。
3. 商品/內(nèi)容供不應(yīng)求的產(chǎn)品，比如演唱會(huì)賣票產(chǎn)品。
4. 能夠被作弊手段破解，并且從中獲取便利的產(chǎn)品，比如游戲。

二、風(fēng)控系統(tǒng)的建設(shè)目的

由上文可見，風(fēng)險(xiǎn)內(nèi)容的覆蓋面極廣，基本上所有的產(chǎn)品都可能會(huì)面臨風(fēng)險(xiǎn)。同時(shí)風(fēng)險(xiǎn)內(nèi)容的危害極大，可能招致法律鐵拳的降維打擊，也可能影響核心用戶的體驗(yàn)。所以，企業(yè)可以通過構(gòu)建一個(gè)風(fēng)控系統(tǒng)進(jìn)行所有業(yè)務(wù)線的風(fēng)險(xiǎn)防控。其優(yōu)點(diǎn)在于：

1.通過統(tǒng)一的功能建設(shè)，可以避免重復(fù)造輪子，降低邊際成本。（風(fēng)控識(shí)別涉及到的技術(shù)一般實(shí)現(xiàn)成本較大，比如AI模型）

2.風(fēng)控積累防控能力建設(shè)，將已經(jīng)發(fā)生過的問題在其他產(chǎn)品線上建立防控機(jī)制，避免重復(fù)踩坑。

三、風(fēng)控的節(jié)點(diǎn)

風(fēng)控的按“事件發(fā)生節(jié)點(diǎn)”分為事前風(fēng)控、事中風(fēng)控、事后風(fēng)控，分別指在風(fēng)險(xiǎn)事件發(fā)生前中后階段分別進(jìn)行的防控內(nèi)容。

1. 事前風(fēng)控

在風(fēng)險(xiǎn)事件發(fā)生前，通過識(shí)別和評(píng)估潛在風(fēng)險(xiǎn)，以制定相應(yīng)的策略和措施來(lái)降低風(fēng)險(xiǎn)的發(fā)生概率。

2. 事中風(fēng)控

在風(fēng)險(xiǎn)事件發(fā)生過程中，盡早發(fā)現(xiàn)和干預(yù)風(fēng)險(xiǎn)事件，以減少損失并防止進(jìn)一步擴(kuò)大。

3. 事后風(fēng)控

在風(fēng)險(xiǎn)事件發(fā)生后，對(duì)風(fēng)險(xiǎn)事件進(jìn)行調(diào)查、分析和總結(jié)，以及采取措施防止類似事件再次發(fā)生。

四、風(fēng)控的核心功能模塊

除了B端系統(tǒng)常見的基礎(chǔ)功能模塊（如系統(tǒng)權(quán)限模塊、數(shù)據(jù)采集系統(tǒng)、效果復(fù)盤系統(tǒng)），風(fēng)險(xiǎn)防控系統(tǒng)的功能可以分為風(fēng)險(xiǎn)預(yù)防、信息采集、風(fēng)險(xiǎn)評(píng)估、風(fēng)險(xiǎn)應(yīng)對(duì)四大模塊。

而風(fēng)險(xiǎn)按內(nèi)容風(fēng)險(xiǎn)、行為風(fēng)險(xiǎn)、賬號(hào)風(fēng)險(xiǎn)、產(chǎn)品風(fēng)險(xiǎn)、互動(dòng)風(fēng)險(xiǎn)等不同的風(fēng)險(xiǎn)類型，在四大模塊也有不同的內(nèi)容。

1. 風(fēng)險(xiǎn)預(yù)防

風(fēng)險(xiǎn)預(yù)防屬于事前風(fēng)控環(huán)節(jié)，用以降低風(fēng)險(xiǎn)發(fā)生的概率，以下為常見的預(yù)防手段：

1）人機(jī)校驗(yàn)

通過引入人機(jī)校驗(yàn)功能，企業(yè)可以區(qū)分用戶和機(jī)器，從而提前攔截黑產(chǎn)腳本的惡意行為。

最常見的人機(jī)檢驗(yàn)方案有滑塊驗(yàn)證碼、圖像識(shí)別驗(yàn)證碼、拼圖驗(yàn)證碼、解密驗(yàn)證碼等。但隨著黑產(chǎn)破解技術(shù)的發(fā)展，像是打碼平臺(tái)、圖像識(shí)別等破解技術(shù)的引入，原有的人機(jī)校驗(yàn)方案有了被破解的風(fēng)險(xiǎn)。企業(yè)的校驗(yàn)方案也被迫越來(lái)越復(fù)雜，往形式多樣化、交互復(fù)雜化的方向發(fā)展。

人機(jī)檢驗(yàn)方案的難度越高，對(duì)用戶體驗(yàn)的影響也越大，可能會(huì)影響產(chǎn)品的轉(zhuǎn)化率。

為了平衡安全性和用戶體驗(yàn)，廠商可以在常見的操作環(huán)節(jié)采用低難度的驗(yàn)證方案，例如滑塊驗(yàn)證碼，以略微提高黑產(chǎn)門檻，同時(shí)不會(huì)對(duì)用戶體驗(yàn)產(chǎn)生過大的影響。而對(duì)于高風(fēng)險(xiǎn)操作行為，如支付和修改密碼，可以采用更高難度的驗(yàn)證方案，以確保整體安全性。

2）身份校驗(yàn)機(jī)制

與人機(jī)檢驗(yàn)不同，身份驗(yàn)證主要用于驗(yàn)證用戶是否本人。常見的身份驗(yàn)證方案包括手機(jī)驗(yàn)證、身份證驗(yàn)證和郵箱驗(yàn)證等，這些方案要求用戶提供證明其擁有這些信息使用權(quán)的證據(jù)，以證明其身份的真實(shí)性。

身份驗(yàn)證環(huán)節(jié)通常用于敏感操作，例如修改密碼和進(jìn)行支付等。通過進(jìn)行身份驗(yàn)證，企業(yè)可以確保只有授權(quán)用戶才能進(jìn)行這些敏感操作，從而提高整體安全性。

3）規(guī)則預(yù)防

通過調(diào)整產(chǎn)品規(guī)則和條件，可以有效限制風(fēng)險(xiǎn)行為的發(fā)生。

舉例來(lái)說(shuō)，針對(duì)注冊(cè)刷量行為，我們可以限制同一設(shè)備或身份證每天只能注冊(cè)兩個(gè)賬號(hào)，這樣黑產(chǎn)需要額外花費(fèi)購(gòu)買注冊(cè)所需的信息，增加了他們的成本和門檻。

另外，對(duì)于存在違規(guī)倒賣行為的賣家，我們可以設(shè)定普通用戶每天只能出售兩三個(gè)物品的限制，而對(duì)于核心用戶則不受此限制。這樣一來(lái)，黑產(chǎn)從事違規(guī)行為的門檻會(huì)提高，因?yàn)樗麄儫o(wú)法大規(guī)模利用普通用戶賬號(hào)進(jìn)行違規(guī)倒賣。

4）用戶教育

風(fēng)險(xiǎn)防控是一個(gè)敵暗我明的業(yè)務(wù)，企業(yè)必須面對(duì)各種意料之外的風(fēng)險(xiǎn)。為了應(yīng)對(duì)這些風(fēng)險(xiǎn)，我們需要通過用戶教育來(lái)增強(qiáng)用戶的風(fēng)險(xiǎn)意識(shí)，將用戶納入我們的防控戰(zhàn)線。

企業(yè)可以通過公告、郵件、用戶須知等途徑向用戶傳達(dá)風(fēng)險(xiǎn)信息，告知他們風(fēng)險(xiǎn)的危害性。同時(shí)，我們也可以公示處罰結(jié)果，以警示其他用戶。

此外，為了挖掘意料之外的風(fēng)險(xiǎn)內(nèi)容，我們可以提供舉報(bào)功能和相應(yīng)的獎(jiǎng)勵(lì)機(jī)制，鼓勵(lì)用戶參與其中。通過讓用戶參與風(fēng)險(xiǎn)挖掘的過程，我們可以借助用戶的力量，共同發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)內(nèi)容。

2. 信息采集

信息采集環(huán)節(jié)在風(fēng)險(xiǎn)控制中扮演著重要的角色，其主要目的是獲取用戶的基礎(chǔ)信息和風(fēng)險(xiǎn)情報(bào)，以支持風(fēng)險(xiǎn)控制系統(tǒng)的功能執(zhí)行。

1）基礎(chǔ)信息采集

• 內(nèi)容/用戶信息/行為日志采集：在用戶使用我們的產(chǎn)品時(shí)，除了采集與風(fēng)險(xiǎn)控制相關(guān)的內(nèi)容（例如用戶發(fā)表的言論、發(fā)送的圖片），我們還可以在合法范圍內(nèi)收集用戶的賬號(hào)、設(shè)備和身份信息，以進(jìn)行用戶身份認(rèn)證。同時(shí)，我們還會(huì)采集用戶在系統(tǒng)中的各種行為日志，以輔助后續(xù)的風(fēng)險(xiǎn)控制措施執(zhí)行。
• 采集作弊檢測(cè)：然而，具備技術(shù)能力的黑產(chǎn)可能會(huì)采用各種手段繞過我們的信息采集，或者偽造虛假信息進(jìn)行上報(bào)，從而使我們難以準(zhǔn)確識(shí)別和應(yīng)對(duì)風(fēng)險(xiǎn)。因此，風(fēng)險(xiǎn)控制系統(tǒng)的信息采集模塊需要考慮如何應(yīng)對(duì)這些風(fēng)險(xiǎn)。我們需要從客戶端層面攔截繞過上報(bào)或數(shù)據(jù)篡改的數(shù)據(jù)，并從服務(wù)端層面識(shí)別并過濾繞過和篡改的數(shù)據(jù)。

2）風(fēng)險(xiǎn)情報(bào)采集

除了基礎(chǔ)的信息采集，還需要采集來(lái)自各個(gè)業(yè)務(wù)線的風(fēng)險(xiǎn)情報(bào)，例如用戶舉報(bào)、其他業(yè)務(wù)線的反饋、風(fēng)險(xiǎn)熱點(diǎn)采集等。這些途徑獲取的風(fēng)險(xiǎn)情報(bào)往往能夠挖掘出一些我們意料之外的風(fēng)險(xiǎn)內(nèi)容，以便及時(shí)對(duì)視野盲區(qū)中的意外風(fēng)險(xiǎn)進(jìn)行應(yīng)對(duì)。

信息采集是一個(gè)持續(xù)迭代的過程。我們需要不斷優(yōu)化采集策略和技術(shù)手段，以適應(yīng)不斷變化的風(fēng)險(xiǎn)形勢(shì)和用戶行為。同時(shí)，我們也要注重用戶隱私保護(hù)，確保信息采集的合法性和合規(guī)性。

3. 風(fēng)險(xiǎn)評(píng)估

1）內(nèi)容風(fēng)險(xiǎn)

內(nèi)容風(fēng)險(xiǎn)指風(fēng)險(xiǎn)文本、圖片、語(yǔ)音、視頻等類型的內(nèi)容，不同類型的內(nèi)容的風(fēng)險(xiǎn)評(píng)估建設(shè)也有所差異，下方分別講講。

i）敏感內(nèi)容庫(kù)：

我們可以將特定的敏感內(nèi)容添加到一個(gè)名為”敏感內(nèi)容庫(kù)”的數(shù)據(jù)庫(kù)中。當(dāng)某個(gè)內(nèi)容與庫(kù)中的內(nèi)容高度相似或完全一致時(shí)，我們將其標(biāo)記為”風(fēng)險(xiǎn)內(nèi)容”。

對(duì)于文本內(nèi)容，我們可以通過自定義詞庫(kù)進(jìn)行風(fēng)險(xiǎn)過濾，采用文本匹配或正則表達(dá)式匹配的方式來(lái)識(shí)別風(fēng)險(xiǎn)內(nèi)容。正則表達(dá)式匹配主要用于應(yīng)對(duì)”規(guī)則對(duì)抗”的情況，例如將識(shí)別到的”黃賭毒”寫成”黃|賭|毒”，或者寫成”黃du毒”，以混淆的方式繞過識(shí)別。詞庫(kù)的內(nèi)容來(lái)源包括相關(guān)部門的要求和業(yè)務(wù)部門的整理，可以涵蓋各種類型的風(fēng)險(xiǎn)內(nèi)容。

針對(duì)圖片、語(yǔ)音和視頻等內(nèi)容類型，我們可以通過判斷它們是否”高度相似”或者”完全一致”來(lái)標(biāo)記為”風(fēng)險(xiǎn)內(nèi)容”。

舉個(gè)例子，如果某張圖片已經(jīng)被業(yè)務(wù)人員判斷為”風(fēng)險(xiǎn)內(nèi)容”，那么當(dāng)同樣內(nèi)容的圖片再次出現(xiàn)時(shí)，我們可以直接跳過機(jī)器或人工判斷，直接將其標(biāo)記為”風(fēng)險(xiǎn)內(nèi)容”。假設(shè)這張風(fēng)險(xiǎn)圖片稍作修改，我們也可以通過相似度判斷是否應(yīng)標(biāo)記為”風(fēng)險(xiǎn)內(nèi)容”。如果相似度高于設(shè)定的閾值，我們可以直接將其標(biāo)記為”風(fēng)險(xiǎn)”。

為了確保敏感內(nèi)容庫(kù)的有效性，我們需要設(shè)立企業(yè)內(nèi)容維護(hù)角色，定期從競(jìng)爭(zhēng)對(duì)手、新聞報(bào)道、相關(guān)部門等信息來(lái)源收集需要關(guān)注的敏感內(nèi)容，并及時(shí)更新敏感內(nèi)容庫(kù)，以應(yīng)對(duì)不斷變化的風(fēng)險(xiǎn)形勢(shì)和新出現(xiàn)的風(fēng)險(xiǎn)內(nèi)容。

ii）風(fēng)險(xiǎn)識(shí)別AI

在前文中提到，用戶可能會(huì)采取”規(guī)則對(duì)抗”的行為，試圖通過對(duì)抗手段繞過敏感內(nèi)容庫(kù)的檢測(cè)。雖然我們可以通過補(bǔ)充內(nèi)容庫(kù)的方式來(lái)識(shí)別這些內(nèi)容，但這種方法只能在事后補(bǔ)充規(guī)則，屬于事后防范的措施。

為了更好地應(yīng)對(duì)這種情況，我們可以自行訓(xùn)練風(fēng)險(xiǎn)識(shí)別人工智能（AI），建立AI風(fēng)險(xiǎn)識(shí)別模型，以拓展風(fēng)險(xiǎn)識(shí)別的能力。通過該模型，我們可以對(duì)已經(jīng)出現(xiàn)的風(fēng)險(xiǎn)內(nèi)容進(jìn)行標(biāo)記，將其分類為”高風(fēng)險(xiǎn)”、”中風(fēng)險(xiǎn)”、”低風(fēng)險(xiǎn)”或”無(wú)風(fēng)險(xiǎn)”，從而輔助我們判斷如何處理這些內(nèi)容。

當(dāng)然，風(fēng)險(xiǎn)內(nèi)容的形態(tài)是多樣的，包括文本、圖片、語(yǔ)音、視頻等多種類型，因此我們需要分別對(duì)這些內(nèi)容形態(tài)進(jìn)行AI模型的建設(shè)。對(duì)于視頻和語(yǔ)音等具有”時(shí)長(zhǎng)”概念的內(nèi)容形態(tài)，我們還需要考慮如何在審核過程中降低成本，例如通過對(duì)視頻和語(yǔ)音進(jìn)行切片審核的方式。

iii）人工審核

在某些情況下，一些內(nèi)容無(wú)法通過內(nèi)容庫(kù)進(jìn)行攔截，人工智能也無(wú)法準(zhǔn)確判斷其是否存在風(fēng)險(xiǎn)。因此，引入人工審核環(huán)節(jié)作為風(fēng)險(xiǎn)判斷的最后一道防線是必要的。

然而，人力資源是有限的，無(wú)法對(duì)所有內(nèi)容都進(jìn)行審核。因此，我們可以通過人工智能的篩選、用戶舉報(bào)和用戶反饋等方式，對(duì)高優(yōu)先級(jí)的內(nèi)容進(jìn)行優(yōu)先審核。對(duì)于視頻和語(yǔ)音等具有”時(shí)長(zhǎng)”概念的內(nèi)容形式，我們還需要考慮如何降低審核成本，例如采用切片審核的方法。

此外，人工的審核由于需要消耗時(shí)間，因此這里還可分為“先發(fā)后審”和“先審后發(fā)”兩種模式，表示了內(nèi)容是否需要經(jīng)過人審才能對(duì)外。使用哪種審核模式需要結(jié)合人力效率、內(nèi)容量、內(nèi)容風(fēng)險(xiǎn)影響程度、業(yè)務(wù)影響程度等因素進(jìn)行綜合判斷。

2）行為/賬號(hào)/產(chǎn)品/互動(dòng)風(fēng)險(xiǎn)

行為風(fēng)險(xiǎn)、賬號(hào)風(fēng)險(xiǎn)、產(chǎn)品風(fēng)險(xiǎn)、互動(dòng)風(fēng)險(xiǎn)的識(shí)別方案大體相同，分為風(fēng)險(xiǎn)規(guī)則庫(kù)和黑名單。

i）風(fēng)險(xiǎn)規(guī)則庫(kù)

通過分析采集的各類日志，我們可以總結(jié)出各類風(fēng)險(xiǎn)行為的特征。

比如抓刷注冊(cè)的用戶，我們可以監(jiān)控注冊(cè)日志，并將在短時(shí)間內(nèi)多次注冊(cè)的行為視為潛在的“行為風(fēng)險(xiǎn)”。

比如存在賬號(hào)風(fēng)險(xiǎn)的用戶，我們可以監(jiān)控登錄日志的IP，并將在短時(shí)間內(nèi)多次變更所在IP的用戶視為有潛在的“賬號(hào)風(fēng)險(xiǎn)”的用戶。

我們可以將這些風(fēng)險(xiǎn)行為的特征整合到”風(fēng)險(xiǎn)規(guī)則庫(kù)”中，以便按照規(guī)則進(jìn)行跟蹤和識(shí)別，并根據(jù)業(yè)務(wù)的變化來(lái)調(diào)整規(guī)則條件。根據(jù)規(guī)則的識(shí)別結(jié)果，我們可以將其分類為”高風(fēng)險(xiǎn)”、”中風(fēng)險(xiǎn)”和”低風(fēng)險(xiǎn)”。

同時(shí)，我們也可以將某個(gè)業(yè)務(wù)線上總結(jié)的防控經(jīng)驗(yàn)應(yīng)用到其他業(yè)務(wù)中，以提高整體的風(fēng)險(xiǎn)防控能力。

需要強(qiáng)調(diào)的是，風(fēng)險(xiǎn)特征的提取是一個(gè)不斷調(diào)整的過程，需要結(jié)合實(shí)際的防控效果來(lái)調(diào)整閾值，以確保規(guī)則的召回率和準(zhǔn)確率都在業(yè)務(wù)可接受的范圍內(nèi)。

ii）人工審核

對(duì)于規(guī)則庫(kù)判斷結(jié)果不準(zhǔn)確的內(nèi)容，可以考慮引入人工審核環(huán)節(jié)，以避免誤判。整體和內(nèi)容的人審類似，需要考慮審核工作量的問題，此處不贅述。

iii）黑名單

基于已經(jīng)明確存在風(fēng)險(xiǎn)的用戶，我們可以建立黑名單，用于限制這些黑產(chǎn)用戶的活動(dòng)，以避免重復(fù)的審核工作，并及時(shí)進(jìn)行風(fēng)險(xiǎn)防控。

當(dāng)黑產(chǎn)賬號(hào)被限制后，他們可能會(huì)更換一個(gè)UID來(lái)繼續(xù)從事違規(guī)行為。因此，我們還可以根據(jù)設(shè)備號(hào)、身份證號(hào)、IP地址、手機(jī)號(hào)等維度來(lái)建立黑名單，以封禁與同一黑產(chǎn)有關(guān)的其他賬號(hào)。盡管黑產(chǎn)可能會(huì)嘗試更換設(shè)備號(hào)、身份證號(hào)、IP地址、手機(jī)號(hào)等信息來(lái)繼續(xù)違規(guī)行為，但這無(wú)疑會(huì)增加他們的操作成本和難度。

此外，在執(zhí)行黑名單封禁時(shí)，我們需要注意評(píng)估誤處罰的風(fēng)險(xiǎn)。例如，封禁某個(gè)IP可能會(huì)誤傷正常用戶，封禁設(shè)備號(hào)可能會(huì)誤傷使用模擬器的用戶（在某些環(huán)節(jié)下無(wú)法獲取到用戶的真實(shí)設(shè)備號(hào)，在系統(tǒng)層面它們都是同一個(gè)默認(rèn)設(shè)備號(hào)），封禁身份證號(hào)可能會(huì)誤傷個(gè)人信息被黑產(chǎn)盜用的用戶。

4. 風(fēng)險(xiǎn)應(yīng)對(duì)

在完成風(fēng)險(xiǎn)識(shí)別后，需要采取相應(yīng)措施來(lái)處理這些風(fēng)險(xiǎn)，以實(shí)現(xiàn)最小化損失的目標(biāo)。針對(duì)風(fēng)險(xiǎn)的應(yīng)對(duì)手段可以根據(jù)其防控效果和對(duì)用戶體驗(yàn)的影響程度進(jìn)行分類和評(píng)級(jí)。

然而，由于風(fēng)險(xiǎn)識(shí)別并非百分之百準(zhǔn)確，對(duì)用戶體驗(yàn)產(chǎn)生影響的應(yīng)對(duì)方案如果誤傷正常用戶，可能會(huì)對(duì)產(chǎn)品的運(yùn)營(yíng)產(chǎn)生負(fù)面影響，甚至引發(fā)不良的輿情。例如，錯(cuò)誤封禁用戶賬號(hào)可能導(dǎo)致用戶在社交媒體上發(fā)帖抨擊產(chǎn)品，給產(chǎn)品帶來(lái)負(fù)面的輿論影響。

因此，建議首先優(yōu)先考慮高效且對(duì)用戶影響較小的應(yīng)對(duì)方案，其次再考慮其他方案。

不同的風(fēng)險(xiǎn)內(nèi)容應(yīng)對(duì)方式也不同，以下介紹一些常見的應(yīng)對(duì)手段：

1）內(nèi)容風(fēng)險(xiǎn)應(yīng)對(duì)

i）禁止發(fā)表

這是一種事前風(fēng)控的方案。

我們可以在用戶發(fā)表內(nèi)容之前對(duì)其進(jìn)行過濾，如果發(fā)現(xiàn)風(fēng)險(xiǎn)內(nèi)容，則阻止其發(fā)表。然而，這種方案可能會(huì)對(duì)用戶體驗(yàn)產(chǎn)生影響，特別是在風(fēng)險(xiǎn)識(shí)別非常敏感的情況下，用戶可能會(huì)花費(fèi)很長(zhǎng)時(shí)間才能成功發(fā)表內(nèi)容。

ii）屏蔽or替換

這是一種事中/事后風(fēng)控的方案。

對(duì)于違規(guī)內(nèi)容，最常見的方案是屏蔽或替換風(fēng)險(xiǎn)內(nèi)容，例如將敏感文本內(nèi)容替換為”***”。

類似地，對(duì)于風(fēng)險(xiǎn)圖片，可以進(jìn)行屏蔽處理。例如微博采用的”夾圖”功能，即將敏感內(nèi)容替換為一張默認(rèn)圖片。

屏蔽或替換的關(guān)鍵在于保持內(nèi)容可以正常發(fā)表，而不中止用戶的發(fā)表行為，對(duì)用戶體驗(yàn)的影響較小。

iii）僅發(fā)布者可見

這是一種事中/事后風(fēng)控的方案。

這種方案采用了僅對(duì)發(fā)布者可見的方式，以確保內(nèi)容不會(huì)被其他用戶看到，從而避免風(fēng)險(xiǎn)的暴露并減少用戶的反感。

在內(nèi)容發(fā)布后但審核完成前（先發(fā)后審模式下），也可以采用”僅發(fā)布者可見”的方案，以減少風(fēng)險(xiǎn)的可能性。

iv）強(qiáng)制下架

這種方案屬于事后風(fēng)控。

強(qiáng)制取消本次內(nèi)容的發(fā)布，并告知用戶內(nèi)容存在風(fēng)險(xiǎn)，一般用于對(duì)漏網(wǎng)之魚進(jìn)行處理。

v）限流

這是一種事中/事后風(fēng)控的方案。

這種方案指的是通過限制內(nèi)容的曝光程度來(lái)降低其影響范圍，通常在帶有算法推薦功能的內(nèi)容產(chǎn)品中使用。這種風(fēng)險(xiǎn)控制方案對(duì)用戶體驗(yàn)的影響較小。

對(duì)于剛發(fā)布的內(nèi)容，在審核完成之前（先發(fā)后審模式下），也可以采取適當(dāng)?shù)南蘖鞔胧龑徍送瓿珊笤俳獬蘖?，以控制整體風(fēng)險(xiǎn)。

2）行為風(fēng)險(xiǎn)應(yīng)對(duì)

i）行為封禁

在發(fā)現(xiàn)風(fēng)險(xiǎn)行為時(shí)，我們可以采取限制用戶在產(chǎn)品中的行為，如登錄、發(fā)言和充值等，以防止其繼續(xù)從事風(fēng)險(xiǎn)行為。根據(jù)封禁時(shí)機(jī)，我們可以將其分為事前封禁、事中封禁和事后封禁。

事前封禁可以預(yù)防潛在風(fēng)險(xiǎn)，但實(shí)際執(zhí)行時(shí)可能存在較高的誤封率。事中封禁可以相對(duì)及時(shí)地?cái)r截風(fēng)險(xiǎn)行為，效果相對(duì)較好，但要求風(fēng)控系統(tǒng)能夠及時(shí)發(fā)現(xiàn)風(fēng)險(xiǎn)行為。事后封禁只能起到事后補(bǔ)救或警告的作用，防控效果較差。

此外，封禁措施還可以設(shè)置封禁時(shí)長(zhǎng)。對(duì)于頻繁犯案或嚴(yán)重程度較高的風(fēng)險(xiǎn)行為，可以適當(dāng)延長(zhǎng)限制時(shí)長(zhǎng)，甚至采取賬號(hào)封禁措施（禁止全部操作行為），用于威懾或警告。

封禁的執(zhí)行可以由系統(tǒng)或人工進(jìn)行，為了降低誤封率，可以將準(zhǔn)確率較高的識(shí)別規(guī)則交由系統(tǒng)自動(dòng)執(zhí)行封禁，而對(duì)于存疑的內(nèi)容，則需要進(jìn)行人工審核，以判斷是否進(jìn)行封禁。

考慮到系統(tǒng)可能存在誤封的情況，我們可以提供一套申訴機(jī)制，使被誤封的用戶能夠自行提出申訴并進(jìn)行自證解封，并且他們可以提供相關(guān)樣本以供我們優(yōu)化規(guī)則。

如圖的游戲則是引導(dǎo)到客服進(jìn)行申訴。

ii）坐連封禁

在進(jìn)行行為封禁時(shí)，我們通常以賬號(hào)為操作維度。然而，黑產(chǎn)往往不僅僅擁有一個(gè)賬號(hào)備用。因此，為了盡可能提高黑產(chǎn)的犯罪成本，我們可以根據(jù)設(shè)備號(hào)、身份證號(hào)、IP地址、手機(jī)號(hào)等維度進(jìn)行關(guān)聯(lián)封禁。

值得一提的是，如果黑產(chǎn)存在刷注冊(cè)的行為，我們無(wú)法僅通過賬號(hào)維度進(jìn)行限制，因?yàn)樗⒆?cè)操作的是賬號(hào)本身。因此，我們只能通過關(guān)聯(lián)賬號(hào)的設(shè)備號(hào)、身份證號(hào)、IP地址、手機(jī)號(hào)等維度來(lái)執(zhí)行注冊(cè)限制。

iii）警告提示

這是一種“低用戶體驗(yàn)影響&低防控效果”的應(yīng)對(duì)方案，一般用于“規(guī)則準(zhǔn)確率較低”或“警告提示”的時(shí)候，比如用戶疑似開掛，警告用戶開掛的危害，以及被抓后的后果。

iv）人機(jī)/身份校驗(yàn)

針對(duì)識(shí)別準(zhǔn)確率較低的高風(fēng)險(xiǎn)行為，我們可以要求用戶進(jìn)行人機(jī)/身份檢驗(yàn)（前文預(yù)防環(huán)節(jié)有提及），以中斷風(fēng)險(xiǎn)行為。通過這種方式，在不影響用戶體驗(yàn)的前提下，提高黑產(chǎn)從事違規(guī)行為的成本，減少其對(duì)系統(tǒng)的影響。

3）賬號(hào)風(fēng)險(xiǎn)應(yīng)對(duì)

i）賬號(hào)凍結(jié)

這種方案通常適用于風(fēng)險(xiǎn)識(shí)別準(zhǔn)確的情況。賬號(hào)凍結(jié)類似于賬號(hào)封禁，當(dāng)系統(tǒng)檢測(cè)到賬號(hào)存在被盜風(fēng)險(xiǎn)時(shí)，會(huì)禁止用戶登錄賬號(hào)，并要求用戶進(jìn)行個(gè)人身份驗(yàn)證，例如使用身份證、手機(jī)等方式進(jìn)行驗(yàn)證，以確保用戶身份的真實(shí)性。同時(shí)，系統(tǒng)可以提示用戶修改賬號(hào)密碼以增加安全性。

ii）安全校驗(yàn)

這種方案對(duì)用戶體驗(yàn)的影響相對(duì)較小。當(dāng)系統(tǒng)檢測(cè)到用戶賬號(hào)存在風(fēng)險(xiǎn)時(shí)，會(huì)要求用戶進(jìn)行安全校驗(yàn)。常見的安全校驗(yàn)形式包括郵箱校驗(yàn)、手機(jī)校驗(yàn)、身份證校驗(yàn)和安全問題校驗(yàn)，其核心邏輯在于要求用戶進(jìn)行自我驗(yàn)證。

下圖展示了常見的郵箱驗(yàn)證碼安全校驗(yàn)功能。

4）產(chǎn)品風(fēng)險(xiǎn)應(yīng)對(duì)

i）擴(kuò)容方案

兵來(lái)將擋水來(lái)土掩！過多的訪問就擴(kuò)充服務(wù)器數(shù)量，不過這種方案需要根據(jù)實(shí)際需求和成本考量。

ii）高防方案

高防服務(wù)器是一種能夠應(yīng)對(duì)黑客攻擊并避免勒索的解決方案，但相應(yīng)地，服務(wù)器成本也會(huì)增加。對(duì)于企業(yè)而言，如果存在被攻擊的潛在風(fēng)險(xiǎn)，可以提前準(zhǔn)備好高防機(jī)制，并在需要時(shí)啟用。

iii）限流方案

如果遇到黑產(chǎn)高頻訪問或用戶量級(jí)過高的情況，可以考慮對(duì)這些情況進(jìn)行限流措施。限流可以分為排隊(duì)限流、功能限流和用戶限流兩種方式。

排隊(duì)限流是一種控制產(chǎn)品用戶數(shù)量的方法，通過讓過多的用戶排隊(duì)等待，直到有空余的位置時(shí)再允許部分用戶進(jìn)入，以確保用戶數(shù)量不超過服務(wù)的承載能力。這種限流方式可以有效地平衡用戶訪問量和產(chǎn)品性能，防止過載導(dǎo)致的服務(wù)崩潰。

功能限流是指在特殊情況下暫時(shí)關(guān)閉某些功能的使用，例如臨時(shí)停止注冊(cè)功能，優(yōu)先為已登錄的用戶提供服務(wù)，待情況穩(wěn)定后再逐步開放其他功能。

用戶限流是指針對(duì)具有特定屬性的用戶（例如IP黑名單用戶）進(jìn)行操作限制（類似于功能封禁），禁止這些賬號(hào)登錄，以限制黑產(chǎn)的活動(dòng)。

iv）服務(wù)中止方案

如果以上方法無(wú)法解決產(chǎn)品面臨的風(fēng)險(xiǎn)，不得不考慮暫時(shí)中止服務(wù)。在這種情況下，需要通過安撫用戶情緒，并緊急制定維護(hù)修復(fù)方案，盡快完成維護(hù)工作，并在之后進(jìn)行補(bǔ)償措施的發(fā)放。

5）互動(dòng)風(fēng)險(xiǎn)應(yīng)對(duì)

i）平臺(tái)中立機(jī)構(gòu)

在用戶之間存在較小的糾紛時(shí)，企業(yè)可以設(shè)立專門的中立機(jī)構(gòu)來(lái)負(fù)責(zé)裁決這些糾紛。其中，最常見的機(jī)構(gòu)就是客服部門，他們可以處理用戶對(duì)商家或其他用戶的投訴，并提供具體的解決方案。例如，在閑魚平臺(tái)上就設(shè)有一個(gè)名為”閑魚小法庭”的機(jī)構(gòu)，邀請(qǐng)第三方用戶充當(dāng)裁判，對(duì)事件進(jìn)行裁決。

需要注意的是，糾紛處理結(jié)果中敗訴方可能會(huì)對(duì)結(jié)果感到不滿，因此如何讓敗訴方接受處理方案是產(chǎn)品需要考慮的一個(gè)重要問題。

ii）國(guó)家相關(guān)機(jī)構(gòu)

在用戶之間出現(xiàn)涉及嚴(yán)重法律問題的情況下，企業(yè)可以直接協(xié)助用戶聯(lián)系相關(guān)部門進(jìn)行介入和處理。舉例來(lái)說(shuō)，對(duì)于滴滴司機(jī)犯罪的風(fēng)險(xiǎn)，企業(yè)可以及時(shí)提醒用戶報(bào)警，以便迅速應(yīng)對(duì)潛在的風(fēng)險(xiǎn)問題。

五、風(fēng)控的難點(diǎn)

1. 風(fēng)險(xiǎn)無(wú)法根除，利益驅(qū)動(dòng)下黑產(chǎn)層出不窮。除了用戶個(gè)體行為外，風(fēng)險(xiǎn)的產(chǎn)生更多是源于黑產(chǎn)對(duì)利益的追逐。正如《資本論》所提到的：“如果有100%的利潤(rùn)，資本家們會(huì)不擇手段…”，因此只要存在足夠的利潤(rùn)，就會(huì)吸引大量黑產(chǎn)的涌入。

2. 風(fēng)險(xiǎn)防控是一場(chǎng)持續(xù)不斷的技術(shù)對(duì)抗，雙方技術(shù)能力螺旋上升。

“上有政策，下有對(duì)策”。當(dāng)我們開發(fā)一項(xiàng)新的風(fēng)險(xiǎn)防控技術(shù)時(shí)，黑產(chǎn)也會(huì)不斷嘗試對(duì)抗，直至突破我們的防線。

這是一場(chǎng)明爭(zhēng)暗斗、人多勢(shì)眾的過程，而且黑產(chǎn)具備專業(yè)化、職業(yè)化和利益鏈復(fù)雜的特點(diǎn)。只要對(duì)黑產(chǎn)的收益大于成本，我們的防控技術(shù)終將被新技術(shù)所破解。

3. 風(fēng)控的成本高，但性價(jià)比低，并不能直接帶來(lái)收益。

盡管風(fēng)險(xiǎn)控制業(yè)務(wù)具有一定的重要性，但它并不是一項(xiàng)直接產(chǎn)生收益的業(yè)務(wù)。

為了應(yīng)對(duì)產(chǎn)品中存在的風(fēng)險(xiǎn)，我們需要建立一整套預(yù)防、采集、識(shí)別和應(yīng)對(duì)技術(shù)，其中還涉及到高難度的人工智能等技術(shù)能力。

從產(chǎn)品設(shè)計(jì)和優(yōu)先級(jí)規(guī)劃的角度來(lái)看，風(fēng)險(xiǎn)控制并不屬于MVP功能，其投資回報(bào)率較低。在產(chǎn)品初期，我們并不需要過多地投入精力來(lái)建設(shè)風(fēng)險(xiǎn)控制系統(tǒng)。從盈利的角度來(lái)看，風(fēng)險(xiǎn)控制只是能夠?qū)κ杖脒M(jìn)行止損，并不能對(duì)收益產(chǎn)生增幅。風(fēng)險(xiǎn)控制系統(tǒng)并不能在產(chǎn)品的增量拉收中起到重要作用。因此，大力發(fā)展風(fēng)險(xiǎn)控制并不是一個(gè)明智的選擇。

4. 在當(dāng)前階段，基于AI防控規(guī)則的召回率與準(zhǔn)確率很難達(dá)到平衡，因此仍然需要一定程度的人力兜底。

目前的AI技術(shù)尚未達(dá)到人工通用智能（AGI）的水平，這導(dǎo)致風(fēng)險(xiǎn)識(shí)別規(guī)則往往難以在全面性和準(zhǔn)確性之間取得平衡。

要么我們可以采用廣泛的規(guī)則以確保盡可能多的風(fēng)險(xiǎn)被識(shí)別，但這可能會(huì)導(dǎo)致準(zhǔn)確率下降；要么我們可以采用更嚴(yán)格的規(guī)則以提高準(zhǔn)確率，但可能會(huì)導(dǎo)致一些風(fēng)險(xiǎn)被遺漏。

因此，為了最大化風(fēng)險(xiǎn)的識(shí)別召回和準(zhǔn)確性，仍然需要一定數(shù)量的人力資源進(jìn)行審核，這也意味著需要相當(dāng)?shù)娜肆χС觥?/p>

六、風(fēng)控的未來(lái)

上文提到風(fēng)控的難點(diǎn)主要集中成本和效果上，為了應(yīng)對(duì)這些問題，個(gè)人覺得風(fēng)控系統(tǒng)的未來(lái)在于：

1. 中臺(tái)乃至Saas化以降低邊際成本。
2. 在標(biāo)準(zhǔn)化建設(shè)的基礎(chǔ)上，對(duì)業(yè)務(wù)進(jìn)行定制化防控策略設(shè)置，降低整體成本。
3. 緊跟AI技術(shù)潮流，尋求召回率與準(zhǔn)確率的最優(yōu)解。

七、總結(jié)

上文即是本人對(duì)風(fēng)控系統(tǒng)建設(shè)的理解，歡迎各位補(bǔ)充～