編輯導(dǎo)讀：ABTest是互聯(lián)網(wǎng)行業(yè)的常用手段，通過高頻測試找最優(yōu)，ABTest就是協(xié)助我們衡量需求收益的好朋友。相比于產(chǎn)品運(yùn)營高頻使用ABTest，風(fēng)控比較少用到ABTest，這是為什么呢？本文作者對此進(jìn)行了分析，與你分享。

大家都知道流量時代，互聯(lián)網(wǎng)產(chǎn)品、運(yùn)營都在干嘛呢，高頻測試找最優(yōu)。即使我們不知道背后的統(tǒng)計(jì)學(xué)原理，我們也對ABTest耳熟能詳。

在產(chǎn)品做一個功能或需求時，聽到最多的疑問就是：你這個功能/需求能帶來的收益是什么？收益能有多大？那我們怎么去衡量一個需求帶來的實(shí)際收益？這個時候，ABTest就是協(xié)助我們衡量需求收益的好朋友。

那風(fēng)控模型策略上線做不做ABTest呢？大家可以想一想。

我曾經(jīng)有過一次面試經(jīng)歷，對方問我，之前有沒有做過ABTest，我說有。然后要我舉個例子，我想了想，意識到不對勁，瞎解釋了一通。

因?yàn)轱L(fēng)控策略其實(shí)并沒有真正意義的ABTest。

一、ABTest

• 運(yùn)營同學(xué)想測試：banner高度是否影響點(diǎn)擊率？
• 設(shè)計(jì)同學(xué)想測試：不同分享按鈕的顏色能不能提升點(diǎn)擊率？
• 大數(shù)據(jù)同學(xué)想測試：不同推薦算法的點(diǎn)擊率?。?/li>

ABTest將不同的用戶分成不同的組，同時測試不同的方案，通過用戶反饋的真實(shí)數(shù)據(jù)來找出哪一個方案更好。解決的是多種方案需要拍腦袋確認(rèn)哪一種更好的問題。

對一個產(chǎn)品設(shè)計(jì)，往往已經(jīng)能難直觀判斷是否真的是一種優(yōu)化了，這個改變，可能來自文案、按鈕的顏色、界面的布局或者功能的迭代，也可能是推薦算法。

你說你知道哪個更優(yōu)？

只能是騾子是馬，拉出來比一比。

根據(jù)這些思想，ABTest有幾個關(guān)鍵，一個是分流，流量要分配的公平，一個是檢驗(yàn)，要驗(yàn)證結(jié)論具備統(tǒng)計(jì)學(xué)意義。

ABTest的統(tǒng)計(jì)學(xué)知識就不寫了，隨便一搜都有，而我也不會。

值得注意，ABTest是驗(yàn)證想法方案的策略，而不是戰(zhàn)略。

它不能解決所有問題，因?yàn)樗⒉贿m合所有情況。

更改登陸頁面可能是一個很好的ABTest候選者，更改網(wǎng)站或表單上的按鈕位置可能也是一個很好的ABTest。一個完整的網(wǎng)站重新設(shè)計(jì)可能是也可能不是一個好的ABTest，這取決于如何進(jìn)行實(shí)驗(yàn)。

通常，增量更改非常適合ABTest。注意，缺陷也隱藏在其中，增量測試顯然容易陷入局部最優(yōu)。

最常用到ABTest的就是增長部門，那什么時候應(yīng)該引入ABTest呢？應(yīng)該是在找到了一條相對比較可靠的增長路徑之后，通過ABTest來優(yōu)化這條路徑。

二、產(chǎn)品?&?運(yùn)營

有人總結(jié)產(chǎn)品和運(yùn)營的關(guān)系，產(chǎn)品是把東西做出來，運(yùn)營是把東西賣出去。有點(diǎn)意思。

不管是產(chǎn)品還是運(yùn)營，可以統(tǒng)稱為增長，它們都是為增長服務(wù)的。而上面剛說，增長非常適合ABTest。

比如電商行業(yè)中典型的增長問題，提升頁面轉(zhuǎn)化率，包括提升列表頁到商詳頁的轉(zhuǎn)化率，商詳頁到訂單確認(rèn)頁的轉(zhuǎn)化率，訂單確認(rèn)頁到交易成功頁的轉(zhuǎn)化率。

這整個流程中太多ABTest的用武之地了，從icon，到文案，到頁面結(jié)構(gòu)，到推薦結(jié)果，等等?？梢哉f產(chǎn)品體驗(yàn)5要素的很多內(nèi)容都需要經(jīng)過測試。

再比如，電商平臺為618、雙11促活，想知道是用滿減券好，還是折扣券好。這兩種券，可能在不同品類的商品、不同客群上效果都不一樣。

實(shí)際上，很多用于測試的選項(xiàng)你是真的不知道哪個好。

據(jù)說，google的設(shè)計(jì)師不能在兩種顏色中做出取舍時，他們測試了41種不同深淺的藍(lán)色。

意料之外情理之中？

我們看下工作中典型的產(chǎn)品&運(yùn)營工作流，以電商場景為例。

產(chǎn)品和運(yùn)營同學(xué)日常，統(tǒng)計(jì)電商搜索結(jié)果頁面的PV、UV、曝光、點(diǎn)擊等數(shù)據(jù)指標(biāo)，發(fā)現(xiàn)該頁面搜索結(jié)果的轉(zhuǎn)化率很低，即很多用戶進(jìn)行了搜索卻沒有點(diǎn)擊搜索結(jié)果進(jìn)店購買。

隨后運(yùn)營同學(xué)對用戶的行為數(shù)據(jù)和各項(xiàng)指標(biāo)展開分析，定位問題并進(jìn)行頭腦風(fēng)暴，提出多套可行的的改進(jìn)方案。

之后通過ABTest同時將這些方案發(fā)布到線上運(yùn)行，并記錄實(shí)驗(yàn)日志，計(jì)算轉(zhuǎn)化率等指標(biāo)，最后通過分析各個方案的效果指標(biāo)得到最佳方案。

總結(jié)一下，這個工作流可以概括為，發(fā)現(xiàn)問題->提出目標(biāo)->建立假設(shè)（提出優(yōu)化方案）->AB實(shí)驗(yàn)->驗(yàn)證假設(shè)，若假設(shè)成立則上線新方案，若不成立則繼續(xù)頭腦風(fēng)暴提出新方案再進(jìn)行實(shí)驗(yàn)。

通過上面的分析，可以發(fā)現(xiàn)ABTest已經(jīng)成為數(shù)據(jù)驅(qū)動增長的必要工具。

三、風(fēng)控

我只是想寫這一部分，不知道為何要先寫前兩部分。

風(fēng)控中，做一個新模型，或者一條新策略，都是要充分評估更優(yōu)的。迭代的模型要跟很多東西對比，首要對比的就是想要替換的模型。策略的優(yōu)化第一個要比的也是原策略。

沒有得到更好的模型效果或者策略效果，別說上線了，你都不好意思說你做了這個工作。

當(dāng)然，這里存在幸存者偏差，我們是在“幸存者”上確保了B好于A。

你看，這根本就不是傳統(tǒng)ABTest的工作流，不知道好壞，只能靠上線分流測試。

根本問題出在哪呢？

ABtest的原假設(shè)是組別間沒有差異，備擇假設(shè)是有差異，目標(biāo)是拒絕原假設(shè)，核心是證偽。

而風(fēng)控策略呢，很可能是AB沒有明顯區(qū)別，也會接受B，因?yàn)锽的設(shè)計(jì)更簡化、更清晰、更輕維護(hù)。

增長里B方案的提出是腦暴式的，而風(fēng)控里的B方案卻是嘔心瀝血出來的。也許是更復(fù)雜的算法，也許是更精細(xì)化的特征挖掘，也許是目標(biāo)定義的改變，等。不管是哪一種，一定是為了更好而做的B。當(dāng)然，不排除即便如此，仍然出現(xiàn)了B不如A的尷尬局面。

這是風(fēng)控和增長的前提差異。一個是沒有差異就拒絕，一個是沒有差異就接受。

增長本質(zhì)上是通過ABTest的思想，把產(chǎn)品決策權(quán)交給了用戶。風(fēng)控并非如此。

風(fēng)控的新策略不需要保證新的業(yè)務(wù)指標(biāo)顯著優(yōu)于原有業(yè)務(wù)指標(biāo)，即使沒有顯著差異，仍然可以上線新策略。

背后的根本原因是，這些都是不和用戶交互的，不像產(chǎn)品層，新的UI不比原UI高效則不上。

結(jié)果是，產(chǎn)品，除非確認(rèn)有效，否則就不上，而風(fēng)控，只要沒有負(fù)面影響，就上。

這并不是說風(fēng)控里就沒有ABTest。

風(fēng)控決策引擎里面的ABTest，一般叫做冠軍挑戰(zhàn)者。只是因?yàn)樯厦嫣岬降倪@些原因，冠軍挑戰(zhàn)者起的作用只是圖心安而已。絕大多數(shù)都沒有起到什么價值。

大家做風(fēng)控，不管是模型迭代，還是一個確定的策略工具迭代，例如償債能力，我們評估風(fēng)險(xiǎn)區(qū)分性，評估換入換出，評估通過率，評估這評估那。這些都是線下完成，而非線上測試。

本文由@雷帥 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議