在互聯(lián)網(wǎng)行業(yè)，A/B測(cè)試已成為優(yōu)化產(chǎn)品和提高用戶體驗(yàn)的關(guān)鍵工具。通過(guò)對(duì)比不同的方案，我們能找出最有效的方法來(lái)提升用戶參與度和滿意度。本文將帶你了解如何設(shè)計(jì)和執(zhí)行一個(gè)成功的A/B測(cè)試實(shí)驗(yàn)，幫助你像互聯(lián)網(wǎng)巨頭一樣思考和實(shí)施最佳實(shí)踐。

每個(gè)做用戶增長(zhǎng)的人，可能逃過(guò)了大學(xué)實(shí)驗(yàn)課，卻無(wú)法繞開(kāi)工作上的A/B測(cè)試實(shí)驗(yàn)課。

A/B測(cè)試實(shí)驗(yàn)本質(zhì)是通過(guò)控制單一變量尋找最優(yōu)解決方案。在互聯(lián)網(wǎng)中，其目的是快速地增加商業(yè)成功幾率。

當(dāng)前互聯(lián)網(wǎng)巨頭Facebook、Google、字節(jié)跳動(dòng)、騰訊、美團(tuán)等等都非常喜愛(ài)A/B測(cè)試實(shí)驗(yàn)。

Facebook的CEO扎克伯格曾宣稱：

“在任何給定的時(shí)間點(diǎn)，都不會(huì)只有一個(gè)版本的 Facebook 在線上運(yùn)行，而是有超過(guò)一萬(wàn)個(gè)，我們的實(shí)驗(yàn)框架能隨時(shí)發(fā)現(xiàn)和感知用戶最細(xì)微的行為差異?！?/p>

字節(jié)跳動(dòng)的張一鳴曾表示：

“即使你有99%的把握某個(gè)名字比另一個(gè)名字更好，測(cè)一測(cè)又有什么關(guān)系呢？”

有APP工廠之稱的字節(jié)跳動(dòng)，每天同時(shí)在進(jìn)行的A/B測(cè)試實(shí)驗(yàn)達(dá)上萬(wàn)場(chǎng)，累計(jì)已超上百萬(wàn)場(chǎng)次。

在互聯(lián)網(wǎng)巨頭們?nèi)绱藷釔?ài)進(jìn)行A/B測(cè)試實(shí)驗(yàn)的背景下，初入互聯(lián)網(wǎng)行業(yè)的新人學(xué)會(huì)A/B測(cè)試實(shí)驗(yàn)就顯得非常重要。接下來(lái)，我通過(guò)結(jié)合自己近期的一個(gè)A/B測(cè)試實(shí)驗(yàn)，來(lái)講一講A/B測(cè)試實(shí)驗(yàn)如何開(kāi)展。

事情是這樣的：有個(gè)學(xué)生信息收集頁(yè)面，需要家長(zhǎng)填寫(xiě)手機(jī)號(hào)并驗(yàn)證、姓名、學(xué)校、年級(jí)、班級(jí)等信息。當(dāng)我們?cè)诜治鲰?yè)面填寫(xiě)率時(shí)，想如果分步填寫(xiě)信息（降低心理壓力）、調(diào)換填寫(xiě)順序（先易后難、隱私敏感度先弱后強(qiáng)），填寫(xiě)率應(yīng)該會(huì)提升。所以，我們就做了下面這組實(shí)驗(yàn)。

信息填寫(xiě)率提升的A/B測(cè)試實(shí)驗(yàn)

01 實(shí)驗(yàn)假設(shè)

假設(shè)①：學(xué)生信息分步填寫(xiě)，填寫(xiě)率提升2%

• 假設(shè)原因：信息一起填寫(xiě)提交，用戶心理負(fù)擔(dān)大。通過(guò)分步填寫(xiě)，將填寫(xiě)任務(wù)分解，當(dāng)用戶有過(guò)付出成本后，后續(xù)完成可能性更大（厭惡損失心理），比如在問(wèn)卷收集中就會(huì)將填信息放在幾個(gè)頁(yè)面填寫(xiě)；有些APP手機(jī)號(hào)驗(yàn)證碼登錄時(shí)，先顯示輸入手機(jī)號(hào)，后顯示輸入驗(yàn)證碼。

假設(shè)②：分步填寫(xiě)順序進(jìn)行調(diào)整，填寫(xiě)率提升2%

• 假設(shè)原因：用戶對(duì)于首次接觸填寫(xiě)信息隱私的敏感度會(huì)比較大，“手機(jī)號(hào)并驗(yàn)證”隱私敏感度小于“學(xué)生姓名、學(xué)校、年級(jí)、班級(jí)”，因此先填寫(xiě)手機(jī)號(hào)并驗(yàn)證有利于填寫(xiě)率提升。

02 實(shí)驗(yàn)設(shè)計(jì)

對(duì)照組 ：在一個(gè)彈窗中填寫(xiě)所有信息，順序?yàn)樾彰?、學(xué)校、年級(jí)、班級(jí)、手機(jī)號(hào)并驗(yàn)證

實(shí)驗(yàn)組1：分兩個(gè)彈窗填寫(xiě)：先彈窗填寫(xiě)姓名、學(xué)校、年級(jí)、班級(jí)；然后自動(dòng)彈窗填寫(xiě)手機(jī)號(hào)并驗(yàn)證

實(shí)驗(yàn)組2：分兩個(gè)彈窗填寫(xiě)：先彈窗填寫(xiě)手機(jī)號(hào)并驗(yàn)證；然后自動(dòng)彈窗填寫(xiě)姓名、學(xué)校、年級(jí)、班級(jí)

03 實(shí)驗(yàn)指標(biāo)

學(xué)生信息填寫(xiě)率

04 實(shí)驗(yàn)評(píng)估

• 影響所有填寫(xiě)用戶
• 僅需前端修改信息提交交互，開(kāi)發(fā)成本低；
• 有可借鑒經(jīng)驗(yàn)，成功率高

05 實(shí)驗(yàn)結(jié)果

style=”text-align: center;”>（數(shù)據(jù)已脫敏處理，不涉及公司數(shù)據(jù)泄露）

06 結(jié)果分析

通過(guò)實(shí)驗(yàn)組1與對(duì)照組的轉(zhuǎn)化率對(duì)比，可以看出信息分步填寫(xiě)，可降低用戶心理壓力負(fù)擔(dān)，有利于用戶填寫(xiě)率提升，驗(yàn)證了假設(shè)①。

通過(guò)實(shí)驗(yàn)組1與實(shí)驗(yàn)組2的轉(zhuǎn)化率對(duì)比，可以看出信息填寫(xiě)不同順序，對(duì)于用戶填寫(xiě)率存在差異，但不是假設(shè)②中“隱私敏感度”原因。這里先填寫(xiě)孩子“姓名、學(xué)校、年級(jí)、班級(jí)”的填寫(xiě)率更高，應(yīng)該是學(xué)校班主任老師發(fā)給家長(zhǎng)填寫(xiě)的場(chǎng)景更有信任背書(shū)，降低了家長(zhǎng)對(duì)孩子隱私的敏感度，反而家長(zhǎng)更容易理解需要填寫(xiě)什么內(nèi)容。

07 后續(xù)計(jì)劃

• 全量推進(jìn)實(shí)驗(yàn)組1的填寫(xiě)方式。
• 尋找其它表單填寫(xiě)，推行分步填寫(xiě)A/B測(cè)試。

通過(guò)上述A/B測(cè)試實(shí)驗(yàn)，你應(yīng)該學(xué)到

1. 對(duì)照組和實(shí)驗(yàn)組數(shù)據(jù)結(jié)果可量化，更有說(shuō)服力。
2. A/B測(cè)試是一個(gè)“假設(shè)-開(kāi)發(fā)-學(xué)習(xí)”閉環(huán)，不斷優(yōu)化，最終尋找到最優(yōu)解決方案。
3. 實(shí)驗(yàn)并非一帆風(fēng)順，失敗率會(huì)很高，需要我們磨煉心智，再接再厲。
4. 實(shí)驗(yàn)假設(shè)每一次驗(yàn)證成功，也會(huì)讓你更有成就感，更有動(dòng)力尋找下一個(gè)A/B測(cè)試。
5. A/B測(cè)試流程

推薦閱讀：增長(zhǎng)利器：積分商城