A/B測試的作用大家都知道，就不多說了，在這里寫寫我在平時工作中應用心得。

在我的業(yè)務線平時應用A/B的場景：A大多是已經在線的一個產品，而B是一個我們將要上線的另一版本的產品（有可能是改進也有可能是推倒重來的），因為直接通過B去替換A可能用戶一下子接收不了，所以我們會切部分用戶出來用B版本，上線一段時間后，收集用戶的反饋，再去調整，逐步去替換使用A的用戶，這樣做能讓用戶更平滑的接收。別小看這個過程，其實有很多策略可講究了。說說我的真實經歷。

之前做【AE賣家后臺首頁改版】的時候有兩種方案做A/B測試，第一種：直接切20%的流量體驗新版后臺（根據(jù)帳號數(shù)隨機切20%的用戶登錄就跳轉到新版），不提供【返回舊版】入口，另一種切50%的流量讓用戶體驗新版后臺，但是要提供【返回舊版】的入口。

第一種方案相對比較保守或者說慎重，因為用戶不能回到原來熟悉的頁面中去使用，特別是在后臺（執(zhí)行任務為主）一旦用戶有比較緊急和重要的任務要做（比如編輯產品、發(fā)貨、回復詢盤），會非常影響他的效率，從而直接帶來一些不理性的反饋。好處：如果產品的改版是方向性的（就是商業(yè)決策上一定要這樣去改了)，那通過這種方案一步步切流量，整個過程還需要和用戶溝通解釋，就能有個較平滑的過渡，比如網站首頁的改版、SKU項目。

第二種方案就比較開放，因為用戶有【返回舊版】的入口，用的不爽可以回去，而且被測試的用戶基數(shù)較大，這樣得到的反饋相對來說更有定量的價值，容易發(fā)現(xiàn)同類度比較多的問題，相對來說反饋內容也比較理性充實，我在群里、網上、上門跟用戶聊的時候他們大多都說出對于不爽的很多細節(jié)。

當然這兩種方案都基于一個很重要的前提，改版前做好功課：解決的問題和用戶期望匹配度要高，準，而且第二種尤其。寫到這里大家應該能看出我最終選擇了哪種方案做了【AE賣家后臺首頁改版】。

對了，第二種方案還能給我們一個很重要的結果指標，就是用戶在A/B版本的存留人數(shù)，再來看個當時【AE賣家后臺首頁改版】review數(shù)據(jù)圖。

此次使用A/Btest的進行測試，新舊版各50%的用戶，在新舊版頭部布有切換按鈕，用戶在下次登錄ME時會自動進入上次退出地的ME版本中。

總的來說新版上線后，用戶隨著一個時間段的體驗和適應，新舊版的的存留上是五五開。

新版由于鏈接數(shù)上有所簡化，所以PV對比上會略低，而新版Session在近一周有所超越舊版的跡象。

通過存留比能很好的反映用戶最終的接受度，同時也是作為判斷產品是達到足夠替換舊版的一個重要指標之一。

這里再提一下對于改版類的A/B測試還有一大利器就是熱點分布圖，基本能很直觀的表現(xiàn)出用戶的焦點功能能否在一屏內看到，操作到，盡量少的需要滾動。

當然每個產品情況不同不一定是看類似的指標數(shù)據(jù)，但在做A/B前梳理清楚上線后通過哪些數(shù)據(jù)來衡量是非常重要的，衡量哪些指標，我們UED也最好能主動和PD一起去討論，畢竟有些指標數(shù)據(jù)能指導、影響我們的方案和看問題視角。

當然A/B測試還有很多種用法和分步實施方案，測試出的結果也會有很多有意思的解讀，項目做的多了，思考的多，遇到的問題多了，都能感受的到，以上只是舉了個簡單的例子。

A/B測試和PD

寫到這個標題，是我想到了很多時候UED在PD溝通方案出現(xiàn)分歧時，最終會提出做A/B測試，這本身沒錯。但我在和PD們聊過這個問題時，他們有時候會有一種較負面的感覺：這么小的一個需求還要做A/B哪有資源和時間，感覺這成了阻礙他們項目進度的一個絆腳石?？赡芪覀冎皇窍胱C明自己更對，并沒有那種意思，但如果對方有了這種感受其實很不利于以后的合作的。

我的一點點看法就是，如果項目是很重要和關鍵的改動，我們盡早提出該項目需要做A/B測試（PD也會比較慎重的，最好你還能提出如何去做A/B測試的建議方案更nice），規(guī)劃到項目整體資源中去，而不是在項目KICKOFF后，大家都完成了評估開始執(zhí)行了再來提。如果是些小改動影響不大，方案一直糾結不下，哪我建議我們大度點讓讓TA們吧，最后真的他們錯了，補救的成本也不會太高的。這點是我們需要注意下的。

以上只是個人心得，雖不能適用大家的工作場景，但舉一反三，希望帶給大家一點點思考，就算沒浪費大家讀到這里了。

來源：aliued