由于電商APP的大改版，所以個(gè)人中心的首頁也在改版隊(duì)伍中。為了更加準(zhǔn)確地找到首頁改版的關(guān)鍵點(diǎn)，筆者采用了AB實(shí)驗(yàn)的形式，逐項(xiàng)通過各項(xiàng)數(shù)據(jù)指標(biāo)進(jìn)行分析，確定新版本改版效果。

報(bào)告內(nèi)容：

分析報(bào)告面向的角色是產(chǎn)品經(jīng)理，挑選的分析場景是經(jīng)常遇到的產(chǎn)品優(yōu)化中的效果驗(yàn)證，使用的分析工具包括友盟+移動統(tǒng)計(jì)（U-App AI版）、內(nèi)部數(shù)據(jù)產(chǎn)品。

文章結(jié)構(gòu)：

1. 項(xiàng)目背景
2. 實(shí)驗(yàn)期監(jiān)測
3. 數(shù)據(jù)復(fù)盤
4. 迭代方向

以下數(shù)據(jù)均作特殊（脫敏）處理，非真實(shí)數(shù)據(jù)，僅供分析落地參考。

一、項(xiàng)目背景

為配合電商App的大改版，上級也對個(gè)人中心的界面風(fēng)格提出新的要求，因此也提出個(gè)人中心首頁改版的要求。

1.1 改版分析

個(gè)人中心首頁作為信息分流類頁面，核心是快速將用戶導(dǎo)航到所需的的功能模塊。

其次，除了導(dǎo)航到不同的功能模塊，還提供商品推薦、引導(dǎo)郵箱驗(yàn)證等內(nèi)容（重點(diǎn)在于效果復(fù)盤，前期需求分析不做贅述）。

因此可以根據(jù)頁面的功能定位及現(xiàn)有提供的功能，制定本次改版目標(biāo)。

1.2?改版目標(biāo)

（1）優(yōu)化個(gè)人中心首頁的功能導(dǎo)航，使用戶快速找到相應(yīng)功能板塊，降低個(gè)人中心的平均停留時(shí)間。

（2）推薦產(chǎn)品改為鋪開展示，增加個(gè)人中心首頁推薦位產(chǎn)品曝光量，提高個(gè)人中心首頁推薦位的交易量。

（3）郵箱驗(yàn)證新增積分獎勵提示，促使更多用戶完成郵箱驗(yàn)證，提高用戶郵箱驗(yàn)證數(shù)。

1.3?實(shí)驗(yàn)方式

新舊版?zhèn)€人中心首頁同時(shí)在線，通過分流工具進(jìn)行流量劃分，保證實(shí)驗(yàn)中的新舊樣本數(shù)量基本一致。

1.4 實(shí)驗(yàn)時(shí)間

2018年11月16日-2018年11月29日

1.5?實(shí)驗(yàn)樣本

舊版會話數(shù)：500000；新版會話數(shù)：499999

頁面數(shù)據(jù)的對比是兩個(gè)版本同期在線，相近樣本數(shù)量下的數(shù)據(jù)表現(xiàn)。

交易數(shù)據(jù)的對比是改版前后新舊版本推薦位交易次數(shù)對比。

二、實(shí)驗(yàn)期監(jiān)測

AB實(shí)驗(yàn)期間，會根據(jù)既定的改版目標(biāo)，重點(diǎn)監(jiān)控AB版本核心指標(biāo)的對比情況，以便調(diào)整AB實(shí)驗(yàn)的分流策略。

為保證初期分流比例能使AB版本的測試會話數(shù)足夠多，避免因基數(shù)過小出現(xiàn)對AB實(shí)驗(yàn)結(jié)果的誤判，根據(jù)個(gè)人中心首頁近一個(gè)月的流量情況，設(shè)定初始實(shí)驗(yàn)流量比例為20%。

（即假設(shè)平均每日訪問個(gè)人中心首頁的會話數(shù)有100000，那么20%的比例參與實(shí)驗(yàn)，每個(gè)版本每日分到的會話數(shù)就都是10000左右）。

2.1 平均停留時(shí)間

功能路徑：用戶洞察-事件分析-新建-頁面訪問路徑

對應(yīng)指標(biāo)名：平均訪問時(shí)長

指標(biāo)含義：統(tǒng)計(jì)日期內(nèi)，用戶對該功能頁面的平均使用時(shí)長情況；平均停留時(shí)間的大小本身并無好壞之分，根據(jù)具體場景評估平均停留時(shí)間大小的影響。

（以文章頁面為例，平均停留時(shí)間可能是越大越好；而對于導(dǎo)航類頁面，用戶能多快就多快找到自己想要的東西，平均停留時(shí)長是越小越好。）

2.2 退出百分比

功能路徑：基礎(chǔ)看板-功能使用-頁面訪問路徑

對應(yīng)指標(biāo)名：跳出率

指標(biāo)含義：統(tǒng)計(jì)日期內(nèi)，該功能頁面是否會導(dǎo)致用戶退出使用產(chǎn)品；退出百分比的大小本身并無好壞之分，根據(jù)具體場景評估退出百分比大小的影響。

（以商品頁面為例，退出百分比是越小越好，該類頁面的作用還是在流程指引上，并不是流程的終點(diǎn)，要盡可能避免造成用戶退出。

而對于支付完成頁面，用戶已經(jīng)達(dá)成既定交易轉(zhuǎn)化目標(biāo)，用戶可能會退出產(chǎn)品，退出百分比是越大越好。）

2.3 交易次數(shù)

功能路徑：基礎(chǔ)看板-功能使用-自定義事件。

前置工作：在后臺注冊后，然后在后臺成功注冊后再進(jìn)行埋碼，將“交易成功”作為事件埋點(diǎn)。

操作：點(diǎn)擊對應(yīng)事件的“查看”操作，即可進(jìn)行事件的趨勢分析。

2.4 郵箱驗(yàn)證數(shù)

同2.3，根據(jù)AB實(shí)驗(yàn)情況，效果達(dá)到預(yù)期優(yōu)化方向，因此在后續(xù)時(shí)間里，逐步放大實(shí)驗(yàn)流量比例。過程中效果也依舊達(dá)到優(yōu)化方向，直至完全放量，換下舊版本，換上新版本。

三、數(shù)據(jù)復(fù)盤

在全流量替換舊版本、上線新版本后，還需要監(jiān)測新版本效果一段時(shí)間。在這里選取了兩周作為效果觀察期，與實(shí)驗(yàn)前數(shù)據(jù)進(jìn)行對比校驗(yàn)。

效果觀察期間，數(shù)據(jù)反饋情況依舊達(dá)到優(yōu)化方向。因此，本次實(shí)驗(yàn)順利完成，為便于后期迭代，下面進(jìn)行改版的數(shù)據(jù)復(fù)盤。

3.1 數(shù)據(jù)概況

平均停留時(shí)間、退出百分比、郵箱驗(yàn)證數(shù)：數(shù)據(jù)取自U-App AI版，對比時(shí)間段為11.16-11.27。

交易次數(shù)：數(shù)據(jù)取自自研數(shù)據(jù)系統(tǒng)，對比時(shí)間段為11.05-11.13與11.19-11.27；28、29號數(shù)據(jù)由于樣式發(fā)生變化，所以不納入計(jì)算，已修復(fù)。

實(shí)驗(yàn)說明：采用的是自研數(shù)據(jù)系統(tǒng)的AB實(shí)驗(yàn)功能，實(shí)驗(yàn)的新舊樣本數(shù)量相近，不考慮基數(shù)造成目標(biāo)次數(shù)的差異問題。

從上面數(shù)據(jù)來看，已滿足改版的三個(gè)目標(biāo)：

1. 優(yōu)化個(gè)人中心首頁的功能導(dǎo)航，使用戶快速找到相應(yīng)功能板塊，降低默認(rèn)頁的停留時(shí)間。

從目前數(shù)據(jù)看，新版默認(rèn)頁平均停留時(shí)間為12.0s，相較舊版的18.0s降低了27%；同時(shí)頁面退出百分比也降低35%，下降為2.00%。

說明改版在降低用戶頁面平均停留時(shí)間的同時(shí)，也并未造成更多用戶退出網(wǎng)站，反而是促使更多用戶持續(xù)訪問網(wǎng)站，達(dá)成改版目標(biāo)。

2. 增加個(gè)人中心首頁推薦位產(chǎn)品的曝光量，提高默認(rèn)頁推薦位的成單量。

從目前數(shù)據(jù)來看，新版默認(rèn)頁交易次數(shù)為4,275，相較相鄰周期舊版的交易次數(shù)3,340次提高了28%；達(dá)成改版目標(biāo)。

3. 郵箱驗(yàn)證新增提示，促使更多用戶完成郵箱驗(yàn)證，開啟積分模塊。

從目前數(shù)據(jù)來看，新版默認(rèn)頁郵箱驗(yàn)證數(shù)為3,755，相較舊版的郵箱驗(yàn)證數(shù)735次提高了511%，達(dá)成改版目標(biāo)。

3.2 頁面數(shù)據(jù)分析

3.2.1 訪問情況

從上面二維表來看，在自研數(shù)據(jù)系統(tǒng)的控制下，參與實(shí)驗(yàn)的新舊版UV數(shù)相近，但PV數(shù)出現(xiàn)較大的差異：在相近的UV數(shù)下，新版的PV數(shù)比舊版的要高出13.04%，平均瀏覽量達(dá)到3.45。

這說明參與新版實(shí)驗(yàn)的用戶會比舊版實(shí)驗(yàn)的用戶更高頻使用用戶中心，促進(jìn)用戶中心模塊的用戶活躍度提高。

功能路徑：基礎(chǔ)看板-功能使用-頁面訪問路徑。

對應(yīng)指標(biāo)名：PV對應(yīng)“訪問次數(shù)”，UV無對應(yīng)指標(biāo)。

指標(biāo)含義：PV即表示頁面的訪問次數(shù)，UV表示頁面的訪客數(shù)，但這里缺少了頁面的UV統(tǒng)計(jì)，反應(yīng)不了訪客對頁面的使用頻率。

例如注冊頁面較平時(shí)的平均訪問次數(shù)暴漲，可能是注冊流程存在流程使用障礙，如注冊成功返回不成功，引起用戶頻繁刷新，可能導(dǎo)致UV不變，但PV暴漲。

3.2.2 頁面質(zhì)量

由于個(gè)人中心首頁是定位于個(gè)人中心功能導(dǎo)航，所以在評判個(gè)人中心首頁的效率上，是從停留時(shí)間越短越好的角度出發(fā)（一定范圍內(nèi)）。

從上圖看平均停留時(shí)間：頁面平均停留時(shí)間波動比較大，但新版?zhèn)€人中心首頁的平均停留時(shí)間大多時(shí)候都是比舊版的平均停留時(shí)間低，所以新版?zhèn)€人中心首頁達(dá)到了降低頁面平均停留時(shí)間的目標(biāo)。

從上圖看退出百分比，可以看出頁面的退出率也是波動比較大，其中新版?zhèn)€人中心首頁的退出百分比也是大多時(shí)間低于舊版的退出百分比。

這說明新版?zhèn)€人中心首頁為引導(dǎo)用戶進(jìn)一步訪問網(wǎng)站做出更大貢獻(xiàn)，從而其它頁面也得到更多的訪問；另一個(gè)角度，在降低頁面平均停留時(shí)間的同時(shí)，也并未造成更多用戶在該頁退出網(wǎng)站。

從上圖看頁面跳出率，可以看出：用戶在個(gè)人中心首頁進(jìn)行著陸時(shí)，新舊版本的數(shù)據(jù)表現(xiàn)基本一致，新版本并不能有效解決用戶著陸跳出的情況，跳出率一般反映著陸頁對用戶的吸引力，促使用戶進(jìn)一步訪問網(wǎng)站。

可從下面幾點(diǎn)考慮下個(gè)版本的迭代：

1. 個(gè)人中心首頁并不是常規(guī)用戶的著陸頁，可從這些用戶的來源入手，為什么在用戶中心著陸，再就來源進(jìn)行分析；可能是站內(nèi)用戶重啟會話的當(dāng)前頁面，但沒繼續(xù)訪問就關(guān)掉頁面了。

2. 作為著陸頁，用戶讀完后，是不是沒有引導(dǎo)用戶進(jìn)一步訪問頁面或者用戶沒有找到他想要的東西；同時(shí)，如果考慮引導(dǎo)新增，需要考慮個(gè)人中心首頁本身定位于功能導(dǎo)航頁面。

（暫不支持提供跳出率評估落地頁效果，跳出率統(tǒng)計(jì)來自內(nèi)部自研的數(shù)據(jù)系統(tǒng)。）

3.2.3 事件觸發(fā)

目前網(wǎng)站的注冊是沒有經(jīng)過郵箱驗(yàn)證的環(huán)節(jié)，只要是合乎格式的郵箱就能順利注冊成功，因此可能存在非用戶使用的郵箱，加大我們對用戶區(qū)分的難度。

同時(shí)，個(gè)人中心的積分模塊是需要郵箱驗(yàn)證才能開啟。在新版的個(gè)人中心首頁中，新增了郵箱驗(yàn)證的獎勵積分提示，期望讓更多用戶去完成郵箱驗(yàn)證操作，上圖統(tǒng)計(jì)的是用戶點(diǎn)擊郵箱驗(yàn)證的情況。

可以看到：新版郵箱驗(yàn)證數(shù)遠(yuǎn)高于舊版郵箱驗(yàn)證數(shù)，伴隨實(shí)驗(yàn)流量的加大（23號調(diào)至50%），新舊版的驗(yàn)證數(shù)對比越來越明顯。

截至29日，同樣實(shí)驗(yàn)樣本，新版郵箱驗(yàn)證數(shù)達(dá)3,755次，高出舊版郵箱驗(yàn)證數(shù)511%。

3.3?交易數(shù)據(jù)分析

交易次數(shù)對比的是實(shí)驗(yàn)上線星期前后9天的數(shù)據(jù)對比，采用的是星期對比（比如19日是周六，那對比的也是相鄰最近的周六），排除星期單量的周期變化帶來的影響。

可以看：在流量小初期，新舊對比還不是特別明顯，在23號加大實(shí)驗(yàn)流量后，新舊間的交易次數(shù)對比就越來越明顯。

截至27日，對比11.05-11.13與11.19-11.27的交易次數(shù)，新版交易次數(shù)達(dá)4,275次，高出舊版交易次數(shù)28%。

3.3.1 推薦位點(diǎn)擊情況

從上面二維表來看，實(shí)驗(yàn)上線星期前后9天，新版較舊版增加了14.00%的推薦點(diǎn)擊UV及12.25%的推薦點(diǎn)擊次數(shù)，從而促使更多用戶進(jìn)入推薦轉(zhuǎn)化，促成更多的訂單。

下面我們來拆解不同推薦位的點(diǎn)擊情況：

可以看到，推薦位“猜你喜歡”及“秒殺”的點(diǎn)擊情況較舊版都有明顯增長，其中“猜你喜歡”增長最為明顯，UV和次數(shù)分別達(dá)到了31.12%、35.44%。同時(shí)，“歷史瀏覽”呈現(xiàn)下降的趨勢，屬于負(fù)增長。

結(jié)合推薦位的位置考慮，“猜你喜歡”是屬于第一屏，不需要切換即可查看，因此可以推測產(chǎn)品展示方式改為鋪開展示后，雖然產(chǎn)品的曝光得到增長，但是也僅限第一屏的推薦位?；凇安履阆矚g”的點(diǎn)擊基數(shù)大，所以也讓整體推薦位的點(diǎn)擊次數(shù)得到增長。

同時(shí)，我們也發(fā)現(xiàn)：第一屏的推薦位會得到更高曝光，同時(shí)也會減弱用戶對其它推薦位的注意力，從而造成非第一屏推薦位（即需進(jìn)行Tab切換的推薦位）的點(diǎn)擊發(fā)生明顯下降。

涉及對交易數(shù)據(jù)的維度拆分，采用的是觸點(diǎn)歸因（即分清每個(gè)位置實(shí)際帶來的交易轉(zhuǎn)化，而不是指經(jīng)過這個(gè)路徑或操作的用戶轉(zhuǎn)化，如Banner實(shí)際銷售效果、文本鏈接實(shí)際銷售效果、活動頁面實(shí)際銷售效果）。

在這一塊，友盟+提供的產(chǎn)品尚未滿足對觸點(diǎn)歸因的支持，因此涉及對維度拆分分析的，采用自研數(shù)據(jù)系統(tǒng)，下同。

3.3.2 推薦位交易情況

從上面二維表來看，實(shí)驗(yàn)上線星期前后9天，新版較舊版增加了14.22%的推薦交易UV及27.40%的推薦交易次數(shù)，促成更多的轉(zhuǎn)化交易。

下面我們來拆解不同推薦位的交易情況：

從上面來看，“秒殺”在改版過程中未做調(diào)整，只做了UI界面改版，可能是秒殺商品的折扣力度問題，引起數(shù)值波動異常。

我們主要分析“歷史瀏覽”及“猜你喜歡”兩個(gè)推薦位，結(jié)合前面3.3.1的分析，我們可以看到“猜你喜歡”交易的增長速度和點(diǎn)擊的增長速度相近，符合預(yù)期中伴隨點(diǎn)擊越來越多，成交也越來越多。

同時(shí)，“歷史瀏覽”的交易下降比例相較點(diǎn)擊卻低很多，而交易UV與點(diǎn)擊UV的下降比例也相近，推測可能是有用戶多次購買，從而造成交易下降比例不符預(yù)期。

3.3.3 推薦位轉(zhuǎn)化情況

從上面二維表來看，實(shí)驗(yàn)上線星期前后9天，新舊兩版轉(zhuǎn)化對比來看，UV的交易轉(zhuǎn)化率基本不變，次數(shù)的交易轉(zhuǎn)化率有13.67%的提高，可以推測新版促成了用戶的多次交易行為。

下面我們來拆解不同推薦位的轉(zhuǎn)化情況：（僅拆解UV的轉(zhuǎn)化情況）

“秒殺”在改版過程中未做調(diào)整，只做了UI界面改版。也是主要看“歷史瀏覽”及“猜你喜歡”的轉(zhuǎn)化情況，可以看到“歷史瀏覽”的轉(zhuǎn)化率（4.65%）遠(yuǎn)高于“猜你喜歡”的轉(zhuǎn)化率（2.09%），同時(shí)“猜你喜歡”的轉(zhuǎn)化率并未因曝光增長而得到大幅提升。

四、迭代方向

4.1 跳出率優(yōu)化

（1）用戶中心并不是常規(guī)著陸頁，可從用戶來源入手，為什么在用戶中心著陸？再就來源進(jìn)行分析；可能是站內(nèi)用戶重啟會話的當(dāng)前頁面，但沒繼續(xù)訪問就關(guān)掉頁面了。

U-App AI版可查看用戶訪問路徑，但存在不能就路徑某個(gè)環(huán)節(jié)具體分析，拆分出站外引流和站內(nèi)引流入口的數(shù)據(jù)情況，按照場景去分析頁面的跳出情況，現(xiàn)有整體路徑分析的入口如下：

基礎(chǔ)看板-功能使用-頁面訪問路徑

（2）作為著陸頁，用戶讀完后，是不是沒有引導(dǎo)用戶進(jìn)一步訪問頁面或者用戶沒有找到他想要的東西。同時(shí)，如果考慮引導(dǎo)新增，需要考慮默認(rèn)頁本身定位于功能導(dǎo)航頁面。

4.2?交易次數(shù)優(yōu)化

（1）在鋪開產(chǎn)品展示時(shí)，第一屏的推薦位會得到更高曝光，同時(shí)也會減弱用戶對其它推薦位的注意力，造成非第一屏推薦位的點(diǎn)擊發(fā)生明顯下降。

（2）結(jié)合3.3.1及3.3.2，我們知道“歷史瀏覽”的點(diǎn)擊和交易都是僅次于第一屏的“猜你喜歡”，但“歷史瀏覽”的轉(zhuǎn)化率卻遠(yuǎn)高于“猜你喜歡”的轉(zhuǎn)化率（兩倍多）。

因此，我們是否可以考慮將“歷史瀏覽”作為第一屏，預(yù)期可以大幅提高我們在這的交易次數(shù)。

相關(guān)閱讀

萬元懸賞數(shù)據(jù)高手｜2019「友盟杯」數(shù)據(jù)分析大賽報(bào)名啟動！

你的堅(jiān)持值得被肯定｜2019「友盟杯」數(shù)據(jù)分析大賽結(jié)果公布

一款家居后APP，如何用增長黑客方法實(shí)現(xiàn)從0到40萬增長？

產(chǎn)品高于需求：低頻產(chǎn)品也可以有高用戶活躍度

渠道評估怎么做，才能讓App假量灰產(chǎn)無處遁形？

我的朋友老曹，居然用數(shù)據(jù)工具搞了這么多事

針對直播產(chǎn)品的成熟期，重構(gòu)用戶運(yùn)營體系方案

拆解主要數(shù)據(jù)，分析社交類產(chǎn)品的數(shù)據(jù)運(yùn)營方法

如何利用數(shù)據(jù)驅(qū)動，從0.5到1搭建App積分體系？

場景分析：游戲關(guān)卡難度對玩家流失的影響

以抖音和陸金服為例，解構(gòu)數(shù)據(jù)分析三個(gè)核心原理

作者：JM，從事互聯(lián)網(wǎng)電商行業(yè)4年，其中3年數(shù)據(jù)產(chǎn)品經(jīng)驗(yàn)，從0到1規(guī)劃過訪客日瀏覽量超千萬的流量分析系統(tǒng)。

本文為「人人都是產(chǎn)品經(jīng)理」社區(qū)和友盟＋聯(lián)合舉辦的“2019「友盟杯」數(shù)據(jù)分析大賽”中獲獎作品，未經(jīng)作者及平臺許可，禁止轉(zhuǎn)載

本文部分?jǐn)?shù)據(jù)有脫敏處理，非全部真實(shí)數(shù)據(jù)

題圖來自Unsplash，基于CC0協(xié)議