數(shù)據(jù)驗收，是產(chǎn)品經(jīng)理經(jīng)驗新功能反饋的常用手段，那么要想做好數(shù)據(jù)驗收這件事，都要做到哪幾點呢？筆者將為大家揭曉。

新功能上線后，產(chǎn)品經(jīng)理一般會對新功能進行數(shù)據(jù)驗收及匯報，以驗證數(shù)據(jù)效果及指導下一步的方向。那如何全面地進行數(shù)據(jù)驗收呢？

筆者認為，做好以下四點即可：

1. 上線前設計客群分組；
2. 設計數(shù)據(jù)指標體系；
3. 上線后對比驗收數(shù)據(jù)；
4. 分析數(shù)據(jù)原因及未來規(guī)劃。

一、上線前的準備

1. 設計客群分組

設計實驗組與對比組的作用是控制變量，保證數(shù)據(jù)驗收的客觀性。

1）實驗組要求

除了新功能這一個變量，其他的變量盡量與對比組保持一致，其他變量包括時間、渠道、用戶狀態(tài)等?？腿簲?shù)量方面，要足夠說明效果（一般需要1萬以上的客群）。

2）對比組要求

沒有新功能的變量，其他變量與實驗組保持一致。客群數(shù)量方面，如果數(shù)據(jù)驗收受客群數(shù)量影響，則實驗組與對比組的數(shù)量要基本一致。

3）分組切量方法

如果僅是上線了一個新功能，需要新版與舊版進行對比，可采用灰度方法，通過控流開關實現(xiàn)控量分組；如果是要做多個方案的對比測試，則可采用A/B測試方法，通過接入吆喝科技實現(xiàn)（如果開發(fā)資源充足，當然可以自己開發(fā)A/B測試功能）。

2. 設計數(shù)據(jù)指標體系

1）確定業(yè)務目標

比如提升某個功能的轉化率、提升某個業(yè)務的收入、提升功能留存等。

2）按用戶路徑拆解數(shù)據(jù)指標

用戶數(shù)據(jù)：功能入口的流量、用戶分群等

行為數(shù)據(jù)：每個環(huán)節(jié)的行為轉化數(shù)和轉化率，例如功能使用的用戶數(shù)、功能點擊率、付費率等。

業(yè)務數(shù)據(jù)：付費人數(shù)、收入、千次曝光收入等

3）數(shù)據(jù)指標再次細分

以上拆解的數(shù)據(jù)指標，為方便后面的深入分析，還可以按用戶屬性或事件屬性再次拆解。例如按用戶屬性拆解，借款產(chǎn)品則可區(qū)分授信通過戶、授信拒絕戶；按事件屬性拆解，區(qū)分登錄方式、區(qū)分渠道等。

3. 提供埋點

1）埋點規(guī)范確定：埋點組成是頁面+操作+區(qū)分類型的字段

2）前端埋點和后端埋點：結果性事件一般前后端都埋，包括成功事件、失敗事件（失敗還要埋失敗原因）；過程性事件一般是前端埋點。

3）上報時機確定：大多數(shù)埋點的上報時機是比較顯而易見的，所以文檔里可以不用強調，比如曝光、點擊的埋點。但是像上報時機有多個的情況，則需要跟開發(fā)明確。比如失敗事件，是后臺返回失敗才算失敗，還是前端拋出失敗提示就算失敗。

二、上線后的觀察與分析

1. 對比驗收數(shù)據(jù)

1）上線后對比數(shù)據(jù)是否符合預期

同期對比：實驗組與對比組同期整體對比，看分組的業(yè)務數(shù)據(jù)提升或降低效果。比如看某個功能的轉化率或某個業(yè)務的千次曝光收入等?；旧蠌耐趯Ρ染涂梢缘贸觯鹿δ軐I(yè)務指標是起到正向還是負向的影響。

前后對比：已經(jīng)有同期對比了，前后對比還需要嗎？答案是某些場景下需要。因為同期對比一般來說，需要開發(fā)做灰度切量的功能支持。所以如果新功能效果是顯而易見的，且灰度功能做起來比較耗資源，我們可以選擇上線后全覆蓋，通過前后對比來看數(shù)據(jù)效果。

2）上線后分析新功能是否帶來長期價值

一般來說，新功能只要看是否滿足業(yè)務目標就足夠了，但是我們還需要關注長期價值。一個好產(chǎn)品需要具備對用戶有效用、對企業(yè)有收益、可持續(xù)這三個屬性。

所以我們還要放寬視角，關注新功能的精準留存。如果用戶有持續(xù)使用新功能，那說明新功能具備長期價值，值得繼續(xù)深挖；如果用戶只使用一次新功能，那說明我們對需求把控沒有到位或新功能沒有很好地滿足用戶需求。

3）上線后探索新功能的更多可能性

除了看新功能是否符合預期、是否具備長期價值，還可以詳細分析新功能本身的數(shù)據(jù)，得到下一步優(yōu)化的方向或獲得需求洞察。

比如用漏斗分析看每一步的轉化率，分析漏損在哪里；比如分客群看使用新功能的情況，分析哪個客群是新功能的核心客群；比如看用戶使用新功能的頻率和時間分布，分析用戶對新功能的使用習慣。

2. 分析數(shù)據(jù)原因

一般來說，分析數(shù)據(jù)背后的原因，分為客觀原因和主觀原因：

1）客觀原因

由于改變客觀環(huán)境，帶來的數(shù)據(jù)變化。比如縮短用戶操作路徑，減少用戶操作；優(yōu)化頁面布局，使主要功能更聚焦；優(yōu)化性能，提高接口返回數(shù)據(jù)速度，降低失敗率；增加場景，提高曝光從而提高收入等。

2）主觀原因

由于改變用戶的主觀意愿，帶來的數(shù)據(jù)變化。比如增加獎勵刺激，提高用戶參與欲望；優(yōu)化素材投放，提高用戶點擊欲望；客群本身的質量原因等。

3. 制定后續(xù)規(guī)劃

根據(jù)新功能的數(shù)據(jù)結論及原因，確定接下來是要繼續(xù)優(yōu)化還是改變方向。繼續(xù)優(yōu)化一般是繼續(xù)保留新功能，下一步計劃是放量或優(yōu)化后放量；改變方向是現(xiàn)有功能沒有符合預期，但是從現(xiàn)有數(shù)據(jù)獲得新洞察，可以換個方向嘗試。

作者：狐檬，具有千萬級互金產(chǎn)品和運營經(jīng)驗。微信公眾號：小狐學產(chǎn)品

本文由 @狐檬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉載

題圖來自Unsplash，基于CC0協(xié)議