本文以“策略產(chǎn)品如何進(jìn)行效果評(píng)估”為討論對(duì)象，認(rèn)為可以在不同階段，結(jié)合用戶反饋、埋點(diǎn)、AB測等方法進(jìn)行評(píng)估。

新人產(chǎn)品經(jīng)理要切記從“定性思維”轉(zhuǎn)變到“定量思維”。特別是策略產(chǎn)品，要在整個(gè)產(chǎn)品生命周期里進(jìn)行實(shí)時(shí)的數(shù)據(jù)監(jiān)控。

那么一個(gè)新策略要怎么進(jìn)行效果的預(yù)測和評(píng)估呢，以下是我的一些思考感悟，希望能幫助到大家。

一、策略是如何誕生的

在說策略衡量指標(biāo)之前我們要先了解策略是如何誕生的？策略具有以下四個(gè)要素：

1. 待解決問題：即我們進(jìn)行這個(gè)策略的最本質(zhì)的目的
2. 輸入：即我們通過考慮不同場景下的不同用戶的感受和訴求，得到的一系列影響策略制定的因素
3. 計(jì)算邏輯：也就是我們?nèi)绾螌⑦@些因素利用起來，并且賦給他們合適的權(quán)重和計(jì)算規(guī)則
4. 輸出：即問題的具體解決方案

下面可以以一個(gè)例子具體說明四要素的具體應(yīng)用：

feed流智能推薦策略

1. 待解決問題：針對(duì)不同的用戶提供更為恰當(dāng)、更感興趣的信息推薦。

2. 輸入：

• 用戶特征，可能包括用戶的性別、年齡、搜索過的內(nèi)容、觀看的時(shí)長、點(diǎn)贊收藏了哪些信息等。
• 信息標(biāo)簽，如信息包括的關(guān)鍵字、當(dāng)今熱度的匹配情況（比如明星結(jié)婚離婚總引領(lǐng)信息熱點(diǎn)）。

3. 計(jì)算邏輯：通過對(duì)這個(gè)不同輸入賦予不同的權(quán)重，設(shè)置一個(gè)多因素的公式最終得到用戶喜愛度這種量化的指標(biāo)。

4. 輸出

二、建立衡量指標(biāo)的意義

通過對(duì)四要素的理解，我們可以將建立衡量指標(biāo)的意義抽象為以下幾點(diǎn)：

1. 待解決問題：明確“待解決問題”的聚焦和定位是否準(zhǔn)確
2. 輸入：檢驗(yàn)輸入的多因素是否充足并恰當(dāng)
3. 計(jì)算邏輯：檢驗(yàn)賦值權(quán)重是否合適
4. 輸出：明確此策略是否有效的解決了問題，以及解決問題的占比

三、建立衡量指標(biāo)

策略產(chǎn)品有別于和端接觸密切的用戶產(chǎn)品，其主要目的是提高性能，提升準(zhǔn)確率，所以端上的感知和反饋就未必有其他類型產(chǎn)品顯著，因此建立更為準(zhǔn)確的衡量指標(biāo)更顯得尤為重要。

1. 小數(shù)據(jù)，代表性的case分析——CPO投訴、用戶反饋+case分析

（1）<CPO投訴>

CPO投訴主要是用戶對(duì)產(chǎn)品體驗(yàn)萌生不滿情緒，通過網(wǎng)站或進(jìn)線客服等方式對(duì)產(chǎn)品做出投訴。

CPO投訴的特征是以負(fù)面反饋為主，樣本量小，重要性高。我們在進(jìn)行策略優(yōu)化和迭代時(shí)，主要目的是在保證滿足用戶基本需求的基礎(chǔ)上（即能用，好用）增加個(gè)性化體驗(yàn)（即好用）。而CPO反映給我們的通常是一些Badcase，即產(chǎn)品連用戶基本需求都滿足不了，所以是需要我們著重注意的。

優(yōu)點(diǎn)：對(duì)Badcase的定位和分析可以幫助我們迅速定位到策略的不足之處，進(jìn)而快速止損。

缺點(diǎn)：

1. 由于客服同學(xué)對(duì)策略的了解不夠仔細(xì)，且用戶的表述也一般不會(huì)非常明確，會(huì)導(dǎo)致用戶的實(shí)際反饋和case對(duì)應(yīng)困難，大量的投訴實(shí)際上并沒用于最終的分析；
2. 可以和case關(guān)聯(lián)的投訴也可能由于客服同學(xué)的不了解無法定位到具體原因?qū)е逻€需要花費(fèi)大量的時(shí)間進(jìn)行case的中轉(zhuǎn)；
3. 由于樣本量小，我們無法準(zhǔn)確衡量這類問題的占比。

例子：

比如司機(jī)在開網(wǎng)約車的時(shí)候發(fā)現(xiàn)導(dǎo)航存在繞路現(xiàn)象被乘客舉報(bào)，打電話給平臺(tái)投訴，希望平臺(tái)給予賠償。可能你認(rèn)為查一下歷史log，如果是我們的問題就給予賠償，并從中發(fā)現(xiàn)優(yōu)化點(diǎn)就OK了。

而真實(shí)的情況可能是這樣的：

1. 大部分司機(jī)無法提供準(zhǔn)確的時(shí)間和位置，這會(huì)導(dǎo)致司機(jī)投訴的情況和case難以對(duì)應(yīng)。
2. 即使case對(duì)應(yīng)上了，客服同學(xué)可能簡單的認(rèn)為導(dǎo)航繞路是路線規(guī)劃的問題進(jìn)而中轉(zhuǎn)給規(guī)劃的pm同學(xué)，但實(shí)際的問題是由于司機(jī)點(diǎn)定位的漂移，所以case浪費(fèi)了規(guī)劃同學(xué)的人力，還要再進(jìn)行中轉(zhuǎn)，導(dǎo)致case分析的周期長。
3. 等到中轉(zhuǎn)到恰當(dāng)同學(xué)那里log已經(jīng)過期了，什么都查不到。
4. 就算log沒過期，我們最后查明了原因給予了司機(jī)賠償，但是司機(jī)等待時(shí)間長，用戶滿意度跌倒谷底，認(rèn)為我們的客服機(jī)制拖延時(shí)間，沒有效率。

改進(jìn)方向：

1. 加強(qiáng)的用戶的引導(dǎo)，用戶進(jìn)線時(shí)提供更準(zhǔn)確和詳細(xì)的信息，幫助case定位。
2. 加強(qiáng)客服培訓(xùn)同學(xué)的學(xué)習(xí)，幫助case可以快速的流轉(zhuǎn)到對(duì)應(yīng)的產(chǎn)品同學(xué)名下。

（2）<用戶反饋>

用戶反饋主要通過調(diào)查問卷、用戶調(diào)研等形式開展。和CPO投訴不同，用戶反饋的互動(dòng)性更強(qiáng)，更能得到不同用戶的特征感受，且用戶反饋傳遞的是正面和負(fù)面的信息兼而有之，其樣本量也比CPO投訴要大。

優(yōu)點(diǎn)：強(qiáng)互動(dòng)性，通過和不同群體用戶的對(duì)話可以幫助發(fā)現(xiàn)他們不同的訴求，便于我們完善輸入指標(biāo)和規(guī)則，也可以幫助明確我們解決問題的定位是否準(zhǔn)確。

缺點(diǎn)：

1. 雖然樣本量比CPO投訴高，但還是不具有代表性；
2. 需要的時(shí)間花費(fèi)、人力成本非常大；
3. 有時(shí)用戶的感知和他們的行為是相悖的，所以輸出結(jié)果的準(zhǔn)確性也不高；
4. 另外也會(huì)存在和case對(duì)應(yīng)不上的情況。

例子：

我們想衡量一個(gè)feed流智能推薦新算法是否好用，于是邀請了小張來做用戶調(diào)研。

小張的用戶畫像是一個(gè)在互聯(lián)網(wǎng)公司的軟件工程師，平時(shí)的愛好是在休息時(shí)間看看NBA，小張抱怨feed流每天給他推薦的都是女友喜歡看的吃播，他懷疑是由于女友有時(shí)候用他手機(jī)看吃播造成的。

這時(shí)我們的產(chǎn)品經(jīng)理可能就認(rèn)為是歷史觀看賦的權(quán)重太大且粗糙了，要給短時(shí)長內(nèi)的歷史觀看視頻賦予給小的權(quán)重，于是回去修修改改了好久。

但實(shí)際上可能這個(gè)策略的賦權(quán)是沒有問題的，每天推給小張的也是大量的體育新聞，只是偶爾有一個(gè)吃播推送，但是在不喜歡吃播的小張眼里這條推送就顯得無比“耀眼”，所以給出了錯(cuò)誤的反饋。

改進(jìn)點(diǎn)：

1. 在進(jìn)行調(diào)查問卷設(shè)計(jì)時(shí)要盡量使用明確的問題和答案，減少用戶主觀感性上帶來的偏差。
2. 有意識(shí)的建立“用戶反饋群”、“愛好者群”這類人群集合，引導(dǎo)他們在使用中進(jìn)行有意識(shí)的觀察，但是這種有意識(shí)以及特定群體可能又會(huì)使得樣本的隨機(jī)性被破壞，所以對(duì)此也要進(jìn)行恰當(dāng)?shù)臋?quán)衡。

（3）<Case分析>

case分析實(shí)際上是這上述兩者發(fā)揮作用的最重要的一部分，也是在策略迭代中要不斷進(jìn)行的一個(gè)工作，下面舉個(gè)例子來說明case分析是如何幫助我們進(jìn)行指標(biāo)的衡量的

例子：

還是用feed流智能推薦距舉例：

48歲的趙叔叔抱怨每天給她推送的都是哪個(gè)明星又結(jié)婚了離婚了，這是他的愛人黃阿姨喜歡看的東西，但是他根本不知道這些明星是誰，他只是想看看新聞。

我們通過case分析，發(fā)現(xiàn)給信息標(biāo)簽中熱度匹配情況賦予的值太高了，但是貿(mào)然的賦值低也不太好，于是我們考慮到通過人群標(biāo)簽來指導(dǎo)熱度匹配情況的賦值，比如年輕人可能更喜歡明星八卦，就可以盡量賦值高些。年齡稍微大些的人呢，可能對(duì)此不太感興趣，就可以賦值低一點(diǎn)。女生可能更喜歡女團(tuán)，就可以賦值高一些；男生更喜歡籃球，就可以盡量將體育類賦值高些。

通過上述例子我們可以看出，case分析會(huì)幫助我們更為準(zhǔn)確的分析多因素，并且將其粒度變得更細(xì)，面對(duì)不同場景下不同用戶賦予更為準(zhǔn)確的權(quán)重，得到更為準(zhǔn)確的計(jì)算規(guī)則。

2. 大數(shù)據(jù)，統(tǒng)計(jì)性的指標(biāo)分析——埋點(diǎn)統(tǒng)計(jì)、AB測試+階段性放量

（1）<埋點(diǎn)統(tǒng)計(jì)>

埋點(diǎn)就是指在開發(fā)過程中，RD小哥哥寫在代碼里的一些“感知器”，我們會(huì)給埋點(diǎn)設(shè)置一定的觸發(fā)時(shí)機(jī)（比如命中了XXX策略，點(diǎn)擊了XXX按鈕），和搜集數(shù)據(jù)屬性（比如用戶id，觸發(fā)時(shí)間等）。于是這些埋點(diǎn)便可以在我們設(shè)定的時(shí)機(jī)將我們希望其上傳過來的數(shù)據(jù)以log的形式源源不斷的發(fā)送過來。

在我們進(jìn)行指標(biāo)選取時(shí)首先要明確我們需求解決的問題，優(yōu)化的點(diǎn)是哪？這個(gè)問題回答的越小而具體，指標(biāo)就會(huì)建立的越明確，以下是兩個(gè)例子：

例子一：

背景：車輛在行駛過程中偏離規(guī)劃道路這一情況被稱為“偏航”，假設(shè)我們這個(gè)新策略是為了讓導(dǎo)航更快的感知到車輛的偏航。

指標(biāo)：我們可以將指標(biāo)量化為【偏航識(shí)別距離】和【偏航識(shí)別時(shí)間】。

觸發(fā)/結(jié)束時(shí)機(jī)：這個(gè)結(jié)果是瞬時(shí)的，需要在每次偏航時(shí)提供給我（即進(jìn)行一次記錄）。

例子二：

背景：我們設(shè)定了新策略是讓視頻智能推薦變得更準(zhǔn)確。

指標(biāo)：我們可以將指標(biāo)量化為【用戶點(diǎn)擊首頁視頻的次數(shù)】和【用戶點(diǎn)擊視頻后觀看的時(shí)長】等等。

觸發(fā)/結(jié)束時(shí)機(jī)：這是一個(gè)持續(xù)性的事件我期望設(shè)置的事件開始是【用戶首次進(jìn)入app】和【用戶返回主頁】，那么事件的結(jié)束是【用戶退出app】和【用戶切入后臺(tái)】和【用戶在搜索欄進(jìn)行搜索】和【用戶進(jìn)行手動(dòng)刷新】等。

所以總結(jié)來看如何設(shè)置一個(gè)埋點(diǎn)只需要回答兩個(gè)問題，即我想在什么時(shí)間獲取到信息？以及我想獲取的信息是什么？

埋點(diǎn)的設(shè)置可以參考以下表格：

我們可以總結(jié)埋點(diǎn)的優(yōu)缺點(diǎn)。

優(yōu)點(diǎn)：不必?fù)?dān)心樣本量和準(zhǔn)確性，數(shù)據(jù)是不會(huì)騙人的；便于分析case的占比情況。

缺點(diǎn)：

1. 開發(fā)成本比較大
2. 大量的數(shù)據(jù)才有統(tǒng)計(jì)意義，但是在新策略上線階段，直接給予很高的流量是有很大風(fēng)險(xiǎn)的，所以其應(yīng)用時(shí)段有限制。
3. 和用戶的互動(dòng)性差，僅通過埋點(diǎn)難以定位到用戶的具體訴求和他們的感受。

改進(jìn)點(diǎn)：埋點(diǎn)的主要問題是和端的互動(dòng)性差，可以將埋點(diǎn)分析和用戶調(diào)查、case分析等結(jié)合起來。

（2）<AB測試>

AB是PM在進(jìn)行策略效果衡量時(shí)一種常用的手段，簡單來說就是為同一個(gè)目標(biāo)制定兩種解決方案（一般為新策略和舊策略），通過用戶的使用情況，數(shù)據(jù)呈現(xiàn)來分析哪個(gè)策略是更優(yōu)的。

一般可以選擇幾個(gè)實(shí)驗(yàn)城市進(jìn)行AB測的放量，即保證了樣本量是足以消除掉個(gè)體差異和其他因素干擾的，也可以有效控制流量保證風(fēng)險(xiǎn)的可控性。

AB實(shí)驗(yàn)示例：

1. 城市選擇：一般選擇特征和該策略待優(yōu)化點(diǎn)一致的無其他實(shí)驗(yàn)的城市。

2. 分組依據(jù)：為了保證流量的獨(dú)立性，即A組和B組沒有交集，一般選用手機(jī)倒數(shù)第二位來進(jìn)行AB分組。

3. 時(shí)間選擇：且為了避免假期或者不同工作日影響，一般AA階段和AB階段都要在一周及以上，避開節(jié)假日（春節(jié)、端午等，不指周六日）。

• AA階段：即兩樣本策略完全相同，通過數(shù)據(jù)對(duì)比和顯著性分析來驗(yàn)證其隨機(jī)性。
• AB階段：即兩樣本只有實(shí)驗(yàn)策略不同，通過數(shù)據(jù)對(duì)比（可從平均值、相對(duì)差值、絕對(duì)差值幾個(gè)維度）和顯著性分析（即p值<0.05認(rèn)為顯著）來衡量收益情況。

優(yōu)點(diǎn)：AB測可以很好的解決樣本量的問題，通過數(shù)據(jù)的對(duì)比和數(shù)據(jù)顯著性檢驗(yàn)來準(zhǔn)確衡量策略的收益。

缺點(diǎn)：

1. 無法做到完全隨機(jī)；
2. 實(shí)驗(yàn)的周期長，AB實(shí)驗(yàn)兩階段完成至少需要兩周；
3. 新策略可能具有嘗鮮效應(yīng)，導(dǎo)致收益不能準(zhǔn)確衡量（這一點(diǎn)在CPO投訴、用戶反饋中也有體現(xiàn)）。

改進(jìn)點(diǎn)：可以利用<分片AB實(shí)驗(yàn)>的方式加強(qiáng)樣本的隨機(jī)性。即一定時(shí)間內(nèi)實(shí)驗(yàn)城市所有流量都用A策略，經(jīng)過一段時(shí)間后翻轉(zhuǎn)所有流量都用B策略，經(jīng)過不斷的翻轉(zhuǎn)來實(shí)現(xiàn)AB的切換，在進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的時(shí)候不是根據(jù)AB組進(jìn)行，而是根據(jù)AB事件進(jìn)行。

（3）<階段性放量>

階段性放量實(shí)際上并不是一種策略收益衡量方式，而是為了保證策略上線穩(wěn)定性而進(jìn)行的一種灰度放量模式。在進(jìn)行階段性放量時(shí)pm要時(shí)時(shí)進(jìn)行埋點(diǎn)數(shù)據(jù)的監(jiān)控，并依次進(jìn)行放量計(jì)劃的調(diào)整或者叫停。

衡量指標(biāo)在不同階段的應(yīng)用

總的來看策略性產(chǎn)品效果衡量是以【埋點(diǎn)統(tǒng)計(jì)】為主，【用戶主觀感受】為輔，因?yàn)槠渲饕嫦蛱嵘a(chǎn)品性能，提高準(zhǔn)確性，雖說最本質(zhì)的目的是為了提升用戶體驗(yàn)，但是端上感知并不一定明顯，所以如果過于依賴用戶主觀感受的話可能會(huì)導(dǎo)致結(jié)果不準(zhǔn)確。

而埋點(diǎn)統(tǒng)計(jì)是大數(shù)據(jù)下的產(chǎn)物，也就是說只有在需求上線且樣本量多的情況才能反映出其準(zhǔn)確性，有效的消除掉個(gè)體的影響和其他因素的干擾，但是新需求上來就全量或者大面積放量肯定是不行的，所以在不同的階段下進(jìn)行的效果衡量和評(píng)估是不同的。

階段一：未上線——通過離線數(shù)據(jù)集進(jìn)行的埋點(diǎn)統(tǒng)計(jì)

以我實(shí)習(xí)過的偏航為例，在上線一個(gè)新策略之前一般RD會(huì)在離線數(shù)據(jù)集上進(jìn)行新策略的“試用”，即通過一些歷史軌跡進(jìn)行回放觀察其在新策略上的表現(xiàn)，如果這個(gè)表現(xiàn)是正向且符合預(yù)期的，一般才會(huì)正式上線。

階段二：小流量上線——AB測進(jìn)行數(shù)據(jù)比較+用戶反饋

離線階段認(rèn)為此策略可以上線后，一般還是會(huì)保守的先上線一部分用戶（一般是用戶反饋體驗(yàn)群、產(chǎn)品組里的用戶）和實(shí)驗(yàn)城市，通過搜集他們的主觀感受和實(shí)驗(yàn)城市的AB組數(shù)據(jù)衡量一定流量下新策略的表現(xiàn)并進(jìn)行下一步放量計(jì)劃的制定。

階段三：隨機(jī)放量——埋點(diǎn)數(shù)據(jù)為主，用戶反饋為輔

在此階段一般會(huì)制定相關(guān)的放量計(jì)劃，這時(shí)的流量一般就比較大了，用戶的埋點(diǎn)數(shù)據(jù)也更為真實(shí)可信，所以以埋點(diǎn)數(shù)據(jù)為主，進(jìn)行實(shí)施的監(jiān)控，直到全量。

本文由 @Crystal 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unplash，基于 CC0 協(xié)議