導(dǎo)語(yǔ)：相信對(duì)于很多剛?cè)腴T的分析師小白來(lái)說(shuō)，評(píng)估活動(dòng)效果、洞察業(yè)務(wù)機(jī)會(huì)，是所有工作中最可以體現(xiàn)價(jià)值感的事情，但也可能是令我們最頭疼的事情。本文作者基于自身的實(shí)際工作經(jīng)歷，結(jié)合一個(gè)真實(shí)的運(yùn)營(yíng)活動(dòng)，對(duì)活動(dòng)評(píng)估中可以復(fù)用的數(shù)據(jù)分析“套路”進(jìn)行總結(jié)和整理，希望能夠給初接觸數(shù)據(jù)分析的同學(xué)帶來(lái)幫助。

一般來(lái)說(shuō)，互聯(lián)網(wǎng)公司的運(yùn)營(yíng)活動(dòng)按照目的可以分為3種：拉新、促活、品牌宣傳，盡管每種活動(dòng)關(guān)注的核心績(jī)效指標(biāo)完全不同，但是分析的思路還是可以套路化的。接下來(lái)，本文將以某次促活活動(dòng)為案例，分享下如何對(duì)一場(chǎng)活動(dòng)的效果進(jìn)行量化評(píng)估。

一、活動(dòng)背景

伴隨著移動(dòng)互聯(lián)網(wǎng)用戶的增速越來(lái)越趨于飽和，用戶增長(zhǎng)的破局方法不得不從拉新獲客轉(zhuǎn)換為如何促活存量用戶。

通過(guò)第三方廣告媒體app（比如微信、抖音等）投放針對(duì)老用戶的素材對(duì)用戶促活，已經(jīng)成為很多公司用來(lái)提升存量老用戶活躍度的有效方法（后續(xù)會(huì)統(tǒng)稱為“渠道拉活”）

某公司的市場(chǎng)投放部門也開始投入預(yù)算試水「渠道拉活」這一項(xiàng)目，在項(xiàng)目啟動(dòng)一段時(shí)間后，已經(jīng)回收累積了大量的用戶數(shù)據(jù)，但是：

• 渠道拉活對(duì)于DAU的帶動(dòng)貢獻(xiàn)究竟有多大？
• 是否值得持續(xù)投入更多的資源？
• 活動(dòng)情況的ROI如何？是否符合預(yù)期？
• 活動(dòng)是否存在改進(jìn)空間？

這些領(lǐng)導(dǎo)和業(yè)務(wù)方非常關(guān)注的問(wèn)題，需要分析師基于數(shù)據(jù)給出公正和客觀的答復(fù)。

二、分析框架和指標(biāo)體系

1. 分析框架

• 活動(dòng)整體增量效果評(píng)估 (包括短期效果分析、長(zhǎng)期效果分析)
• ROI 核算（計(jì)算單用戶的拉新或者促活成本）
• 參活用戶質(zhì)量評(píng)估
• 活動(dòng)存在問(wèn)題分析

2. 指標(biāo)體系

（1）流量規(guī)模

數(shù)據(jù)指標(biāo)：

• DAU
• 參與活動(dòng)的用戶數(shù)（舉例：渠道拉活成功召回的用戶數(shù)）
• 通過(guò)活動(dòng)首次調(diào)起app的uv（舉例：通過(guò)渠道拉活首次調(diào)起app的uv）
• 通過(guò)活動(dòng)首次調(diào)起app的uv占day的比例（舉例：通過(guò)渠道拉活首次調(diào)起uv的dau占比）

可解決的問(wèn)題：

• 通過(guò)對(duì)比事先制定好的活動(dòng)KPI指標(biāo)，評(píng)估目標(biāo)完成率；
• 與其他活動(dòng)對(duì)比，評(píng)估促活的核心指標(biāo)（通常是DAU）是否達(dá)到預(yù)期；
• 評(píng)估渠道拉活能夠召回的用戶量級(jí)有多大；
• 評(píng)估對(duì)DAU的凈增量貢獻(xiàn)有多大；

（2）用戶質(zhì)量、用戶畫像

數(shù)據(jù)指標(biāo)：

• 留存率（次日回訪率、7日回訪率、30日回訪率）
• 日均使用時(shí)長(zhǎng)
• 核心功能滲透率
• 核心功能人均PV
• 人群畫像（性別、城市、消費(fèi)能力）

可解決的問(wèn)題：

• 評(píng)估渠道召回用戶的質(zhì)量
• 監(jiān)測(cè)是否存在刷量作弊渠道

（3）用戶行為

數(shù)據(jù)指標(biāo)：

• 站外轉(zhuǎn)化漏斗（舉例：廣告曝光-廣告點(diǎn)擊-成功調(diào)起app-deeplink抵達(dá)特定頁(yè)面）
• 站內(nèi)核心行為的轉(zhuǎn)化漏斗（舉例：活動(dòng)頁(yè)-列表頁(yè)-詳情頁(yè)）

可解決的問(wèn)題：

• 評(píng)估用戶從站外渠道到抵達(dá)App的路徑是否順暢，發(fā)現(xiàn)產(chǎn)品bug或者可以改善的機(jī)會(huì)點(diǎn)
• 評(píng)估活動(dòng)的站內(nèi)承接策略是否合理

三、分析過(guò)程

1. 活動(dòng)效果評(píng)估以及活動(dòng)ROI分析

在量化DAU (或者活躍天數(shù)) 貢獻(xiàn)時(shí)，需要減去用戶的自然活躍量，即計(jì)算“凈增量”貢獻(xiàn)。該貢獻(xiàn)可以分為當(dāng)日貢獻(xiàn)和長(zhǎng)期貢獻(xiàn)。

• 當(dāng)日貢獻(xiàn)是指：當(dāng)日的召回用戶對(duì)于當(dāng)日DAU的增量貢獻(xiàn)
• 長(zhǎng)期貢獻(xiàn)是指：由于召回用戶的后續(xù)回流，在后續(xù)特定時(shí)間范圍還會(huì)持續(xù)貢獻(xiàn)的用戶天數(shù)增量。比如，活動(dòng)后的50個(gè)參與用戶，在后續(xù)30天內(nèi)人均活躍天數(shù)比活動(dòng)前提高10天，那么促活的增量貢獻(xiàn)就是500天。

不得不承認(rèn)，AB實(shí)驗(yàn)最擅長(zhǎng)處理歸因和量化的問(wèn)題。它的思想是，將流量隨機(jī)分為數(shù)量均勻和特征均勻的兩組（即對(duì)照組和實(shí)驗(yàn)組），實(shí)驗(yàn)組用戶只有在產(chǎn)品策略上與對(duì)照組不同，因此我們可以認(rèn)為兩組用戶在同一時(shí)間維度上的指標(biāo)差異，可以完全歸因于策略上的差異。

然而，該廣告拉活項(xiàng)目無(wú)法設(shè)計(jì)對(duì)應(yīng)的AB實(shí)驗(yàn)，但我們可以基于AB測(cè)試的思想，構(gòu)造與實(shí)驗(yàn)組“相似”的用戶群體作為對(duì)照組。具體過(guò)程如下：

1. 將拉活渠道喚起app的用戶作為實(shí)驗(yàn)組，未曾被拉活召回的存量用戶作為對(duì)照組；
2. 選取可能影響用戶未來(lái)活躍度的特征（比如機(jī)型、新增渠道、歷史活躍度、…），基于“特征相同”的原則，對(duì)兩組用戶劃分為 N 對(duì)實(shí)驗(yàn)組和對(duì)照組。注意盡量將特征通過(guò)區(qū)間離散化，避免劃分出的某一組落入的樣本數(shù)過(guò)少，導(dǎo)致兩組樣本的指標(biāo)差異不可信，比如特征「新增日期間隔」可以離散化為：7天內(nèi)、8-14天、14天以上；
3. 計(jì)算 N 對(duì)實(shí)驗(yàn)組和對(duì)照組的每一組的指標(biāo)差異值，以及實(shí)驗(yàn)組的總指標(biāo)差異（等于每一組指標(biāo)差異*人群占比的相乘結(jié)果求和）

通過(guò)以上方法，可以計(jì)算出拉活對(duì)于當(dāng)日DAU的貢獻(xiàn)、以及拉活對(duì)于未來(lái)30天DAU的總增量貢獻(xiàn)。

實(shí)際上，對(duì)于拉活對(duì)DAU的單次短期貢獻(xiàn)，有更為簡(jiǎn)便的方法，即基于“首次歸因”的思想，通過(guò)“拉活首次調(diào)起app的uv”進(jìn)行量化評(píng)估，即如果用戶多次啟動(dòng)過(guò)app，那么只有當(dāng)通過(guò)促活廣告首次調(diào)起app了，才會(huì)計(jì)入到促活廣告的功勞。

值得一提的是，“首次歸因”的方法也可以應(yīng)用至“產(chǎn)品新上線功能評(píng)估”的效果量化中，通常我們可以將“啟動(dòng)app后首次訪問(wèn)該功能的用戶量”作為該功能對(duì)dau的貢獻(xiàn)量。

對(duì)于活動(dòng)成本的核算，我們可以通過(guò) “總成本消耗量 / 總DAU增量”，計(jì)算每個(gè)DAU增量的成本，以評(píng)估ROI是否符合預(yù)期。

2. 用戶行為分析、和用戶質(zhì)量評(píng)估

可以以「大盤未參活用戶」、「同期同類活動(dòng)」、「往期同類活動(dòng)」分別作為對(duì)比基準(zhǔn)，基于用戶行為漏斗、留存率、核心行為pv、人均使用時(shí)長(zhǎng)等指標(biāo)，識(shí)別本次促活策略是否有薅羊毛或者作弊嚴(yán)重的渠道，并評(píng)估活動(dòng)拉來(lái)的用戶質(zhì)量好壞。但這里不作為本次分享重點(diǎn)，因此不再展開贅述。

四、結(jié)語(yǔ)

作為數(shù)據(jù)分析師，實(shí)際工作中遇到的促活策略往往是五花八門，但是活動(dòng)效果好壞的評(píng)估過(guò)程依然是有章可循的。最后，簡(jiǎn)單總結(jié)下本文對(duì)于后續(xù)活動(dòng)評(píng)估的可復(fù)用之處：

• 如何構(gòu)建活動(dòng)評(píng)估的指標(biāo)體系；
• 如何量化歸因活動(dòng)的短期貢獻(xiàn)（即“首次歸因”法）；
• 如何在無(wú)法開展AB測(cè)試的情況下，通過(guò)構(gòu)造對(duì)照組的方式，快速地量化評(píng)估長(zhǎng)期的增量貢獻(xiàn)；

本文由 @郝笑笑 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于 CC0 協(xié)議