編輯導(dǎo)讀：運營常用渠道拉新、拉活、節(jié)假日活動進行用戶增長，在預(yù)算有限的情況下，怎樣平衡各項業(yè)務(wù)中的成本投入，把錢花在刀刃上呢？本文作者提出用ROI進行量化評估，一起來看看吧。

做增長業(yè)務(wù)，常用的策略手段有渠道拉新、拉活、節(jié)假日活動等。這幾個業(yè)務(wù)都是需要花錢的，每年分配的預(yù)算有限，如何權(quán)衡在各項業(yè)務(wù)上的投入成本，如何花錢效率最高，將好鋼用在刀刃上是需要運營管理者去思考和決策的。

如何決策更科學(xué)，那就不得不提到因果推斷這種科學(xué)的量化方法，每筆投入的 ROI 量化評判標(biāo)準(zhǔn)統(tǒng)一，自然就可比較。

有一套關(guān)于花錢的經(jīng)典面試題，新年伊始，業(yè)務(wù)部門要做新一年的規(guī)劃，部門需要在渠道拉新、拉活、節(jié)假日活動3個地方花錢，你如何判斷花錢是否值得，分配是否合理？

這里面隱含的一個問題是，上述3個地方你的評估標(biāo)準(zhǔn)是否統(tǒng)一，比如用戶價值統(tǒng)一用 LTV 衡量，后續(xù)統(tǒng)一計算 ROI 即可，最忌諱的是不同業(yè)務(wù)有不同的標(biāo)準(zhǔn)，比如拉新看次留、拉活看回流量、A活動看簽到量、B活動看積分消耗量等，不統(tǒng)一則不可縱向比較。

渠道拉新相對容易，因為本身拉來的是一個新用戶，自身計算 LTV 即可，但是拉活、活動因為要計算增益，就需要找對比組。

比如拉活要對比拉活和未拉活，活動要對比參與活動和未參與活動的兩個群體，這里面就會引入新的問題，你對比的兩個群體，本身就是不同質(zhì)的，比如近期高活用戶更有可能參與活動，未參與活動里面摻雜的更多的是低活和回流用戶，自然參與活動的用戶無論人天還是留存都會比未參與活動的人群高，那你怎么能證明是活動本身帶來的增益呢？

明顯直接拿參與未參與進行對比，會存在混淆因子&自選擇偏差。

控制轉(zhuǎn)化的唯一變量不是「是否參與活動」若影響轉(zhuǎn)化的唯一變量，不只是參與活動與否這個屬性，會得出錯誤結(jié)論。

人群屬性分布不一致的兩個組不能直接比較：

1. 參與活動用戶本身就是相對高活的用戶，可能沒有活動也會回來，本身易轉(zhuǎn)化
2. 其它屬性特征導(dǎo)致用戶更容易參與活動，而未參與活動的用戶本身就是不活躍的不宜轉(zhuǎn)化
3. 用戶因為節(jié)假日的影響自然頻率上升
4. 活動期間多種策略同時影響用戶，不只活動一種策略

為了解決這個效果評估的問題，本文采用因果推斷中的傾向性得分加權(quán)的方法，找到對照組和實驗組同質(zhì)的用戶群進行比較分析。

還有一種常用的方法PSM傾向性得分匹配，經(jīng)對比，PSM傾向性得分匹配方法能夠處理的數(shù)據(jù)量在幾w級別，且隨著數(shù)據(jù)量的增加計算效率降低很快，甚至出現(xiàn)計算不出結(jié)果的情況，故推薦傾向性得分加權(quán)的方法。

一、什么是因果推斷

在做用戶增長時，我們要回答的終極問題是“如果對產(chǎn)品施加 T 策略，對業(yè)務(wù)目標(biāo)是否有影響，影響有多大？”我們對產(chǎn)品施加的策略為「因」，因此而出現(xiàn)的結(jié)果為「果」，中間控制住混淆變量 X ，保證 T 策略是唯一影響因素。

這樣就可以回答，因為 T 策略的施加，導(dǎo)致結(jié)果 Y 增益了多少。

干預(yù) T(treatment) ：一般為二值干預(yù)，用 T = 0 或 T = 1來指示用戶是否受到了某種干預(yù)，例如是否參與了 A 活動

潛在結(jié)果{Yi0,Yi1}：對每個用戶 i ，他們是否受到干預(yù)會有兩個潛在結(jié)果Yi0和Yi1，如Yi0表示未參與活動A，Yi1表示參與了活動A

觀察結(jié)果 Y ：當(dāng)一個用戶沒有受到干預(yù)時（T = 0），我們將會觀察到Y(jié)= Yi0，當(dāng)一個用戶受到干預(yù)時我們將會觀察到Y(jié) = Yi1

混淆變量 X ：可以簡約看成是一系列用戶特征，對比的兩群人具有同樣的特征分布，可看成平行空間中的同一個人，他們的潛在結(jié)果和 T 是相互獨立的

1. 因果效應(yīng)

ATE (Average Treatment Effect):

即平均處理效應(yīng)，這里的E是“期望”，對所有用戶取期望。最終匹配的干預(yù)組和控制組在因變量上的平均差異，即干預(yù)對所有人的平均效應(yīng)。

ATT (Average Treatment Effect on the treated)：

即處理組平均處理效應(yīng)，這里的E是對所有T=1的用戶取期望。直觀來說，ATT為實驗組樣本接觸到干預(yù)后，干預(yù)對受到干預(yù)的人的平均因果效應(yīng)。

二、因果評估方法傾向性加權(quán)得分

從整體用戶群中隨機抽樣，分成兩組人群，實驗組：參與活動用戶；控制組：未參與活動用戶，帶入二元邏輯回歸模型進行迭代，計算得到傾向性得分 P，按照 P 計算權(quán)重系數(shù) W 用于均衡控制組人數(shù)分布，保證控制組和實驗組人數(shù)分布基本一致。

詳細(xì)原理如下：

傾向性評分是指在一組協(xié)變量條件下(X)，對象 i 接受 treatment (T=1) 的概率值。這個概率值的計算最常用的是邏輯回歸模型，也可以選用隨機森林、神經(jīng)網(wǎng)絡(luò)等模型。

在相似的得分下，treatment 和 control 基線資料的分布應(yīng)該是平衡的。

因果效應(yīng) ATT、ATE 和傾向性得分的關(guān)系如下：

ATE：

實驗組：

對照組：

即為通過模型計算出的概率得分。

ATT：

實驗組：

對照組：

至此，我們就計算出了權(quán)重系數(shù) w。

增益效應(yīng)評估

套入上述公式，即可計算得出 ATT 或 ATE。

三、傾向性加權(quán)得分在活動效果量化增益上的應(yīng)用

以下以參與某活動為例，講解傾向性加權(quán)得分方法在活動 ROI 量化增益上的應(yīng)用。

1. 實驗組和測試組劃分

因果推斷本質(zhì)上是在人為模擬 AB Test，那么模擬的 AB 兩組，也要符合真實 AB test 分組的定義。

注意此處很重要，否則會得出錯誤的分組結(jié)果。

2. 將因果推斷模型計算過程工程化提高復(fù)用性、縮短開發(fā)周期

不同的模型，使用的特征變量基本一致，可以將常用特征變量固定化自動化采集，豐富特征變量庫，便于提高模型的復(fù)用性，同時縮短開發(fā)周期，高效給出策略建議。

3. 迭代優(yōu)化邏輯回歸模型，計算概率 P、權(quán)重系數(shù) w

通過常用的邏輯回歸算法計算傾向性加權(quán)得分 P，對分類變量進行熱編碼，匹配加權(quán)結(jié)果更均勻

1）觀察變量顯著性，對于不顯著的變量可弱化模型在該變量上的匹配效果

2）匹配結(jié)果量化

• 實驗組和控制組樣本量接近1：1
• SMD < 0.1

SMD 即 Standarized Mean Difference

SMD 的一種計算方式為：（實驗組均值 – 對照組均值）/ 實驗組標(biāo)準(zhǔn)差。

以上量化指標(biāo)符合規(guī)則，則說明加權(quán)匹配成功

3）量化增益值及顯著性校驗

is_treat = 1.62 說明參與活動用戶較未參與活動用戶30日人天增益為1.62，且結(jié)果顯著，量化評估結(jié)果可用。

4. 量化活動增益 ROI

常用衡量指標(biāo)為 LTV，對比參與活動組和未參與活動組的 LTV 差異即為 LTV 增益，這里面的難點為從活動開始計算多長時間的增益算活動帶來的，也就是說因活動帶來的增益有多大且會持續(xù)多長時間？

由活動帶來的增益會分為3部分：渠道投放新增 + 活動裂變新增 + 首次參與活動的老用戶

新增即求相應(yīng)的新增用戶 LTV 即可這里暫且不表，另外為什么要限定是首次參與活動的老用戶呢？限定老用戶首次參與活動后，那么其每日因活動帶來的增益就不會和多次參與活動的老用戶增益混淆在一起，導(dǎo)致不能很好的量化活動增益。

LT 即我們要計算的活動生命周期時長增益，LT 可以等價看成參與活動組和未參與活動組用戶在后續(xù) N 日日活躍率的增益，N 日日活躍率增益相加即為 LT 增益。選擇看日活躍率的好處是我們可以從曲線走勢上看出以下兩點，間接驗證模型的匹配加權(quán)效果。

• 參與活動和未參與活動用戶在參與活動前是否可以看成同一個人？即參與活動前兩組用戶的日活躍率曲線是否重合，以此來驗證傾向性加權(quán)得分的效果
• 將 N 日時間周期拉長，從后續(xù)留存時長變化趨勢上幫我們清晰地定位到活動效應(yīng)的存續(xù)周期

至此，我們便完整的完成了活動效果量化 ROI 的增益計算，另外因為也考慮了模型的工程化，此方法可以快速延伸到拉活、某功能改版上線等的后續(xù)增益評估上。

參考文獻：

https://dango.rocks/blog/2019/01/08/Causal-Inference-Introduction1/

https://dango.rocks/blog/2019/08/18/Causal-Inference-Introduction3-Propensity-Score-Weighting/

https://blog.csdn.net/Alleine/article/details/114999229

作者：北極星，騰訊高級數(shù)據(jù)分析師，知乎專欄：數(shù)據(jù)分析方法與實踐，致力于通過數(shù)據(jù)分析實現(xiàn)產(chǎn)品優(yōu)化和精細(xì)化運營。

本文由?@北極星 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash ，基于 CC0 協(xié)議