只要是在可拆解場景，都有「坑」的身影。本文從「辛普森悖論」著手，側(cè)重于其在業(yè)務(wù)中的實(shí)際表現(xiàn)場景，分析業(yè)務(wù)中有哪些可能踩坑的地方，一起來看一下吧。

今天分享一個(gè)分析師的老朋友——「辛普森悖論」，只要是在可拆解場景，都有「坑」的身影，所以也成為了數(shù)據(jù)分析面試中的?？汀１疚闹饕獋?cè)重于其在業(yè)務(wù)中的實(shí)際表現(xiàn)場景，需要分析同學(xué)引起警惕，其之「坑」，小則忽略改進(jìn)機(jī)會(huì)，大則結(jié)論直接錯(cuò)誤。

一、什么是辛普森悖論

既然叫「悖論」，首先肯定是反常識(shí)的。還是以一個(gè)簡單的案例來引入吧：

（案例瞎編，如有雷同，純屬巧合）假設(shè)一個(gè)產(chǎn)品，無論安卓端還是IOS端的用戶留存率都較去年同期有提升，是否大盤的留存率一定有提升？

受過多年應(yīng)試教育錘煉的我們，看到「一定」兩個(gè)字就會(huì)覺得必有玄機(jī)。

是的，你沒想錯(cuò)，就算我們窮舉了各個(gè)維度，且各個(gè)維度趨勢(shì)一致，也未必能反映大盤的特性。

為什么？因?yàn)槲覀冎魂P(guān)注了「比值」而沒關(guān)心「絕對(duì)值」。

讓我們把數(shù)據(jù)展開再看一下實(shí)際的量級(jí)：

是不是很能反映問題了？

雖然雙端的留存率都有提升，但是整體的留存率出現(xiàn)了大幅下降。其主要原因是iOS用戶出現(xiàn)大量流失，只剩下核心用戶；安卓端次月留存率較低，但用戶量級(jí)較大，拉低了整體留存率。

這就是有名的辛普森悖論，用學(xué)術(shù)一點(diǎn)的語言解釋：

「計(jì)算分項(xiàng)的比例（比如各種各樣的率）數(shù)據(jù)時(shí)，A方的每一分項(xiàng)的數(shù)據(jù)都比B方要高，但是把各分項(xiàng)一匯總起來算總體數(shù)據(jù)時(shí)，A方卻比B方低。這種不符合常規(guī)認(rèn)知的“悖論”現(xiàn)象，在數(shù)據(jù)分析領(lǐng)域并不少見；這種在進(jìn)行分組研究的時(shí)候，有時(shí)在每個(gè)組比較時(shí)都占優(yōu)勢(shì)的一方，在總評(píng)中有時(shí)反而是失勢(shì)的一方的“悖論”現(xiàn)象就叫辛普森悖論?！?/p>

接下來，我們來看看在業(yè)務(wù)中有哪些可能踩坑的地方。

場景一：只注重比例指標(biāo)，不注重絕對(duì)值變化

在工作場景中，這樣的表述是不是似曾相識(shí)：

• 「我們的活躍用戶付費(fèi)率從3%提升到了5%，說明付費(fèi)流程改版效果非常好，對(duì)用戶的付費(fèi)率有了較大幅度的提升?！?/li>
• 「近期我們APP的內(nèi)容播放率有所提升，親子類播放率提升30%，歷史類播放率提升10%，所以APP內(nèi)容播放率的提升是親子類內(nèi)容帶來的。」

乍看好像沒啥問題，但是其實(shí)經(jīng)不起推敲。

面對(duì)情景一，也許我們按重度用戶、輕度用戶去拆解，會(huì)發(fā)現(xiàn)兩邊的付費(fèi)率其實(shí)都沒有明顯改變，這個(gè)付費(fèi)率的提升是由于近期重度用戶在日活中的占比增加了。那把付費(fèi)率的提升歸功于付費(fèi)流程的改版好像多少有點(diǎn)不對(duì)勁。

后續(xù)的分析過程中，我們的重點(diǎn)就需要調(diào)整為「為什么重度用戶在日活的占比增加了」?？赡苁且?yàn)檩p度用戶轉(zhuǎn)化為了重度用戶，好事情，不用太擔(dān)心。也可能是輕度用戶逐漸流失了，只留下一些重度用戶，那我們又得進(jìn)一步分析「為什么輕度用戶逐漸流失」。

數(shù)據(jù)分析，就是類似這樣抽絲剝繭的過程。

對(duì)于場景二，也與場景一大同小異，忽略量級(jí)直接聊比例都是耍流氓。假設(shè)本來親子內(nèi)容有10個(gè)播放，現(xiàn)在13個(gè)，歷史類本來有1000個(gè)播放，現(xiàn)在有1100個(gè)。你還能自信的說內(nèi)容播放率提升是由親子內(nèi)容播放提升帶來的嗎？

與之類似，當(dāng)一個(gè)渠道今天的新增注冊(cè)用戶只有100人時(shí)，明天有1000個(gè)新增都是10倍增長。一個(gè)新增注冊(cè)有10,000人的渠道，哪怕只漲10%，就能帶來同等的增量。

場景二：拆解做得不夠，關(guān)鍵維度有缺失

簡單來說，我們?nèi)绻蛔霾鸾饣蛘卟鸾庾龅牟粔?，只關(guān)注總體表現(xiàn)，就會(huì)忽略了「被平均」的一部分人，或者忽略其他關(guān)鍵維度對(duì)數(shù)據(jù)的影響。數(shù)據(jù)分析的藝術(shù)有時(shí)候也就是從各個(gè)維度拆解的藝術(shù)，忽略關(guān)鍵維度，小則錯(cuò)失改進(jìn)的機(jī)會(huì)，大則出現(xiàn)結(jié)論性錯(cuò)誤。

比如，投放時(shí)我們發(fā)現(xiàn)某個(gè)投放素材的ROI較低，就決定直接把它停了。但是真實(shí)世界往往是十分復(fù)雜的，也許這個(gè)素材在中國不行，在美國又行了，在美國不行，在南美又行了。在高收入人群不行，可能在低收入人群又很能打。

這里引用頭條的一道面試題來進(jìn)一步解釋吧：

對(duì)潛在客戶進(jìn)行投放時(shí)，30歲以上客戶1000人，轉(zhuǎn)化率2%，30歲以下3000人，轉(zhuǎn)化率4%，整體轉(zhuǎn)化率就是3.5%，所以分析師得出結(jié)論：30歲以上的客戶價(jià)值低，不建議再投放。請(qǐng)問這個(gè)結(jié)論合理嗎？

我們有幾種角度來駁斥這個(gè)結(jié)論。

第一，沒有呈現(xiàn)其他重要維度，可能是樣本選擇不均衡。首先，30歲以下選了3,000人，30歲以上則選了1,000人，30歲以下用戶和30歲以上的用戶的人口學(xué)特征是否一致呢？

假設(shè)咱們30歲以上人群選的低收入人群占比高，30歲以下選的是高收入人群占比高，對(duì)結(jié)論必然產(chǎn)生影響。所以除了30歲以下/30歲以上這個(gè)拆分，我們可能還要按人群收入進(jìn)行拆分。

第二，衡量投放效果，不能僅僅關(guān)注轉(zhuǎn)化率，也要關(guān)注用戶生命周期整體LTV。假設(shè)30歲以下人群買的大多是9.9的走量產(chǎn)品，30歲以上買的都是999的利潤產(chǎn)品，你還能說30歲以上的用戶沒有價(jià)值嗎？

場景三：AB實(shí)驗(yàn)時(shí)測(cè)試效果很好，實(shí)際上線后翻車

而辛普森悖論也可以為一些業(yè)務(wù)現(xiàn)象提供一些合理解釋?！窤B實(shí)驗(yàn)測(cè)試效果好，上線效果一般」的原因有很多，比如「新奇效應(yīng)」或者「統(tǒng)計(jì)顯著不等于業(yè)務(wù)顯著」，但是「辛普森悖論」也是導(dǎo)致翻車的種子選手之一。

舉個(gè)例子，雖然我們?cè)谶M(jìn)行AB實(shí)驗(yàn)時(shí)會(huì)對(duì)用戶進(jìn)行隨機(jī)分流，我也認(rèn)可這種分流足夠準(zhǔn)確，但是測(cè)試往往是跟隨版本迭代進(jìn)行的，可能這類率先進(jìn)入ab實(shí)驗(yàn)，勤于更新的用戶本身就是這種對(duì)app更為熱衷，活躍度更高的用戶。最后我們依照實(shí)驗(yàn)結(jié)果發(fā)布版本，可能對(duì)于某些活躍度沒這么高的用戶，反而有負(fù)面影響。

甚至極端一點(diǎn)，實(shí)驗(yàn)版的新用戶流程可能有bug，但是因?yàn)樾掠脩粼诖蟊P占比較低，如果我們只看大盤數(shù)據(jù)，可能不會(huì)注意到實(shí)驗(yàn)已經(jīng)對(duì)新用戶體驗(yàn)產(chǎn)生惡劣影響。

所以要求我們?cè)诜治鲞^程中，除了關(guān)注主指標(biāo)，也關(guān)注重要維度拆解出的關(guān)鍵指標(biāo)。比如我已經(jīng)知道某個(gè)維度下各個(gè)群體的用戶（比如新用戶和老用戶）的指標(biāo)表現(xiàn)有所不同了，也很難在實(shí)驗(yàn)層面就保證各組用戶在該維度下的用戶占比是完全均勻的，除了總指標(biāo)，就需要對(duì)該指標(biāo)進(jìn)行進(jìn)一步拆解分析。比如看付費(fèi)率不光看總體付費(fèi)率，也看新用戶付費(fèi)率和老用戶付費(fèi)率。

另外做足夠精細(xì)的數(shù)據(jù)分析，也可以讓我們更好的把實(shí)驗(yàn)價(jià)值最大化。比如某實(shí)驗(yàn)顯示雖然總體付費(fèi)率提升只有0.1%，沒有顯著性。但是對(duì)于某特定人群來說提升明顯，可以讓30歲以上的女性付費(fèi)率提升30%，那么這個(gè)實(shí)驗(yàn)仍然有上線的價(jià)值。

Reference：

關(guān)于辛普森悖論的深度解析，奇奇和蒂蒂

數(shù)據(jù)分析——工作中遇到的“辛普森悖論”，森谷蘑

從大廠數(shù)據(jù)分析面試題了解「辛普森悖論」，趣談數(shù)據(jù)分析

淺談AB測(cè)試?yán)锍Ｒ姷男疗丈Ｕ摚鯐?/p>