用戶增長實驗三部曲(1):生活中需要實驗思維
筆者將用“用戶增長實驗三部曲”來介紹實驗思維、實驗如何用來歸因、以及準確量化結果。生活中,我們經(jīng)常可以看到歸因錯誤的例子。那我們就可以用實驗思維來歸因驗證以及評估增量,而不是讓實驗思維局限于科研、醫(yī)學和用戶增長工作。
01 兩類歸因錯誤的例子
1. 錯把相關當因果
假設A和B兩件事情,簡單說因果性就是指原因A造成了結果B,A導致了B;而相關性指A的發(fā)生伴隨著B的發(fā)生,A和B很可能沒有直接聯(lián)系。因果性和相關性的混淆充滿了我們的日常生活,很多時候我們誤把相關性當成因果性,去做錯誤的歸因。
例子很多,簡單舉一類例子如下:
- 經(jīng)常喝紅酒有助于身體健康
- 從小學習彈鋼琴的孩子學習成績比不學的人要好
- 經(jīng)常喝咖啡的人更容易得心腦血管疾病
這里例子都呈現(xiàn)出一些相關性,并且如果需要一定能夠給出詳實的數(shù)據(jù)支持,但是結論卻不一定成立。
稍微仔細推敲我們能夠發(fā)現(xiàn),喝紅酒的人健康,是因為喝紅酒,還是因為喝紅酒的人群,有著相對好的生活環(huán)境和醫(yī)療條件?
類似的,從小學習鋼琴的小孩,他們的家庭條件、對教育的投入程度是不是會更好?
而苦逼的經(jīng)常喝咖啡的是加班族、熬夜黨,他們得心腦血管疾病的概率是不是要高于常人?
所以,面對這些信息時,不能簡單的拿相關當因果,應該需要更進一步、更嚴謹?shù)难芯浚鴮嶒炇亲詈玫姆椒?/strong>。
2. 結論先行造因果
結論先行很常見,有了結論各種找理由和數(shù)據(jù)去支撐去這個結論。心理學中的“稟賦效應”,解釋了這種現(xiàn)象。多數(shù)人會覺得自己的東西就是好的,自己的行為總能帶來積極影響。
比如買股票,一頓操作之后(指賣了一些又買了一些)發(fā)現(xiàn)自己掙錢了,但是操作后掙錢了,有兩個可能性:
- 大盤漲了,你只是隨大盤漲實際并沒有增益;
- 確實是操作帶來了增益??梢约僭O回到?jīng)]有操作,簡單按照操作前的持倉情況計算當前的收益,就知道答案了。
又比如,微信這樣的超級App,每個版本都要上線很多個優(yōu)化點,假設上線后發(fā)現(xiàn)朋友圈的用戶活躍度提升了。
那么問題來了,究竟是哪個優(yōu)化點帶來了這個提升呢?
這個很難說清楚,以至于大家在總結工作的時候,都會或多或少的把增長歸因到自己那個優(yōu)化點,用新版本上線后與上線前的活躍數(shù)據(jù)來簡單比較。這里最明顯的漏洞有兩個:
1)把活躍度提升和具體某個優(yōu)化點建立關聯(lián),最多就是相關性,而不是因果性。除非你這個優(yōu)化點帶來了壓倒性的變化,無可置疑的拉動整體活躍,比如前段時間的朋友圈支持發(fā)表情~
2)用新版本上線后比上線前,忽略了活躍度隨時間波動的影響:有可能上線后這段時間因為某些熱點事件爆發(fā),大家紛紛轉發(fā)刷屏帶來了提升。
再比如,這篇文章的分享和在看比之前要多了,甚至還有打賞,我可能會覺得是我寫的比之前的更好了……但其實不一定呀~~
02 兩個正確歸因的例子
1. 醫(yī)學中的雙盲實驗
雙盲實驗應用在醫(yī)學上,全稱是隨機雙盲對照實驗。
首先是把若干被試者隨機分成實驗組和對照組,然后進行不同的治療方案,以此驗證藥物或者療法是否有用,或者是否有副作用。
“雙盲”的具體解釋,可以參閱下方:
雙盲實驗是一種嚴格的實驗方法,實驗者和參與者都不知道哪些參與者屬于對照組(control group)、哪些屬于實驗組(experimental group)。只有在所有數(shù)據(jù)被記錄完畢之后(在有些情況下是分析完畢之后),實驗者才能知道那些參與者是哪些組的。
采用雙盲實驗是為了要減少偏見(prejudices)和無意識地暗示(unintentional physical cues)對實驗結果的影響。對于被試者的隨機分配(Random assignment)到對照組或者實驗組的做法是雙盲實驗中至關重要的一步。確認哪些受試者屬于那些組的信息交由第三方保管,并且在研究結束之前不能告知研究者。
——百度百科
更加生動的版本,可以在讀完本文后,到bilibili去看下李永樂老師的視頻:
通過雙盲實驗,甚至是更嚴謹?shù)娜嶒灒词茉噷ο蟆⒀芯咳藛T和實驗分析人員均不知道受試對象的分組和處理情況),歷時很久,才可以得到嚴謹?shù)慕Y論。
題外話,所以西藥的研發(fā)和實驗成本相當高,價格也相對高一些。
2. 經(jīng)濟學中的實驗方法
2019年的諾貝爾經(jīng)濟學獎授予了麻省理工和哈佛大學的三位經(jīng)濟學家,他們主要的貢獻是長期以來在發(fā)展中國家使用隨機對照實驗的方法,驗證了增加教育投入、提升醫(yī)療水平對于經(jīng)濟增長的核心作用。
獲獎者是來自麻省理工的夫婦Abhijit Banerjee和Esther Duflo以及哈佛大學的Michael Kremer
官方頒獎詞是:
“表彰其在全球扶貧問題上使用的實驗型方法(for their experimental approach to all eviating global poverty)”
列舉一些他們的實驗內(nèi)容,可以感受下實驗可以解答哪些我們的生活中的疑問:
- 健康:社區(qū)醫(yī)療能改善居民的健康水平嗎?(針對非洲烏干達8100個農(nóng)村家庭的研究)
- 金融:加大小微貸款的額度能促進經(jīng)濟發(fā)展嗎?(針對埃及1000名借款人的研究)
- 教育:高科技教育工具能提高學生的成績嗎?(針對印度619名中學生的研究)
這些問題,答案看似都是“當然能啊!”,通常我們都不會去質疑。隨著近幾十年來因果關系成為經(jīng)濟研究領域的核心問題,經(jīng)濟學家普遍轉向了證實性數(shù)據(jù)分析,而隨機對照實驗方法方法的應用,幫助人們找到了探索這些因果關系的有力武器。
03 生活中需要實驗思維
上面說到的實驗,都費時費力成本極高。也許你會說,生活中很難去做理想的隨機對照實驗,那實驗對我們有什么用?
確實很難,很多時候我們沒有實驗組和對照組,沒有實驗條件,即使有也不愿意花費長時間去做觀測。然而,基本的歸因邏輯和實驗思維是應該要具備的,這樣才能知道哪些事情做的有效,哪些無效,或者至少可以識破假象,跳出騙局。
我把實驗思維,理解成一種面對結論盡可能尋求有力證據(jù)的批判性思維,它的黃金法則是通過實驗方法來驗證。那么實驗思維具體怎么應用?
1. 首先是要懷疑
信息爆炸謠言滿天飛,需要懷疑這些結論是否經(jīng)過實驗驗證。懷疑不等于抬杠說“任何未經(jīng)實驗驗證的結果都不可信”,而是說的我們需要拒絕無腦接受,并且通過基本的原理和邏輯來分析。
2. 然后是嘗試驗證
比懷疑更可貴的是真正動手去設計實驗,這里并不局限在隨機對照實驗,包含生活中一些謠言的驗證。這里實驗的目標是驗證真?zhèn)危?/strong>千萬別忘了我們中學學的淀粉遇碘變藍,是不是真的這樣,走個實驗啊~
比如說抖音、快手中經(jīng)常有些生活小妙招:白醋+蘇打+洗衣液幾乎可以清潔萬物;XX不粘鍋可以不用油煎雞蛋。這些視頻不乏點贊百萬+,視頻下面的白醋蘇打XX鍋也是賣得很好。實際上,驗證真?zhèn)蔚某杀竞艿停嗍侨嗽敢庀嘈牛瑯O少有人站出來做簡單驗證。
所以我認為,實驗思維存在門檻,門檻的根源,一是缺少懷疑精神,二是不愿嘗試驗證。如《人類簡史》中說,人具有八卦的本能和傳播的意愿,道聽途說、被動接受和從眾會更加安全、舒適和自然。
3. 最后準確歸因和量化
假設我們在生活中、工作中有必要、且有足夠的成本來設計一些隨機對照實驗,怎么來設計實驗,用什么樣的方法來做分析?
首先設計的思路要對,簡單說可以概括為:”為了驗證A對B是否有影響,需要把有無A當成實驗變量,需要有兩組可比的實驗樣本,一組是A,一組是A+B”。
思路很簡單,這里的A和B可以替換成任何你想驗證的事物。比如我們做番茄炒蛋時,番茄需要事先焯水嗎?大可試試看在其他條件一樣的情況下,一次焯水一次直接炒。再詳細點,焯水多久,1分鐘還是3分鐘好吃,試一下?
準確歸因相對清晰,而準確量化的最最最核心就是實驗組和對照組需要有可比性,道理雖然簡單,但是有很多坑,我們在實驗三部曲的篇2詳細介紹。然后的核心問題是需要看準增量,具體涉及到一些統(tǒng)計學知識、實驗具體下發(fā)時的潛在風險,以及和實驗目標高度匹配的分析方法,我們在三部曲的篇3詳細介紹。
尾巴
實驗思維以及方法在生活中、工作中都很重要。實驗三部曲,我們先說實驗思維,再談如何應用在產(chǎn)品經(jīng)理、產(chǎn)品運營的工作中,如何準確量化一個功能或一次運營策略的貢獻,如何正確分析一個增長實驗的效果。更進一步,我們還會介紹增長實驗中常見的一些分析難點。
感謝支持,如有不當還請指出。
作者:jinlei886;5年+用戶增長的一手經(jīng)驗,前騰訊、滴滴出行用戶增長產(chǎn)品經(jīng)理,專注增長策略挖掘、增長工具搭建、實驗設計分析。浙江大學工學學士、理學博士。公眾號:用戶增長實戰(zhàn)筆記(ID:ugnote)
本文由 @jinlei886 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載
題圖來自Unsplash,基于CC0協(xié)議
可以轉載你的文章不
講了實驗的重要性,作者還沒提增長實驗的事情呢呀,在后面嗎
在后面 哈哈稍等