產(chǎn)品思考:上線后的數(shù)據(jù)分析
編輯導(dǎo)語:數(shù)據(jù)分析對于產(chǎn)品工作是十分關(guān)鍵的,但是在日常工作過程中常常會出現(xiàn)各種各樣的問題,本篇文章作者分享了產(chǎn)品上線后的常見的數(shù)據(jù)分析等內(nèi)容,一起來學(xué)習(xí)一下吧。
數(shù)據(jù)分析是產(chǎn)品工作中重要的一環(huán),但真實工作場景中,會受到諸多的限制,包括但不限于數(shù)據(jù)缺失、臟數(shù)據(jù)極多、數(shù)據(jù)工程與數(shù)據(jù)分析的資源缺失、項目時間等等。
很多項目,都是在沒有完整數(shù)據(jù)分析支持的情況下落地的。
這篇文章想聊下常見的數(shù)據(jù)分析和幾類項目的數(shù)據(jù)分析。
前者多是知識的堆砌,后者多是個人的經(jīng)驗。
一、常見的數(shù)據(jù)分析
統(tǒng)計課上將各類方法分為描述性統(tǒng)計與推論性統(tǒng)計,但在實際的業(yè)務(wù)情景中,需要的數(shù)據(jù)分析結(jié)論能明確的指導(dǎo)業(yè)務(wù)動作。需要了解,面對各類情景,需采用怎樣的分析方法。
一個大佬的總結(jié)到,常見的、高頻的數(shù)據(jù)分析方法或情景有三類:對比、下鉆、分布。這三者能覆蓋大多數(shù)產(chǎn)品的工作了。其余的數(shù)據(jù)分析模型,聚類、分類等在實際中應(yīng)用的較少。
1. 對比
將兩組樣本進行對比。包括橫向的對比,比如A樣本組 vs B樣本組,以及縱向的對比,比如A樣本組在a時段的表現(xiàn) vs b時段的表現(xiàn)。
假設(shè)檢驗中常用的方法為t檢驗、f檢驗,但據(jù)我觀察除非樣本量較小,或者相對值較小的情況,很少用到假設(shè)檢驗的方法去判斷差異顯著性,更多的是基于兩者對比的差值來做判斷。
2. 下鉆
下鉆指的是將1個一級指標(biāo)拆解為n個二級指標(biāo),再拆解為m個三級指標(biāo)。
包括行為的下鉆(漏斗分析、路徑分析等),也包括指標(biāo)的下鉆(DAU拆解等)。
下鉆分析過程中,常用的分析原則為“MECE原則”,指的是拆解過程中每一級指標(biāo)間不遺漏、不重疊。
3. 分布
分布指的是看一組樣本的某個數(shù)據(jù)的表現(xiàn),包括集中趨勢(平均值)以及離散趨勢(標(biāo)準(zhǔn)差)等。往往通過散點圖或箱線圖的形式呈現(xiàn)。
同時,基于分布,也可以看未來的數(shù)據(jù)表現(xiàn)趨勢,比如通過不同時間點留存值的分布,看未來時間上留存的表現(xiàn)趨勢。
二、幾類項目的數(shù)據(jù)分析
“項目上線后的數(shù)據(jù)分析”,這個影響的因素太多了,公司、個人、項目等等。
不同方向的項目,能夠調(diào)用的數(shù)據(jù)資源,分析的價值,難度都是不一樣的。
但對于每一個產(chǎn)品,通過數(shù)據(jù)結(jié)果來證明項目價值與作用,在當(dāng)今這么卷的背景下,是工作中重要的一環(huán)。
1. 低難度——策略試驗
策略類產(chǎn)品往往上線前就有完整的數(shù)據(jù)假設(shè),實驗方案與資源,上線后的數(shù)據(jù)分析并不困難。
能拿到精確的結(jié)果。需要注意的是實驗分組需規(guī)避其他實驗組的影響,不過大多有實驗平臺,或者依靠哈希值分組,能夠較好的處理這一點。
2. 中難度——活動向&C端功能向
大多有明確的數(shù)據(jù)指標(biāo)導(dǎo)向,比如拉新、拉活、拉營收等等。
這些活動的數(shù)據(jù)分析,核心需要規(guī)避掉其他無關(guān)因素對結(jié)果的影響。
最常見的影響因素是時間,一個時間段內(nèi)可能有多個活動進行,需要選取樣本時進行一定的篩選,保證樣本間的對比是無其余近期上線活動、功能的干擾。
另一個在對比時需要規(guī)避的是樣本組內(nèi)其余變量的干擾。
比如,參加活動的有可能天然是那些積極的用戶,這些用戶本身就比不參加活動的用戶有更好的互動、營收,那么結(jié)果的信效度就會受到挑戰(zhàn)。
常見的方式是通過用戶分層,來細化分析,這一方式簡單,但比較粗糙。
我更認可的是采用傾向性匹配得分(PSM),通過羅輯回歸,選取1-2個對目標(biāo)變量(活躍)影響最大的核心維度(如歷史付費),通過控制樣本間1-2個核心維度的指標(biāo)相同(方差齊性),來保證樣本間對比的有效性。
3. 高難度——體驗優(yōu)化&通用能力
這些需求項目在業(yè)務(wù)中也經(jīng)常遇到,但立項之初核心解決的問題可能更偏向用戶的具體訴求,而非某一個具體的指標(biāo)。
體驗優(yōu)化的項目是其一。
舉個不恰當(dāng)?shù)睦?,原先app中所有的交互都是不一致的,高度不一樣,彈窗并發(fā)等等,體驗很差,設(shè)計和產(chǎn)品同學(xué)把所有的交互UI都統(tǒng)一了,邏輯也更合理,是一次體驗優(yōu)化。
但這種體驗優(yōu)化,短時間內(nèi)其實很難表明其價值,或者很難用數(shù)據(jù)來衡量其價值。這就需要長期的觀測,或者是依賴用戶研究的支持,通過NPS等指標(biāo)來輔助分析。
但如果在一個非常卷的公司里,可能產(chǎn)品還沒拿到長期或其他的數(shù)據(jù)分析,就已經(jīng)因為沒有數(shù)據(jù)能證明項目價值被開除了。
基礎(chǔ)能力建設(shè)的項目是其二。
一些業(yè)務(wù)的基礎(chǔ)能力(非中臺能力),比如美顏能力(不是很恰當(dāng)?shù)睦樱?,這是一個非常核心但基礎(chǔ)的功能,如果是從0建設(shè)起來,在用戶層面一定是有價值的,但其核心影響的指標(biāo)是?
后向的觀測指標(biāo)是?這些指標(biāo)往往非常的多,但每一個可能相關(guān)性都不是那么高。那么,剩下的指標(biāo)可能就是該功能的滲透率了。
對于這類項目,會遇到一個尷尬的點,核心觀測指標(biāo)是功能的滲透率,但功能滲透率并不說明價值,需要其他的后向指標(biāo)來輔助。
功能向體驗優(yōu)化是提升產(chǎn)品的用戶價值的,但這些短期內(nèi)難以有明顯的數(shù)據(jù)變化趨勢,同時效果很難歸因。這類項目往往也爭取不到數(shù)據(jù)資源,需要依賴產(chǎn)品本身的數(shù)據(jù)能力。
還有一類是B端的項目,但我對B端不熟悉,就不再展開了。
上述在數(shù)據(jù)分析上的難度,往往是由于項目前期沒有明確的量化假設(shè)所造成的。
需要提前想清楚項目貢獻的數(shù)據(jù)的表現(xiàn)差異,盡可能的通過版本灰度期間的數(shù)據(jù)對比,通過前端的埋點數(shù)據(jù),進行分析,拿到可信的結(jié)果。
本文由 @斯金納的咕 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議。
跟日常工作很貼近,受教了