當(dāng)產(chǎn)品數(shù)據(jù)增長(zhǎng)的時(shí)候，增長(zhǎng)團(tuán)隊(duì)（Growth Team）為實(shí)現(xiàn)短期增長(zhǎng)量，對(duì)產(chǎn)品進(jìn)行的過(guò)度優(yōu)化是一個(gè)潛在危險(xiǎn)。增長(zhǎng)團(tuán)隊(duì)（Growth Team）工作節(jié)奏極快，在Pinterest也不例外，我們總是要在給定的時(shí)間內(nèi)進(jìn)行大量試驗(yàn)，發(fā)現(xiàn)行之有效的方法馬上推出，然后進(jìn)行下一步嘗試。但有時(shí)候，產(chǎn)品需要我們退一步驗(yàn)證某些新調(diào)整或者功能的長(zhǎng)期有效性，排除短暫的虛假繁榮，確定它們能夠讓數(shù)據(jù)可持續(xù)的增長(zhǎng)。這篇文章，我會(huì)介紹Pinterest的增長(zhǎng)團(tuán)隊(duì)（Growth Team）是怎樣優(yōu)化產(chǎn)品的。

去年，我們將所有的推送通知，包含在了Pinterest圖標(biāo)的數(shù)字角標(biāo)提醒中。對(duì)許多用戶來(lái)說(shuō)，當(dāng)一個(gè)App的圖標(biāo)上有了數(shù)字角標(biāo)，那種點(diǎn)開(kāi)它將角標(biāo)消除的沖動(dòng)是難以抑制的。

與Pinterest其他產(chǎn)品升級(jí)一樣，發(fā)布新的數(shù)字角標(biāo)提醒的時(shí)候，我們使用了A/B測(cè)試方法，最初得到的結(jié)果不可思議，圖標(biāo)上小小的數(shù)字帶來(lái)了7%的日活躍用戶增長(zhǎng)，以及其他關(guān)鍵交互項(xiàng)指標(biāo)（如Pin close-ups、repins、Pin click-throughs 譯者注：以上為Pinterest產(chǎn)品中的功能項(xiàng)）的重要提升，在這些漂亮數(shù)據(jù)的激勵(lì)下，我們很快將這項(xiàng)調(diào)整應(yīng)用于整個(gè)產(chǎn)品。但是，關(guān)于角標(biāo)提醒的效果能否長(zhǎng)久的問(wèn)題讓我們感到不安：這些小數(shù)字會(huì)長(zhǎng)期有效嗎？用戶會(huì)不會(huì)最終疲于點(diǎn)擊，進(jìn)而對(duì)角標(biāo)產(chǎn)生免疫力？

為了回答這個(gè)問(wèn)題，我們創(chuàng)建了一個(gè)1%保留樣本群（holdout group）。保留樣本試驗(yàn)是A/B測(cè)試的一種，我們?cè)?9%的Pinterest用戶中推出新功能，保留1％不做改變，以便于估量調(diào)整的長(zhǎng)期影響。對(duì)于任何長(zhǎng)期效果存疑的特定功能，我們都會(huì)專門(mén)保留這樣一個(gè)1%保留樣本群。

保留樣本試驗(yàn)（holdout experiment）持續(xù)了超過(guò)一年的時(shí)間。幾個(gè)月之后，最初7%的日活躍用戶增長(zhǎng)量穩(wěn)定在了2.5%。去年秋天，我們發(fā)布了新功能——Pinterest News，是用戶在Pinterest上關(guān)注的其他用戶的最近動(dòng)態(tài)摘要。我們同樣將Pinterest News的提醒增加在數(shù)字角標(biāo)中。結(jié)果，Pinterest News又將之前穩(wěn)定在2.5%的日活躍用戶提升到了4%。?

數(shù)據(jù)

此外，我們還發(fā)現(xiàn)數(shù)字角標(biāo)對(duì)提升用戶活躍度卓有成效。Pinterest的用戶分為核心用戶（core）、普通用戶（casual）、邊緣用戶（marginal）等幾個(gè)類別，我們發(fā)現(xiàn)，角標(biāo)提醒對(duì)邊緣用戶向核心用戶或普通用戶轉(zhuǎn)化的數(shù)據(jù)有著顯著影響，在數(shù)字角標(biāo)可以長(zhǎng)期維持用戶被證實(shí)之后，這一發(fā)現(xiàn)讓我們?cè)俅闻d奮不已。

用戶數(shù)量變化

作為一個(gè)有效手段，保留樣本試驗(yàn)（holdout groups）保證我們的努力是為了數(shù)據(jù)的長(zhǎng)期增長(zhǎng)。它還被應(yīng)用于廣告、用戶教育等功能?？偟膩?lái)說(shuō)，保留樣本（holdout groups）應(yīng)該在任何長(zhǎng)期影響存在疑問(wèn)的產(chǎn)品升級(jí)中使用。在數(shù)字角標(biāo)這個(gè)例子中，我們通過(guò)它了解Pinterest用戶長(zhǎng)期使用角標(biāo)的反應(yīng)，這將幫助我們?cè)谕ㄖ獞?zhàn)略中更進(jìn)一步。

原文鏈接：Long-term Impact of Badging

作者：John Egan 資深Growth Hacker，現(xiàn)供職于Pinterest

譯者：睡障

來(lái)源：http://www.jianshu.com/p/3fa914c8e2b4