思考 | 關(guān)于AB實(shí)驗(yàn)的實(shí)戰(zhàn)應(yīng)用

5 評(píng)論 14260 瀏覽 120 收藏 20 分鐘

編輯導(dǎo)語(yǔ):用戶體驗(yàn)一直都是企業(yè)最為重視的一項(xiàng),很多時(shí)候他們會(huì)用AB實(shí)驗(yàn)進(jìn)行測(cè)試,AB實(shí)驗(yàn)可以從多維度進(jìn)行測(cè)試分析,是比較常用的方法;本文作者分享了關(guān)于AB實(shí)驗(yàn)的實(shí)戰(zhàn)應(yīng)用,我們一起來(lái)了解一下。

前兩年隨著用戶增長(zhǎng)的興起,AB實(shí)驗(yàn)作為重要的增長(zhǎng)工具在行業(yè)里顯得時(shí)髦起來(lái),但目前來(lái)說(shuō)AB實(shí)驗(yàn)已經(jīng)算是行業(yè)里的基礎(chǔ)設(shè)施,大部分公司都有在用,其原理也談不上復(fù)雜。

也就不免會(huì)有知識(shí)的詛咒,知道了就會(huì)有不就是 xxx 的不屑感。

但隨著我進(jìn)行過(guò)大量實(shí)驗(yàn)后的感覺(jué)是,將理論應(yīng)用于實(shí)踐并取得成績(jī),遠(yuǎn)比知道理論難得多,也有價(jià)值的多。

所以這次我更多的篇幅是——圍繞實(shí)戰(zhàn)過(guò)程中的會(huì)遇到的問(wèn)題和能提高些取得收益的可能性來(lái)講。

一、AB實(shí)驗(yàn)是什么

對(duì)同一個(gè)問(wèn)題,有≥2套解決方案(小到一個(gè)元素,大到一套方案保證變量的唯一性即可),對(duì)同一組人群(樣本量足夠)進(jìn)行隨機(jī)分組;在同一時(shí)間維度,進(jìn)行實(shí)驗(yàn)組和對(duì)照組的實(shí)驗(yàn),通過(guò)少量且相同的衡量指標(biāo),衡量哪套解決方案的結(jié)果表現(xiàn)更好,并采用。

比如以下是美團(tuán)的搜索結(jié)果頁(yè)實(shí)驗(yàn):

AB實(shí)驗(yàn)的實(shí)戰(zhàn)應(yīng)用

問(wèn)題:哪種結(jié)果頁(yè)的商品展現(xiàn)形式更能提高用戶篩選的效率,提高用戶下單的轉(zhuǎn)化率。

解決方案:3套搜索結(jié)果頁(yè)的商品表現(xiàn)形式。

人群:搜索結(jié)果頁(yè)的用戶(注:這里最好使用結(jié)果頁(yè)這層的用戶,也算是常見(jiàn)的問(wèn)題,有些同學(xué)習(xí)慣直接使用大盤(pán)的用戶分組,但如果搜索模塊滲透率不高的話,局部數(shù)據(jù)收益在大盤(pán)中表現(xiàn)不敏感,可能就直接波動(dòng)掉了。)

少量且相同的衡量指標(biāo):頁(yè)面ctr、點(diǎn)擊轉(zhuǎn)化率、下單轉(zhuǎn)化率、人均成交額(注:一般app只有一個(gè)北極星指標(biāo),但也會(huì)監(jiān)控少量其他的關(guān)鍵性指標(biāo),比如視頻app除了留存還會(huì)監(jiān)控pt和人均vv,如果有廣告的話也會(huì)監(jiān)控收入的相關(guān)指標(biāo);其中常見(jiàn)的問(wèn)題是指標(biāo)過(guò)多 啥都想要 ,還會(huì)讓有的人鉆漏洞,所有實(shí)驗(yàn)都能找到一個(gè)指標(biāo)來(lái)說(shuō)取得了正向的結(jié)果。)

二、AB實(shí)驗(yàn)?zāi)芙鉀Q什么問(wèn)題

有些團(tuán)隊(duì)在使用一段時(shí)間AB實(shí)驗(yàn)后,可能會(huì)出現(xiàn)很多質(zhì)疑聲,比如說(shuō)為什么要花這么多資源來(lái)做AB實(shí)驗(yàn)?zāi)??尤其是開(kāi)發(fā)和測(cè)試同學(xué),因?yàn)閺乃麄兊囊暯莵?lái)看這些都是工作量啊,所以要清楚的認(rèn)識(shí)到AB實(shí)驗(yàn)到底能解決什么問(wèn)題,并與團(tuán)隊(duì)達(dá)成共識(shí)。

1)方案爭(zhēng)議較大時(shí),減少低效爭(zhēng)議帶來(lái)的內(nèi)耗,降低高層拍板帶來(lái)唯上的低效文化,提高決策效率。

常見(jiàn)的現(xiàn)象是老板和產(chǎn)品之間,產(chǎn)品和交互、視覺(jué)、開(kāi)發(fā)之間,對(duì)于某些方案無(wú)法達(dá)成一致,再加上一些專業(yè)性權(quán)威性等面子問(wèn)題,需要消耗大量時(shí)間和心力來(lái)撕逼,互相妥協(xié)后還可能留下了合作關(guān)系的不和諧;如果總是讓老板來(lái)拍板的話,本質(zhì)是一種決策的官僚化。

這樣的情況做個(gè)實(shí)驗(yàn)測(cè)測(cè)就好了。雖然坦率的說(shuō),很多皮毛的爭(zhēng)議都然并卵,在互聯(lián)網(wǎng)1.0時(shí)代還感覺(jué)像是個(gè)大事,在互聯(lián)網(wǎng)2.0時(shí)代,數(shù)據(jù)量化下可能大都差異不大。

2)有多組解決方案時(shí),提高獲取認(rèn)知效率,提高產(chǎn)品進(jìn)化效率。

這個(gè)情況下AB實(shí)驗(yàn)是很有用的,互聯(lián)網(wǎng)產(chǎn)品相比傳統(tǒng)實(shí)體產(chǎn)品的很大優(yōu)勢(shì)來(lái)自于迭代速度快,修改調(diào)整的成本低。

但即便如此,從發(fā)應(yīng)用市場(chǎng)到數(shù)據(jù)回收也需要不短的時(shí)間。

如果我有對(duì)一個(gè)問(wèn)題有幾種解決方案,串行著測(cè)試的話,拿到結(jié)論可能要花一兩個(gè)月的時(shí)間;而使用實(shí)驗(yàn)的話,在一個(gè)數(shù)據(jù)周期里就能拿到實(shí)驗(yàn)結(jié)果,獲取認(rèn)知的效率大大提升了。

3)多團(tuán)隊(duì)在進(jìn)攻同一個(gè)指標(biāo),或同期上線多個(gè)策略時(shí),明確收益點(diǎn)和負(fù)向點(diǎn),避免收益淹沒(méi)、認(rèn)知偏差、僥幸心理和收益分配矛盾。

這個(gè)問(wèn)題應(yīng)該也是普遍存在的。

同時(shí)上多個(gè)策略的時(shí)候,數(shù)據(jù)好的話,美滋滋完大家開(kāi)始搶功勞,都覺(jué)得是自己的策略帶來(lái)的。

數(shù)據(jù)躺平的話,感覺(jué)大家折騰一頓也沒(méi)啥卵用,還會(huì)甩鍋是其他人的策略拉平了自己的收益。

最慘的時(shí)候是數(shù)據(jù)差的時(shí)候,先不說(shuō)互相甩鍋了,老板發(fā)脾氣了解是怎么搞跌的數(shù)據(jù),歸因到底是哪個(gè)策略出問(wèn)題的時(shí)候,可能大家都一臉懵逼,然后歸因不出來(lái)的話大概率是要回滾的,一個(gè)版本的時(shí)間就廢掉了。

所以有不確定的大動(dòng)作時(shí),盡量用實(shí)驗(yàn)安排上,成功或失敗都是明明白白的。

4)按日期的數(shù)據(jù)看收益,但波動(dòng)較大時(shí),AB實(shí)驗(yàn)數(shù)據(jù)衡量更敏感,明確是否有收益,避免數(shù)據(jù)負(fù)向歸因時(shí)成本較高。

大部分產(chǎn)品的關(guān)鍵指標(biāo)每天都會(huì)有小幅的波動(dòng),遇到特殊時(shí)間的話波動(dòng)會(huì)加大,如果你做的策略直接趕上了,可能會(huì)回收不到篤定的收益,可能會(huì)直接版本回滾。

而AB實(shí)驗(yàn)在驗(yàn)證收益的時(shí)候表現(xiàn)更加直觀和敏感。

5)實(shí)驗(yàn)機(jī)制更好的保證產(chǎn)品的簡(jiǎn)潔、必要和不臃腫,最糟糕的是以你做了多少功能來(lái)表達(dá)自己的苦勞,而不是為用戶創(chuàng)造了多少價(jià)值。

實(shí)驗(yàn)機(jī)制保證了決策環(huán)節(jié)的存在,正向就全量,沒(méi)收益就直接下線。

不然看到關(guān)鍵指標(biāo)也沒(méi)啥影響,下線功能還要再發(fā)一個(gè)需求,可能就逃避了決策環(huán)節(jié)把功能留在了產(chǎn)品上,最后產(chǎn)品越來(lái)越臃腫,你可能還沉浸在自己的苦勞里自我感動(dòng)。

6)業(yè)務(wù)處于確定性高的精細(xì)化運(yùn)營(yíng)階段,數(shù)據(jù)的增長(zhǎng)大都來(lái)自大量的線性優(yōu)化提升,而不是大的激進(jìn)的策略。

一般發(fā)展期的業(yè)務(wù)會(huì)有很多收益顯著的事情可做,即便沒(méi)有AB實(shí)驗(yàn),也可以做到數(shù)據(jù)變化顯著。

但業(yè)務(wù)到了成熟期之后,這樣的事就少了很多,你只能做大量的線性優(yōu)化,一定周期里堆出來(lái)比較顯著的收益。

7)錯(cuò)誤的認(rèn)知會(huì)導(dǎo)致團(tuán)隊(duì)的精力、時(shí)間和資源走向錯(cuò)誤方向,但實(shí)驗(yàn)數(shù)據(jù)永遠(yuǎn)不會(huì)騙人。

有些負(fù)責(zé)人對(duì)業(yè)務(wù)有扭曲力的認(rèn)知,可能自我說(shuō)服的偏執(zhí),做出損失很大的錯(cuò)誤決策,但可以通過(guò)AB實(shí)驗(yàn)做一些輔助認(rèn)知,因?yàn)閿?shù)據(jù)永遠(yuǎn)不會(huì)騙人。

尊重實(shí)驗(yàn)結(jié)果 尊重?cái)?shù)據(jù),是要堅(jiān)持的事情。

三、AB實(shí)驗(yàn)的類(lèi)型

一般實(shí)驗(yàn)分為正交實(shí)驗(yàn)和互斥實(shí)驗(yàn)兩類(lèi),另外精細(xì)化運(yùn)營(yíng)的時(shí)候還會(huì)被經(jīng)常用到的是圈層實(shí)驗(yàn),具體如下:

AB實(shí)驗(yàn)的實(shí)戰(zhàn)應(yīng)用

互斥實(shí)驗(yàn):指的是實(shí)驗(yàn)與實(shí)驗(yàn)共用一層流量,互相不產(chǎn)生交叉,類(lèi)似實(shí)驗(yàn)1中3個(gè)實(shí)驗(yàn)組,實(shí)驗(yàn)3和實(shí)驗(yàn)4,共用一層流量。

正交實(shí)驗(yàn):實(shí)驗(yàn)與實(shí)驗(yàn)分別用不同層的流量,不產(chǎn)生互相的干擾,即便另一層也在做實(shí)驗(yàn),但那一層流量到了這一層也是均勻分配的,不影響這一層實(shí)驗(yàn)變量的唯一性。

像頭條 快手這些大app能同時(shí)進(jìn)行大量的實(shí)驗(yàn),本質(zhì)是使用了正交實(shí)驗(yàn)。

這里劃分層的方式很有趣,也是判斷正交實(shí)驗(yàn)使用是否靈活的一種方法。

有的人按照一個(gè)功能來(lái)分為一層,這樣的話能做的實(shí)驗(yàn)數(shù)量會(huì)很有限。

其實(shí)可以做到更靈活,一個(gè)功能可以分一層,一個(gè)頁(yè)面也可以分一層,一個(gè)也元素可以分一層,甚至一個(gè)元素的顏色、形狀、大小都可以分成一層。

這樣的話大量的實(shí)驗(yàn)得以并行,沒(méi)有很多約束。

圈層實(shí)驗(yàn):通常受眾比較大的增長(zhǎng)點(diǎn)做完了,更多的會(huì)去做用戶的精細(xì)化運(yùn)營(yíng),滿足某些群體沒(méi)有被很好滿足到的需求,以帶來(lái)業(yè)務(wù)的增長(zhǎng),圈層實(shí)驗(yàn)在這個(gè)時(shí)候就可以起到很好的幫助。

  • 比如多日無(wú)播放行為的用戶做一個(gè)圈層,做做引導(dǎo)或者Push;
  • 比如下載頁(yè)無(wú)內(nèi)容的用戶做一個(gè)圈層,做做冷啟時(shí)優(yōu)質(zhì)內(nèi)容的推薦;
  • 比如某一興趣標(biāo)簽的用戶做一個(gè)圈層,提供更匹配的服務(wù)等等。

四、AB實(shí)驗(yàn)實(shí)戰(zhàn)中常見(jiàn)的問(wèn)題

有了上面對(duì)AB實(shí)驗(yàn)的認(rèn)知后,其實(shí)在實(shí)戰(zhàn)中還會(huì)遇到很多巨坑的問(wèn)題,一個(gè)坑沒(méi)避過(guò),實(shí)驗(yàn)的寶貴時(shí)間和投入的資源就被浪費(fèi)了,還有可能得出誤導(dǎo)性的結(jié)論。

1)用戶串組問(wèn)題,要保證用戶id的唯一性。

這個(gè)問(wèn)題比較坑,在新用戶實(shí)驗(yàn)可能會(huì)遇到。

如果有些公司的安卓手機(jī)在獲取設(shè)備號(hào)前后,或者注冊(cè)前后使用不同的id,會(huì)導(dǎo)致體驗(yàn)完實(shí)驗(yàn)變量的用戶被二次分組,再次流入到其他組中,最終數(shù)據(jù)結(jié)果不可用。

2)用戶出組問(wèn)題,要保證實(shí)驗(yàn)對(duì)象的不變性。

這個(gè)問(wèn)題在圈層實(shí)驗(yàn)中可能會(huì)遇到。

圈層實(shí)驗(yàn)要在需求里寫(xiě)清楚用戶在AB實(shí)驗(yàn)中不會(huì)出組。

比如通過(guò)興趣標(biāo)簽或者用戶行為進(jìn)行的用戶圈層,當(dāng)他的興趣標(biāo)簽或者行為產(chǎn)生了變化,實(shí)驗(yàn)結(jié)束前用戶身上的實(shí)驗(yàn)id不能消失,不然用戶會(huì)從實(shí)驗(yàn)組中退出;不同組退出用戶的比率和成分不一樣,也會(huì)導(dǎo)致數(shù)據(jù)的結(jié)果不可用。

3)交叉實(shí)驗(yàn)沒(méi)有策略互相覆蓋的問(wèn)題,要保證策略的執(zhí)行。

一般不同團(tuán)隊(duì)在做銜接實(shí)驗(yàn)的時(shí)候,可能會(huì)遇到這種問(wèn)題。

比如做新用戶的興趣選擇實(shí)驗(yàn),以便用戶進(jìn)入產(chǎn)品后看到更匹配的內(nèi)容推薦。

但如果這個(gè)時(shí)候推薦層本身也在做實(shí)驗(yàn),沒(méi)有做好對(duì)接的話,可能會(huì)導(dǎo)致興趣選擇層的幾個(gè)實(shí)驗(yàn)組用戶都流入了推薦層的某一組中;而這個(gè)實(shí)驗(yàn)的結(jié)果是由興趣選擇和推薦一起作用才有可能產(chǎn)生的,不然就拿不到預(yù)期的結(jié)果,得出失敗的結(jié)論。

4)交叉認(rèn)知不足,導(dǎo)致無(wú)法并行大量實(shí)驗(yàn)問(wèn)題,不要學(xué)其形無(wú)其神。

這個(gè)我在上一部分已經(jīng)講過(guò),這里不做再次講解。

5)不會(huì)看數(shù)據(jù)的問(wèn)題,沒(méi)從直接影響指標(biāo)(分層、分群、局部)到大盤(pán)指標(biāo)。

一般做實(shí)驗(yàn)的時(shí)候都是用變量去影響一個(gè)直接指標(biāo)或者局部指標(biāo),然后通過(guò)這個(gè)指標(biāo)去撬動(dòng)大盤(pán)的指標(biāo),而不是直接做大盤(pán)指標(biāo)的。

  • 比如說(shuō)做推薦模塊的實(shí)驗(yàn),一定是先提升了推薦模塊的數(shù)據(jù),再帶動(dòng)了大盤(pán)的增長(zhǎng);
  • 比如說(shuō)做播放環(huán)節(jié)的實(shí)驗(yàn),一定是先提升了播放環(huán)節(jié)的體驗(yàn),才帶動(dòng)了大盤(pán)的數(shù)據(jù)提升。

甚至有些實(shí)驗(yàn)雖然提高了局部效率,但本身不能撬動(dòng)大盤(pán),但其本身確是有價(jià)值的。

比如說(shuō)你給視頻產(chǎn)品提供了調(diào)整播放速度的功能或者學(xué)舞蹈時(shí)的鏡像功能,他可能不會(huì)對(duì)播放時(shí)長(zhǎng)留存等數(shù)據(jù)帶來(lái)直接的提升,但他本身是有價(jià)值的;你可以看他的使用率,可以定性獲取用戶需要的必要性,也可以問(wèn)問(wèn)自己的常識(shí)。

而有些同學(xué)做實(shí)驗(yàn)會(huì)直接拉大盤(pán)指標(biāo)來(lái)看數(shù)據(jù)效果,可能會(huì)出現(xiàn)這種情況,有局部收益的需求被草率下掉,有體驗(yàn)價(jià)值的被直接干掉了。

還可能出現(xiàn)的問(wèn)題是,這個(gè)實(shí)驗(yàn)沒(méi)有成功的原因是什么,哪里不符合預(yù)期,是否還有可繼續(xù)的空間,都無(wú)從得知,因?yàn)槟銢](méi)看過(guò)程的局部的數(shù)據(jù)嘛。

6)實(shí)驗(yàn)結(jié)果數(shù)據(jù)的置信度

一般實(shí)驗(yàn)結(jié)論要經(jīng)過(guò)置信度檢驗(yàn)環(huán)節(jié),不然數(shù)據(jù)結(jié)論不可信。

部分同學(xué),應(yīng)該是少量的吧,可能是面子問(wèn)題,正向5天 負(fù)向2天也認(rèn)為實(shí)驗(yàn)是正向的,或者提升很微弱其實(shí)并不可置信,也說(shuō)是實(shí)驗(yàn)是正向的。

唉,其實(shí)意思不大。

但從維持團(tuán)隊(duì)的積極性來(lái)看,也可以理解,畢竟沒(méi)有大的傷害;但如果要用來(lái)作為支持開(kāi)展大項(xiàng)目的論據(jù)的時(shí)候,一定要慎重地進(jìn)行置信度檢驗(yàn)。

7)實(shí)驗(yàn)是驗(yàn)證你基于用戶和規(guī)律洞察后的假設(shè),不要用實(shí)驗(yàn)代替假設(shè)。

這個(gè)問(wèn)題應(yīng)該是普遍存在的,大概率會(huì)造成產(chǎn)研之間的矛盾,也會(huì)傷害到產(chǎn)品同學(xué)自身的發(fā)展。

因?yàn)閷?shí)驗(yàn)可以快速驗(yàn)證假設(shè),也就大大降低了決策的成本,確定不了的方案就直接上實(shí)驗(yàn)測(cè)一下。

但長(zhǎng)此以往也會(huì)削弱產(chǎn)品經(jīng)理的深度思考能力,用實(shí)驗(yàn)代替自己的思考。

甚至沒(méi)有用戶洞察、沒(méi)有行業(yè)分析、沒(méi)有高質(zhì)量的假設(shè),很淺的想到或者找到一堆方案就往實(shí)驗(yàn)上撲,最終會(huì)為了實(shí)驗(yàn)而實(shí)驗(yàn)。

而這些低質(zhì)量的實(shí)驗(yàn)大概率成功率也很低,團(tuán)隊(duì)疲于奔命又不認(rèn)可的搞了一大頓之后,信心和積極性會(huì)很受打擊,你離離開(kāi)也就不遠(yuǎn)了。

8)實(shí)驗(yàn)探索的堅(jiān)韌性,很多人會(huì)通過(guò)簡(jiǎn)單的嘗試, 得出對(duì)這個(gè)世界太多的否定結(jié)論。

有的同學(xué)做實(shí)驗(yàn),上線后數(shù)據(jù)好了就全量,數(shù)據(jù)負(fù)向就下線,然后這個(gè)實(shí)驗(yàn)就結(jié)束了。

但其實(shí)很多大些顆粒的事情,做成是沒(méi)有那么順利的。

即便數(shù)據(jù)是負(fù)向的,也有很多可研究的可能性。

  • 可能需求是對(duì)的,你產(chǎn)品設(shè)計(jì)的表意有問(wèn)題,用戶沒(méi)看懂;
  • 可能用戶需要一段時(shí)間的培養(yǎng),不是直接能產(chǎn)生效果的變量;
  • 可能需求是不對(duì)的,但是你發(fā)現(xiàn)了新的進(jìn)攻點(diǎn);

甚至可能是實(shí)驗(yàn)執(zhí)行出問(wèn)題了,或者數(shù)據(jù)出錯(cuò)了,要修正一下。

做成一個(gè)實(shí)驗(yàn)是很難的,要有耐性不斷探索認(rèn)知,才可能發(fā)現(xiàn)稀稀拉拉的新機(jī)會(huì)。

五、AB實(shí)驗(yàn)的邊界

以上講了很多AB實(shí)驗(yàn)的Why和How,但同時(shí)也要知道AB實(shí)驗(yàn)只是一個(gè)工具,不是萬(wàn)能的,只能解決有限的問(wèn)題,也有很多問(wèn)題是解決不了的。

1)戰(zhàn)略性的 需要長(zhǎng)期經(jīng)營(yíng)投入的項(xiàng)目不能通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證。

有些老板喜歡什么事情都上個(gè)實(shí)驗(yàn)看看效果,其實(shí)暴露的是自己對(duì)戰(zhàn)略的思考不深度 不篤定 沒(méi)耐心。

2)分流后會(huì)形成新變量,會(huì)對(duì)實(shí)驗(yàn)效果產(chǎn)生影響的項(xiàng)目不能通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證。

一般單角色的產(chǎn)品路徑比較適合做AB實(shí)驗(yàn),比如注冊(cè)登錄、搜索、推薦等等。

但多角色交叉的產(chǎn)品環(huán)節(jié)有時(shí)就不適合做AB實(shí)驗(yàn)。

比如社交和社區(qū)中的一些功能,因?yàn)橛脩襞c用戶之間會(huì)相互影響,不太可能我有你沒(méi)有,強(qiáng)做的話大概率會(huì)產(chǎn)生很多客訴問(wèn)題;還會(huì)產(chǎn)生的問(wèn)題是,因?yàn)榉至鞯谋壤屪兞康捏w驗(yàn)也按比例有了折扣,所以不能得到正確的結(jié)論。

3)見(jiàn)效周期較長(zhǎng)的項(xiàng)目,不建議通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證。

一般樣式的變化,或者用戶痛苦已久的問(wèn)題一上線,很快就可以看到直觀的效果。

但也有些功能需要用戶慢慢培養(yǎng)習(xí)慣的,尤其當(dāng)你的目標(biāo)用戶是下沉市場(chǎng)的群體或者中老年群體的時(shí)候。

即便做的話,也要足夠的耐心來(lái)等待。

4)確定性較高的、體驗(yàn)性的優(yōu)化不需要通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證。

這個(gè)在上面部分也有提到,實(shí)驗(yàn)的目的是為了驗(yàn)證你的假設(shè),或者方案很不確定的情況下提高你的決策效率。

但如果你已經(jīng)很篤定了,或者確實(shí)是一些很體驗(yàn)性的優(yōu)化,就真不需要再做實(shí)驗(yàn)了,維護(hù)多版本的功能,還是會(huì)增加不少開(kāi)發(fā)和測(cè)試的工作量的。

六、結(jié)束

OK,以上就是我個(gè)人在長(zhǎng)期的實(shí)驗(yàn)過(guò)程中遇到的問(wèn)題和總結(jié)的思考。

不一定完全正確,在讀的同學(xué)可以用審視的態(tài)度來(lái)看,獨(dú)立思考最重要,有問(wèn)題和建議也歡迎反饋給我。

另外,不能指導(dǎo)行動(dòng)和作用于實(shí)踐并達(dá)到目的的理論沒(méi)有意義,希望能在你的實(shí)踐過(guò)程中有所幫助。

 

作者:白魚(yú),微信公眾號(hào):夜里一支煙

本文由 @白魚(yú) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 贊??

    回復(fù)
  2. 寫(xiě)得太好了,通篇讀下來(lái)很有收獲,感謝作者的分享。

    回復(fù)
  3. 邊看邊思考一路下來(lái)有一點(diǎn)沒(méi)太明白,大神可以幫忙詳細(xì)指點(diǎn)一下嘛?
    第四大塊常見(jiàn)問(wèn)題第三點(diǎn):3)交叉實(shí)驗(yàn)沒(méi)有策略互相覆蓋的問(wèn)題,要保證策略的執(zhí)行。意思是保證在做交叉實(shí)驗(yàn)的時(shí)候雖然處于不同層,但為達(dá)到某個(gè)目的是需要不同層共同作用才能起到效果,那這種時(shí)候我該怎么確定到底是哪一層起到了作用,或者作用更大?

    來(lái)自廣東 回復(fù)
    1. 同一層是均勻分的,其他層也要保證,不然會(huì)形成多個(gè)變量

      來(lái)自北京 回復(fù)
  4. 非常棒的一篇分享,謝謝你!

    來(lái)自廣東 回復(fù)