編輯導(dǎo)語：作為一名產(chǎn)品經(jīng)理，互聯(lián)網(wǎng)產(chǎn)品是否能夠迭代成功，是需要一定的量化指標(biāo)來衡量的。作者分享了從單目標(biāo)優(yōu)化到多目標(biāo)優(yōu)化的方法，看看是如何用它來衡量產(chǎn)品迭代的。

大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)產(chǎn)品迭代是否成功，產(chǎn)品經(jīng)理往往采用一定的量化指標(biāo)來驗(yàn)證，比如產(chǎn)品的點(diǎn)擊率、轉(zhuǎn)化率、活躍度、GMV等，上述指標(biāo)也有寬口徑和窄口徑之分，寬窄區(qū)別在于數(shù)據(jù)統(tǒng)計(jì)的周期、數(shù)據(jù)歸因的不同。

比如搜索引導(dǎo)GMV的寬口徑是指在統(tǒng)計(jì)周期內(nèi)，用戶下單的商品被用戶在搜索結(jié)果頁點(diǎn)擊過就算，而窄口徑是指當(dāng)天用戶下單，而且下單的前置頁面是搜索結(jié)果頁，并且在搜索結(jié)果頁點(diǎn)擊了該商品，可見窄口徑比寬口徑要嚴(yán)格得多。

一、單目標(biāo)優(yōu)化及多目標(biāo)優(yōu)化

作為互聯(lián)網(wǎng)這類大數(shù)據(jù)產(chǎn)品，比如電商、本地生活、互聯(lián)網(wǎng)醫(yī)療等，在很長(zhǎng)時(shí)期內(nèi)對(duì)于產(chǎn)品是否成功，達(dá)到上線標(biāo)準(zhǔn)，主要采用單目標(biāo)的AB實(shí)驗(yàn)是否顯著（p值<0.05）提升這樣的標(biāo)準(zhǔn)。這樣的產(chǎn)品上線驗(yàn)證標(biāo)準(zhǔn)，在國內(nèi)從互聯(lián)網(wǎng)誕生一直持續(xù)到現(xiàn)在。

但是單目標(biāo)優(yōu)化有自身固有缺陷，由于單目標(biāo)往往不是針對(duì)最終目標(biāo)的優(yōu)化，只是最終目標(biāo)的鏈路漏斗的某個(gè)前序環(huán)節(jié)的優(yōu)化，導(dǎo)致局部的提升有可能犧牲后續(xù)漏斗環(huán)節(jié)的表現(xiàn)，最終整條鏈路總體效果并不是最佳。

這樣的表述可能比較難以理解，我們以實(shí)際例子給大家更加直觀的印象。電商業(yè)務(wù)中如果單純優(yōu)化GMV，CTR往往犧牲較大（此優(yōu)化目標(biāo)導(dǎo)致系統(tǒng)傾向于讓用戶購買單價(jià)高的商品），從長(zhǎng)遠(yuǎn)來看會(huì)使平臺(tái)的活躍用戶減少。

但是如果單純優(yōu)化CTR，GMV不一定同步會(huì)得到提升，甚至同比是下降的（此優(yōu)化目標(biāo)系統(tǒng)傾向于讓用戶看決策成本低的低單價(jià)商品）。

現(xiàn)在工業(yè)界幾乎都在做多目標(biāo)優(yōu)化，如果不做多目標(biāo)優(yōu)化，那產(chǎn)品就會(huì)在一個(gè)極端下越走越遠(yuǎn)，最終用戶體驗(yàn)很差。所以在常見的搜索推薦場(chǎng)景中，大廠就進(jìn)化到同時(shí)優(yōu)化多個(gè)業(yè)務(wù)目標(biāo)。

比如電商場(chǎng)景中，希望能夠在優(yōu)化GMV的基礎(chǔ)上提高點(diǎn)擊率，從而提高用戶的粘性；在信息流場(chǎng)景中，希望提高用戶點(diǎn)擊率的基礎(chǔ)上提高用戶關(guān)注、點(diǎn)贊、評(píng)論等行為，營(yíng)造更好的社區(qū)氛圍從而提高留存。

多目標(biāo)優(yōu)化問題在工程應(yīng)用中非常普遍且處于非常重要的地位，自20世紀(jì)60年代以來，就吸引了越來越多的不同背景研究人員的注意力。

而多目標(biāo)優(yōu)化目標(biāo)又是比較困難的事情，一般情況下，多目標(biāo)優(yōu)化問題的各個(gè)子目標(biāo)之間可能是矛盾的，一個(gè)子目標(biāo)的改善可能會(huì)引起另外一個(gè)或者幾個(gè)子目標(biāo)的性能降低，也就是同時(shí)使得多個(gè)子目標(biāo)一起達(dá)到最優(yōu)是不可能的。

而只能在它們中間進(jìn)行協(xié)調(diào)和折中處理，使各個(gè)子目標(biāo)盡可能達(dá)成到最優(yōu)解，在保障主要目標(biāo)提升的同時(shí)，次要目標(biāo)不要受損太多。對(duì)于多目標(biāo)優(yōu)化問題，當(dāng)前研究和工業(yè)界應(yīng)用主要集中在：

• 模型結(jié)構(gòu)，比如MMoE、ESMM；
• 各目標(biāo)間的權(quán)重分配，比如帕累托積累，具體的算法機(jī)制就不贅述了，大家只要知道工業(yè)界用大量的探索并且取得一定的研究進(jìn)展即可。

在互聯(lián)網(wǎng)領(lǐng)域，最近的業(yè)界成果是阿里和Google提出的多目標(biāo)優(yōu)化算法，Google是youtube上視頻推薦，同時(shí)優(yōu)化視頻的點(diǎn)擊率和好評(píng)率（MMoE），阿里是電商上采用帕累托優(yōu)化，同時(shí)提升電商GMV和CTR(https://blog.csdn.net/weixin_39778400/article/details/111161071)，找到帕累托有效解，阿里在真實(shí)的電商推薦系統(tǒng)上進(jìn)行了大量的實(shí)驗(yàn)，并將結(jié)果與單目標(biāo)最佳方法進(jìn)行了比較。

在線和離線實(shí)驗(yàn)結(jié)果都表明：

PE-LTR（CTR和GMV同時(shí)優(yōu)化的方法）在四個(gè)度量上優(yōu)于其他基線。這與離線實(shí)驗(yàn)的結(jié)果基本吻合。請(qǐng)注意，PE-LTR 在較高的 CTR 下實(shí)現(xiàn)了 GMV 的顯著提升。

這說明帕累托有效推薦的優(yōu)勢(shì)，完整的算法推到在：https://haiping.vip/2020/05/04/%E5%B8%95%E7%B4%AF%E6%89%98%E6%9C%80%E4%BC%98/

完整代碼在：github.com/weberrr/PE-LTR

以電商聯(lián)想詞產(chǎn)品為例，探究互聯(lián)網(wǎng)產(chǎn)品優(yōu)化目標(biāo)選擇迭代思路。

二、電商搜索聯(lián)想詞產(chǎn)品

用戶輸入部分信息就推薦出用戶搜索想用的關(guān)鍵詞，降低用戶輸入成本，降低費(fèi)力度。

比如下圖中，用戶輸入“連”一個(gè)字，下面推出10個(gè)詞條，用戶可以直接選擇其中任何一個(gè)詞條，也可以選擇右邊位置的屬性詞，選擇右邊位置的屬性詞，這時(shí)候相當(dāng)于搜索詞是詞條+屬性。

聯(lián)想詞優(yōu)化目標(biāo)如何選擇呢？

優(yōu)化點(diǎn)擊率：優(yōu)化鏈路最短，僅僅涉及聯(lián)想詞頁面，只要將用戶最愿意點(diǎn)擊的詞條召回并排在前面即可

優(yōu)化引導(dǎo)GMV：優(yōu)化鏈路最長(zhǎng)，涉及到聯(lián)想詞頁面-搜索結(jié)果頁-詳情頁-下單

這時(shí)不僅要考慮聯(lián)想詞頁面推薦的詞條和排序，用戶是否愿意點(diǎn)擊，也要考慮點(diǎn)擊詞條后的搜索結(jié)果頁的后續(xù)用戶商品選擇和下單行為。

采用點(diǎn)擊率作為優(yōu)化目標(biāo)：最佳階段是產(chǎn)品的中初級(jí)階段，用戶體驗(yàn)較差，后端鏈路數(shù)據(jù)積累還不夠，點(diǎn)擊率有很大提升空間，這個(gè)階段實(shí)際是優(yōu)化用戶體驗(yàn)，提升產(chǎn)品粘性，促進(jìn)產(chǎn)品活躍，某種角度上是平臺(tái)通過超預(yù)期體驗(yàn)實(shí)現(xiàn)用戶增長(zhǎng)。

如果點(diǎn)擊率提升到高位，在后端鏈路也積累了比較充足的數(shù)據(jù)，這個(gè)時(shí)候適合進(jìn)入第二階段，在維持高水平點(diǎn)擊率不下降的基礎(chǔ)上，延長(zhǎng)優(yōu)化鏈路，將經(jīng)營(yíng)目標(biāo)GMV作為優(yōu)化目標(biāo)，這實(shí)際是將兩個(gè)目標(biāo)同時(shí)優(yōu)化，互為約束。

經(jīng)過了第二階段，經(jīng)營(yíng)目標(biāo)提升到高水平，進(jìn)入第三階段，同時(shí)優(yōu)化用戶體驗(yàn)和GMV，但是這個(gè)第三階段與第一階段的意義完全不同。

第一階段因?yàn)楫a(chǎn)品處于中初級(jí)階段，解決的是產(chǎn)品可用性和好用性問題，第三階段追求的是長(zhǎng)期目標(biāo)，用戶的長(zhǎng)期忠誠和復(fù)購的養(yǎng)成，要求實(shí)現(xiàn)公司的經(jīng)營(yíng)目標(biāo)，實(shí)現(xiàn)用戶價(jià)值變現(xiàn)，尤其是互聯(lián)網(wǎng)到了下半場(chǎng)，增量用戶挖掘殆盡，平臺(tái)主要目標(biāo)是提升用戶價(jià)值。

這種優(yōu)化目標(biāo)的迭代不限于聯(lián)想詞產(chǎn)品形態(tài)，適用于大多數(shù)產(chǎn)品形態(tài)，就像頭部電商搜索結(jié)果的優(yōu)化目標(biāo)，從最初的CTR優(yōu)化到現(xiàn)在的GMV優(yōu)化（或者人均搜索GMV產(chǎn)出優(yōu)化）。

所以互聯(lián)網(wǎng)產(chǎn)品的優(yōu)化目標(biāo)迭代，主要看當(dāng)前互聯(lián)網(wǎng)產(chǎn)品發(fā)展到哪個(gè)階段？如果是處于中初級(jí)階段，就選擇優(yōu)化更短的優(yōu)化鏈路，注重用戶體驗(yàn)為主，如果到了第二階段，就應(yīng)該選擇優(yōu)化引導(dǎo)GMV，如果過了第二階段，就應(yīng)該進(jìn)入第三階段，同時(shí)優(yōu)化兩個(gè)目標(biāo)。

同時(shí)要考慮自己用戶增長(zhǎng)潛力，在用戶增長(zhǎng)潛力較大的階段，用戶體驗(yàn)第一位，提供超預(yù)期的用戶體驗(yàn)實(shí)現(xiàn)用戶增長(zhǎng)，等到用戶規(guī)模瓶頸，需要用戶變現(xiàn)，要進(jìn)化到兼顧用戶體驗(yàn)和用戶價(jià)值挖掘。

#專欄作家#

毛新年，公眾號(hào)：資深電商專家毛新年，人人都是產(chǎn)品經(jīng)理專欄作家。起點(diǎn)學(xué)院講師，2021年B端產(chǎn)品經(jīng)理大會(huì)演講嘉賓。主導(dǎo)搭建主流電商平臺(tái)搜索推薦商品三大體系，熟悉電商平臺(tái)策略-產(chǎn)品-運(yùn)營(yíng)-數(shù)據(jù)及研發(fā)各環(huán)節(jié)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議。