一個(gè)推薦系統(tǒng)的好壞實(shí)實(shí)在在影響著用戶使用產(chǎn)品的感受，我們?nèi)绾闻袛嗤扑]系統(tǒng)的好壞？一個(gè)好的推薦系統(tǒng)需要注意哪幾點(diǎn)？

生活中，我們對(duì)推薦系統(tǒng)一點(diǎn)都不陌生，甚至?xí)焯旖佑|。相信我們很多人都有這樣的體會(huì)：

• 我們經(jīng)常信誓旦旦地說(shuō)“就玩10分鐘抖音吧”，但往往是一刷不知不覺(jué)2小時(shí)就過(guò)去了；
• 我們?nèi)绻谔詫毶腺I(mǎi)過(guò)一件衣服，卻總是能在首頁(yè)或者詳情頁(yè)看到一些心儀的裙子、褲子，甚至鞋子，然后繼續(xù)開(kāi)啟剁手黨的買(mǎi)買(mǎi)買(mǎi)模式；
• 作為熱愛(ài)流行歌曲的音樂(lè)發(fā)燒友，今天心情很好，但是卻不知道聽(tīng)什么，我們點(diǎn)開(kāi)了音樂(lè)app，打開(kāi)里面的【推薦歌單】，每首都不一樣，每首好像都能觸達(dá)心靈。

這也許就是推薦系統(tǒng)的美和魅力吧！

什么是好的推薦系統(tǒng)?

一個(gè)推薦系統(tǒng)，往往存在3個(gè)參與方：用戶、物品提供者、提供推薦系統(tǒng)的產(chǎn)品。

1. 從用戶角度說(shuō)，好的推薦系統(tǒng)不僅僅能夠準(zhǔn)確預(yù)測(cè)用戶的行為，而且能夠擴(kuò)展用戶的視野，幫助用戶發(fā)現(xiàn)那些他們感興趣，但卻不那么容易發(fā)現(xiàn)的東西。
2. 從物品提供者角度說(shuō)，好的推薦系統(tǒng)，能夠幫助他們將那些被埋沒(méi)在長(zhǎng)尾中的好東西，介紹給可能會(huì)對(duì)他們感興趣的用戶。

好的推薦系統(tǒng)是一箭雙雕的，能優(yōu)雅的幫助用戶和物品提供方解決問(wèn)題。

作為推薦系統(tǒng)的產(chǎn)品經(jīng)理，除了我們主觀去評(píng)估推薦系統(tǒng)質(zhì)量，那么還有哪些客觀指標(biāo)可以評(píng)估一個(gè)推薦系統(tǒng)的質(zhì)量的？

1. 用戶滿意度

用戶作為推薦系統(tǒng)的重要參與者 ，其滿意度是評(píng)測(cè)推薦系統(tǒng)的重要指標(biāo)，通常通過(guò)用戶調(diào)查和用戶在線行為分析獲得。

（1） 用戶調(diào)查

用戶調(diào)查主要是通過(guò)問(wèn)卷的形式進(jìn)行，用戶對(duì)推薦系統(tǒng)的滿意度往往分為不同的層次。

我們之前做過(guò)對(duì)獵頭推薦職位的調(diào)研，問(wèn)卷中有個(gè)問(wèn)題是，請(qǐng)問(wèn)下面哪句話最能描述你看到推薦結(jié)果后的感受？

• 選項(xiàng)1，推薦的簡(jiǎn)歷都是我非常想看的；
• 選項(xiàng)2，推薦的簡(jiǎn)歷很多我都會(huì)看，確實(shí)符合我興趣的不錯(cuò)簡(jiǎn)歷；
• 選項(xiàng)3，推薦的簡(jiǎn)歷和我負(fù)責(zé)的領(lǐng)域相關(guān)，但是不是我當(dāng)前想找的候選人；
• 選項(xiàng)4，不知道為什么會(huì)推薦這些簡(jiǎn)歷，都不是我感興趣的。

調(diào)查問(wèn)卷需要從不同的側(cè)面詢問(wèn)用戶對(duì)結(jié)果的不同感受。

如果只是問(wèn)用戶是否滿意，用戶可能心里會(huì)認(rèn)為大體滿意，但是對(duì)某個(gè)方面還是有點(diǎn)不滿意，因而會(huì)很難回答這個(gè)問(wèn)題，即使回答了，我們?cè)诮y(tǒng)計(jì)分析結(jié)果的時(shí)候也會(huì)不知所措。

（2） 在線行為分析

在線行為分析，也就是常說(shuō)的用戶點(diǎn)擊率、停留時(shí)間和轉(zhuǎn)化率等指標(biāo)來(lái)度量。

當(dāng)我們閑來(lái)無(wú)事，想逛逛某寶的時(shí)候，首頁(yè)會(huì)推薦一個(gè)商品列表，如果我們滿意，我們就會(huì)點(diǎn)擊某個(gè)商品，而且還很可能會(huì)購(gòu)買(mǎi)商品。

用戶的點(diǎn)擊率、停留時(shí)間和購(gòu)買(mǎi)轉(zhuǎn)化率，都能很客觀的反應(yīng)我們的滿意度。

很多做內(nèi)容推薦的產(chǎn)品，比如頭條，會(huì)主動(dòng)提供用戶是否滿意的入口 ，用戶可以直接反饋對(duì)該條內(nèi)容不感興趣。

• 反饋垃圾內(nèi)容
• 拉黑作者
• 屏蔽等操作

通過(guò)用戶的直接反饋，也可以度量系統(tǒng)的用戶滿意度。

2. 預(yù)測(cè)準(zhǔn)確度

這個(gè)指標(biāo)是推薦系統(tǒng)預(yù)測(cè)用戶行為的能力，是一個(gè)非常重要的離線評(píng)測(cè)指標(biāo)。

首先，準(zhǔn)備一個(gè)離線的數(shù)據(jù)集，包括用戶的歷史行為記錄；然后，將該數(shù)據(jù)集通過(guò)時(shí)間分成訓(xùn)練集和測(cè)試集；最后，通過(guò)在訓(xùn)練集上建立用戶的行為和興趣模型，預(yù)測(cè)用戶在測(cè)試集上的行為，并且把計(jì)算預(yù)測(cè)行為和實(shí)際行為的重合度作為預(yù)測(cè)準(zhǔn)確度。

（1）用得比較多的是我們常常見(jiàn)到的評(píng)分系統(tǒng)：

很多網(wǎng)站，不管是買(mǎi)了衣服，還是看了一部電影，都會(huì)提供一個(gè)讓用戶給物品打分的功能。這樣我們就能知道用戶對(duì)物品的歷史評(píng)分，從中學(xué)習(xí)用戶的興趣模型，并預(yù)測(cè)該用戶，會(huì)給沒(méi)有評(píng)分過(guò)的物品打多少分。

（2） 還有一種比較常見(jiàn)的topN預(yù)測(cè)準(zhǔn)確度：

假如我們已經(jīng)獲取到用戶歷史觀看電影的記錄數(shù)據(jù)：

• 集合A：根據(jù)用戶訓(xùn)練集上的行為，給出的推薦電影列表；
• 集合B：用戶在測(cè)試集上實(shí)際會(huì)點(diǎn)擊的電影；

那么:

準(zhǔn)確率=（A與B的交集）/ A

召回率=（A與B的交集）/ B

這個(gè)評(píng)估指標(biāo)重點(diǎn)是：找出用戶最有可能看的電影。

3. 覆蓋率

描述一個(gè)推薦系統(tǒng)對(duì)物品長(zhǎng)尾的發(fā)掘能力。

覆蓋率=能夠推薦出來(lái)的商品數(shù)量/總物品數(shù)量

以圖書(shū)推薦為例，出版社可能會(huì)很關(guān)心，他們的書(shū)有沒(méi)有被推薦給用戶；覆蓋率為100%的話，說(shuō)明推薦系統(tǒng)可以將每個(gè)物品都推薦給至少一個(gè)用戶。

除了圖書(shū)都能被推薦出來(lái)，每本書(shū)被推薦出來(lái)的次數(shù)也是很關(guān)鍵的。如果所有的物品都有機(jī)會(huì)被推薦，且推薦次數(shù)差不多，那么說(shuō)明覆蓋率越好。

大家可能都聽(tīng)說(shuō)過(guò)“馬太效應(yīng)”，就是所謂的強(qiáng)者更強(qiáng)，弱者更弱。一般的熱門(mén)排行榜就有馬太效應(yīng)。

但是推薦系統(tǒng)的初衷是希望消除馬太效應(yīng)的，這個(gè)也是推薦系統(tǒng)魅力的體現(xiàn)。

4. 多樣性

盡管用戶的興趣，在較長(zhǎng)的時(shí)間跨度中是不一樣的：在一個(gè)視頻產(chǎn)品中，用戶可能即會(huì)看《蠟筆小新》這樣的動(dòng)畫(huà)片，也會(huì)看《權(quán)利的游戲》這樣的史詩(shī)奇幻題材的電視劇。

但具體到用戶訪問(wèn)推薦系統(tǒng)的某一刻：其興趣往往是單一的，那么如果推薦列表只能覆蓋用戶的一個(gè)興趣點(diǎn)，而這個(gè)興趣點(diǎn)不是用戶這個(gè)時(shí)刻的興趣點(diǎn)，就不會(huì)讓用戶滿意。

相反，如果推薦列表比較多樣，覆蓋了用戶絕大多數(shù)的興趣點(diǎn)，那么就會(huì)增加，用戶找到感興趣視頻的概率。

這里就用到逆向思維來(lái)看！

我們通常會(huì)去計(jì)算物品和物品之間的相似性，因?yàn)槎鄻有院拖嗨菩允菍?duì)應(yīng)的。而計(jì)算相似性，往往通過(guò)物品的以下幾方面進(jìn)行：

1. 分類(lèi)標(biāo)簽，比如電影的分類(lèi)標(biāo)簽，是動(dòng)作片、玄幻片還是古裝劇，是搞笑的，還是寫(xiě)實(shí)的；
2. 物品的提供者信息，比如電影的導(dǎo)演、主演、編劇等；
3. 物品的上市時(shí)間；

那么多樣性最好是到什么程度呢？

如果用戶80%的時(shí)間都在看搞笑的綜藝，20%的時(shí)間在看寫(xiě)實(shí)的節(jié)目。如果提供以下幾個(gè)推薦列表，你會(huì)覺(jué)得哪個(gè)比較好呢：

• A列表中有10部搞笑綜藝；
• B列表中有10部紀(jì)錄片；
• C列表中有8部搞笑綜藝，2部紀(jì)錄片；
• D列表中是5補(bǔ)搞笑綜藝，5部紀(jì)錄片；

一般我們會(huì)認(rèn)為C列表是最好的，因?yàn)樗哂幸欢ǖ亩鄻有?，又兼顧了用戶的主要興趣。推薦列表比較多樣，會(huì)增加用戶找到感興趣物品的概率。

5. 新穎性

讓用戶覺(jué)得新穎，其實(shí)就是推薦那些他們感興趣，但是以前沒(méi)有聽(tīng)說(shuō)過(guò)的物品。

最簡(jiǎn)單的方式，就是在推薦列表里，過(guò)濾掉用戶歷史產(chǎn)生過(guò)行為的物品，包括瀏覽過(guò)的、點(diǎn)擊過(guò)的等等。

但是呢，因?yàn)楝F(xiàn)在內(nèi)容很可能出現(xiàn)在多個(gè)產(chǎn)品里，在我們的產(chǎn)品里沒(méi)有，不代表用戶在其他產(chǎn)品也沒(méi)見(jiàn)過(guò)。

所有會(huì)利用推薦結(jié)果的平均流行度，越不熱門(mén)的物品越可能讓用戶覺(jué)得新穎，但是其實(shí)，這個(gè)方法也是很粗略的，很難準(zhǔn)確做出評(píng)估，因?yàn)椴煌脩舨恢赖臇|西是不一樣的。

所以現(xiàn)在沒(méi)有一種比較好的統(tǒng)計(jì)方法，可以做到新穎性的評(píng)估。更多依賴(lài)于用戶調(diào)查和線上實(shí)驗(yàn)測(cè)試。當(dāng)我們推薦物品給用戶后，可以觀察用戶的行為結(jié)果。

如果我們跟用戶推薦一篇技術(shù)文章：

首先，去篩選跟用戶興趣匹配的技術(shù)文章，找出最近產(chǎn)生的，因?yàn)闅v史的很有可能會(huì)被看過(guò)了；然后，我們可以挑選非熱門(mén)的，因?yàn)闊衢T(mén)的也有可能被看過(guò)了；最后，在線上去觀察用戶的點(diǎn)擊率，如果點(diǎn)擊率比較高，則說(shuō)明用戶對(duì)這個(gè)文章感興趣。

6. 驚喜度

我們經(jīng)常在分析需求的時(shí)候，會(huì)把需求分為幾個(gè)層次：

1. 興奮型需求
2. 期望型需求
3. 基本型需求
4. 可有可無(wú)需求
5. 反向型需求（有了反而不好）

推薦系統(tǒng)也是一樣，給用戶驚喜都是我們的終極目標(biāo)。

也就是，推薦給用戶潛意識(shí)里需要，但是又沒(méi)有明確表達(dá)出來(lái)的。換句話說(shuō)，跟用戶歷史行為不相似，但是用戶卻覺(jué)得滿意的推薦。

如果用戶歷史上喜歡看劉德華的電影，然后我們推薦了《天下無(wú)賊》，如果用戶沒(méi)有看過(guò)這個(gè)電影，那么可以說(shuō)這個(gè)推薦具有新穎性，但是不會(huì)有驚喜度，因?yàn)楹艽罂赡苁撬A(yù)期內(nèi)的。

但是 ，如果我們一部周星馳的《美人魚(yú)》給他，他看完電影后很滿意，“竟然把這么好的電影推薦給我了”！那么這個(gè)時(shí)候他就會(huì)覺(jué)得驚喜了。

怎么去做呢？

首先，定義推薦結(jié)果和用戶歷史上喜歡物品的相似度；

其次，需要定義用戶對(duì)推薦結(jié)果的滿意度；

提高推薦驚喜度，需要提高推薦結(jié)果的用戶滿意度，同時(shí)降低推薦結(jié)果和用戶歷史興趣的相似度。

7.? 信任度

人是社交型動(dòng)物，喜歡熟悉的東西，喜歡熟悉的人 ，推薦系統(tǒng)也是一樣，需要和人之間建立某種信任，那么就需要讓用戶了解推薦系統(tǒng)。

最簡(jiǎn)單的方式，就是增加推薦系統(tǒng)的透明度，也就是提供推薦解釋?zhuān)層脩糁肋@個(gè)推薦結(jié)果是怎么產(chǎn)生的，了解推薦系統(tǒng)運(yùn)行機(jī)制。

其次是考慮用戶的社交網(wǎng)絡(luò)信息，利用用戶的好友信息給用戶做推薦，并且用好友進(jìn)行推薦解釋。

很早以前，我們經(jīng)常會(huì)看到“你好友也關(guān)注”、“購(gòu)買(mǎi)了相似物品”。

8.? 實(shí)時(shí)性

想想：如果頭條老是推薦前幾天的新聞，我們會(huì)有多么的奔潰？如果淘寶老是推薦我一年前購(gòu)買(mǎi)過(guò)的相似物品，我們會(huì)是什么心情？

實(shí)時(shí)性，包括兩個(gè)方面：

一是，及時(shí)更新用戶的興趣，滿足用戶新的行為變化，我們現(xiàn)在在淘寶上，今天買(mǎi)了一本育兒繪本，如果再次訪問(wèn)淘寶，那么首頁(yè)會(huì)推薦育兒相關(guān)的玩具、其他書(shū)籍；

二是，及時(shí)把新上架的物品推薦給用戶 ，這個(gè)也主要解決了物品冷啟動(dòng)的問(wèn)題，一個(gè)物品如果在平臺(tái)里一直得不到推薦，那么物品肯定不會(huì)帶來(lái)瀏覽和轉(zhuǎn)化，那么物品提供方可能就沒(méi)有太多心情，持續(xù)提供好的內(nèi)容了。

9. 商業(yè)目標(biāo)

我們?cè)u(píng)測(cè)一個(gè)推薦系統(tǒng)，很多時(shí)候更加注重商業(yè)目標(biāo)是否達(dá)成。

因?yàn)槿魏我粋€(gè)成功的產(chǎn)品，除了解決用戶的問(wèn)題以外，還需要解決盈利的問(wèn)題。

一般來(lái)說(shuō)，商業(yè)目標(biāo)就是一個(gè)用戶給公司帶來(lái)的盈利，電子商務(wù)產(chǎn)品的目標(biāo)可能是銷(xiāo)售額，內(nèi)容消費(fèi)產(chǎn)品可能是廣告收入。

而好的推薦系統(tǒng)一定是用戶問(wèn)題和商業(yè)目標(biāo)平衡做的很好的。

本文由 @杭熹 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。