本文為個(gè)性化推薦十大挑戰(zhàn)最后一部分，主要介紹了推薦系統(tǒng)效果評(píng)估，用戶界面與用戶體驗(yàn)，多維數(shù)據(jù)的交叉利用，社會(huì)推薦。

接上文：個(gè)性化推薦十大挑戰(zhàn)(中)

挑戰(zhàn)七：推薦系統(tǒng)效果評(píng)估。

推薦系統(tǒng)的概念提出已經(jīng)有幾十年了，但是怎么評(píng)價(jià)推薦系統(tǒng)，仍然是一個(gè)很大的問(wèn)題。常見(jiàn)的評(píng)估指標(biāo)可以分為四大類，分別是準(zhǔn)確度、多樣性、新穎性和覆蓋率，每一類下轄很多不同的指標(biāo)，譬如準(zhǔn)確度指標(biāo)又可以分為四大類，分別是預(yù)測(cè)評(píng)分準(zhǔn)確度、預(yù)測(cè)評(píng)分關(guān)聯(lián)、分類準(zhǔn)確度、排序準(zhǔn)確度四類。以分類準(zhǔn)確度為例，又包括準(zhǔn)確率、召回率、準(zhǔn)確率提高率、召回率提高率、F1指標(biāo)和AUC值。圖5總結(jié)了文獻(xiàn)中曾經(jīng)出現(xiàn)過(guò)的幾乎所有的推薦系統(tǒng)指標(biāo)。之所以對(duì)推薦系統(tǒng)的評(píng)價(jià)很困難，是因?yàn)檫@些指標(biāo)之間并不是一致的，一般而言，多樣性、新穎性和覆蓋率之間一致性較好，但不絕對(duì)，而這三者往往都和準(zhǔn)確度有沖突。如前所述，解決多樣性和精確性之間的矛盾本身就是一個(gè)重大的挑戰(zhàn)!更不幸的是，即便是同一類指標(biāo)，其表現(xiàn)也不完全一致。舉個(gè)例子說(shuō)，一些基于SVD分解的算法，以降低均方根誤差(參考圖5)為目標(biāo)，在預(yù)測(cè)評(píng)分精確性方面表現(xiàn)上佳，但是在推薦前L個(gè)商品的準(zhǔn)確率和召回率(參考圖5)方面則表現(xiàn)得很不如人意，有些情況下甚至還不如直接按照流行度排序的非個(gè)性化算法。

圖5介紹的那些指標(biāo)都是基于數(shù)據(jù)本身的指標(biāo)，可以認(rèn)為是第一層次。實(shí)際上，在真實(shí)應(yīng)用時(shí)，更為重要的是另外兩個(gè)層次的評(píng)價(jià)。第二個(gè)層次是商業(yè)應(yīng)用上的關(guān)鍵表現(xiàn)指標(biāo)，譬如受推薦影響的轉(zhuǎn)化率，購(gòu)買率，客單價(jià)，購(gòu)買品類數(shù)等等，第三個(gè)層次是用戶真實(shí)的體驗(yàn)。絕大部分研究只針對(duì)第一個(gè)層次的評(píng)價(jià)指標(biāo)，而業(yè)界真正感興趣的是第二個(gè)層次的評(píng)價(jià)(譬如到底是哪個(gè)指標(biāo)或者哪些指標(biāo)組合的結(jié)果能夠提高用戶購(gòu)買的客單價(jià))，而第三個(gè)層細(xì)最難，沒(méi)人能知道，只能通過(guò)第二層次的效果來(lái)估計(jì)。如何建立第一層面和第二層面指標(biāo)之間的關(guān)系，就成為了關(guān)鍵，這一步打通了，理論和應(yīng)用之間的屏障就通了一大半了。

圖6：Facebook頁(yè)面上用戶注意力集中的區(qū)域的分布，其中紅色的區(qū)域是用戶注意力最集中的區(qū)域，黃色次之，綠色再次之，白色最次。

?挑戰(zhàn)八：用戶界面與用戶體驗(yàn)。

這個(gè)問(wèn)題更多地不是一個(gè)學(xué)術(shù)性質(zhì)的問(wèn)題，而是從真實(shí)應(yīng)用中來(lái)的問(wèn)題。十年前就有學(xué)者指出，推薦結(jié)果的可解釋性，對(duì)于用戶體驗(yàn)有至關(guān)重要的影響——用戶希望知道這個(gè)推薦是怎么來(lái)的?；谙嗨菩缘耐扑](例如協(xié)同過(guò)濾)在這個(gè)問(wèn)題上具有明顯的優(yōu)勢(shì)，譬如亞馬遜基于商品的協(xié)同過(guò)濾的推薦[72]在發(fā)送推薦的電子郵件時(shí)會(huì)告訴用戶之所以向其推薦某書(shū)，是因?yàn)橛脩粢郧百?gòu)買過(guò)某些書(shū)，新浪微博基于局部結(jié)構(gòu)相似性的“關(guān)注對(duì)象推薦”在推薦的同時(shí)會(huì)說(shuō)明哪些你的朋友也關(guān)注過(guò)他們。相對(duì)地，矩陣分解或者集成學(xué)習(xí)算法就很難向用戶解釋推薦結(jié)果的起源。一般而言，用戶更喜歡來(lái)自自己朋友的推薦而不是系統(tǒng)的推薦，這一點(diǎn)在后面講社會(huì)推薦的時(shí)候還會(huì)詳細(xì)提到。另外，好的界面設(shè)計(jì)，能夠讓用戶覺(jué)得推薦的結(jié)果更加多樣化，更加可信。

實(shí)際應(yīng)用時(shí)，推薦列表往往含有很多項(xiàng)，這些推薦項(xiàng)最好能夠區(qū)分成很多類別，不同類別往往來(lái)自于不同的推薦方法，譬如看過(guò)還看過(guò)(瀏覽過(guò)本商品的客戶還瀏覽過(guò)的商品)、買過(guò)還買過(guò)(購(gòu)買過(guò)本商品的客戶還購(gòu)買過(guò)的商品)、看過(guò)最終購(gòu)買(瀏覽過(guò)本商品的客戶最終購(gòu)買的商品)、個(gè)性化熱銷榜(個(gè)性化流行品推薦)、猜你喜歡(個(gè)性化冷門(mén)商品推薦)等等。當(dāng)然，每個(gè)推薦項(xiàng)呈現(xiàn)的結(jié)果往往都來(lái)自復(fù)雜的算法，絕不僅僅象它們的名字聽(tīng)起來(lái)那么簡(jiǎn)單。另外，推薦欄呈現(xiàn)的位置對(duì)于推薦的結(jié)果影響也很大，因?yàn)橥粋€(gè)網(wǎng)頁(yè)上不同位置對(duì)于用戶注意力的吸引程度大不一樣。圖6給出了EyeTrackShop針對(duì)Facebook個(gè)人頁(yè)面不同位置受關(guān)注程度的示意，可以看出，不同的位置受到的關(guān)注相差很大。

如何更好呈現(xiàn)推薦，是一個(gè)很難建立理論模型和進(jìn)行量化的問(wèn)題，對(duì)于不同被推薦品而言，用戶界面設(shè)計(jì)的準(zhǔn)則也可能大不相同。建立一個(gè)可以進(jìn)行A/B測(cè)試的系統(tǒng)(隨機(jī)將用戶分為兩部分，各自看到不同的推薦頁(yè)面和推薦結(jié)果)，可以積累重要的實(shí)驗(yàn)數(shù)據(jù)，指導(dǎo)進(jìn)一步地改善。

挑戰(zhàn)九：多維數(shù)據(jù)的交叉利用。

目前網(wǎng)絡(luò)科學(xué)研究一個(gè)廣受關(guān)注的概念是具有相互作用的網(wǎng)絡(luò)的結(jié)構(gòu)和功能。網(wǎng)絡(luò)與網(wǎng)絡(luò)之間的相互作用大體可以分成三類：一類是依存關(guān)系，譬如電力網(wǎng)絡(luò)和Internet，如果發(fā)生了大規(guī)模停電事故，當(dāng)?shù)氐淖灾飨到y(tǒng)和路由器也會(huì)受到影響，導(dǎo)致網(wǎng)絡(luò)局部中斷;第二類是合作關(guān)系，譬如人的一次出行，可以看作航空網(wǎng)絡(luò)、鐵路網(wǎng)絡(luò)和公路網(wǎng)絡(luò)的一次合作;第三類是交疊關(guān)系，主要針對(duì)社會(huì)網(wǎng)絡(luò)，這也是我們最關(guān)注的。我們幾乎每一個(gè)人，都參與了不止一個(gè)大型的社會(huì)網(wǎng)絡(luò)中，譬如你可能既有新浪微博的帳號(hào)，又是人人網(wǎng)的注冊(cè)用戶，還是用手機(jī)，那么你已經(jīng)同時(shí)在三個(gè)巨大的社會(huì)網(wǎng)絡(luò)中了。與此同時(shí)，你可能還經(jīng)常在淘寶、京東、麥包包、1號(hào)店、庫(kù)巴網(wǎng)……這些地方進(jìn)行網(wǎng)購(gòu)，因此也是若干張用戶-商品二部分圖中的成員。

想象如果能夠把這些網(wǎng)絡(luò)數(shù)據(jù)整合起來(lái)，特別是知道每個(gè)節(jié)點(diǎn)身份的對(duì)應(yīng)關(guān)系(不需要知道你真實(shí)身份，只需要知道不同網(wǎng)絡(luò)中存在的若干節(jié)點(diǎn)是同一個(gè)人)，可以帶來(lái)的巨大的社會(huì)經(jīng)濟(jì)價(jià)值。舉個(gè)例子，你可能已經(jīng)在新浪微博上關(guān)注了很多數(shù)據(jù)挖掘達(dá)人的微博，并且分享了很多算法學(xué)習(xí)的心得和問(wèn)題，當(dāng)你第一次上當(dāng)當(dāng)網(wǎng)購(gòu)書(shū)的時(shí)候，如果主頁(yè)向你推薦數(shù)據(jù)挖掘的最新專著并附有折扣，你會(huì)心動(dòng)嗎?交疊社會(huì)關(guān)系中的數(shù)據(jù)挖掘，或稱多維數(shù)據(jù)挖掘，是真正有望解決系統(tǒng)內(nèi)部冷啟動(dòng)問(wèn)題的終極法寶——只要用戶在系統(tǒng)外部的其他系統(tǒng)有過(guò)活動(dòng)。單純從個(gè)性化商品推薦來(lái)講，可以利用用戶在其他電商的瀏覽購(gòu)買歷史為提高在目標(biāo)電商推薦的精確度——當(dāng)然，每一個(gè)電商既是付出者，也是獲利者，總體而言，大家能夠通過(guò)提高用戶體驗(yàn)和點(diǎn)擊深度實(shí)現(xiàn)共贏。與此同時(shí)，可以利用微博和其他社會(huì)網(wǎng)絡(luò)的活動(dòng)提高商品推薦的精度，還可以反過(guò)來(lái)利用商品瀏覽歷史提高微博關(guān)注對(duì)象推薦的精度。給一個(gè)經(jīng)常購(gòu)買專業(yè)羽毛球和瀏覽各種專業(yè)羽毛球設(shè)備的用戶推薦關(guān)注羽毛球的專業(yè)選手和業(yè)余教練的成功率應(yīng)該很高，而且不會(huì)陷入“總在一個(gè)圈子里面來(lái)回推薦”的毛病中。

從機(jī)器學(xué)習(xí)的角度，楊強(qiáng)等人提出的“遷移學(xué)習(xí)”算法有望解決這種跨鄰域的推薦，因?yàn)檫@種算法最基本的假設(shè)就是在一個(gè)領(lǐng)域所學(xué)習(xí)的知識(shí)在其他領(lǐng)域也具有一定的普適性。Nori等人最近的分析顯示，在某系統(tǒng)中特定的行為(比如說(shuō)在Delicious上收藏標(biāo)簽)可以被用于預(yù)測(cè)另外系統(tǒng)中的特定行為(比如說(shuō)在Twitter上的信息選擇)，其核心的思想與楊強(qiáng)等人一致。事實(shí)上，這種跨網(wǎng)的學(xué)習(xí)已經(jīng)被證明可以提高鏈路預(yù)測(cè)的效果。盡管有上面的有利的證據(jù)，我們還是需要特別注意，遷移學(xué)習(xí)在不同領(lǐng)域間的效果差異很大，還依賴于相關(guān)系統(tǒng)內(nèi)部連接產(chǎn)生的機(jī)制，并不是普遍都能產(chǎn)生良好地效果，因?yàn)橛械臅r(shí)候在一個(gè)商品品類上表現(xiàn)出高相似性的用戶在另外一些商品品類上可能表現(xiàn)出完全不同的偏好。

圖7：用戶跨多個(gè)獨(dú)立B2C電商網(wǎng)站瀏覽購(gòu)物的示意圖。

我們分析了百分點(diǎn)科技服務(wù)客戶的真實(shí)數(shù)據(jù)，發(fā)現(xiàn)有相當(dāng)比例的用戶都具有交叉購(gòu)物的習(xí)慣，即在多個(gè)獨(dú)立B2C電商有瀏覽和購(gòu)買行為，如圖7所示。即便只考慮兩個(gè)點(diǎn)上，例如利用麥包包的瀏覽購(gòu)買數(shù)據(jù)為名鞋庫(kù)的用戶進(jìn)行個(gè)性化推薦(這些用戶在名鞋庫(kù)上是沒(méi)有任何歷史記錄的新用戶，但是在麥包包上有瀏覽購(gòu)買行為)，就可以明顯提高推薦的準(zhǔn)確度(比完全冷啟動(dòng)的隨機(jī)推薦高數(shù)十倍)，而如果利用3家或以上的外部電商的數(shù)據(jù)，其推薦的精確度可以明顯高于熱銷榜(注意，熱銷榜一點(diǎn)個(gè)性化都沒(méi)有)，特別在團(tuán)購(gòu)類網(wǎng)站上表現(xiàn)非常好。擁有交叉用戶使得不同系統(tǒng)之間的“遷移”更加容易(注意，“遷移學(xué)習(xí)”原始的方法不要求系統(tǒng)之間具有相同的用戶和商品)，Sahebi和Cohen最近測(cè)試同時(shí)評(píng)價(jià)了書(shū)和電影的用戶，也發(fā)現(xiàn)利用對(duì)書(shū)的評(píng)分信息可以相當(dāng)程度上預(yù)測(cè)對(duì)電影的評(píng)分。雖然針對(duì)多維數(shù)據(jù)挖掘的研究剛剛起步，但我相信其必將成為學(xué)術(shù)研究和商業(yè)應(yīng)用上的雙料熱點(diǎn)和雙料難點(diǎn)。

挑戰(zhàn)十：社會(huì)推薦。

很早以前，研究人員就發(fā)現(xiàn)，用戶更喜歡來(lái)自朋友的推薦而不是被系統(tǒng)“算出來(lái)的推薦”。社會(huì)影響力被認(rèn)為比歷史行為的相似性更加重要，例如通過(guò)社會(huì)關(guān)系的分析，可以大幅度提高從科研文獻(xiàn)到網(wǎng)購(gòu)商品，從個(gè)人博客到手機(jī)應(yīng)用軟件推薦的精確度。最近有證據(jù)顯示，朋友推薦也是淘寶商品銷售一個(gè)非常重要的驅(qū)動(dòng)力量。來(lái)自朋友的社會(huì)推薦有兩方面的效果：一是增加銷售(含下載、閱讀……)，二是在銷售后提高用戶的評(píng)價(jià)。當(dāng)然，社會(huì)推薦的效果也不是我們想象的那么簡(jiǎn)單：Leskovec等人在同一篇論文中指出針對(duì)不同類型的商品社會(huì)推薦的效果大不一樣;Yuan等人指出不同類型的社會(huì)關(guān)系對(duì)推薦的影響也不同;Abbassi等人指出朋友的負(fù)面評(píng)價(jià)影響力要大于正面評(píng)價(jià);等等。

在社會(huì)推薦方向存在的挑戰(zhàn)主要可以分為三類：一是如何利用社會(huì)關(guān)系提高推薦的精確度，二是如何建立更好的機(jī)制以促進(jìn)社會(huì)推薦，三是如何將社會(huì)信任關(guān)系引入到推薦系統(tǒng)中。社會(huì)推薦的效果可能來(lái)自于類似口碑傳播的社會(huì)影響力，也可能是因?yàn)榕笥阎g本來(lái)就具有相似的興趣或者興趣相投更易成為朋友，對(duì)這些不同的潛在因素進(jìn)行量化區(qū)別，也屬學(xué)術(shù)研究的熱點(diǎn)之一。

本文來(lái)源：產(chǎn)品中國(guó)