輕松看懂推薦算法:精打細(xì)算才是出路

3 評論 9717 瀏覽 79 收藏 20 分鐘

信息過度和廣告過多的社會(huì)中,推薦算法的使用也就顯得理所當(dāng)然。

推薦算法背景

在商品短缺,信息缺失和廣告缺乏的時(shí)代,人類社會(huì)面臨著無可奈何的選擇不足困境;而在商品過剩,信息過度和廣告過多的社會(huì)中,人類社會(huì)又面臨著史無前例的選擇過多困境甚至于因?yàn)檫x擇過多而產(chǎn)生無從選擇的尷尬情景。

在這兩種截然不同的社會(huì)經(jīng)濟(jì)環(huán)境中,個(gè)體所采取或者說所應(yīng)對的策略,前一種側(cè)重于自覺地主動(dòng)搜尋個(gè)體需求之物,后一種側(cè)重于不自覺地被動(dòng)接受社會(huì)提供之物。

體現(xiàn)在現(xiàn)實(shí)的經(jīng)濟(jì)社會(huì)中,就是我們現(xiàn)在不僅通過搜索引擎主動(dòng)地查詢搜索購買商品,查詢收集瀏覽新聞信息和廣告資訊;而且我們更是被動(dòng)地接受了由機(jī)器深度學(xué)習(xí)進(jìn)行系統(tǒng)自動(dòng)化推薦算法所計(jì)算出來的,為個(gè)體量身定做而提供的各種推薦商品,信息和廣告等個(gè)性化服務(wù)。

當(dāng)然,也正如同古希臘大哲學(xué)家蘇格拉底所說的那樣,人最難認(rèn)識的是自己,有時(shí)用戶很難用恰當(dāng)?shù)年P(guān)鍵詞語來描述自己的需求和想法,又或是無法對自己未知而又可能感興趣的信息做出描述而顯得無所適從或者說無可選擇。因此,通過機(jī)器算法的推薦系統(tǒng)能得到進(jìn)一步的發(fā)展和應(yīng)用就成為順理成章的事情了。

雖然這種基于機(jī)器各種算法而產(chǎn)生的商品、信息和廣告推薦成為各大互聯(lián)網(wǎng)服務(wù)平臺(tái)的標(biāo)配,尤其是通過主打算法的個(gè)性化推薦類新聞app在近一兩年的崛起和稱霸,更是成為中國互聯(lián)網(wǎng)界有目共睹的輝煌成就。

但隱藏在這些熱鬧表象身后所體現(xiàn)出來的實(shí)質(zhì)上更多地是社會(huì)科學(xué)技術(shù)發(fā)展到一定程度所必然出現(xiàn)的結(jié)果,即AI技術(shù)中有關(guān)深度學(xué)習(xí)技術(shù)手段在歷史上幾次起起落落后應(yīng)用于推薦系統(tǒng)中的重新崛起和發(fā)展。因此,近幾年推薦系統(tǒng)的風(fēng)生水起,與其說是互聯(lián)網(wǎng)界的成就,不如說是中國科技界,尤其是AI技術(shù)的進(jìn)步。

很明顯,深度學(xué)習(xí)是AI體系中技術(shù)層面上的一種運(yùn)算方法和手段,而推薦系統(tǒng)則是深度學(xué)習(xí)在具體細(xì)分領(lǐng)域的一種技術(shù)層面應(yīng)用,它的重新崛起是社會(huì)發(fā)展到一定階段后,人類所形成新的需求矛盾與科技進(jìn)步發(fā)展所形成新的生產(chǎn)力相互結(jié)合的必然結(jié)果。

它與各種互聯(lián)網(wǎng)服務(wù)平臺(tái)結(jié)合而成的實(shí)際應(yīng)用就是我們現(xiàn)在的個(gè)性化推薦商品(電商),新聞(資訊分發(fā)),廣告以及其他各種個(gè)性化服務(wù)平臺(tái),如下圖。

推薦算法歷史與種類

實(shí)際上,推薦這二個(gè)字對我們來說并不陌生,遍布于生活、工作、學(xué)習(xí)等各個(gè)方面,如學(xué)習(xí)中的三好生推薦,高考中的保送生推薦;工作中的優(yōu)秀員工推薦,選舉時(shí)的候選人推薦;生活中的超市購物店長推薦,暢品推薦等等。

而從其縱向的發(fā)展歷史來看,我們也經(jīng)歷了從毛遂自薦,口碑相傳的個(gè)體推薦形式,逐步過渡到1/2或者2/3簡單多數(shù)規(guī)則的群體推薦形式,以及進(jìn)一步轉(zhuǎn)化到涉及各種權(quán)重、混合、360度全方位等復(fù)雜規(guī)則的群體推薦形式。

然而,不管是個(gè)體自薦和推薦,還是群體推薦;抑或不論是簡單多數(shù)規(guī)則,還是復(fù)雜規(guī)則;本質(zhì)上都屬于一種人為推薦形式。而人為推薦則必然不同程度地存在著諸多如暗箱操作、感情用事、趨利避害、標(biāo)準(zhǔn)不一的主觀性意見缺陷,導(dǎo)致難以得到客觀化的滿意結(jié)果。

為使推薦的結(jié)果更加合乎實(shí)際和更加客觀化,通過計(jì)算機(jī)采取一定技術(shù)方法的算法推薦系統(tǒng)就應(yīng)運(yùn)產(chǎn)生了。與人為推薦系統(tǒng)的發(fā)展歷程一樣,早期計(jì)算機(jī)推薦系統(tǒng)中的算法和技術(shù)也是十分簡單和粗糙的,如打分預(yù)測,即通過用戶(User)對物品(Item)的打分(Rating)進(jìn)行評分預(yù)測推薦;或相似評估,即通過對用戶和物品一些較為粗糙簡單的明顯屬性進(jìn)行分析評判推薦。

只是在進(jìn)入互聯(lián)網(wǎng)時(shí)代后,隨著云計(jì)算和大數(shù)據(jù)分析等技術(shù)的發(fā)展,在運(yùn)算和存儲(chǔ)能力躍入新的層級之后,推薦算法不僅在數(shù)量的廣度上,而且在技術(shù)的深度上都達(dá)到了前所未有的一個(gè)水平。

目前各種具體推薦算法很多,而且分類標(biāo)準(zhǔn)也不盡相同,但萬變不離其宗,由于推薦系統(tǒng)本質(zhì)是向用戶推薦合適物品的個(gè)性化服務(wù),主要涉及到用戶和物品二個(gè)對象。因此,從大的方向來看,可以劃分為基于用戶的“人以群分”推薦算法和基于物品的“物以類聚 ”推薦算法,簡述如下:

1、以人為中心的“人以群分”推薦算法

這種推薦系統(tǒng)的內(nèi)在原理有一個(gè)假設(shè)前提,即相同群體中的成員擁有共同的興趣愛好,因此同類人喜歡什么就推薦什么。很明顯在這種推薦系統(tǒng)中,關(guān)鍵點(diǎn)是如何全面準(zhǔn)確地劃定人“群”的屬性,即“群”的相似度和近似度對個(gè)體的影響力權(quán)重程度。一般地,最常見的是基于人口統(tǒng)計(jì)學(xué)中個(gè)體自然的基本屬性而推薦。

因此,根據(jù)個(gè)體的基本屬性在理論上就會(huì)出現(xiàn)很多推薦子系統(tǒng),如基于性別的,基于年齡的,基于學(xué)歷的,基于地域的等等推薦系統(tǒng),這里的關(guān)于人的推薦系統(tǒng)是平行關(guān)系的,與下面的物品推薦系統(tǒng)層級關(guān)系有所不同。當(dāng)然在實(shí)際經(jīng)濟(jì)中,并不是所有的推薦系統(tǒng)都是有用或者說有效的,因此就必須根據(jù)個(gè)體和物品進(jìn)行有目的的篩選淘汰了。

栗子:基于年齡的推薦系統(tǒng)

這里的“群”就是年齡,而且假設(shè)年齡對物品和用戶的影響力權(quán)重占第一位。推薦原理如下:

  • 第一步:機(jī)器通過大數(shù)據(jù)以“年齡”為關(guān)鍵屬性搜尋找到各個(gè)用戶之間的相似度和鄰近度。
  • 第二步:對不同用戶A,B,C的相似度進(jìn)行排序。
  • 第三步:選出與當(dāng)前用戶A最相近的用戶C。
  • 第四步:將用戶A喜歡的物品a推薦給沒有接觸過的用戶C。

這是較為通俗易懂的基于用戶簡單推薦方式,當(dāng)然在實(shí)際經(jīng)濟(jì)生活中,“群”屬性確定,推薦方式和具體運(yùn)算過程則要復(fù)雜得多,但基本原理相似。

2、以物為中心的“物以類聚”推薦算法

與“人以群分”的推薦方式相類似,它是以物品的相似度代替了用戶的相似度。這種推薦系統(tǒng)也有一個(gè)假設(shè)前提,即同一用戶對相同類型的物品具有共同的興趣愛好或者說吸引力,因此用戶喜歡什么就推薦相同類型的物品。一樣的道理,在這種推薦系統(tǒng)中,關(guān)鍵點(diǎn)是如何全面準(zhǔn)確地劃定物品的“類”的屬性,即物品的“類”屬性相似度和近似度對個(gè)體的影響力權(quán)重程度。

與“人以群分”推薦算法中“群”的各個(gè)屬性劃分是基于橫向平行關(guān)系不同,在“物以類聚”推薦算法中物品的“類”是基于縱向?qū)蛹夑P(guān)系而劃定。而且由于大千世界各種物品成千上萬,因此首先必須確定一個(gè)物品分門別類的劃分標(biāo)準(zhǔn),或者說確定一個(gè)比較合適的劃分標(biāo)準(zhǔn)就顯得十分重要。

物品具有自然屬性和商品屬性,因此可以按生物標(biāo)準(zhǔn)進(jìn)行自然屬性分類,也可以按經(jīng)濟(jì)屬性進(jìn)行商品屬性分類;但由于我們都處于經(jīng)濟(jì)社會(huì)中,因此一般地,我們將物品的類別劃分確定為以商品經(jīng)濟(jì)屬性為主,兼顧生物自然屬性進(jìn)行劃分。第一層先劃分為有形產(chǎn)品和無形服務(wù);第二層再根據(jù)慣例按國民經(jīng)濟(jì)行業(yè)有關(guān)第一產(chǎn)業(yè)、第二產(chǎn)業(yè)、第三產(chǎn)業(yè)進(jìn)行行業(yè)分類。然后每一層按照從大到小,結(jié)合物品的品類、品種等自然生物屬性和功能、用途、產(chǎn)地等商品屬性逐層進(jìn)行細(xì)分,直至分解到最后的最底層每一個(gè)單品sku。

相應(yīng)地,根據(jù)物品類別在理論上也存在著很多推薦系統(tǒng),對于有形產(chǎn)品來說,有基于價(jià)格的,基于用途的,基于產(chǎn)地的;對于無形服務(wù)來說,有基于年代的,基于等級的,基于提供者的等等細(xì)分推薦系統(tǒng)。當(dāng)然也要根據(jù)需要進(jìn)行篩選。

栗子:基于產(chǎn)地的物品推薦系統(tǒng)

這里的“類”就是產(chǎn)地,而且假設(shè)產(chǎn)地對用戶的影響力權(quán)重占第一位。推薦原理如下:

  • 第一步:機(jī)器通過大數(shù)據(jù)以“產(chǎn)地”為關(guān)鍵屬性搜尋找到各個(gè)物品之間的相似度和鄰近度。
  • 第二步:對不同物品a,b,c的相似度進(jìn)行排序。
  • 第三步:選出與當(dāng)前物品a最相近的物品c。
  • 第四步:將物品c推薦給沒有接觸過的用戶A。

以上介紹的二種方法是推薦領(lǐng)域最基本的,也是最簡單的的方法。但在實(shí)際的經(jīng)濟(jì)生活中和現(xiàn)實(shí)的真實(shí)案例推薦中,往往不是那么簡單,需要面臨著許多復(fù)雜多變的情景和任務(wù),因此,在這二種基本推薦基礎(chǔ)上的各種混合推薦系統(tǒng)就應(yīng)運(yùn)而生了。主要有

3、基于協(xié)同過濾推薦系統(tǒng):這又分為基于用戶協(xié)同過濾和基于物品協(xié)同過濾二種推薦方法

基于用戶的協(xié)同過濾推薦方法原理與基于以人為中心的“人以群分”推薦算法相同,都是通過計(jì)算用戶的相似度,利用相似,鄰近和鄰居進(jìn)行計(jì)算推薦;它們的區(qū)別是如何計(jì)算用戶的相似度,基 于以人為中心的“人以群分”推薦算法只考慮個(gè)體用戶本身的基本特征,而基于用戶的協(xié)同過濾機(jī)制則是在用戶的歷史偏好數(shù)據(jù)上計(jì)算用戶的相似,即考慮用戶的歷史行為特征。

同樣,基于物品的協(xié)同過濾方法與基于以物為中心的“物以類聚”推薦算法工作原理相似,都是基于物品相似度預(yù)測推薦;它們的區(qū)別也是物品相似度計(jì)算的方法不一樣,前者是從用戶歷史的偏好推斷,即物品有關(guān)的購買,收藏,評論,點(diǎn)贊等信息,而后者是基于物品本身的基本屬性信息。

4、基于關(guān)聯(lián)規(guī)則的推薦:就是找不同商品之間的相關(guān)性,假設(shè)用戶喜歡A,A和B有緊密聯(lián)系,就推薦B。主要指一些互補(bǔ)關(guān)系的產(chǎn)品,如香煙與打火機(jī),復(fù)印機(jī)和色粉盒,也指一些在用途、渠道、購買者等方面相同的一些產(chǎn)品,如奶粉與尿不濕購買者可能為同一人,買了面包的人可能會(huì)買牛奶,零食與飲料可互補(bǔ),海邊的五金小店售賣啤酒等等。

5、基于背景的推薦:即找尋發(fā)現(xiàn)物品的行業(yè)特征以及物品在購買場景、展示場景和使用場景時(shí)的一些規(guī)律進(jìn)行合適的推薦,如展示場景推薦系統(tǒng)就是表示如何將推薦產(chǎn)品合理地展示在電商頁面的各個(gè)部分,以及明確各個(gè)部分的大小,順序,色彩,主次等屬性,從而達(dá)到重點(diǎn)區(qū)域突出,個(gè)性化推薦加強(qiáng),進(jìn)而提高銷量的結(jié)果。

還有一些推薦算法,如標(biāo)簽的流行度推薦算,基于效用的推薦,基于知識的推薦,組合推薦,加權(quán)推薦系統(tǒng),模型推薦等;現(xiàn)歸納如圖。

?

推薦算法應(yīng)用:精打細(xì)算才是出路

理論的最終目的是為了應(yīng)用,是為了更好地指導(dǎo)我們的實(shí)踐。因此,各種推薦算法在實(shí)際經(jīng)濟(jì)生活中的運(yùn)用才是我們所需要考慮的核心問題。算法無好壞,適合是王道。

由于每個(gè)推薦算法都不是完美的,都有著不同程度的各自優(yōu)缺點(diǎn);因此理想的狀態(tài)是使用所有推薦算法,取長補(bǔ)短,通過給不同算法的結(jié)果加權(quán),從而達(dá)到完美的結(jié)果。但在實(shí)際應(yīng)用中,基于企業(yè)的技術(shù)能力,成本壓力和時(shí)間約束等因素,較為實(shí)際的步驟是:

  1. 根據(jù)所處行業(yè),企業(yè)主要產(chǎn)品和主流用戶的屬性,確定以一個(gè)推薦算法為主計(jì)算結(jié)果,其他1-2個(gè)算法為輔論證和調(diào)整結(jié)果的混合推薦算法系統(tǒng)。
  2. 具體計(jì)算時(shí),兼顧技術(shù)上的可能性,經(jīng)濟(jì)上的可行性和時(shí)間上的可控性三原則,實(shí)現(xiàn)推薦算法在技術(shù)、經(jīng)濟(jì)和效率的有機(jī)結(jié)合。
  3. 時(shí)空因素的影響:包括時(shí)間上有明顯淡旺季區(qū)別的企業(yè),有某些特定大事影響原有業(yè)務(wù)和產(chǎn)品運(yùn)作方式的,如圖原先體育欄目中,按項(xiàng)目、國別、球隊(duì)、球員等維度逐層進(jìn)行計(jì)算,然而在奧運(yùn)會(huì)或者世界杯時(shí)期,可能在體育欄目中,就要變成奧運(yùn)會(huì)、國家、運(yùn)動(dòng)員這幾個(gè)維度進(jìn)行計(jì)算了;空間上如交通企業(yè),地域性明顯的o2o、風(fēng)景區(qū)和旅行社等。

4.不斷迭代調(diào)整,提高計(jì)算準(zhǔn)確率,實(shí)現(xiàn)更切合實(shí)際和滿意的結(jié)果。

那么,在電商行業(yè)、資訊信息廣告行業(yè)和各種交互服務(wù)行業(yè)應(yīng)用時(shí),如何實(shí)現(xiàn)推薦算法的精打細(xì)算呢?具體的做法是:

電商行業(yè):按大眾化和小眾化商品劃分

對于那些大眾化,老小皆宜的消費(fèi)品,尤其是快消品,宜采用基于用戶為中心的“人以群分”的User? RS 推薦算法,強(qiáng)調(diào)用戶存在的買點(diǎn)和痛點(diǎn),兼顧企業(yè)的優(yōu)點(diǎn)和競爭點(diǎn),也適合于那些選購性的耐用物品。

對于小眾化,專業(yè)性強(qiáng),特定品,以及工業(yè)品等物品,則應(yīng)采用基于物品為中心的“物以類聚”的Item RS 推薦算法,強(qiáng)調(diào)物品自身的新奇特優(yōu)等賣點(diǎn),兼顧企業(yè)的優(yōu)點(diǎn)和競爭點(diǎn);從而進(jìn)行精準(zhǔn)化推薦,也適合于一些長尾物品以及沒有用戶畫像的新產(chǎn)品冷啟動(dòng)情景。

資訊信息廣告行業(yè):按社會(huì)化和專業(yè)化劃分

對于以娛樂消遣休閑為目的社會(huì)化新聞和一些常識談資分享類信息,側(cè)重于User? RS推薦算法。

以科技類,冷知識等專業(yè)知識,提高生活、學(xué)習(xí)和工作水平和能力為目的,側(cè)重于Item RS推薦算法。

至于如何對互聯(lián)網(wǎng)中其他各種交互服務(wù)(包括無形服務(wù))的平臺(tái),進(jìn)行推薦算法的精打細(xì)算,可能會(huì)在《推薦算法:why比how和what更重要》中進(jìn)行思考。

 

本文由 @行者 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash ,基于 CC0 協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!