導(dǎo)讀：作為歸屬為推薦算法部門的產(chǎn)品，每天有非常多和單個(gè)推薦內(nèi)容業(yè)務(wù)指標(biāo)變化有關(guān)的問題需要解答，因此，推薦部門做了一個(gè)可供查詢的內(nèi)容數(shù)據(jù)轉(zhuǎn)化平臺(tái)，便于運(yùn)營或業(yè)務(wù)同學(xué)檢測游戲的數(shù)據(jù)轉(zhuǎn)化問題對應(yīng)的原因。本文作者對此進(jìn)行了分析，與你分享。

作為歸屬為推薦算法部門的產(chǎn)品，平時(shí)聽到比較多的關(guān)于推薦業(yè)務(wù)的問題就是：

1. XX內(nèi)容怎么曝光降了這么多？
2. XX內(nèi)容數(shù)據(jù)這么好，曝光怎么就是上不去？強(qiáng)插都上不去？
3. XX為什么前幾天數(shù)據(jù)不好，這幾天數(shù)據(jù)變這么好……

非常多和單個(gè)推薦內(nèi)容業(yè)務(wù)指標(biāo)變化有關(guān)的問題需要解答，因此，推薦部門做了一個(gè)可供查詢的內(nèi)容數(shù)據(jù)轉(zhuǎn)化平臺(tái)，便于運(yùn)營或業(yè)務(wù)同學(xué)檢測游戲的數(shù)據(jù)轉(zhuǎn)化問題對應(yīng)的原因，也便于我們發(fā)現(xiàn)推薦系統(tǒng)實(shí)際存在的問題，及時(shí)做出修改優(yōu)化。

一、背景及目的

（1）為推薦內(nèi)容提供透明化轉(zhuǎn)化漏斗查詢平臺(tái)

便于運(yùn)營/商務(wù)/廣告等多方業(yè)務(wù)查詢問題，根據(jù)游戲在每一步的過濾、轉(zhuǎn)化、在大盤中的位置等信息，便于查詢游戲在每個(gè)步驟中的內(nèi)部轉(zhuǎn)化情況，明確游戲的轉(zhuǎn)化路徑，及時(shí)做相關(guān)業(yè)務(wù)調(diào)整；

（2）根據(jù)數(shù)據(jù)異常內(nèi)容推斷推薦系統(tǒng)存在的問題，及時(shí)優(yōu)化

根據(jù)異常點(diǎn)擊率、時(shí)長、或突然大幅度變化的游戲數(shù)據(jù)，反推推薦系統(tǒng)某一步驟存在的缺陷，進(jìn)一步優(yōu)化系統(tǒng)；

（3）對比競品推薦系統(tǒng)，制定優(yōu)化方向

對比競品app中能成為頭部或熱門的內(nèi)容，對比自己平臺(tái)內(nèi)容為什么沒有推出來或沒有到達(dá)同等高度，是合作問題還是哪一步存在的問題導(dǎo)致，進(jìn)一步優(yōu)化推薦系統(tǒng)；

二、平臺(tái)實(shí)現(xiàn)邏輯

平臺(tái)主要做在superset上，主要數(shù)據(jù)邏輯如下：

（1）首先是數(shù)據(jù)收集，需要將用到的所有數(shù)據(jù)都通過推薦后端落日志生成數(shù)據(jù)，其中用到最多的就是內(nèi)容召回量統(tǒng)計(jì)和過濾量統(tǒng)計(jì)（如上圖），需要事先根據(jù)推薦流程進(jìn)行數(shù)據(jù)規(guī)劃，這一步比較重要，后面的數(shù)據(jù)診斷，都依賴這一步的數(shù)據(jù)收集；

（2）其次是數(shù)據(jù)建表，這一步需要跨部門合作大數(shù)據(jù)部門，需要將日志中的數(shù)據(jù)依照某些特定維度進(jìn)行建表，這一步主要是根據(jù)數(shù)據(jù)診斷的幾個(gè)維度進(jìn)行建表，例如內(nèi)容打分下發(fā)表、內(nèi)容召回過濾表、內(nèi)容黑名單表、內(nèi)容時(shí)長分布表、內(nèi)容打分在內(nèi)容庫的排名等等，都需要數(shù)據(jù)處理；

（3）最后是數(shù)據(jù)表匯總，需要將之前的全部數(shù)據(jù)表，以游戲和時(shí)間篩選維度匯總到一起，形成一個(gè)游戲數(shù)據(jù)查詢平臺(tái)，其本質(zhì)就是“單一內(nèi)容的多表查詢”，到這一步，平臺(tái)基本上就搭建好了。

三、平臺(tái)數(shù)據(jù)查詢的幾個(gè)維度

推薦數(shù)據(jù)診斷平臺(tái)主要是用來做內(nèi)容打分競爭力查詢、有掉量趨勢的內(nèi)容監(jiān)控及分析、有潛力的內(nèi)容找不足進(jìn)行優(yōu)化、市面上競品的內(nèi)容推出來而我們推不出來的原因查詢等。下面講幾個(gè)我們在實(shí)際使用中用到最多的幾個(gè)維度數(shù)據(jù)查詢，主要按照查詢順序講：

（1）內(nèi)容曝光人數(shù)

這一步主要是確認(rèn)內(nèi)容數(shù)據(jù)表現(xiàn)是波動(dòng)還是穩(wěn)定的，如果曝光人數(shù)較少數(shù)據(jù)很好卻推不出來，大概率是數(shù)據(jù)波動(dòng)或這一類內(nèi)容只適合小部分人群，可以去其他人群上驗(yàn)證這個(gè)問題，或進(jìn)行強(qiáng)插驗(yàn)證數(shù)據(jù)變化；

（2）內(nèi)容召回-過濾次數(shù)對比

這一步上面第二部分也講了一些，主要是看內(nèi)容是否會(huì)在某一步驟被大量過濾掉導(dǎo)致不出量，基本上在重排這一步做的某些策略會(huì)過濾掉大量的數(shù)據(jù)，以及粗排截?cái)嗟臅r(shí)候會(huì)過濾掉一部分曝光，或者命中一些現(xiàn)下的業(yè)務(wù)策略等，基本上都是這樣的情況；

（3）內(nèi)容在各模型上的打分以及轉(zhuǎn)化率

這一步是比較直觀的數(shù)據(jù)說話階段，通常會(huì)發(fā)現(xiàn)內(nèi)容的曝光起不來，多數(shù)和內(nèi)容的高點(diǎn)擊低轉(zhuǎn)化相關(guān)，或者點(diǎn)擊率太低等原因，這一步如果需要優(yōu)化，也可以聽過優(yōu)化圖標(biāo)或加角標(biāo)的方式提升點(diǎn)擊率進(jìn)一步提升轉(zhuǎn)化的方法解決；

（4）內(nèi)容下發(fā)打分排名均值

有時(shí)候，游戲的數(shù)據(jù)很好，就是不起量，這個(gè)時(shí)候，需要對比的不是模型打分，而是內(nèi)容在所有內(nèi)容打分中的排序，這個(gè)數(shù)據(jù)能夠很直觀的看到內(nèi)容在內(nèi)容庫中的排名，是靠前還是靠后，對比同位置段的內(nèi)容數(shù)據(jù)，基本差不多就不存在問題。

涉及的維度較多，就不一一展開講，這里主要是講一個(gè)查詢問題的思路，主要是需要在熟悉業(yè)務(wù)邏輯的基礎(chǔ)上展開的數(shù)據(jù)收集而生成的一個(gè)數(shù)據(jù)診斷平臺(tái)，因?yàn)闃I(yè)務(wù)不相同，大概率各公司的數(shù)據(jù)診斷都會(huì)存在差異，歡迎大家互相交流。

加油，打工人！

本文由 @王珂 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。