編輯導(dǎo)語：數(shù)據(jù)質(zhì)量問題，是每個數(shù)據(jù)應(yīng)用類的數(shù)據(jù)產(chǎn)品都需要時刻關(guān)注并解決的問題。本篇作者結(jié)合自己的工作經(jīng)歷與思考，跟我們分享了數(shù)據(jù)質(zhì)量問題的類型、問題產(chǎn)生的原因、如何用數(shù)據(jù)質(zhì)量監(jiān)控產(chǎn)品，一起來看一下。

數(shù)據(jù)人最常聽到，最扎心、刺耳的一句話，莫過于“你數(shù)據(jù)準(zhǔn)不準(zhǔn)?”。一次數(shù)據(jù)異常的“鍋”，可能就抵過了過去數(shù)據(jù)支撐積累的所有業(yè)務(wù)價值感知。數(shù)據(jù)質(zhì)量問題，是每個數(shù)據(jù)應(yīng)用類的數(shù)據(jù)產(chǎn)品都需要時刻關(guān)注并解決的問題。

下面的場景，你是否曾經(jīng)經(jīng)歷過?

1. 9點鐘剛開始上班，用戶群里已經(jīng)炸了鍋，營銷數(shù)據(jù)報表、經(jīng)驗概況……今天的數(shù)據(jù)怎么還沒出來啊，晨會著急看數(shù)呢。
2. CDP平臺新客大禮包營銷場景，為什么出現(xiàn)了是實為老客但系統(tǒng)判定成新客，多發(fā)的成本，損失誰來承擔(dān)啊?
3. 昨天DAU同比下降了80%，你們確認(rèn)下數(shù)據(jù)對不對，是不是數(shù)據(jù)不全啊?
4. 大數(shù)據(jù)安全法9月1日正式實行了，你們數(shù)據(jù)產(chǎn)品中怎么出現(xiàn)了用戶身份信息，你違法了啊!
5. 業(yè)務(wù)發(fā)現(xiàn)流量統(tǒng)計有個異常的峰值，被業(yè)務(wù)diss，你們數(shù)據(jù)產(chǎn)品自己不看數(shù)據(jù)嗎，沒有一點業(yè)務(wù)常識和數(shù)據(jù)sense嗎?……

BI數(shù)據(jù)分析、數(shù)據(jù)化運營等數(shù)據(jù)價值應(yīng)用類的數(shù)據(jù)產(chǎn)品，數(shù)據(jù)質(zhì)量的問題將導(dǎo)致錯誤的業(yè)務(wù)決策，或者帶來用戶體驗問題、直接的經(jīng)濟損失。因此，作為數(shù)據(jù)干飯人，要對數(shù)據(jù)產(chǎn)品的數(shù)據(jù)質(zhì)量負(fù)責(zé)，早診斷、早發(fā)現(xiàn)、早解決，防患于未然，否則，蟻穴潰堤就為時已晚。

一、數(shù)據(jù)質(zhì)量問題的類型

國際數(shù)據(jù)管理協(xié)會(DAMA)定義了數(shù)據(jù)質(zhì)量維度，結(jié)合實際的業(yè)務(wù)場景，總結(jié)數(shù)據(jù)質(zhì)量7個核心的維度：準(zhǔn)確性、及時性、完整性、合理性、一致性、唯一性、安全性。

1. 準(zhǔn)確性

準(zhǔn)確性是指，一個數(shù)據(jù)值與設(shè)定為準(zhǔn)確的值之間的一致程度，或與可接受程度之間的差異。在數(shù)據(jù)質(zhì)量評價維度里面是第一位的，數(shù)據(jù)都不準(zhǔn)，數(shù)據(jù)產(chǎn)品可視化效果再炫酷、交互體驗再絲滑，也都無濟于事。

而且準(zhǔn)確性是業(yè)務(wù)對數(shù)據(jù)團隊信任度的重要前提。當(dāng)數(shù)據(jù)產(chǎn)品呈現(xiàn)的數(shù)據(jù)多次不準(zhǔn)確后，一旦數(shù)據(jù)出現(xiàn)波動，業(yè)務(wù)第一反應(yīng)往往是數(shù)據(jù)是不是不準(zhǔn)，而不是先看是不是有業(yè)務(wù)動作產(chǎn)生的數(shù)據(jù)結(jié)果。

1）數(shù)據(jù)產(chǎn)品應(yīng)對策略：

定義數(shù)據(jù)評價標(biāo)準(zhǔn)，例如按照業(yè)務(wù)增長趨勢或模型預(yù)測，定義指標(biāo)合理的波動范圍，當(dāng)波動超出閾值后，及時預(yù)警通知數(shù)據(jù)人員，提前發(fā)現(xiàn)解決。

2. 及時性

數(shù)據(jù)從采集加工到輸出應(yīng)用，需要經(jīng)過很長的數(shù)據(jù)倉庫ETL計算、數(shù)據(jù)同步的過程，任務(wù)運行耗時、運行質(zhì)量、任務(wù)的依賴關(guān)系，都會影響數(shù)據(jù)最終產(chǎn)出的時間。

一般離線數(shù)據(jù)分析(T+1，指今天分析的是昨天的完整數(shù)據(jù))在次日凌晨12：00開始執(zhí)行任務(wù)，當(dāng)數(shù)據(jù)量大、計算耗時長、依賴任務(wù)多的任務(wù)，可能數(shù)據(jù)要在第二天下午，或者T+2才能輸出。業(yè)務(wù)上班需要看數(shù)據(jù)，數(shù)據(jù)還沒跑完，就影響業(yè)務(wù)正常的使用數(shù)據(jù)了。

數(shù)據(jù)及時性主要受大數(shù)據(jù)集群服務(wù)的穩(wěn)定性、存儲和計算資源的影響，集群資源緊張，任務(wù)搶資源時，可能會導(dǎo)致原來9點前完成的任務(wù)，到下午還沒完成。

1）數(shù)據(jù)產(chǎn)品應(yīng)對策略：

設(shè)定核心數(shù)據(jù)涉及任務(wù)的最晚就位時間監(jiān)控，但這種監(jiān)控多數(shù)是通知，因為一般資源層面的問題很難修復(fù)，以知曉為主。而數(shù)據(jù)產(chǎn)品需要制定對應(yīng)的兜底方案，例如，監(jiān)控數(shù)據(jù)任務(wù)的狀態(tài)，只有任務(wù)狀態(tài)為成功時，才展示最新日期的數(shù)據(jù)，否則仍然展示前一天的數(shù)據(jù)，并且加上對應(yīng)的交互提醒?！白蛉諗?shù)據(jù)計算中，請先查看其他日期數(shù)據(jù)”。

3. 完整性

主要包括實體缺失、屬性缺失、記錄缺失和字段值缺失四個方面。舉個例子，App用戶會基于設(shè)備ID+用戶賬號生成一個唯一uuid，在某次iOS發(fā)版后，數(shù)據(jù)報表統(tǒng)計分析發(fā)現(xiàn)iOS的DAU出現(xiàn)陡降，按照操作系統(tǒng)和app版本發(fā)現(xiàn)是新版本id生成服務(wù)異常，很多用戶uid為空，測試環(huán)節(jié)沒有覆蓋到，大量的數(shù)據(jù)統(tǒng)計才能發(fā)現(xiàn)這個問題。于是，后來針對埋點數(shù)據(jù)的核心字段，都進行了完整性監(jiān)控，從數(shù)據(jù)底層更早發(fā)現(xiàn)問題，而不是業(yè)務(wù)報表輸出。

4. 合理性

主要包括格式、類型、值域和業(yè)務(wù)規(guī)則是否合理有效。由于業(yè)務(wù)端并不會把所有用戶的交互輸入操作進行規(guī)則驗證，對于一些異常操作，會導(dǎo)致數(shù)據(jù)出現(xiàn)異常的情況。曾經(jīng)遇到過外賣BD為了完成業(yè)績獲取獎金，自己跟商家合作下大金額訂單，一筆外賣十幾萬元。這種可能就屬于不正常的數(shù)據(jù)，通過數(shù)據(jù)合理范圍的設(shè)定，可以及時抓出這些問題，由運營人員或者廉政部門進行審核。

5. 一致性

指系統(tǒng)之間的數(shù)據(jù)差異和相互矛盾的一致性，業(yè)務(wù)指標(biāo)統(tǒng)一定義，數(shù)據(jù)邏輯加工結(jié)果。數(shù)據(jù)團隊不生產(chǎn)數(shù)據(jù)，只是數(shù)據(jù)的搬運工，數(shù)據(jù)從業(yè)務(wù)系統(tǒng)同步數(shù)據(jù)倉庫，可能會由于系統(tǒng)、工具異常，導(dǎo)致數(shù)倉數(shù)據(jù)和業(yè)務(wù)端數(shù)據(jù)不一致的情況。對于數(shù)據(jù)產(chǎn)品端，主要是指同一指標(biāo)或標(biāo)簽，數(shù)據(jù)處理邏輯不一致，數(shù)據(jù)對不上。數(shù)據(jù)加工層，需要對數(shù)倉貼源層與業(yè)務(wù)數(shù)據(jù)源數(shù)據(jù)量、核心字段一致性監(jiān)控。

6. 唯一性

主要是指數(shù)據(jù)主鍵的唯一，經(jīng)常遇到數(shù)據(jù)主鍵重復(fù)，導(dǎo)致數(shù)據(jù)統(tǒng)計異常的情況。

7. 安全性

2021年9月1日數(shù)據(jù)安全法正式實行，對于用戶身份證、手機號等敏感數(shù)據(jù)是嚴(yán)謹(jǐn)明文傳輸和展示的，數(shù)據(jù)加工處理要在加密狀態(tài)進行，數(shù)據(jù)產(chǎn)品端展示明文敏感信息會帶來法律風(fēng)險。

二、數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因

導(dǎo)致數(shù)據(jù)質(zhì)量的問題多種多樣，一般可以分為業(yè)務(wù)端、技術(shù)端、基礎(chǔ)設(shè)施幾個方面：

1. 業(yè)務(wù)端

業(yè)務(wù)變動，例如新上活動頁面埋點缺失，業(yè)務(wù)源系統(tǒng)變更(源系統(tǒng)數(shù)據(jù)庫表結(jié)構(gòu)變更、源系統(tǒng)環(huán)境變更)、業(yè)務(wù)端數(shù)據(jù)輸入不規(guī)范等。

2. 技術(shù)端

數(shù)據(jù)開發(fā)流程不規(guī)范、數(shù)據(jù)質(zhì)量監(jiān)控不健全，例如數(shù)據(jù)開發(fā)任務(wù)中各種任務(wù)的流程、參數(shù)、配置等出錯，數(shù)據(jù)驗證不充分。

3. 基礎(chǔ)設(shè)施

存儲計算集群資源不足，導(dǎo)致數(shù)據(jù)處理任務(wù)失敗、延遲，從而導(dǎo)致數(shù)據(jù)輸出結(jié)果異常。

三、數(shù)據(jù)產(chǎn)品如何掌控好自己的生命線

除了數(shù)據(jù)開發(fā)者需要關(guān)注自己的數(shù)據(jù)質(zhì)量外，數(shù)據(jù)產(chǎn)品也需要對數(shù)據(jù)產(chǎn)品涉及到的數(shù)據(jù)源、任務(wù)進行過程監(jiān)控，及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。同時，在產(chǎn)品端提供異常提醒，避免數(shù)據(jù)問題帶來的錯誤決策或錯誤數(shù)據(jù)的營銷使用。

首先，基于數(shù)據(jù)血緣或線下的數(shù)據(jù)鏈路維護，找到數(shù)據(jù)產(chǎn)品用到的數(shù)據(jù)的加工鏈路。針對核心服務(wù)，保證數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則的全面覆蓋。當(dāng)數(shù)據(jù)加工環(huán)節(jié)出現(xiàn)異常時，第一時間知曉，跟進開發(fā)修復(fù)數(shù)據(jù)，并在業(yè)務(wù)端做好信息同步。

其次，在數(shù)據(jù)產(chǎn)品實現(xiàn)時，對數(shù)據(jù)指標(biāo)依賴的加工任務(wù)狀態(tài)進行判斷，一是任務(wù)成功狀態(tài)，二是及時性，當(dāng)任務(wù)失敗或延遲時，產(chǎn)品頁面上，進行兜底方案處理，例如友好的文案提示，或利用IM郵件等通知用戶。

此外，數(shù)據(jù)產(chǎn)品要和數(shù)據(jù)血緣建立聯(lián)動關(guān)系，當(dāng)業(yè)務(wù)懷疑數(shù)據(jù)異常時，可以直接從前端頁面中，一鍵找到數(shù)據(jù)指標(biāo)的加工鏈路，快速排查問題。

最后，數(shù)據(jù)團隊還需要和業(yè)務(wù)建立信息互通機制，例如參與業(yè)務(wù)周會，了解產(chǎn)品、運營等業(yè)務(wù)動作，業(yè)務(wù)變動時，可以第一時間評估對數(shù)據(jù)的影響。

四、數(shù)據(jù)產(chǎn)品的延申：數(shù)據(jù)質(zhì)量監(jiān)控產(chǎn)品

為了實現(xiàn)數(shù)據(jù)產(chǎn)品對數(shù)據(jù)質(zhì)量問題的早發(fā)現(xiàn)、早解決、早通知，最常用到的一個工具類數(shù)據(jù)產(chǎn)品就是數(shù)據(jù)質(zhì)量監(jiān)控了。即通過數(shù)據(jù)表、字段的規(guī)則配置，例如對表數(shù)據(jù)量、數(shù)據(jù)重復(fù)、字段波動、字段值等監(jiān)控規(guī)則。在數(shù)據(jù)源層發(fā)現(xiàn)質(zhì)量問題。

五、小結(jié)

數(shù)據(jù)質(zhì)量問題是數(shù)據(jù)開發(fā)人員與數(shù)據(jù)產(chǎn)品需要共同關(guān)注的問題，兩個角色是“一根繩上的螞蚱”。但實際上，往往會出現(xiàn)斷層的情況，即數(shù)據(jù)開發(fā)人員對數(shù)據(jù)輸出端：數(shù)據(jù)產(chǎn)品的關(guān)注度不夠，認(rèn)為只要自己把數(shù)據(jù)ETL做好，加一些監(jiān)控就夠了。

而數(shù)據(jù)產(chǎn)品，則以為只需要關(guān)注產(chǎn)品功能和交互，數(shù)據(jù)出來問題，那是數(shù)據(jù)開發(fā)的責(zé)任，不關(guān)注數(shù)據(jù)質(zhì)量。數(shù)據(jù)產(chǎn)品是數(shù)據(jù)價值的體現(xiàn)形式之一，應(yīng)該從產(chǎn)品出發(fā)，關(guān)注數(shù)據(jù)質(zhì)量保障流程，共同提升業(yè)務(wù)對數(shù)據(jù)團隊的信任度。

這樣，再有業(yè)務(wù)問“數(shù)據(jù)準(zhǔn)不準(zhǔn)”時，就可以更加有底氣地反問：“你們業(yè)務(wù)有調(diào)整嗎?”

#專欄作家#

數(shù)據(jù)干飯人，微信號公眾號：數(shù)據(jù)干飯人，人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領(lǐng)域，覆蓋開發(fā)套件，數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理，BI與數(shù)據(jù)可視化，精準(zhǔn)營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議