數(shù)據(jù)治理(一):動手前的建設(shè)思考
數(shù)據(jù)治理環(huán)節(jié)的存在可以幫助企業(yè)解決數(shù)據(jù)不準(zhǔn)、或者數(shù)據(jù)全生命周期的相關(guān)問題,那么企業(yè)該如何進(jìn)入數(shù)據(jù)治理環(huán)節(jié)、并搭建相應(yīng)策略?可能在開始之前,企業(yè)需要先做好內(nèi)部調(diào)研和思考。本篇文章里,作者便針對數(shù)據(jù)治理建設(shè)發(fā)表了他的見解,一起來看一下。
前言
數(shù)據(jù)治理這一概念最近越來越受到企業(yè)的關(guān)注,筆者也在兩家公司完成數(shù)據(jù)治理從0-1的建設(shè),從數(shù)據(jù)集成、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)安全、數(shù)據(jù)交換各個環(huán)節(jié)。數(shù)據(jù)治理是個大話題,包含的環(huán)節(jié)也非常多,所以拆開了多期內(nèi)容與大家共同討論。
一、定義
數(shù)據(jù)治理基本上有兩種定義。第一類【數(shù)據(jù)】治理,主要解決指標(biāo)標(biāo)準(zhǔn)、數(shù)據(jù)不準(zhǔn)的問題,解法相對于聚焦一些,應(yīng)用工具指標(biāo)管理平臺、數(shù)據(jù)質(zhì)量平臺,甚至直接由研發(fā)“人肉智能”就能夠見效。第二類數(shù)據(jù)【治理】,主要解決數(shù)據(jù)全生命周期的問題,從數(shù)據(jù)采集、數(shù)據(jù)質(zhì)量、數(shù)據(jù)應(yīng)用、數(shù)據(jù)安全、數(shù)據(jù)分享各個環(huán)節(jié)。
二、思考
數(shù)據(jù)治理是一個系統(tǒng)化且長周期的工程,雖然治理的路數(shù)和思路基本上大同小異,基本上三大抓手“組織架構(gòu)、治理工具、運(yùn)營監(jiān)控”,但是因?yàn)橄旅鎺讉€問題,所以在各企業(yè)落地的方式和形態(tài)都不太一致。
1. 角色
數(shù)據(jù)治理絕大部分都是由內(nèi)向外,在企業(yè)內(nèi)部形成閉環(huán),那我們所在部門在公司的角色是重中之重,這影響到可以獲得的支持、調(diào)動的資源、協(xié)調(diào)的部門、取得的收益。
第一類國企,那看數(shù)據(jù)治理這份工作是什么視角,是軟件部門所在的治理還是以監(jiān)察審計(jì)出發(fā),可以參考成熟的數(shù)據(jù)治理成熟度模型-DCMM去建設(shè)治理體系,不會犯錯,看當(dāng)前有多少預(yù)算,多少資源選擇性去做(下圖有些刪減,僅供參考)。
第二類私企,一般業(yè)務(wù)部門的數(shù)據(jù)團(tuán)隊(duì)進(jìn)行【數(shù)據(jù)】治理,保障數(shù)據(jù)的準(zhǔn)確性的一致性即可。而在數(shù)據(jù)中臺則考慮的更全面、更體系,筆者現(xiàn)在是數(shù)據(jù)中臺,所以后續(xù)內(nèi)容站在中臺視角講的多些,下面先簡單講講數(shù)據(jù)中臺。
數(shù)據(jù)中臺是圍繞數(shù)據(jù)從生產(chǎn)、存儲、質(zhì)量、使用、傳輸、共享、冷存儲到毀滅的全生命周期,是滿足數(shù)倉研發(fā)工程師、數(shù)據(jù)科學(xué)專家、產(chǎn)品經(jīng)理、分析師、決策管理者等不同角色對數(shù)據(jù)的應(yīng)用需求,具備海量多源異構(gòu)數(shù)據(jù)整合、實(shí)時(shí)數(shù)據(jù)計(jì)算與發(fā)布、統(tǒng)一通道數(shù)據(jù)調(diào)用與分析能力,支持高可復(fù)用、高可靠、高效的且開放型數(shù)據(jù)治理能力的數(shù)據(jù)應(yīng)用平臺。
2. 階段
從數(shù)據(jù)的價(jià)值角度來看,總結(jié)有兩個階段「業(yè)務(wù)數(shù)據(jù)化和數(shù)據(jù)業(yè)務(wù)化」,企業(yè)處于不同的階段,我們所實(shí)施的治理的步驟順序也有一定重心調(diào)整。
業(yè)務(wù)數(shù)據(jù)化實(shí)際上就是業(yè)務(wù)發(fā)生的過程形成數(shù)據(jù),比如教培行業(yè)的課中學(xué)習(xí)數(shù)據(jù)、老師授課數(shù)據(jù)、廣告投放數(shù)據(jù)等等。那這一部分治理的重心就在于數(shù)據(jù)埋點(diǎn)、數(shù)據(jù)入庫、數(shù)據(jù)存儲、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)指標(biāo),保證數(shù)據(jù)及時(shí)、完整、一致,為數(shù)據(jù)分析做好有效有效支持。
數(shù)據(jù)業(yè)務(wù)化實(shí)際上就是數(shù)據(jù)加工后,從中找出規(guī)劃后反哺業(yè)務(wù)。比如音樂平臺,根據(jù)用戶之前的聽歌記錄,通過算法判斷用戶的喜好,推送歌單給用戶,提升用戶的粘性和留存。亦如電商平臺根據(jù)客戶的歷史購買記錄,給客戶推薦商品。這個階段重點(diǎn)治理數(shù)據(jù)倉庫、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)分析、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用等,釋放數(shù)據(jù)價(jià)值。
三、價(jià)值
如何評估數(shù)據(jù)治理的價(jià)值呢?這往往也是令我們最頭疼的,本質(zhì)上來講數(shù)據(jù)治理的價(jià)值就是降本增效、控質(zhì)提安、賦能決策,治理的收益有很多,但是要知道的是上面想拿哪些收益,這也是影響治理的重要性和執(zhí)行力度的關(guān)鍵。
1. 降本
成本一般由四部分構(gòu)成,分別是采集、計(jì)算、存儲、應(yīng)用。
降本是這里面收益最直觀、見效最快、最好衡量,畢竟和Money掛鉤,這四部分收益最快的存儲>計(jì)算>應(yīng)用>采集。
存儲可以直接采用下服務(wù)、刪除冗余數(shù)據(jù)等手段,衡量的指標(biāo)可以直接用“存儲節(jié)約TB/元”。
計(jì)算可以在有限的資源里去合理的分配,或者使用監(jiān)控手段,比如一條計(jì)算大約多少錢,當(dāng)然這一部分有明確的業(yè)務(wù)預(yù)算和高層的支持。
應(yīng)用和采集是相對不好拿收益,采集是大數(shù)據(jù)的源頭,理論來講其實(shí)是越多越好,而應(yīng)用是最終服務(wù)的呈現(xiàn),治理的話牽一發(fā)動全身,還需慎重。
2. 增效
增效的角度可以從查詢效率、查詢時(shí)間、時(shí)間成本都可以作為治理收益。比如我查詢數(shù)據(jù)之前要用一個小時(shí),現(xiàn)在用十五分鐘。
3. 控質(zhì)
從數(shù)據(jù)質(zhì)量角度出發(fā),數(shù)據(jù)故障率、數(shù)據(jù)及時(shí)率、數(shù)據(jù)完整率等指標(biāo)進(jìn)行監(jiān)控。
4. 提安
安主要是講數(shù)據(jù)的安全,數(shù)據(jù)安全可以從風(fēng)險(xiǎn)項(xiàng)、數(shù)據(jù)安全覆蓋率、數(shù)據(jù)脫敏等角度出發(fā)。
“安全無小事,責(zé)任終于山”,安全這個方向要么不出事要么就是出大事,所以數(shù)據(jù)一定要監(jiān)控留痕,以防事后追責(zé)。最近行業(yè)內(nèi)安全事故層出不窮,各個企業(yè)也都越來越重視。
5. 賦能決策
這個方向比較長效,串聯(lián)部門也多,更需要深入業(yè)務(wù),比如數(shù)據(jù)模型、畫像標(biāo)簽直接帶來的收益,還有一種思路比如說不同數(shù)據(jù)源它的業(yè)務(wù)產(chǎn)生的價(jià)值區(qū)別。
四、策略
對內(nèi)有的時(shí)候治理規(guī)則太多,不能落地,導(dǎo)致大而全,沒辦法集中資源,拿不到有效的收益。對外有的時(shí)候治理規(guī)則太多,不能落地,畢竟需要很多團(tuán)隊(duì)參與,效率協(xié)同也很重要。
1. 體系
所有數(shù)據(jù)治理體系已經(jīng)很成熟了,阿里云的dataworks、華為云的DataArts Studio等,但是如果采用自建數(shù)據(jù)體系,一定不能因?yàn)橹卫矶卫恚獜膶?shí)際出發(fā),找到企業(yè)自身痛點(diǎn),確定優(yōu)先級。
2. 組織
首先,在做數(shù)據(jù)治理前重中之重一定要有高層的支持,自上而下的去推動,否則只是停留在口號階段。其次,數(shù)據(jù)治理誰負(fù)責(zé)?誰執(zhí)行?從筆者公司的數(shù)據(jù)中臺角度來說,建立數(shù)據(jù)體系,平臺工具,最終由業(yè)務(wù)數(shù)據(jù)團(tuán)隊(duì)協(xié)同配合和使用。
數(shù)據(jù)委員會的建立,一般是有企業(yè)的高級管理者組成,負(fù)責(zé)數(shù)據(jù)戰(zhàn)略創(chuàng)建和批準(zhǔn),負(fù)責(zé)項(xiàng)目、政策、授權(quán)的制定和協(xié)同。
數(shù)據(jù)治理小組一般是負(fù)責(zé)人角色,負(fù)責(zé)整理體系的方案構(gòu)建、平臺落地、評估規(guī)劃。
業(yè)務(wù)治理團(tuán)隊(duì)一般是執(zhí)行者角色,使用平臺工具按照標(biāo)準(zhǔn)規(guī)范生產(chǎn)加工數(shù)據(jù),根據(jù)評估體系來治理數(shù)據(jù)所存在的問題。
協(xié)同團(tuán)隊(duì)一般財(cái)務(wù)、hr團(tuán)隊(duì),給予數(shù)據(jù)治理資源的協(xié)調(diào)和支持。
3. 運(yùn)營
數(shù)據(jù)治理不是一個 “階段性項(xiàng)目”,而是一個“可持續(xù)的運(yùn)營項(xiàng)目”。針對企業(yè)存儲、規(guī)范、質(zhì)量、資源、安全、價(jià)值等六個方面形成數(shù)據(jù)治理評估體系,可以采用健康分的形式,以現(xiàn)存的問題為驅(qū)動的理念,覆蓋事前、事中、事后的全鏈路主動式數(shù)據(jù)治理和治理評估。
五、總結(jié)
數(shù)據(jù)治理是一個大工程,所以在動手之前要做好充足的思考和調(diào)研,所以也就有了此篇文章,后續(xù)數(shù)據(jù)治理章節(jié)會以平臺工具為話題去安排,按照體系中的架構(gòu)圖,包含指標(biāo)管理平臺、數(shù)據(jù)質(zhì)量監(jiān)控平臺、數(shù)據(jù)地圖、數(shù)據(jù)安全中心等。
本文由 @芥末先生 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于 CC0 協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
- 目前還沒評論,等你發(fā)揮!