如何構(gòu)建企業(yè)級(jí)數(shù)據(jù)治理體系?
編輯導(dǎo)讀:數(shù)據(jù)治理是指企業(yè)的數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等領(lǐng)域的建設(shè)和管理的全流程。作為一個(gè)數(shù)據(jù)工作者,無論公司數(shù)據(jù)體量大或小,都應(yīng)該具備數(shù)據(jù)治理的能力。本文從自身經(jīng)驗(yàn)出發(fā),分析如何構(gòu)建企業(yè)級(jí)數(shù)據(jù)治理體系,希望對(duì)你有幫助。
通常我在做數(shù)據(jù)架構(gòu)的時(shí)候,都會(huì)在旁邊加一個(gè)“數(shù)據(jù)治理”。但是吧,大多數(shù)時(shí)候都只是寫寫而已。因?yàn)檫@個(gè)數(shù)據(jù)治理太費(fèi)勁了,短期內(nèi)吃力不討好,長期才能見效,但是又不足為外人道也。就像是好媳婦把家里拾掇的干干凈凈利利索索的,外人看來,最多夸一句“家里真干凈”,卻不會(huì)說你這是大才。
上圖是數(shù)據(jù)架構(gòu)示例,數(shù)據(jù)治理是其中非常重要的一部分。它的意義決定了上層應(yīng)用的可用性,甚至決定了項(xiàng)目的成敗。很多數(shù)據(jù)項(xiàng)目建完之后,老板都有一個(gè)非常顯著的感覺:花幾十萬建的系統(tǒng),還沒有秘書好用。這是為啥呢?
一、“數(shù)據(jù)治理”到底有什么用?
一句話解釋:“數(shù)據(jù)治理”往大了說,是進(jìn)行企業(yè)的數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等領(lǐng)域的建設(shè)和管理的全流程;往小了說,是在數(shù)據(jù)管理和使用層面之上進(jìn)行規(guī)劃、監(jiān)督和控制。
嗯,你理解的沒錯(cuò),通常在數(shù)據(jù)體量較大的公司,數(shù)據(jù)治理才會(huì)被提上桌面。但是作為一個(gè)數(shù)據(jù)工作者,我認(rèn)為無論你有多少數(shù)據(jù)–哪怕只是記手賬–都需要進(jìn)行數(shù)據(jù)治理。一個(gè)追求完美的數(shù)據(jù)工作者,應(yīng)該要有數(shù)據(jù)潔癖。
二、“數(shù)據(jù)治理”應(yīng)該做什么?
其實(shí)絕大多數(shù)事情,早已經(jīng)有無數(shù)人在研究,也有很多的研究成果。稍微收集一下就會(huì)有很多很多的資料。
目前國內(nèi)外數(shù)據(jù)治理的理論及規(guī)范:
國外:
- CWM 1.1
- MOF
- DAMA- DMBok
- DMM
國內(nèi):
- DMCM
- DCMM
在數(shù)據(jù)質(zhì)量國家標(biāo)準(zhǔn)《GB/T 36073-2018》數(shù)據(jù)管理能力成熟度評(píng)估模型中定義,應(yīng)該從數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)生命周期、數(shù)據(jù)應(yīng)用、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等八大方面進(jìn)行評(píng)估。
在《DAMA-DMBOK職能框架》中,定義了10個(gè)主要的數(shù)據(jù)管理職能:
這兩張圖可以貼到你的ppt里面去,讓你的領(lǐng)導(dǎo)看看數(shù)據(jù)治理是一個(gè)多么龐大的體系。
三、“數(shù)據(jù)治理”應(yīng)該怎么做?
偷偷告訴你一個(gè)小技巧,有一個(gè)大帽子蓋在前面,就方便咱做事,這招屢試不靈。
前面兩張圖,給你提供了一個(gè)巨大的帽子,但是怎么落實(shí)呢?這就可大可小,隨心控制了。
我再給你扔一張圖:
如果,你的公司啥都沒有,就幾個(gè)數(shù)據(jù)工程師。老板說要建數(shù)據(jù)中臺(tái),那么你有兩種選擇:離職;堅(jiān)持,一定要堅(jiān)持,堅(jiān)持看完整個(gè)項(xiàng)目的失敗,這樣你就能經(jīng)歷一個(gè)完整的失敗案例。
扯回來。如果公司要讓你做數(shù)據(jù)治理、數(shù)據(jù)管理、數(shù)據(jù)戰(zhàn)略等事情,你就照著上面的表格去寫就好了。
第一階段:其實(shí)就是各種規(guī)劃
- 首要的事情肯定是組織保障,啥話不說,先招幾十號(hào)人來,人越多,你的位置越穩(wěn)(來自于互聯(lián)網(wǎng)摸魚大法,笑^_^);
- 然后是各種流程、標(biāo)準(zhǔn)、制度建設(shè),數(shù)據(jù)安全管理制度、數(shù)據(jù)處理流程、數(shù)據(jù)提取流程、元數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn)等。
- 還有各種摸底,數(shù)據(jù)資源梳理、數(shù)據(jù)需求梳理等等。
第二階段:其實(shí)就是各種建設(shè)
- 根據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)標(biāo)準(zhǔn),建設(shè)元數(shù)據(jù)、主數(shù)據(jù)
- 根據(jù)數(shù)據(jù)處理流程、數(shù)據(jù)提取流程、數(shù)據(jù)需求梳理結(jié)果,建設(shè)各種固定報(bào)表、即席查詢等內(nèi)容
- 根據(jù)數(shù)據(jù)資源梳理結(jié)果,進(jìn)行數(shù)倉的規(guī)劃和建設(shè)
第三階段:其實(shí)就是上各種平臺(tái)
- 建設(shè)數(shù)據(jù)地圖、血緣分析、數(shù)據(jù)資產(chǎn)目錄等,將數(shù)據(jù)資產(chǎn)化
- 進(jìn)行數(shù)據(jù)開放,進(jìn)行各種AI探索
- 其實(shí)上面的建完了,基本上能打通的也都打通了,能統(tǒng)一的也都統(tǒng)一了,再加上一些統(tǒng)一管控的服務(wù),數(shù)據(jù)中臺(tái)也就差不多順理成章,做好了
四、數(shù)據(jù)治理能不能一步到位?
看你是從哪一步開始走了。
如果你公司有成建制的數(shù)據(jù)團(tuán)隊(duì),早就已經(jīng)拉平認(rèn)知、統(tǒng)一定義,流程規(guī)范,制度嚴(yán)謹(jǐn),技術(shù)先進(jìn),投入有保障,那沒問題,只要稍微組織一下相關(guān)知識(shí)的學(xué)習(xí),做個(gè)半年規(guī)劃,投入人力物力,肯定一步到位。
如果你公司就3、5個(gè)數(shù)據(jù)工程師,那么你有兩個(gè)選擇,離職;堅(jiān)持看完整個(gè)項(xiàng)目的失敗。對(duì)了,上面好像講過了。
你問我為啥這么肯定?因?yàn)槲医?jīng)歷過~~
地基不穩(wěn),無異于泥塘之中起高樓,能做起來簡直是奇跡!
五、數(shù)據(jù)治理全景圖
好了,最后放一張數(shù)據(jù)治理全景圖,鎮(zhèn)樓!
轉(zhuǎn)發(fā),點(diǎn)贊,在看,安排一下?
作者:大數(shù)據(jù)架構(gòu)師,國藥國華大數(shù)據(jù)總監(jiān),擅長BI、數(shù)倉、數(shù)據(jù)中臺(tái)產(chǎn)品規(guī)劃領(lǐng)域,公眾號(hào):大數(shù)據(jù)架構(gòu)師
本文由 @大數(shù)據(jù)架構(gòu)師 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于 CC0 協(xié)議
你好,我們這有個(gè)數(shù)據(jù)治理規(guī)劃需求,看看如何合作,13529260708.
老師好,有個(gè)我遇到的問題想請(qǐng)教下:
現(xiàn)發(fā)現(xiàn)負(fù)責(zé)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)準(zhǔn)確性不高,無法支持用戶日常分析和領(lǐng)導(dǎo)管理決策,因此用戶也想著要做出改變,做所謂的數(shù)據(jù)治理,提升數(shù)據(jù)準(zhǔn)確性。按您的框架,是否適用于我們這種場景和訴求呢,謝謝
DAMA的框架是一個(gè)通用的框架。傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)企業(yè)都在參考這個(gè)體系。
不過您這個(gè)描述有些奇怪,業(yè)務(wù)系統(tǒng)數(shù)據(jù)準(zhǔn)確性不高,這不應(yīng)該吧?畢竟業(yè)務(wù)系統(tǒng)的基本要求就是記錄真實(shí)的業(yè)務(wù)情況啊!好比你去某寶買個(gè)東西,你的訂單必須是準(zhǔn)確的?。?/p>
供應(yīng)商以某種方式拿到零售門店的銷售數(shù)據(jù)。這個(gè)過程,零售門店給的數(shù)據(jù)會(huì)存在數(shù)據(jù)質(zhì)量很差的情況。
只有4個(gè)java后端和2個(gè)前端,沒有數(shù)據(jù)工程師,咋搞?
具體的數(shù)據(jù)治理工作不是開發(fā)的事情。
我理解你說的是數(shù)據(jù)治理產(chǎn)品自研的工作吧?如果是,那么只要有數(shù)據(jù)產(chǎn)品經(jīng)理給你規(guī)劃數(shù)據(jù)治理產(chǎn)品需求,你們按需求開發(fā)各種產(chǎn)品就好了。這跟數(shù)據(jù)治理本身就沒關(guān)系了。
和樓主同樣情況,而我是那個(gè)產(chǎn)品經(jīng)理(并不懂?dāng)?shù)據(jù)),咋切入?