關(guān)于數(shù)據(jù)中臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別,你需要知道這些
編輯導(dǎo)讀:“中臺(tái)”是前臺(tái)和后臺(tái)的鏈接點(diǎn),將業(yè)務(wù)共同的工具和技術(shù)予以沉淀。而中臺(tái)細(xì)分下來(lái)也有很多類目,比如數(shù)據(jù)中臺(tái),很多人不知道它和數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)分析有什么區(qū)別。本文作者對(duì)此進(jìn)行了分析,與你分享。
“中臺(tái)”這個(gè)概念,是相對(duì)于前臺(tái)和后臺(tái)而生,是前臺(tái)和后臺(tái)的鏈接點(diǎn),將業(yè)務(wù)共同的工具和技術(shù)予以沉淀。相對(duì)于業(yè)務(wù)中臺(tái)來(lái)講,數(shù)據(jù)中臺(tái)跟企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性,是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀,如果在煙囪林立的各財(cái)務(wù)業(yè)務(wù)系統(tǒng)之上搭建共享的數(shù)據(jù)中臺(tái),其不僅能降低重復(fù)建設(shè)和減少煙囪式協(xié)作的成本,也是企業(yè)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)所在。
然而,當(dāng)說到數(shù)據(jù)中臺(tái)這里,很多人就有了疑問,以前沒有數(shù)據(jù)中臺(tái)這個(gè)概念時(shí),企業(yè)不是也建設(shè)了數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)分析之類的東西嗎?對(duì)比這個(gè)有什么區(qū)別?不就是換了個(gè)概念和馬甲嗎?
一、數(shù)據(jù)中臺(tái)與數(shù)倉(cāng)的區(qū)別
首先可以先看看專業(yè)的數(shù)據(jù)中臺(tái)的白皮書是怎么說的:數(shù)據(jù)中臺(tái)是一站式解決平臺(tái),從數(shù)據(jù)集成、大數(shù)據(jù)計(jì)算、數(shù)據(jù)治理、數(shù)據(jù)工具、數(shù)據(jù)模型、數(shù)據(jù)應(yīng)用、市場(chǎng)集成完整一套綜合解決方案及產(chǎn)品系列。
而數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)逐步從BI報(bào)表為主到分析為主、到預(yù)測(cè)為主、再到操作智能為目標(biāo)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的作用能實(shí)現(xiàn)跨業(yè)務(wù)條線、跨系統(tǒng)的數(shù)據(jù)整合,為管理分析和業(yè)務(wù)決策提供統(tǒng)一的數(shù)據(jù)支持。
但數(shù)據(jù)中臺(tái)從某個(gè)意義來(lái)說也屬于數(shù)倉(cāng)的一種,都是要把數(shù)據(jù)抽進(jìn)來(lái)建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。但是兩者的數(shù)據(jù)來(lái)源和建立數(shù)倉(cāng)的目標(biāo)以及數(shù)據(jù)應(yīng)用的方向都存在很大差異。
首先,從數(shù)據(jù)來(lái)源來(lái)說,數(shù)據(jù)中臺(tái)的數(shù)據(jù)來(lái)源期望是全域數(shù)據(jù)包括業(yè)務(wù)數(shù)據(jù)庫(kù),日志數(shù)據(jù),埋點(diǎn)數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等。數(shù)據(jù)的來(lái)源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。而傳統(tǒng)數(shù)倉(cāng)的數(shù)據(jù)來(lái)源主要是業(yè)務(wù)數(shù)據(jù)庫(kù),數(shù)據(jù)格式也是以結(jié)構(gòu)化數(shù)據(jù)為主。
數(shù)據(jù)中臺(tái)不單單指系統(tǒng)或者工具,而是一個(gè)職能部門,通過一系列平臺(tái)、工具、流程、規(guī)范來(lái)為整個(gè)組織提供數(shù)據(jù)資產(chǎn)管理和服務(wù)的職能部門。數(shù)據(jù)中臺(tái)負(fù)責(zé)全域數(shù)據(jù)采集、數(shù)據(jù)資產(chǎn)加工和管理、并向前臺(tái)業(yè)務(wù)部門和決策部門提供數(shù)據(jù)服務(wù)。所以,數(shù)據(jù)中臺(tái)的核心應(yīng)該是數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)賦能,通俗的講就是數(shù)據(jù)彈藥庫(kù)。
1. 數(shù)據(jù)來(lái)源不同
數(shù)據(jù)中臺(tái)的數(shù)據(jù)來(lái)源期望是全域數(shù)據(jù),包括:業(yè)務(wù)數(shù)據(jù)庫(kù),日志數(shù)據(jù),埋點(diǎn)數(shù)據(jù),爬蟲數(shù)據(jù),外部數(shù)據(jù)等,數(shù)據(jù)的來(lái)源可以是結(jié)構(gòu)化數(shù)據(jù)或者非結(jié)構(gòu)化的數(shù)據(jù)。
而傳統(tǒng)數(shù)倉(cāng)的數(shù)據(jù)來(lái)源主要是業(yè)務(wù)數(shù)據(jù)庫(kù),數(shù)據(jù)格式是以結(jié)構(gòu)化數(shù)據(jù)為主。
2. 建立的目標(biāo)不同
目標(biāo)是為了融合整個(gè)企業(yè)的全部數(shù)據(jù),打通數(shù)據(jù)之間的隔閡,消除數(shù)據(jù)標(biāo)準(zhǔn)和口徑不一致的問題。
數(shù)據(jù)中臺(tái)通常會(huì)對(duì)來(lái)自多方面的的基礎(chǔ)數(shù)據(jù)進(jìn)行清洗,按照主題域概念建立多個(gè)以事物為主的主題域。比如會(huì)員域,商品域,渠道域,門店主題域等等。
數(shù)據(jù)中臺(tái)遵循三個(gè)One的概念:One Data, One ID, One Service,就是說數(shù)據(jù)中臺(tái)不僅僅是匯聚企業(yè)各種數(shù)據(jù),而且讓這些數(shù)據(jù)遵循相同的標(biāo)準(zhǔn)和口徑,對(duì)事物的標(biāo)識(shí)能統(tǒng)一或者相互關(guān)聯(lián),并且提供統(tǒng)一的數(shù)據(jù)服務(wù)接口。就像做菜一樣,按照標(biāo)準(zhǔn)化的菜名,先把所有可能用到的材料都準(zhǔn)備好。
而傳統(tǒng)的數(shù)倉(cāng)主要用來(lái)做BI的報(bào)表,目的性很單一,只抽取和清洗相關(guān)需要使用到的基礎(chǔ)數(shù)據(jù),進(jìn)行建倉(cāng),然后再用來(lái)做領(lǐng)域分析,有的時(shí)候可能因?yàn)樾略鲆粡垐?bào)表,就要從底層到上層再做一次加工和處理。
3. 數(shù)據(jù)應(yīng)用方面不同
建立在數(shù)據(jù)中臺(tái)上的數(shù)據(jù)應(yīng)用不僅僅只是面向于BI報(bào)表,更多面向營(yíng)銷推薦,用戶畫像,AI決策分析,風(fēng)險(xiǎn)評(píng)估等。這些應(yīng)用的特點(diǎn)比較輕,容易快速開發(fā)出來(lái),因?yàn)橹匾臄?shù)據(jù)分析工作在數(shù)據(jù)中臺(tái)已經(jīng)完成并且沉淀,所以之前工作成果都能被多個(gè)應(yīng)用共享。
而傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)主要是面向報(bào)表或者高級(jí)可視化,數(shù)據(jù)應(yīng)用的建設(shè)一般是面對(duì)相對(duì)確定的主題內(nèi)容,在諸如數(shù)據(jù)建模,進(jìn)行數(shù)據(jù)追蹤與探查,深度挖掘?qū)用娲嬖谳^大的局限性。
4. 依賴平臺(tái)不同
數(shù)據(jù)中臺(tái)一般都是建立在分布式計(jì)算平臺(tái)和存儲(chǔ)平臺(tái),理論上可以無(wú)限擴(kuò)充平臺(tái)的計(jì)算和存儲(chǔ)能力。
而多數(shù)的傳統(tǒng)數(shù)倉(cāng)工具只是建立在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)和單一服務(wù)器部署的基礎(chǔ)上,一旦數(shù)據(jù)量變大,很容易出現(xiàn)存儲(chǔ)、效率、計(jì)算的問題,其后續(xù)擴(kuò)充存在較大的成本和時(shí)間。
二、數(shù)據(jù)中臺(tái)經(jīng)歷的階段
事實(shí)上,阿里巴巴很早便開始運(yùn)用中臺(tái)模式滿足業(yè)務(wù)需求,并于 2015 年正式提出中臺(tái)戰(zhàn)略。中臺(tái)戰(zhàn)略的原理是將不同業(yè)務(wù)通用的工具和技術(shù)加以沉淀,成立專門的中臺(tái)部門,這樣新的業(yè)務(wù)需求可以不再重新設(shè)計(jì),避免因重復(fù)的功能建設(shè)和維護(hù)造成資源浪費(fèi)。
構(gòu)建靈活、多變的組織機(jī)制和業(yè)務(wù)機(jī)制是阿里巴巴建立數(shù)據(jù)中臺(tái)的戰(zhàn)略核心。各行業(yè)的領(lǐng)頭企業(yè)也開始對(duì)數(shù)據(jù)中臺(tái)、數(shù)字化轉(zhuǎn)型進(jìn)行積極探索,力求以數(shù)據(jù)智能的方式實(shí)現(xiàn)生產(chǎn)經(jīng)營(yíng)的智能化和精細(xì)化管理。
2018 年 8 月末,騰訊宣布組織架構(gòu)變革,成立技術(shù)委員會(huì),未來(lái)將打造技術(shù)中臺(tái)。與此同時(shí),京東、華為、美團(tuán)等不同業(yè)務(wù)領(lǐng)域的互聯(lián)網(wǎng)公司均著手改革組織架構(gòu),積極打通數(shù)據(jù)平臺(tái),構(gòu)建數(shù)據(jù)中臺(tái)。至此,數(shù)據(jù)中臺(tái)由概念逐漸變?yōu)楝F(xiàn)實(shí),數(shù)據(jù)智能賦能業(yè)務(wù),用更低的成本、更高的效率為用戶服務(wù)的模式逐漸被認(rèn)可,數(shù)據(jù)中臺(tái)得到進(jìn)一步發(fā)展,掀起了一波數(shù)字化轉(zhuǎn)型的浪潮。
而我們從阿里數(shù)據(jù)中臺(tái)發(fā)展歷程,可以看到大概經(jīng)歷以下4個(gè)階段:
- 數(shù)據(jù)庫(kù)階段,主要是OLTP(聯(lián)機(jī)事務(wù)處理)的需求;
- 數(shù)據(jù)倉(cāng)庫(kù)階段,OLAP(聯(lián)機(jī)分析處理)成為主要需求;
- 數(shù)據(jù)平臺(tái)階段,主要解決BI和報(bào)表需求的技術(shù)問題;
- 數(shù)據(jù)中臺(tái)階段,通過系統(tǒng)來(lái)對(duì)接OLTP(事務(wù)處理)和OLAP(報(bào)表分析)的需求,強(qiáng)調(diào)數(shù)據(jù)業(yè)務(wù)化的能力;
那么,數(shù)據(jù)中臺(tái)這個(gè)階段有什么特征?
其顯著的特征就是數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng),從PB邁向了EB級(jí)別。
這個(gè)數(shù)量級(jí)的變化主要來(lái)源于IOT(物聯(lián)網(wǎng))的發(fā)展起來(lái),帶動(dòng)了視圖聲(視頻、圖像、聲音)數(shù)據(jù)的增長(zhǎng),這些數(shù)據(jù)需要視覺計(jì)算技術(shù)、圖像解析的引擎+視頻解析的引擎+音頻解析的引擎來(lái)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù);來(lái)源于線下要想和線上一樣,通過數(shù)據(jù)來(lái)改善業(yè)務(wù),就要和線上一樣能做到行為可監(jiān)測(cè),數(shù)據(jù)可收集,這是前提。
線下最大量的就是視圖聲數(shù)據(jù),依靠IOT技術(shù)和算法的進(jìn)步,最終會(huì)通過智能端來(lái)自動(dòng)化獲取數(shù)據(jù);要使用這些數(shù)據(jù),光有視覺算法和智能端也不行,還要有云來(lái)存儲(chǔ)和處理這些數(shù)據(jù),以及打通其他領(lǐng)域的數(shù)據(jù)。
綜合這個(gè)階段特征,我們看到依靠傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)方法已經(jīng)全然不能滿足企業(yè)大數(shù)據(jù)量、非結(jié)構(gòu)化、分布式存儲(chǔ)的需求。還需要基于IOT設(shè)備收集數(shù)據(jù)、基于云端存儲(chǔ)數(shù)據(jù)、基于AI算法和云計(jì)算進(jìn)行應(yīng)用。
未來(lái)的數(shù)據(jù)中臺(tái),一定是AI驅(qū)動(dòng)的數(shù)據(jù)中臺(tái)。
這個(gè)中臺(tái)包括計(jì)算平臺(tái)+算法模型+智能硬件,幫助企業(yè)去打通業(yè)務(wù)數(shù)據(jù),最終建立線上線下觸達(dá)和服務(wù)消費(fèi)者的能力。中臺(tái)不僅僅是系統(tǒng),亦是一套方法論,中臺(tái)最重要的價(jià)值在于從“管理在線”到“業(yè)務(wù)在線”。真正做到“一切業(yè)務(wù)數(shù)據(jù)化,一切數(shù)據(jù)業(yè)務(wù)化”。
本文由 @國(guó)云數(shù)據(jù) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于CC0協(xié)議。
- 目前還沒評(píng)論,等你發(fā)揮!