本文先梳理了為何需要數(shù)據(jù)中臺(tái)，以及數(shù)據(jù)中臺(tái)構(gòu)建需要用到什么技術(shù)，什么平臺(tái)。

01

在談過業(yè)務(wù)中臺(tái)和數(shù)據(jù)中臺(tái)的區(qū)別后，今天再談下數(shù)據(jù)中臺(tái)。首先我們看下網(wǎng)上對(duì)于數(shù)據(jù)中臺(tái)的一個(gè)定義和說法，即：

數(shù)據(jù)中臺(tái)是指通過數(shù)據(jù)技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工，同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后，會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù)，再進(jìn)行存儲(chǔ)，形成大數(shù)據(jù)資產(chǎn)層，進(jìn)而為客戶提供高效服務(wù)。這些服務(wù)跟企業(yè)的業(yè)務(wù)有較強(qiáng)關(guān)聯(lián)性，是這個(gè)企業(yè)獨(dú)有且能復(fù)用的。

如果單獨(dú)看這個(gè)定義，那么數(shù)據(jù)中臺(tái)很容易被理解為企業(yè)里面的BI系統(tǒng)建設(shè)，包括了ODS庫和數(shù)據(jù)倉庫，同時(shí)支持OLTP和OLAP能力。也可以說是構(gòu)建企業(yè)的大數(shù)據(jù)平臺(tái)。

而今天自己想談下對(duì)數(shù)據(jù)中臺(tái)這個(gè)概念的一些理解：

首先我們要看到數(shù)據(jù)中臺(tái)是整個(gè)企業(yè)中臺(tái)戰(zhàn)略的一部分，是配合企業(yè)微服務(wù)架構(gòu)轉(zhuǎn)型和業(yè)務(wù)中臺(tái)能力構(gòu)建不可缺少的部分。

如果沒有整個(gè)中臺(tái)戰(zhàn)略，那么就不存在數(shù)據(jù)中臺(tái)，你單獨(dú)去建設(shè)大數(shù)據(jù)平臺(tái)或BI平臺(tái)就可以了。

數(shù)據(jù)中臺(tái)不是一個(gè)單純的數(shù)據(jù)技術(shù)平臺(tái)，而是一個(gè)共享數(shù)據(jù)能力提供平臺(tái)。對(duì)于數(shù)據(jù)的采集，清洗，存儲(chǔ)和加工最終都是為了開放數(shù)據(jù)服務(wù)能力。

如果說業(yè)務(wù)中臺(tái)更多的是業(yè)務(wù)能力的開發(fā)，那么數(shù)據(jù)中臺(tái)就是聚合后的數(shù)據(jù)服務(wù)能力的開放。

為何要開放數(shù)據(jù)服務(wù)能力？

這個(gè)絕對(duì)不是簡(jiǎn)單的給上層做BI來分析用的，而是這種數(shù)據(jù)服務(wù)能力需要去支撐前臺(tái)業(yè)務(wù)場(chǎng)景和業(yè)務(wù)功能的實(shí)現(xiàn)。

即這種數(shù)據(jù)服務(wù)能力需要具備一定的數(shù)據(jù)實(shí)時(shí)性要求，那么我們可能看到對(duì)于業(yè)務(wù)中臺(tái)本身也會(huì)提供數(shù)據(jù)服務(wù)能力，比如訂單中心也提供訂單查詢數(shù)據(jù)服務(wù)能力，那么兩者的區(qū)別究竟在哪里？

初步分析包括：

1. 業(yè)務(wù)中臺(tái)數(shù)據(jù)服務(wù)實(shí)時(shí)性最強(qiáng)，數(shù)據(jù)中臺(tái)數(shù)據(jù)服務(wù)準(zhǔn)實(shí)時(shí)
2. 業(yè)務(wù)中臺(tái)數(shù)據(jù)服務(wù)單一數(shù)據(jù)對(duì)象，而數(shù)據(jù)中臺(tái)數(shù)據(jù)服務(wù)可以提供關(guān)聯(lián)后多數(shù)據(jù)對(duì)象聚合后數(shù)據(jù)
3. 業(yè)務(wù)中臺(tái)數(shù)據(jù)服務(wù)包括了CRUD各種類型，但是數(shù)據(jù)中臺(tái)的數(shù)據(jù)服務(wù)一般為單一的查詢服務(wù)

02

這點(diǎn)理解清楚后，我們?cè)倩貋砭腿菀赘闱宄楹螖?shù)據(jù)中臺(tái)需要提供準(zhǔn)實(shí)時(shí)的數(shù)據(jù)服務(wù)API接口——

要看到在微服務(wù)架構(gòu)下構(gòu)建的業(yè)務(wù)中臺(tái)各個(gè)中心，按照標(biāo)準(zhǔn)的微服務(wù)架構(gòu)要求，各個(gè)中心對(duì)應(yīng)的數(shù)據(jù)庫本身也完全是獨(dú)立和拆分的，訂單中心是訂單數(shù)據(jù)庫，用戶中心是用戶數(shù)據(jù)庫，相互之間完全垂直獨(dú)立以方便應(yīng)用的靈活擴(kuò)展。

但是這種數(shù)據(jù)庫拆分帶來最大的問題就是——當(dāng)業(yè)務(wù)場(chǎng)景需要底層多個(gè)業(yè)務(wù)數(shù)據(jù)對(duì)象提供關(guān)聯(lián)后聚合后的查詢數(shù)據(jù)集的時(shí)候極不方便。

為了解決這個(gè)問題，實(shí)際上我們有兩種做法來進(jìn)行處理：

第一種：構(gòu)建一個(gè)領(lǐng)域服務(wù)層組件

即我們單獨(dú)構(gòu)建一個(gè)領(lǐng)域服務(wù)層組件或微服務(wù)模塊，來提供整合后的領(lǐng)域服務(wù)能力，這個(gè)組件如果需要提供一個(gè)關(guān)聯(lián)多個(gè)業(yè)務(wù)對(duì)象的數(shù)據(jù)集合，那么就需要調(diào)用過個(gè)API接口返回多個(gè)獨(dú)立數(shù)據(jù)集合，然后在組件業(yè)務(wù)邏輯實(shí)現(xiàn)中來完成多個(gè)數(shù)據(jù)集的整合工作。

雖然對(duì)于查詢類服務(wù)沒有分布式事務(wù)問題，但是這種方式在性能上肯定存在較大損耗，優(yōu)勢(shì)則在這種方式不用前臺(tái)訪問多次API接口服務(wù)，同時(shí)又保證了數(shù)據(jù)的實(shí)時(shí)性。

第二種：構(gòu)建數(shù)據(jù)中臺(tái)，然后提供開放數(shù)據(jù)服務(wù)能力接口

這種方式就是構(gòu)建數(shù)據(jù)中臺(tái)，在數(shù)據(jù)中臺(tái)完成業(yè)務(wù)中臺(tái)多個(gè)數(shù)據(jù)庫數(shù)據(jù)的數(shù)據(jù)采集和整合，形成一個(gè)完整的跨越的數(shù)據(jù)模型，由于有了完整的數(shù)據(jù)，因此很自然能夠提供關(guān)聯(lián)聚合數(shù)據(jù)對(duì)象服務(wù)的能力。

但是這種方式的問題也比較明顯，就是如何保證數(shù)據(jù)本身的實(shí)時(shí)性和一致性，完全的實(shí)時(shí)往往很難保證，那么如何保證數(shù)據(jù)的準(zhǔn)實(shí)時(shí)性，如何保證數(shù)據(jù)采集過程中出現(xiàn)問題而導(dǎo)致數(shù)據(jù)不一致也需要考慮。

把整個(gè)想清楚了，也就是想清楚了數(shù)據(jù)中臺(tái)的一個(gè)關(guān)鍵作用，就是提供準(zhǔn)實(shí)時(shí)的聚合數(shù)據(jù)服務(wù)能力API接口并進(jìn)行開放給前臺(tái)使用，方便前臺(tái)業(yè)務(wù)場(chǎng)景和功能的實(shí)現(xiàn)，而不是簡(jiǎn)單的提供一個(gè)供分析決策的數(shù)據(jù)庫。因此對(duì)于數(shù)據(jù)中臺(tái)的這個(gè)關(guān)鍵能力我們可以簡(jiǎn)單的理解為：

分布式ODS庫+能力開放平臺(tái)+準(zhǔn)實(shí)時(shí)數(shù)據(jù)能力提供

這個(gè)就是我們前面談到的數(shù)據(jù)中臺(tái)的一個(gè)關(guān)鍵能力提供，那么我們談到數(shù)據(jù)采集集成技術(shù)，分布式數(shù)據(jù)存儲(chǔ)，實(shí)時(shí)數(shù)據(jù)集成，數(shù)據(jù)流處理，包括類似Hadoop大數(shù)據(jù)平臺(tái)等，所有這些都是數(shù)據(jù)中臺(tái)在實(shí)現(xiàn)過程中為了滿足分布式+實(shí)時(shí)性的技術(shù)支撐。

先理解清楚為何需要數(shù)據(jù)中臺(tái)，再來搞清楚數(shù)據(jù)中臺(tái)構(gòu)建需要用到什么技術(shù)，什么平臺(tái)，整個(gè)對(duì)中臺(tái)戰(zhàn)略，中臺(tái)構(gòu)建的思考邏輯才會(huì)清楚。

本文由 @人月神話 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議