無論是叫“數(shù)據(jù)中臺”、“大數(shù)據(jù)平臺”或者“數(shù)據(jù)PaaS平臺”也好，名稱不重要。透過現(xiàn)象看本質(zhì)，一切的平臺構(gòu)建最終目的均要服務(wù)于業(yè)務(wù)，進(jìn)而給企業(yè)帶來價值，并力求過程中不耗費企業(yè)過多的建設(shè)和運營維護(hù)成本。

數(shù)據(jù)中臺如火如荼，不少企業(yè)客戶以及創(chuàng)業(yè)公司都在圍繞數(shù)據(jù)中臺進(jìn)行布局。

近期閱讀了很多有關(guān)阿里數(shù)據(jù)中臺的文章，包括阿里云團(tuán)隊對阿里數(shù)據(jù)中臺的解析，阿里對中臺的定義、架構(gòu)，中臺和傳統(tǒng)數(shù)倉/數(shù)據(jù)湖的區(qū)別以及阿里數(shù)據(jù)中臺建設(shè)的一些案例。

阿里的中臺建設(shè)對很多數(shù)據(jù)中臺創(chuàng)業(yè)公司具有較強的啟發(fā)意義。但創(chuàng)業(yè)公司作為一個第三方的數(shù)據(jù)中臺服務(wù)提供商，面向的是各行業(yè)的客戶需求和非標(biāo)準(zhǔn)化的業(yè)務(wù)數(shù)據(jù)類型，面臨的挑戰(zhàn)甚至更大。

本文和大家一起探討數(shù)據(jù)中臺賦能行業(yè)的話題。

數(shù)據(jù)中臺是什么？

這兩天看到譚虎、陳曉勇兩位作者寫的關(guān)于阿里云（阿里巴巴）數(shù)據(jù)中臺的詳解和阿里云公開的《阿里巴巴數(shù)據(jù)中臺實踐》，結(jié)合個人過往的見聞，寫下關(guān)于數(shù)據(jù)中臺的一些粗淺的看法。

數(shù)據(jù)中臺的概念是最早由阿里巴巴首次提出，是為了應(yīng)對內(nèi)部眾多業(yè)務(wù)部門千變?nèi)f化的數(shù)據(jù)需求和高速時效性的要求而成長起來的，它既要滿足業(yè)務(wù)部門日常性的多個業(yè)務(wù)前臺的數(shù)據(jù)需求，又要滿足像雙十一，六一八這樣的業(yè)務(wù)高峰、應(yīng)對大規(guī)模數(shù)據(jù)的線性可擴(kuò)展問題、應(yīng)對復(fù)雜活動場景業(yè)務(wù)系統(tǒng)的解耦問題，而在技術(shù)、組織架構(gòu)等方面采取的一些變革?！对斀獍⒗镌茢?shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”》

既然數(shù)據(jù)中臺來自于阿里巴巴，我們就直接來看看最近公開的《阿里巴巴數(shù)據(jù)中臺實踐》中阿里巴巴的數(shù)據(jù)中臺全景。

▲圖片來源：《阿里巴巴數(shù)據(jù)中臺實踐》

乍一看和我們見過的很多大數(shù)據(jù)處理的平臺有些類似：底層IAAS大數(shù)據(jù)計算平臺、中層數(shù)據(jù)接入管理清洗融合、上層數(shù)據(jù)接口和服務(wù)中間件，最終承載數(shù)據(jù)應(yīng)用和業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求。

誠然，從大的架構(gòu)分層來說確實和很多大數(shù)據(jù)公司的架構(gòu)類似，但數(shù)據(jù)中臺意義的并不在架構(gòu)本身。

正如文中對數(shù)據(jù)中臺的定義的說明：

阿里巴巴數(shù)據(jù)中臺是阿里云上實現(xiàn)數(shù)據(jù)智能的最佳實踐，它是由數(shù)據(jù)中臺方法論+組織+工具所組成。

數(shù)據(jù)中臺方法論采用實現(xiàn)企業(yè)數(shù)據(jù)的全局規(guī)劃設(shè)計，通過前期的設(shè)計形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、計算口徑，統(tǒng)一保障數(shù)據(jù)質(zhì)量，面向數(shù)據(jù)分析場景構(gòu)建數(shù)據(jù)模型，讓通用計算和數(shù)據(jù)能沉淀并能復(fù)用，提升計算效能；數(shù)據(jù)中臺的建設(shè)實施必須有能與之配合的組織，不僅僅相應(yīng)崗位的人員要配備齊全，而且組織架構(gòu)建設(shè)也需要對應(yīng)，有一個數(shù)據(jù)技術(shù)部門統(tǒng)籌企業(yè)的數(shù)字化轉(zhuǎn)型，數(shù)據(jù)賦能業(yè)務(wù)中形成業(yè)務(wù)模式，在推進(jìn)數(shù)字化轉(zhuǎn)型中實現(xiàn)價值；數(shù)據(jù)中臺由一系列的工具和產(chǎn)品組成，阿里云數(shù)據(jù)中臺以智能數(shù)據(jù)構(gòu)建與管理Dataphin產(chǎn)品、商業(yè)智能QuickBI工具和企業(yè)參謀產(chǎn)品為主體等一系列工具組成?！对斀獍⒗镌茢?shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”》

一個完整的數(shù)據(jù)中臺不僅僅是簡單的產(chǎn)品和技術(shù)分層，更多的是需要前期的頂層設(shè)計，多場景的數(shù)據(jù)融合和標(biāo)準(zhǔn)化，以及一個合理的組織架構(gòu)將其運營應(yīng)用好。

數(shù)據(jù)中臺價值所在

既然看起來一個好的數(shù)據(jù)中臺要應(yīng)用起來并不容易，那企業(yè)為什么會花大量精力去實施這么一套平臺呢？

這就涉及數(shù)據(jù)中臺本身能夠解決的問題和現(xiàn)有系統(tǒng)的痛點了：

1. 企業(yè)數(shù)據(jù)來源分散在多個不同的系統(tǒng)中

如阿里系就有淘寶、天貓、聚劃算等多個業(yè)務(wù)子系統(tǒng)。但如果你僅僅擁有一個或者兩個業(yè)務(wù)系統(tǒng)，花費力氣構(gòu)建一套完整的數(shù)據(jù)中臺產(chǎn)品可能讓你得不償失。

2. 不同子系統(tǒng)之間的數(shù)據(jù)存在大量復(fù)用的情況，數(shù)據(jù)相互間調(diào)用可能存在網(wǎng)狀結(jié)構(gòu)

舉個最簡單的例子，你可用淘寶賬號登錄天貓商城、支付寶的訂單支付統(tǒng)計數(shù)據(jù)需要反饋給各大商城。

▲圖片來源：《阿里巴巴數(shù)據(jù)中臺實踐》

3. 部門/人員數(shù)據(jù)之間的協(xié)作頻繁

很多數(shù)據(jù)挖掘工程師往往會自嘲是爬數(shù)工程師，而這其中最苦惱的在于運營/業(yè)務(wù)人員提出的微小的數(shù)據(jù)需求變動也往往需要重新編寫或者修改腳本、再運行，缺乏一個產(chǎn)品化的平臺快速響應(yīng)上層業(yè)務(wù)的數(shù)據(jù)需求。

4. 現(xiàn)有數(shù)據(jù)倉庫數(shù)據(jù)庫已經(jīng)無法解決的問題

現(xiàn)有的數(shù)據(jù)倉庫更多的是面向決策層，以報表或者BI的形式輸出，而數(shù)據(jù)中臺更多的是面向一系列的業(yè)務(wù)系統(tǒng)以API的方式提供給現(xiàn)有的業(yè)務(wù)系統(tǒng)使用，甚至直接開發(fā)出阿里生意參謀類似的數(shù)據(jù)化業(yè)務(wù)。

數(shù)據(jù)中臺與傳統(tǒng)數(shù)倉有很多明顯的區(qū)別：

首先表現(xiàn)在服務(wù)對象方面，傳統(tǒng)的數(shù)倉只是滿足領(lǐng)導(dǎo)數(shù)據(jù)決策的需要，因此更多的體現(xiàn)在報表輸出，使用者以小部分的業(yè)務(wù)人員和決策層為主，新需求的開發(fā)周期以月甚至到年為計。而數(shù)據(jù)中臺由于起家于互聯(lián)網(wǎng)企業(yè)，其使用對象擴(kuò)大到一線服務(wù)人員和商家企業(yè)，其業(yè)務(wù)需求更繁雜，很難用一套報表系統(tǒng)滿足需求，因此催生出一個生態(tài)的數(shù)據(jù)服務(wù)。

其次是體系架構(gòu)上，數(shù)據(jù)中臺是由多系統(tǒng)組成，除了計算平臺外，其方案由多個分布式服務(wù)系統(tǒng)提供，滿足不同業(yè)務(wù)需求和高并發(fā)和系統(tǒng)自動擴(kuò)容需求，除了大數(shù)據(jù)存儲和計算平臺外，還包含數(shù)倉建設(shè)、工作臺開發(fā)IDE、任務(wù)調(diào)度、數(shù)據(jù)同步服務(wù)、對外統(tǒng)一數(shù)據(jù)服務(wù)、資產(chǎn)管理系統(tǒng)、實時流計算平臺和開發(fā)平臺、OneID計算和查詢模塊，敏捷BI報表開發(fā)等多個組件，通過多個維度組件組成一整套方案。

再則，在服務(wù)表現(xiàn)形式上數(shù)據(jù)中臺體現(xiàn)的更多樣化，數(shù)據(jù)中臺不僅能提供報表基礎(chǔ)服務(wù)功能，而且為了滿足各個業(yè)務(wù)部門不同需求，會提供領(lǐng)導(dǎo)決策系統(tǒng)、行業(yè)分析、業(yè)務(wù)洞察、業(yè)務(wù)重塑，自助查詢等多個功能，滿足從領(lǐng)導(dǎo)層、PD、業(yè)務(wù)人員、開發(fā)人員等各個層級的需求?！对斀獍⒗镌茢?shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”》

阿里巴巴數(shù)據(jù)中臺實際實施用到的技術(shù)本身并沒有太多的秘密：數(shù)據(jù)加工處理基于Maxcompute或者Hadoop Hive和HDFS，業(yè)務(wù)數(shù)據(jù)查詢基于分布式的MPP和KV數(shù)據(jù)庫。

數(shù)據(jù)中臺更多的價值在于是在技術(shù)平臺之上構(gòu)建了幾大模塊，來賦能更多的業(yè)務(wù)部門不同角色的需求，真正實現(xiàn)了支撐業(yè)務(wù)的目的：

• 垂直數(shù)據(jù)中心(OneClick)：本質(zhì)是傳統(tǒng)數(shù)據(jù)架構(gòu)中的ETL，通過離線、實時等方式將各渠道的數(shù)據(jù)采集過來；
• 公共數(shù)據(jù)中心(OneData)：保證數(shù)據(jù)口徑的規(guī)范和統(tǒng)一，沉淀共性的數(shù)據(jù)。阿里采用的是維度建模，通過分析業(yè)務(wù)過程抽象出維度和指標(biāo)，最后匯總成所需要的倉庫模型；
• 萃取數(shù)據(jù)中心(OneID)：一套以各種ID（業(yè)務(wù)核心對象）為唯一標(biāo)識的業(yè)務(wù)中臺；
• 統(tǒng)一數(shù)據(jù)服務(wù)中間件(OneService)：以數(shù)據(jù)倉庫整合計算好的數(shù)據(jù)作為數(shù)據(jù)源，對外通過接口的方式提供數(shù)據(jù)服務(wù)。

創(chuàng)業(yè)公司面臨的5大挑戰(zhàn)

前面的觀點更多的是從企業(yè)需求和平臺建設(shè)本身來看，阿里巴巴的中臺業(yè)務(wù)最初也更多的是支撐自身不同業(yè)務(wù)線的數(shù)據(jù)需求。

而如果一家創(chuàng)業(yè)企業(yè)要給客戶提供數(shù)據(jù)中臺建設(shè)，相比阿里構(gòu)建數(shù)據(jù)中臺可能面臨更大的挑戰(zhàn)：

1. 客戶個性化需求

客戶需求的梳理，可能需要針對企業(yè)業(yè)務(wù)本身前期承擔(dān)大量的咨詢調(diào)研服務(wù)。

需求不明確，分析場景設(shè)計不合理，數(shù)據(jù)指標(biāo)和分析思路不夠能解決用戶痛點等情況，但這些都可以通過增加投入，特別是加強咨詢和調(diào)研的力度來解決這些問題?！对斀獍⒗镌茢?shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”》

而這本身也是ToB創(chuàng)業(yè)企業(yè)最容易陷入的泥潭，當(dāng)產(chǎn)品面向各行各業(yè)，甚至同一行業(yè)的不同客戶時，你需要了解客戶本身的業(yè)務(wù)，結(jié)合他們的業(yè)務(wù)幫助客戶做頂層設(shè)計，最后花費大量的人工在教育和引導(dǎo)客戶上。

2. 客戶粘性和產(chǎn)品標(biāo)準(zhǔn)化的平衡

業(yè)務(wù)的粘性往往比技術(shù)更高，不同業(yè)務(wù)的場景抽象才更能放大數(shù)據(jù)中臺的價值，以此構(gòu)建業(yè)務(wù)中臺。

但業(yè)務(wù)抽象又需要企業(yè)有非常強的業(yè)務(wù)領(lǐng)域知識，如何定義好業(yè)務(wù)的邊界。而阿里的OneID體系就是典型的業(yè)務(wù)中臺應(yīng)用之一，以ID為中心可以融合多數(shù)據(jù)源構(gòu)建多個業(yè)務(wù)底層畫像，包括商家、客戶、商品、內(nèi)容、位置等。

3. 不同行業(yè)不同客戶的擴(kuò)展性問題

數(shù)據(jù)中臺承擔(dān)的是業(yè)務(wù)數(shù)據(jù)的匯聚存儲和流轉(zhuǎn)中心。因此，創(chuàng)業(yè)企業(yè)在提供產(chǎn)品和服務(wù)的同時，不可避免得和客戶的業(yè)務(wù)數(shù)據(jù)打交道，如何在不同客戶的多樣繁雜的數(shù)據(jù)中抽象出一個通用化、可配置甚至低代碼開發(fā)工具是目前數(shù)據(jù)中臺服務(wù)商亟待解決的問題。

4. 關(guān)于產(chǎn)品出口的問題

是否給客戶做上層的數(shù)據(jù)產(chǎn)品甚至應(yīng)用系統(tǒng)？

傳統(tǒng)的數(shù)倉往往以BI或者報表作為出口，支撐企業(yè)的整體運營決策，需求比較明確。

數(shù)據(jù)中臺本身是為了支撐更多的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求，而往往有的企業(yè)可能上層系統(tǒng)并不完善或者根本沒有，甚至要求創(chuàng)業(yè)企業(yè)給提供一套完整且可能非標(biāo)的數(shù)據(jù)產(chǎn)品甚至應(yīng)用系統(tǒng)。而如果不提供的話，數(shù)據(jù)中臺的價值就沒有被充分放大；而如果提供的話，則可能產(chǎn)生大量定制化的需求。

5. 數(shù)據(jù)中臺后期如何跟進(jìn)客戶的需求變更

客戶的業(yè)務(wù)是伴隨著客戶的產(chǎn)品、營銷、市場和供應(yīng)鏈等策略實時變動的，業(yè)務(wù)系統(tǒng)的變更可能導(dǎo)致對中臺的需求也越來越高。如何在后期低成本的進(jìn)行中臺的升級和更新，讓中臺產(chǎn)品如何持續(xù)為企業(yè)產(chǎn)生價值才是中臺產(chǎn)品最終成功的關(guān)鍵。

數(shù)據(jù)中臺建設(shè)是一個循序漸進(jìn)的建設(shè)過程，數(shù)據(jù)積累和分析維度都有一個數(shù)據(jù)和知識積累，認(rèn)知的過程，和業(yè)務(wù)系統(tǒng)的“交鑰匙”工程有本質(zhì)不同，營銷，市場和供應(yīng)鏈的數(shù)據(jù)是在不斷變化中，營銷活動，產(chǎn)品也在不斷發(fā)展和更新中，因此，數(shù)據(jù)中臺建設(shè)是一個不停迭代和發(fā)展的過程，需要持續(xù)投入是數(shù)據(jù)中臺運營部門所面臨的最大的挑戰(zhàn)?！对斀獍⒗镌茢?shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”》

總之，無論是叫“數(shù)據(jù)中臺”、“大數(shù)據(jù)平臺”或者“數(shù)據(jù)PaaS平臺”也好，名稱不重要。

透過現(xiàn)象看本質(zhì)，一切的平臺構(gòu)建最終目的均要服務(wù)于業(yè)務(wù)，進(jìn)而給企業(yè)帶來價值，并力求過程中不耗費企業(yè)過多的建設(shè)和運營維護(hù)成本。

因此，企業(yè)在考慮建設(shè)數(shù)據(jù)中臺時也需要從自身需求出發(fā)，真正做到數(shù)據(jù)賦能業(yè)務(wù)。

作者：吳文超，晨山資本投資經(jīng)理；公眾號：晨山資本（ID：chenshancapital）

來源：https://mp.weixin.qq.com/s/zM5ehphndqtJ4yfdPFB6-Q

本文由 @晨山資本 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash，基于 CC0 協(xié)議