本文將帶你深入了解阿里巴巴如何構(gòu)建云上數(shù)據(jù)中臺，分享其背后的大數(shù)據(jù)思想發(fā)展史和具體的實施策略，引導(dǎo)你探索如何利用數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展，希望對您在數(shù)據(jù)管理和應(yīng)用方面的理解和實踐有所幫助。

近日，疫情卷土重來，原本安排的旅游出行計劃泡湯，所以還是老老實實在家看書吧，靈魂和身體總有一個要在路上，不是嗎~

接下來我們來一起讀讀《大數(shù)據(jù)大創(chuàng)新：阿里巴巴云上數(shù)據(jù)中臺之道》這本書，了解阿里建設(shè)數(shù)據(jù)中臺的由來以及如何建設(shè)數(shù)據(jù)中臺。

有跡可循的大數(shù)據(jù)思想萌芽，可追溯至1974年，當(dāng)時便有學(xué)者撰寫論文，研究如何用程序處理“大數(shù)據(jù)集”。

1991年，Bill Inmon出版了《建立數(shù)據(jù)倉庫》一束，其中首次提到了數(shù)據(jù)倉庫的定義——面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。

2003年，Google公開了內(nèi)部海量數(shù)據(jù)處理技術(shù)——基于冗余存儲機(jī)制的分布式文件系統(tǒng)GFS、用于搜索索引計算的并行處理框架MapReduce，這些促成了分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop。

2011年，EMC世界大會以“云計算相遇大數(shù)據(jù)”為主題，正式提出“大數(shù)據(jù)”的概念，同年，麥肯錫全球研究院發(fā)布報告《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》。

2017年，根據(jù)CCW的研究，全球的大數(shù)據(jù)市場規(guī)模已達(dá)到2000億美元。

而阿里在2012年開始探索在云上構(gòu)建大數(shù)據(jù)體系，云上數(shù)據(jù)中臺致力于構(gòu)建“快、準(zhǔn)、全、統(tǒng)、通”的智能大數(shù)據(jù)體系。其最終目標(biāo)為催生數(shù)據(jù)智能化，促進(jìn)業(yè)務(wù)發(fā)展與模式創(chuàng)新，數(shù)據(jù)價值變現(xiàn)乃至產(chǎn)業(yè)變革升級。

簡而言之，就是我們最常聽到的用數(shù)據(jù)來驅(qū)動業(yè)務(wù)發(fā)展。

當(dāng)然說歸說，那怎么用數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展的呢？那我們一起來看看中臺大佬阿里是怎么做的吧~

整個數(shù)據(jù)中臺包含三個層面：統(tǒng)一計算后臺、統(tǒng)一云上數(shù)據(jù)中臺、賦能業(yè)務(wù)前臺。

1. 計算中臺

計算后臺同時具有離線計算、實時計算、在線分析能力，從而讓用戶盡可能早并準(zhǔn)確地看到歷史數(shù)據(jù)。

2. 數(shù)據(jù)中臺

通過智能數(shù)據(jù)能力實現(xiàn)全局?jǐn)?shù)倉規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)連接萃取、數(shù)據(jù)運(yùn)維監(jiān)控等。這些能力需要如何構(gòu)建的呢？

首先是數(shù)據(jù)采集，采集盡可能豐富的數(shù)據(jù)，包含業(yè)務(wù)數(shù)據(jù)、服務(wù)器日志數(shù)據(jù)、埋點數(shù)據(jù)、第三方數(shù)據(jù)等。

接著進(jìn)行數(shù)據(jù)預(yù)處理，清晰、結(jié)構(gòu)化采集所得的數(shù)據(jù)后，行程垂直數(shù)據(jù)中心，即統(tǒng)一的ODS數(shù)據(jù)基礎(chǔ)層。

然后進(jìn)行數(shù)據(jù)建模研發(fā)，并處理不因組織架構(gòu)變動而輕易轉(zhuǎn)移的數(shù)據(jù)中間層，包含DWD數(shù)據(jù)明細(xì)層和DWS匯總數(shù)據(jù)中間層，它們與ODS基礎(chǔ)層一起行程公共數(shù)據(jù)中心。

最后增加數(shù)據(jù)標(biāo)準(zhǔn)，基于OneData規(guī)范構(gòu)建指標(biāo)體系，計算出復(fù)用性強(qiáng)的統(tǒng)計指標(biāo)，將其增加到公共數(shù)據(jù)中心。

基于OneEntity規(guī)范構(gòu)建標(biāo)簽體系、數(shù)據(jù)體系，將各個垂直的孤島數(shù)據(jù)連接起來，并萃取不同于統(tǒng)計指標(biāo)的精華數(shù)據(jù)，如行為標(biāo)簽、關(guān)系等，行程萃取數(shù)據(jù)中心，包括消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、商品數(shù)據(jù)體系和位置數(shù)據(jù)體系。

其最終形態(tài)可分為指標(biāo)體系和標(biāo)簽/數(shù)據(jù)體系，通常指標(biāo)體系以業(yè)務(wù)線的視角進(jìn)行劃分，如劃分電商、金融2套指標(biāo)體系；而標(biāo)簽/數(shù)據(jù)體系通常以某個實體對象視角進(jìn)行劃分，如劃分消費(fèi)者、商家數(shù)據(jù)體系。

3. 業(yè)務(wù)前臺

阿里內(nèi)部部門眾多，受眾有三大類，阿里小二、阿里客戶、社會大眾，他們基于同一數(shù)據(jù)體系，同一份可復(fù)用的數(shù)據(jù)。

阿里小二即內(nèi)部工作人員，可以使用內(nèi)部數(shù)據(jù)平臺，進(jìn)行業(yè)務(wù)數(shù)據(jù)化，包含全局?jǐn)?shù)據(jù)監(jiān)控、數(shù)據(jù)化運(yùn)營、數(shù)據(jù)植入業(yè)務(wù)等，數(shù)據(jù)平臺為其提供如下4個層次的服務(wù)。

第一層：數(shù)據(jù)工具服務(wù)

普通運(yùn)營有查看或分析業(yè)務(wù)數(shù)據(jù)的需求，所以阿里數(shù)據(jù)平臺提供了多種BI工具，如快門、小站、孔明燈等，供運(yùn)營自助獲取數(shù)據(jù)、多維分析、DIY個性化數(shù)據(jù)門戶。目前具有綜合性代表意義的是Quick BI。

第二層：專題分析服務(wù)

運(yùn)營對類目分析具有強(qiáng)烈的訴求，平臺按照分析師沉淀的成熟分析思路組織數(shù)據(jù)，幫助運(yùn)營自助分析行業(yè)異動的原因，實現(xiàn)人人都是分析師的目標(biāo)。代表產(chǎn)品有：

直播廳：輔助業(yè)務(wù)根據(jù)實時數(shù)據(jù)調(diào)整資源及分配流量

行業(yè)360：行業(yè)一體化分析產(chǎn)品，從行業(yè)視角提供360度數(shù)據(jù)披露及沉淀數(shù)據(jù)分析的思路

A+：流量分析產(chǎn)品，從流量視角積累并提供流量相關(guān)數(shù)據(jù)，包括對站點、頁面、區(qū)塊、位置瀏覽、曝光、點擊分布數(shù)據(jù)，一級資源位活動投放數(shù)據(jù)等進(jìn)行數(shù)據(jù)分析

第三層：應(yīng)用與分析服務(wù)

日常營銷活動中，需要選擇商品和商家搭建專場活動，使用黃金策這類的數(shù)據(jù)產(chǎn)品，可以完成系統(tǒng)間數(shù)據(jù)的對接，通過設(shè)定條件篩選出目標(biāo)數(shù)據(jù)，支持自助分析、調(diào)整條件，將調(diào)優(yōu)后的結(jié)果直接對接到前臺的應(yīng)用系統(tǒng)，滿足個性化推薦的需求

第四層：數(shù)據(jù)決策服務(wù)

高層管理者和決策者需要宏觀的業(yè)務(wù)數(shù)據(jù)，可沉淀的數(shù)據(jù)和豐富的趨勢來輔助決策，包括通過數(shù)據(jù)了解業(yè)務(wù)進(jìn)展、判斷當(dāng)前進(jìn)展是否合理，調(diào)整業(yè)務(wù)方向等。

阿里數(shù)據(jù)平臺提供定制化的數(shù)據(jù)產(chǎn)品，如全景洞察、高管日報等，為高層管理者提供宏觀決策分析服務(wù)，包括歷史數(shù)據(jù)規(guī)律分析、未來發(fā)展趨勢預(yù)測、全行業(yè)動態(tài)洞察等。

阿里客戶即商家、內(nèi)容創(chuàng)作者等，可以使用生意參謀。

但羅馬非一天建成的，阿里龐大的數(shù)據(jù)體系也是在不同業(yè)務(wù)驅(qū)動下，經(jīng)過4個階段的建設(shè)，才不斷完善起來。

那對于即將建設(shè)數(shù)據(jù)數(shù)據(jù)中臺的企業(yè)而言，在缺乏經(jīng)驗的情況下，如何建設(shè)適合自己的數(shù)據(jù)中臺服務(wù)呢？

接下來一章，草帽小子會繼續(xù)分享阿里云上數(shù)據(jù)中臺執(zhí)行計劃的文章，敬請關(guān)注吧~