企業(yè)想要建設(shè)數(shù)據(jù)中臺(tái)?先想想自己有沒(méi)有這個(gè)底子!
編輯導(dǎo)讀:自從阿里提出中臺(tái)概念后,各行各業(yè)不斷推出了中臺(tái)的應(yīng)用與落實(shí),著手?jǐn)?shù)據(jù)中臺(tái)的建設(shè)。但是,數(shù)據(jù)中臺(tái)目前還沒(méi)有一個(gè)統(tǒng)一的定義,對(duì)于數(shù)據(jù)中臺(tái)是什么、有什么價(jià)值、怎么建設(shè),各行各業(yè)仍需結(jié)合實(shí)踐去探索。
那如果企業(yè)想要做數(shù)據(jù)項(xiàng)目,想要構(gòu)建數(shù)據(jù)中臺(tái),該怎么開(kāi)始呢?本文作者對(duì)此展開(kāi)了分析探討,一起來(lái)看看~
最近數(shù)據(jù)中臺(tái)很火,接觸的很多企業(yè)都在提這個(gè)東西。然而,很多連數(shù)據(jù)基礎(chǔ)都沒(méi)有、仍然處在數(shù)據(jù)孤島階段的企業(yè),上來(lái)就說(shuō)我今年要做數(shù)據(jù)中臺(tái)項(xiàng)目,這實(shí)際上是因?yàn)榇蠹叶荚谧窡狳c(diǎn),而沒(méi)有真正搞明白這個(gè)名詞的含義。
那么,數(shù)據(jù)中臺(tái)到底是什么?它和數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)又有什么區(qū)別呢?
首先,國(guó)內(nèi)的數(shù)據(jù)中臺(tái)興起,大多是因?yàn)榘⒗锇桶偷鸟R老師提出的”大中臺(tái)、小前臺(tái)”的口號(hào)。所以,我們先來(lái)看看阿里對(duì)數(shù)據(jù)中臺(tái)的定義。
一、數(shù)據(jù)中臺(tái)是什么
數(shù)據(jù)中臺(tái)是指通過(guò)數(shù)據(jù)技術(shù),對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑。數(shù)據(jù)中臺(tái)把數(shù)據(jù)統(tǒng)一之后,會(huì)形成標(biāo)準(zhǔn)數(shù)據(jù),再進(jìn)行存儲(chǔ),形成大數(shù)據(jù)資產(chǎn)層,進(jìn)而為客戶(hù)提供高效服務(wù)。
這些服務(wù)跟企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性,是這個(gè)企業(yè)獨(dú)有的且能復(fù)用的,它是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀,其不僅能降低重復(fù)建設(shè)、減少煙囪式協(xié)作的成本,也是差異化競(jìng)爭(zhēng)優(yōu)勢(shì)所在。
廣義的數(shù)據(jù)中臺(tái)包括了數(shù)據(jù)技術(shù),比如對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工的一系列技術(shù)集合,今天談到的數(shù)據(jù)中臺(tái)包括數(shù)據(jù)模型,算法服務(wù),數(shù)據(jù)產(chǎn)品,數(shù)據(jù)管理等等,和企業(yè)的業(yè)務(wù)有較強(qiáng)的關(guān)聯(lián)性,是企業(yè)獨(dú)有的且能復(fù)用的,比如企業(yè)自建的2000個(gè)基礎(chǔ)模型,300個(gè)融合模型,5萬(wàn)個(gè)標(biāo)簽。它是企業(yè)業(yè)務(wù)和數(shù)據(jù)的沉淀,其不僅能降低重復(fù)建設(shè),減少煙囪式協(xié)作的成本,也是差異化競(jìng)爭(zhēng)優(yōu)勢(shì)所在。
二、數(shù)據(jù)中臺(tái)的價(jià)值
1. 數(shù)據(jù)復(fù)用
浙江移動(dòng)已經(jīng)將2000個(gè)基礎(chǔ)模型作為所有數(shù)據(jù)服務(wù)開(kāi)發(fā)的基礎(chǔ),這些基礎(chǔ)模型做到了“書(shū)同文,車(chē)同軌”,無(wú)論應(yīng)用的數(shù)據(jù)模型有多復(fù)雜,總是能溯源到2000張基礎(chǔ)表,這奠定了數(shù)據(jù)核對(duì)和認(rèn)知的基礎(chǔ),最大程度的避免了“重復(fù)數(shù)據(jù)抽取和維護(hù)帶來(lái)的成本浪費(fèi)。
曾經(jīng)企業(yè)的數(shù)據(jù)抽取就有多份,報(bào)表一份,數(shù)據(jù)倉(cāng)庫(kù)一份,地市集市一份,無(wú)論是抽取壓力、維護(hù)難度及數(shù)據(jù)一致性要求都很高。同時(shí),統(tǒng)一的基礎(chǔ)模型將相關(guān)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)做了很好的匯聚,解決了數(shù)據(jù)互通的訴求,這點(diǎn)的意義巨大,誰(shuí)都知道數(shù)據(jù)1+1>2的意思。
2. 沉淀業(yè)務(wù)模型
在企業(yè)內(nèi),無(wú)論是專(zhuān)題、報(bào)表或取數(shù),當(dāng)前基本是煙囪式數(shù)據(jù)生產(chǎn)模式或者是項(xiàng)目制建設(shè)方式,無(wú)法形成標(biāo)準(zhǔn)化統(tǒng)一業(yè)務(wù)模型,無(wú)法沉淀和共享也就無(wú)法迭代生長(zhǎng),從而造成模型不能真正成為可重用的組件,無(wú)法支撐數(shù)據(jù)分析的快速響應(yīng)和創(chuàng)新。
只有在迭代生長(zhǎng)中的業(yè)務(wù)模型才能從最初的單一字段,逐漸完善形成為企業(yè)最為寶貴的統(tǒng)一模型資產(chǎn)和統(tǒng)一數(shù)據(jù)資產(chǎn)。
以報(bào)表為例:
企業(yè)報(bào)表成千上萬(wàn)的原因往往也是沒(méi)有沉淀造成的,針對(duì)一個(gè)業(yè)務(wù)報(bào)表,由于不同的業(yè)務(wù)人員提出的角度不同,會(huì)幻化出成百上千的報(bào)表。
如果有報(bào)表中臺(tái)的概念,就可以提出一些基準(zhǔn)報(bào)表的原則,比如一個(gè)業(yè)務(wù)一張報(bào)表,已經(jīng)有的業(yè)務(wù)報(bào)表只允許修改而不允許新增,自然老報(bào)表就會(huì)由于新的需求而不斷完善,從而能演化成企業(yè)的基礎(chǔ)報(bào)表目錄。否則就是一堆報(bào)表的堆砌,后續(xù)的數(shù)據(jù)一致性問(wèn)題層出不窮,管理成本急劇增加,人力投入越來(lái)越多,這樣的事情在每個(gè)企業(yè)都在發(fā)生。
3. 數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新
我們都知道,以往的業(yè)務(wù)決策,大多是憑經(jīng)驗(yàn)拍腦袋的,現(xiàn)如今,數(shù)據(jù)的價(jià)值和重要性不言而喻。企業(yè)的管理者在做決策時(shí),越來(lái)越想要先看數(shù)據(jù)。所以,好的數(shù)據(jù)基礎(chǔ),是決策和創(chuàng)新的加速器。
而現(xiàn)在市場(chǎng)競(jìng)爭(zhēng)如此激烈的大環(huán)境,不但需要企業(yè)做出正確的決策,效率和執(zhí)行力也是關(guān)乎存亡的,數(shù)據(jù)中臺(tái)即是數(shù)據(jù)創(chuàng)新效率的保障。
研究過(guò)機(jī)器學(xué)習(xí)的都知道,沒(méi)有好的規(guī)整數(shù)據(jù),數(shù)據(jù)準(zhǔn)備的過(guò)程極其冗長(zhǎng),這也是數(shù)據(jù)倉(cāng)庫(kù)模型的一個(gè)核心價(jià)值所在,比如運(yùn)營(yíng)商中要獲取3個(gè)月的ARPU數(shù)據(jù),如果沒(méi)有融合模型的支撐,得自己從賬單一層層匯總及關(guān)聯(lián),速度可想而知。
在如今的互聯(lián)網(wǎng)時(shí)代,企業(yè)都在全力謀求轉(zhuǎn)型,轉(zhuǎn)型的關(guān)鍵是要具備跟互聯(lián)網(wǎng)公司一樣的快速創(chuàng)新能力,大數(shù)據(jù)是其中一個(gè)核心驅(qū)動(dòng)力,但擁有大數(shù)據(jù)還是不夠的,數(shù)據(jù)中臺(tái)的能力往往最終決定速度,擁有速度意味著試錯(cuò)成本很低,意味著可以再來(lái)一次。
4. 數(shù)據(jù)中臺(tái)孕育新型人才
原來(lái)新員工入職要獲得成長(zhǎng),一是靠人帶,二是找人問(wèn),三是自己登陸各種系統(tǒng)去看源代碼、了解各系統(tǒng)底層數(shù)據(jù)結(jié)構(gòu),這樣的學(xué)習(xí)比較支離破碎,其實(shí)很難了解全貌,無(wú)法知道什么東西對(duì)于企業(yè)是最重要的,獲得的文檔資料也往往也是過(guò)了時(shí)的。
現(xiàn)在有了數(shù)據(jù)中臺(tái),很多成長(zhǎng)問(wèn)題就能解決,有了基礎(chǔ)模型,新人可以系統(tǒng)的學(xué)習(xí)企業(yè)有哪些基本數(shù)據(jù)能力,O域數(shù)據(jù)的增加更是讓其有更廣闊的視野,有了融合模型,新人可以知道有哪些主題域,從主題域切入去全局的理解公司的業(yè)務(wù)概念,有了標(biāo)簽庫(kù),新人可以獲得前人的所有智慧結(jié)晶,有了數(shù)據(jù)管理平臺(tái),新人能清晰的追溯數(shù)據(jù)、標(biāo)簽和應(yīng)用的來(lái)龍去脈,所有的知識(shí)都是在線的,最新的,意味著新人的高起點(diǎn)。
更為關(guān)鍵的是,數(shù)據(jù)中臺(tái)讓新人擺脫了在起步階段對(duì)于導(dǎo)師的過(guò)渡依賴(lài),能快速的融入團(tuán)隊(duì),在前人的基礎(chǔ)上進(jìn)行創(chuàng)新。數(shù)據(jù)中臺(tái)天然的統(tǒng)一,集成的特性,有可能讓新人打破點(diǎn)線的束縛,快速構(gòu)筑起自己的知識(shí)體系,成為企業(yè)數(shù)據(jù)領(lǐng)域的專(zhuān)家。
三、數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)的關(guān)鍵區(qū)別是什么?
認(rèn)可了數(shù)據(jù)中臺(tái)的價(jià)值,我們自然是想要去快速搭建,然后真正去規(guī)劃建設(shè)的時(shí)候,我們會(huì)發(fā)現(xiàn),數(shù)據(jù)中臺(tái)的建設(shè)和數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)是有重合的,這就需要我們充分理解三者的區(qū)別。
1. 數(shù)據(jù)中臺(tái)
- 數(shù)據(jù)中臺(tái)是企業(yè)級(jí)的邏輯概念,體現(xiàn)企業(yè) D2V(Data to Value)的能力,為業(yè)務(wù)提供服務(wù)的主要方式是數(shù)據(jù) API;
- 數(shù)據(jù)中臺(tái)距離業(yè)務(wù)更近,為業(yè)務(wù)提供速度更快的服務(wù);
- 數(shù)據(jù)中臺(tái)可以建立在數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)平臺(tái)之上,是加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價(jià)值的過(guò)程的中間層
2. 數(shù)據(jù)倉(cāng)庫(kù)
- 數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)相對(duì)具體的功能概念,是存儲(chǔ)和管理一個(gè)或多個(gè)主題數(shù)據(jù)的集合,為業(yè)務(wù)提供服務(wù)的方式主要是分析報(bào)表。
- 數(shù)據(jù)倉(cāng)庫(kù)是為了支持管理決策分析,而數(shù)據(jù)中臺(tái)則是將數(shù)據(jù)服務(wù)化之后提供給業(yè)務(wù)系統(tǒng),不僅限于分析型場(chǎng)景,也適用于交易型場(chǎng)景;
- 數(shù)據(jù)倉(cāng)庫(kù)具有歷史性,其中存儲(chǔ)的數(shù)據(jù)大多是結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)并非企業(yè)全量數(shù)據(jù),而是根據(jù)需求針對(duì)性抽取的,
- 因此數(shù)據(jù)倉(cāng)庫(kù)對(duì)于業(yè)務(wù)的價(jià)值是各種各樣的報(bào)表,但這些報(bào)表又無(wú)法實(shí)時(shí)產(chǎn)生。數(shù)據(jù)倉(cāng)庫(kù)報(bào)表雖然能夠提供部分業(yè)務(wù)價(jià)值,但不能直接影響業(yè)務(wù)。
3. 大數(shù)據(jù)平臺(tái)
- 大數(shù)據(jù)平臺(tái)是在大數(shù)據(jù)基礎(chǔ)上出現(xiàn)的融合了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)基礎(chǔ)平臺(tái),為業(yè)務(wù)提供服務(wù)的方式主要是直接提供數(shù)據(jù)集;
- 大數(shù)據(jù)平臺(tái)的出現(xiàn)是為了解決數(shù)據(jù)倉(cāng)庫(kù)不能處理非結(jié)構(gòu)化數(shù)據(jù)和報(bào)表開(kāi)發(fā)周期長(zhǎng)的問(wèn)題,所以先撇開(kāi)業(yè)務(wù)需求、把企業(yè)所有的數(shù)據(jù)都抽取出來(lái)放到一起,成為一個(gè)大的數(shù)據(jù)集,其中有結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。
- 當(dāng)業(yè)務(wù)方有需求的時(shí)候,再把他們需要的若干個(gè)小數(shù)據(jù)集單獨(dú)提取出來(lái),以數(shù)據(jù)集的形式提供給數(shù)據(jù)應(yīng)用。
綜上,我們會(huì)發(fā)現(xiàn),數(shù)據(jù)中臺(tái)是在數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)的基礎(chǔ)上,將數(shù)據(jù)生產(chǎn)為為一個(gè)個(gè)數(shù)據(jù) API 服務(wù),以更高效的方式提供給業(yè)務(wù),本質(zhì)是一個(gè)構(gòu)建在數(shù)據(jù)倉(cāng)庫(kù)之上的跨業(yè)務(wù)主題的業(yè)務(wù)系統(tǒng)。
所以,我們會(huì)發(fā)現(xiàn),不論要做哪一個(gè)數(shù)據(jù)項(xiàng)目,數(shù)據(jù)才是核心,統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)、主數(shù)據(jù)是基礎(chǔ)。只有打通各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)孤島,將數(shù)據(jù)標(biāo)準(zhǔn)、口徑、模型、存儲(chǔ)統(tǒng)一,形成具備完整性、規(guī)范性、一致性、準(zhǔn)確性和及時(shí)性的高質(zhì)量數(shù)據(jù),才能逐漸釋放數(shù)據(jù)價(jià)值。
4. 三者的發(fā)展關(guān)系
以下這張圖很好的展示了這三者的發(fā)展關(guān)系
數(shù)據(jù)中臺(tái)可以說(shuō)是幾十年來(lái)企業(yè)數(shù)據(jù)管理發(fā)展的產(chǎn)物,是聚合和治理跨域數(shù)據(jù),將數(shù)據(jù)抽象封裝成服務(wù),提供給前臺(tái)以業(yè)務(wù)價(jià)值的邏輯概念。
從阿里數(shù)據(jù)平臺(tái)的更迭歷史中也不難看出,在經(jīng)歷了傳統(tǒng)數(shù)據(jù)庫(kù)時(shí)代到大數(shù)據(jù)平臺(tái)再到數(shù)據(jù)中臺(tái),數(shù)據(jù)中臺(tái)絕不是一蹴而就,其建設(shè)需要有一定的底子!
四、那么什么樣的企業(yè)適合建數(shù)據(jù)中臺(tái)?
1. 從數(shù)據(jù)成熟度來(lái)看:
- 具有良好的數(shù)據(jù)底子,擁有豐富的數(shù)據(jù)維度
- 企業(yè)的各業(yè)務(wù)板塊都有數(shù)倉(cāng)和報(bào)表,需面向集團(tuán)構(gòu)建統(tǒng)一的數(shù)據(jù)管理平臺(tái)
- 多個(gè)大數(shù)據(jù)場(chǎng)景,例如:阿里、淘寶、天貓、支付寶等多個(gè)業(yè)務(wù)板塊的場(chǎng)景
2. 從業(yè)務(wù)性質(zhì)來(lái)看:
- toC業(yè)務(wù),且業(yè)務(wù)運(yùn)營(yíng)非常依賴(lài)用戶(hù)/客戶(hù)數(shù)據(jù)
- 企業(yè)內(nèi)部運(yùn)營(yíng)多業(yè)態(tài)/品牌/產(chǎn)品的客戶(hù)數(shù)據(jù),需要打通數(shù)據(jù)共享。
- 供應(yīng)鏈特別復(fù)雜的企業(yè),需要數(shù)據(jù)驅(qū)動(dòng)優(yōu)化
- 生產(chǎn)制造業(yè),生產(chǎn)線上的數(shù)據(jù)需要數(shù)據(jù)中臺(tái)來(lái)整合服務(wù)化
五、如何進(jìn)行數(shù)據(jù)價(jià)值變現(xiàn)?
無(wú)論是數(shù)據(jù)中臺(tái)也好,數(shù)據(jù)倉(cāng)庫(kù)也好,還是數(shù)據(jù)平臺(tái),最終都是為了讓數(shù)據(jù)的價(jià)值更好的作用于業(yè)務(wù)、經(jīng)營(yíng)和管理上。
這三種方案都具有一定的適用性,需要結(jié)合企業(yè)不同的發(fā)展階段來(lái)判斷,具體:信息化水平,數(shù)據(jù)體量、業(yè)務(wù)性質(zhì)、還有數(shù)據(jù)成熟度等。
如何應(yīng)用數(shù)據(jù)?這里結(jié)合帆軟14年來(lái)為超萬(wàn)家企業(yè)提供的大大小小的數(shù)據(jù)應(yīng)用解決方案,給出個(gè)人的一些想法。大致分為幾個(gè)階段:
首先,把數(shù)據(jù)管理起來(lái),形成統(tǒng)一數(shù)據(jù)資產(chǎn)
(數(shù)據(jù)資產(chǎn)不等同于數(shù)據(jù),數(shù)據(jù)資產(chǎn)是唯一的,能為業(yè)務(wù)產(chǎn)生價(jià)值的數(shù)據(jù))
其次,將數(shù)據(jù)可視化
在我們將數(shù)據(jù)自動(dòng)化、可視化的呈現(xiàn)出來(lái)的過(guò)程中,我們能夠充分釋放數(shù)據(jù)的信度、效度、準(zhǔn)確度方面的價(jià)值。這也是為什么越來(lái)越多的傳統(tǒng)企業(yè)在進(jìn)行數(shù)據(jù)項(xiàng)目規(guī)劃時(shí),通常會(huì)先做一個(gè)叫做”管理駕駛艙”的東西。
其本質(zhì)就是,通過(guò)上層呈現(xiàn)所要保證的一致性和規(guī)范性,倒逼下層的數(shù)據(jù)管理、數(shù)據(jù)治理,從而逐漸開(kāi)展數(shù)據(jù)分析輔助決策、數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)等。數(shù)據(jù)可以告訴決策者一些潛在的規(guī)律,以數(shù)據(jù)來(lái)證明或判斷決策。
帆軟基于企業(yè)經(jīng)營(yíng)構(gòu)建的數(shù)據(jù)管理體系
第三個(gè)階段:利用數(shù)據(jù)優(yōu)勢(shì),通過(guò)算法模型挖掘數(shù)據(jù)背后規(guī)律
很多時(shí)候,即便數(shù)據(jù)質(zhì)量非常完備了,但因?yàn)橐蕾?lài)于統(tǒng)計(jì)學(xué)的數(shù)據(jù)分析只能對(duì)歷史的、以往發(fā)生過(guò)的事情做解釋?zhuān)酝偸菚?huì)慢半拍。而數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí),這些近幾年才流行起來(lái)的技術(shù),可以充分利用海量的數(shù)據(jù),通過(guò)算法模型去挖掘數(shù)據(jù)背后的規(guī)律,從而輔助我們提前預(yù)測(cè)或者個(gè)性化推薦。
以往我們只會(huì)用數(shù)據(jù)來(lái)證明我們歷史的決策對(duì)錯(cuò),現(xiàn)在我們用數(shù)據(jù)來(lái)引導(dǎo)我們做出對(duì)的決策。基于數(shù)據(jù)資產(chǎn)催生的人工智能,將數(shù)據(jù)進(jìn)行再融合形成新的數(shù)據(jù),源源不斷給我們提供新的業(yè)務(wù)視角,讓我們不斷創(chuàng)新、不停去嘗試。
當(dāng)我們逐漸依賴(lài)數(shù)據(jù)機(jī)器人的指令,形成數(shù)據(jù)服務(wù)思維和習(xí)慣,讓業(yè)務(wù)與數(shù)據(jù)形成循環(huán)活起來(lái),讓它成為業(yè)務(wù)的一部分,同時(shí)讓機(jī)器智能成為決策環(huán)節(jié),運(yùn)營(yíng)就可以智能化,即智能化的數(shù)字業(yè)務(wù)系統(tǒng)。
最后,想必對(duì)于各種企業(yè)要做數(shù)據(jù)項(xiàng)目,想要構(gòu)建數(shù)據(jù)中臺(tái),我們可以形成一個(gè)優(yōu)先級(jí)順序。
- 以管理駕駛艙為驅(qū)動(dòng)的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)
- 面向各業(yè)務(wù)主題的全面數(shù)據(jù)治理
- 非結(jié)構(gòu)化數(shù)據(jù)+海量數(shù)據(jù)加速的大數(shù)據(jù)平臺(tái)
- 把數(shù)據(jù)變成個(gè)性化服務(wù)的數(shù)據(jù)中臺(tái)
作者:miao君,專(zhuān)注企業(yè)數(shù)據(jù)化運(yùn)營(yíng)和數(shù)字化轉(zhuǎn)型,公眾號(hào):商業(yè)智能研究,分享有關(guān)企業(yè)數(shù)據(jù)建設(shè)的一切知識(shí)!
本文由 @miao君 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于CC0協(xié)議。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!