數(shù)據(jù)模型:向上承接業(yè)務(wù),向下引導(dǎo)數(shù)據(jù)

0 評論 12171 瀏覽 68 收藏 8 分鐘

數(shù)據(jù)模型在數(shù)據(jù)管理中居于什么樣的位置?筆者認(rèn)為數(shù)據(jù)模型在數(shù)據(jù)管理中處于向上承接業(yè)務(wù),向下引導(dǎo)數(shù)據(jù)的關(guān)鍵位置。

導(dǎo)讀:國際數(shù)據(jù)管理協(xié)會DAMA在DMBOK2中定義了11個數(shù)據(jù)管理職能領(lǐng)域,數(shù)據(jù)建模與設(shè)計是其中的一個關(guān)鍵領(lǐng)域。數(shù)據(jù)模型作為數(shù)據(jù)建模與設(shè)計的核心產(chǎn)出物,勢必與其他各個領(lǐng)域都有著千絲萬縷的聯(lián)系。我嘗試著將這些關(guān)系總結(jié)整理成這篇文章,與大家一同分享。

如下圖,在DMBOK2中,數(shù)據(jù)管理包含了11個職能領(lǐng)域,這11個領(lǐng)域分別是數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模與設(shè)計、數(shù)據(jù)存儲與操作、數(shù)據(jù)安全、數(shù)據(jù)集成與互操作、文檔與內(nèi)容管理、參考數(shù)據(jù)與主數(shù)據(jù)管理、數(shù)據(jù)倉庫與BI、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量。

如何看待數(shù)據(jù)模型在數(shù)據(jù)管理中的位置?

圖1DAMA定義的11個數(shù)據(jù)管理職能領(lǐng)域

(DMBOK2, DAMA International)

各個領(lǐng)域的定義和作用書中已經(jīng)介紹得很清楚,所以我在這里就不贅述了。下圖是我從數(shù)據(jù)模型出發(fā),總結(jié)出的數(shù)據(jù)模型與各領(lǐng)域產(chǎn)出物之間的關(guān)系圖:

如何看待數(shù)據(jù)模型在數(shù)據(jù)管理中的位置?

圖2 數(shù)據(jù)建模與數(shù)據(jù)管理各領(lǐng)域的輸入輸出關(guān)系

各領(lǐng)域之間的這些輸入輸出關(guān)系讓數(shù)據(jù)管理各個領(lǐng)域之間形成了一張關(guān)系復(fù)雜的網(wǎng),其中數(shù)據(jù)模型處于一個關(guān)鍵位置。

我將數(shù)據(jù)模型與各領(lǐng)域的關(guān)系總結(jié)成了以下9點

1.?數(shù)據(jù)模型是承載著數(shù)據(jù)需求的元數(shù)據(jù)集合

從一定程度上講,我個人認(rèn)為:數(shù)據(jù)模型是真正立足于企業(yè)數(shù)據(jù)需求創(chuàng)建出來的元數(shù)據(jù)集合。

其中包括實體名、屬性名等豐富的技術(shù)元數(shù)據(jù),還包括業(yè)務(wù)規(guī)則等業(yè)務(wù)元數(shù)據(jù),主外鍵等關(guān)系是元數(shù)據(jù)血緣分析的主要來源之一。同時,數(shù)據(jù)模型也為元數(shù)據(jù)管理提供了元數(shù)據(jù)標(biāo)準(zhǔn)和元數(shù)據(jù)質(zhì)量評分的指標(biāo)參考。

2.?數(shù)據(jù)模型是數(shù)據(jù)校驗的對象之一,是形成數(shù)據(jù)質(zhì)量規(guī)則的基礎(chǔ)

數(shù)據(jù)模型為數(shù)據(jù)質(zhì)量管理提供關(guān)鍵元數(shù)據(jù)與業(yè)務(wù)規(guī)則輸入,以便人們可以針對性地根據(jù)企業(yè)現(xiàn)狀制定數(shù)據(jù)質(zhì)量檢核標(biāo)準(zhǔn)與數(shù)據(jù)質(zhì)量檢核規(guī)則。同時,數(shù)據(jù)模型本身也需要符合數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn),需要通過數(shù)據(jù)質(zhì)量管理的檢核。

3. 數(shù)據(jù)模型是數(shù)據(jù)集成與互操作的起點

為了在數(shù)據(jù)集成時創(chuàng)建一個單一、一致的數(shù)據(jù)版本,在數(shù)據(jù)集成時充分分析現(xiàn)有數(shù)據(jù)模型就顯得尤為重要。保證數(shù)據(jù)模型中關(guān)鍵元素的一致是數(shù)據(jù)集成時需要首要考慮的問題。

4. 數(shù)據(jù)模型是數(shù)據(jù)存儲與操作的結(jié)構(gòu)保障

數(shù)據(jù)模型精確標(biāo)準(zhǔn)的定義為數(shù)據(jù)提供了一個規(guī)范的結(jié)構(gòu),這種比較精確化的結(jié)構(gòu)和約束成為數(shù)據(jù)存儲和操作的一層基本結(jié)構(gòu)保障,減少了數(shù)據(jù)存儲和操作時發(fā)生數(shù)據(jù)異常的可能性。

5. 數(shù)據(jù)模型是數(shù)據(jù)安全管控的對象之一

數(shù)據(jù)模型是數(shù)據(jù)安全管控的對象之一,數(shù)據(jù)模型中往往需要根據(jù)具體的數(shù)據(jù)安全需求標(biāo)注出敏感字段/表,企業(yè)也需要參考著數(shù)據(jù)模型來制定具體的數(shù)據(jù)安全技術(shù)實現(xiàn)需求與業(yè)務(wù)規(guī)則,判斷出那些字段可以被哪些人查看,哪些字段需要脫敏等。

6.?數(shù)據(jù)模型通過文檔和內(nèi)容管理實現(xiàn)可復(fù)用

在初始數(shù)據(jù)建模階段,有效的文檔和內(nèi)容管理可以為數(shù)據(jù)建模提供以往數(shù)據(jù)建模過程的詳細(xì)參考。

在建模完成時,數(shù)據(jù)建模過程中的各種模型設(shè)計文檔,可以通過文檔和內(nèi)容管理模塊實現(xiàn)合理存儲,形成企業(yè)數(shù)據(jù)模型記憶庫,供未來其他部分?jǐn)?shù)據(jù)建模參考,或供數(shù)據(jù)模型維護(hù)階段參考,實現(xiàn)數(shù)據(jù)模型的復(fù)用。

7.?數(shù)據(jù)模型是數(shù)據(jù)倉庫和BI的核心

數(shù)據(jù)模型能為數(shù)據(jù)倉庫建設(shè)提供全面的業(yè)務(wù)梳理和整體的數(shù)據(jù)視角,通過數(shù)據(jù)模型,業(yè)務(wù)人員、開發(fā)人員能夠很容易在數(shù)據(jù)倉庫需求、范圍以及長遠(yuǎn)建設(shè)規(guī)劃上達(dá)成共識,真正形成業(yè)務(wù)到數(shù)據(jù)倉庫的映射。

通過專門為BI數(shù)據(jù)分析而設(shè)計的維度模型,更好地分析立足于數(shù)據(jù)分析的數(shù)據(jù)需求。可以說沒有數(shù)據(jù)模型,數(shù)據(jù)倉庫與BI就無從談起。

8. 數(shù)據(jù)模型為參考數(shù)據(jù)與主數(shù)據(jù)管理提供一致性指導(dǎo)

參考數(shù)據(jù)與主數(shù)據(jù)管理是通過管理共享數(shù)據(jù),去滿足組織目標(biāo)、減少數(shù)據(jù)冗余風(fēng)險、保證更高的數(shù)據(jù)質(zhì)量、減少數(shù)據(jù)集成成本的過程。(DMBOK2,DAMA International)。

在全面的MDM環(huán)境中,邏輯數(shù)據(jù)模型將在多個平臺中進(jìn)行物理實例化,邏輯數(shù)據(jù)模型為主數(shù)據(jù)管理提供了清晰、一致的數(shù)據(jù)定義,它指導(dǎo)MDM解決方案的實施,并提供了數(shù)據(jù)集成服務(wù)的基礎(chǔ)。

9. 數(shù)據(jù)模型為數(shù)據(jù)科學(xué)與AI提供數(shù)據(jù)保障

數(shù)據(jù)科學(xué)與AI離不開數(shù)據(jù),而數(shù)據(jù)模型恰恰就是為數(shù)據(jù)科學(xué)與AI后續(xù)算法與分析過程提供數(shù)據(jù)的基本保障。

數(shù)據(jù)模型的建立能夠讓各個數(shù)據(jù)管理領(lǐng)域有著力點,從而能夠為數(shù)據(jù)科學(xué)家們的業(yè)務(wù)分析工作提供更準(zhǔn)確的數(shù)據(jù),讓AI算法得出更準(zhǔn)確的結(jié)果。

總結(jié)

可以說,數(shù)據(jù)模型在數(shù)據(jù)管理中處于向上承接業(yè)務(wù),向下引導(dǎo)數(shù)據(jù)的關(guān)鍵位置。

它是承載著數(shù)據(jù)需求的元數(shù)據(jù)、是數(shù)據(jù)質(zhì)量校驗的對象、是形成數(shù)據(jù)質(zhì)量規(guī)則的基礎(chǔ)、是數(shù)據(jù)集成與互操作的起點、是數(shù)據(jù)存儲和操作的結(jié)構(gòu)保障、是數(shù)據(jù)安全管控的對象、是數(shù)據(jù)倉庫和BI的核心、是參考數(shù)據(jù)與主數(shù)據(jù)的一致性指導(dǎo)。做好數(shù)據(jù)模型的管理,企業(yè)數(shù)據(jù)管理將會事半功倍。

參考:[1]DAMA International.DAMA-DMBOK: Data Management Body of Knowledge (2nd Edition)[M].Technics Publications:BASKING RIDGE, NEW JERSEY,2017:123.

 

作者:龔菲,數(shù)據(jù)領(lǐng)域工作者

本文由 @龔菲 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!