編輯導語：如今隨著互聯網的發(fā)展，數字化給我們帶來了更多的機會，在大數據時代，數據規(guī)模也在不斷的膨脹，所以各種企業(yè)需要大數據治理；本文作者分享了關于大數據治理的問題以及方法，我們一起來看一下。

01 數據治理的背景

從1969年開始，互聯網已經走過了PC、移動，向產業(yè)互聯網時代邁進，人類活動被全面數字化。

數字化技術革命給商業(yè)帶來前所未有的機會，大數據讓我們更懂用戶和這個世界，這一切看上去很美好，但是危機已經在悄然中來臨。

隨著業(yè)務的發(fā)展，數據規(guī)模也在以滾雪球的速度膨脹，帶來了一系列棘手的問題：

1. 高昂的成本支出

據測算，存儲1PB數據的硬件投入總成本在80萬左右，對于那些業(yè)務遍布全國的互聯網公司來說數據量達到60-80PB是很常見的事，這就意味著一年的存儲成本要花5000-8000萬左右；而且數據中心的機架容量是有限的，建設新的數據中心不是易事；這一切都在制約著企業(yè)的發(fā)展，吞噬著企業(yè)的利潤。

2. 數據質量風險增加

海量的數據帶來了復雜的鏈路依賴，數據質量風險瀕臨失控；隨著數據量的增長，運維壓力也越來越大，故障告警次數顯著增多。

3. 組織協(xié)作出現問題

龐大的數據規(guī)模，紛亂的命名和存儲，以及理不清的業(yè)務邏輯，讓團隊協(xié)同越來越難，推進大型項目需要參與的團隊人數越來越多，體現在企業(yè)集中力量辦大事的能力逐漸喪失。

4. 數據孤島開始出現

想要獲得一項指標，找不同的人可以得到不同的查詢結果，這其中出現的問題主要是口徑對焦；不同的人對于業(yè)務的理解也并不相同，缺少統(tǒng)一的標準，這是很多公司發(fā)展過程中都存在的問題。

數據不好找，找到不敢用、不能用，迫使業(yè)務只能選擇重復建設資產；而重復建設資產更進一步加劇了數據不好找不好用的問題，形成了惡性循環(huán)，數據孤島壁壘越壘越高。

這一系列的問題如果任由其繼續(xù)發(fā)展，數據對于業(yè)務只會變成雞肋，甚至會成為企業(yè)的負債。

02 數據治理的目標

數據治理是一項復雜的工程，想要做好數據治理首先要做的事是定好目標；關于數據治理的目標，可以簡單理解——數據治理的目標就是要讓數據成為資產而不是負債。

數據資產的概念是能給企業(yè)帶來經濟效益的資源，想要讓數據成為資產，不外乎是”開源”、”節(jié)流”，前者指的是釋放數據價值，為業(yè)務帶來增長，后者指的是節(jié)約成本；這里的節(jié)約成本不單單是涉及到數據存儲成本，還包括了管理成本、數據風險成本等隱形的部分，讓數據變成高質量的數據。

03 數據治理的核心

幾乎所有關于數據治理的定義都在談論建立“組織”、明確“權責”、制定“方法/制度/標準”。

事實上，數據之所以需要治理，問題的根源在于“無序”；而數據治理的核心就是制定數據世界的游戲規(guī)則，讓數據世界重歸有序。

1. 組織設計

明確數據治理的權責是開展數據治理工作的首要步驟。因為一切問題都可以歸根于人的問題；資源的調動，制度的設計、執(zhí)行、監(jiān)督，最終都要落實在人上；很多時候問題難以推進，原因就在于人的重視不夠，級別不夠，相關方不配合。

某金融科技獨角獸公司在從事數據治理的過程中識別到主要問題表現在數據架構腐壞，而數據架構的腐壞的根源在于缺少推進全局數據架構持續(xù)演進的組織；這個組織是數據治理頂層設計的靈魂，為數據治理的最終成果負責；為此，該公司成立了數據超域架構師小組。

橙色集團十余年來的數據架構經驗表面，一個穩(wěn)定的持續(xù)迭代的中間層是保持數據架構有序的關鍵，跟隨業(yè)務奔跑過程中總需要有人停下來修繕屋頂；為此，該集團將數據資產研發(fā)和數據應用研發(fā)角色剝離開來，以沉淀資產、中間層建設、資產架構優(yōu)化為主要職責，設立數據資產工程師崗位和獨立晉升通道。

2. 規(guī)則制定

規(guī)則規(guī)范的指定是開始具體工作的前提，目的在于統(tǒng)一標準，打破由于標準不一致帶來的數據孤島問題。

某金融科技獨角獸制定了三項核心規(guī)范：”數據資產必須先定義后研發(fā)”、”數據資產不能重復建設”、”應用資產依賴公共服務資產建設”；這三項核心規(guī)范具備綱領性質，易于記憶和傳播。

在核心規(guī)范指導下，更貼近于執(zhí)行層面的，有一系列更詳細的指導規(guī)范；例如如何保障指標的一致性、如何確保標簽資產實現互通互享、如何避免數據資產重復建設等。

3. 機制設計

機制設計的目的是解決組織協(xié)作的效率問題，可以分成研發(fā)協(xié)作機制和數據互通機制兩方面來講。

研發(fā)協(xié)作機制：要解決的是”找誰做（資源問題）、如何做（架構問題）、何時做（排期問題）、如何用（溝通問題）”；建議采用獨立資源統(tǒng)一架構統(tǒng)一排期模式，輸出產物為數據中臺全景圖和操作手冊。

數據互通機制：遵循”寬進嚴出、全鏈路可追蹤可審計”的策略原則，兼顧效率提升和安全風控兩方面。

今天主要跟大家分享了大數據治理的背景、目標及核心，下節(jié)我們來聊聊到底如何做大數據治理。

#專欄作家#

大鵬，公眾號：一個數據人的自留地。人人都是產品經理專欄作家，《數據產品經理修煉手冊》作者。

本文原創(chuàng)發(fā)布于人人都是產品經理。未經許可，禁止轉載

題圖來自Unsplash，基于CC0協(xié)議。