數(shù)據(jù)地圖:數(shù)據(jù)資產(chǎn)管理,到底管什么?
編輯導(dǎo)語:作為數(shù)據(jù)中臺的重要根基,數(shù)據(jù)資產(chǎn)絕對值得重視。那么,如何針對數(shù)據(jù)資產(chǎn)進(jìn)行管理?我們首先需要了解當(dāng)下數(shù)據(jù)資產(chǎn)管理過程中面臨哪些問題,并了解數(shù)據(jù)消費者的需求。本篇文章里,作者針對數(shù)據(jù)資產(chǎn)管理這一問題進(jìn)行了總結(jié),一起來看一下。
數(shù)據(jù)資產(chǎn)是數(shù)據(jù)中臺的重要根基,沒有資產(chǎn)的數(shù)據(jù)中臺是無源之水,就只能叫做數(shù)據(jù)工具。在數(shù)據(jù)中臺架構(gòu)中,數(shù)據(jù)資產(chǎn)建設(shè)、管理、治理是重頭戲。
那么數(shù)據(jù)資產(chǎn)到底該如何管理,怎樣治理呢?本文主要分享資產(chǎn)管理模塊,后期輸出資產(chǎn)建設(shè)流程規(guī)范、資產(chǎn)治理相關(guān)內(nèi)容。
數(shù)據(jù)資產(chǎn)所處數(shù)據(jù)中臺中的位置
一、企業(yè)數(shù)據(jù)資產(chǎn)管理面臨的問題
數(shù)據(jù)資產(chǎn)的用戶場景可以概況為兩類,找數(shù)據(jù)和管數(shù)據(jù)。找數(shù)據(jù)主要是數(shù)據(jù)分析、產(chǎn)品運營等數(shù)據(jù)消費者,基于數(shù)倉加工好的數(shù)據(jù)進(jìn)行分析、應(yīng)用。找數(shù)據(jù)時,主要的痛點如下:
1)數(shù)據(jù)找不到
數(shù)據(jù)生產(chǎn)者和消費者會存在業(yè)務(wù)上的天然屏障。對于很多一線的業(yè)務(wù)同學(xué)并不能第一時間數(shù)據(jù)的輸出。例如,一個新入職的產(chǎn)品要做產(chǎn)品首頁的改版,想先分析下目前頁面各個流量入口的點擊與轉(zhuǎn)化情況,只能去問其他的PM或者去找數(shù)據(jù)同學(xué),流量數(shù)據(jù)是哪個數(shù)據(jù)表,事件埋點規(guī)則又在哪里?
2)數(shù)據(jù)不敢用
數(shù)據(jù)處理邏輯不清楚,業(yè)務(wù)找到了訂單數(shù)據(jù)在XX表中,但是對訂單狀態(tài)的枚舉值含義不清楚,或者不知道營收的數(shù)據(jù)計算口徑,不敢用,只能咨詢表的負(fù)責(zé)人。
數(shù)據(jù)質(zhì)量問題,搞數(shù)據(jù)的人都知道數(shù)據(jù)質(zhì)量是數(shù)據(jù)團隊的生命線,但是卻又是無法避免的老大難問題,故障出得多了,用戶拿到數(shù)據(jù)的第一反應(yīng)是先和數(shù)據(jù)人員確認(rèn)下,今天數(shù)據(jù)沒問題吧。
管數(shù)據(jù),主要是數(shù)據(jù)開發(fā)者,他們的目標(biāo)是讓自己生產(chǎn)的數(shù)據(jù)可以更安全地被更多人復(fù)用,在實踐過程中,面臨的問題主要是以下幾種。
1)用戶咨詢多
用戶用數(shù)據(jù)找不到或者找到了數(shù)據(jù)不敢用,就只能向數(shù)據(jù)負(fù)責(zé)人進(jìn)行咨詢,不同人的相同問題,或者不同問題。每天處理用戶問題可能就要花個幾個小時。
2)數(shù)據(jù)復(fù)用低
數(shù)據(jù)中臺建設(shè)要解決的也是數(shù)據(jù)復(fù)用問題,對于數(shù)據(jù)工作者經(jīng)常遇到做好了數(shù)據(jù)模型使用者寥寥無幾的問題,有酒香但巷子深無人知曉的因素,也有部門墻、數(shù)據(jù)安全限制因素。
3)價值感知弱
數(shù)據(jù)開發(fā)者做了很多的數(shù)據(jù)模型,但不知道有多少人在使用,用到了哪里,產(chǎn)生了多少業(yè)務(wù)價值。數(shù)倉開發(fā)不生產(chǎn)數(shù)據(jù),只是數(shù)據(jù)的搬運工,“工具人”的感受強烈。
4)問題排查路徑長
用戶反饋數(shù)據(jù)異常時,需要翻代碼,對數(shù)據(jù)加工鏈路進(jìn)行追根溯源,排查路徑長,消耗時間久。
5)工作評估難
作為數(shù)據(jù)管理者,對于資產(chǎn)最關(guān)心的莫過于建設(shè)的怎么樣,如何評估數(shù)據(jù)工作的成果。做了很多的數(shù)據(jù)模型,績效就應(yīng)該好嗎?
二、數(shù)據(jù)消費者與生產(chǎn)者的訴求
1. 找數(shù)據(jù)
數(shù)據(jù)消費端,通過數(shù)據(jù)地圖尋找目標(biāo)數(shù)據(jù),進(jìn)行分析或者數(shù)據(jù)應(yīng)用。
1)業(yè)務(wù)場景
- 不知道所需要的數(shù)據(jù)在哪里,“逛數(shù)據(jù)”,發(fā)現(xiàn)目標(biāo);
- 知道表名或字段信息,確認(rèn)數(shù)據(jù)邏輯或元數(shù)據(jù)信息。
2)用戶
- 核心用戶:數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)開發(fā);
- 重要用戶:產(chǎn)品、運營;
- 覆蓋用戶:業(yè)務(wù)開發(fā)、商務(wù)等。
3)產(chǎn)品訴求
- 資產(chǎn)分級分類,提供簡單易用的資產(chǎn)“地圖”導(dǎo)航,快速找到目標(biāo)表;
- 強大的搜索功能,可以基于關(guān)鍵詞、字段、指標(biāo)搜索目標(biāo)表;
- 元數(shù)據(jù)信息完善,輔助決策,確定表是不是所需要用的,能不能用,以及邏輯說明。
2. 管數(shù)據(jù)
數(shù)據(jù)生產(chǎn)者,負(fù)責(zé)數(shù)據(jù)加工處理,對數(shù)據(jù)質(zhì)量、資產(chǎn)元數(shù)據(jù)、資產(chǎn)管理負(fù)責(zé)。
1)業(yè)務(wù)場景
- 維護(hù)表元數(shù)據(jù)信息;
- 數(shù)據(jù)資產(chǎn)審計,管理用戶權(quán)限、使用日志;
- 數(shù)據(jù)治理,針對數(shù)據(jù)表的使用情況,定期下線不用表或者冷數(shù)據(jù)歸檔;
- 追根溯源:數(shù)據(jù)質(zhì)量異常通知下游,數(shù)據(jù)問題快速排查定位問題。
2)用戶
- 核心用戶:數(shù)據(jù)開發(fā);
- 覆蓋用戶:數(shù)據(jù)表創(chuàng)建者。
3)產(chǎn)品訴求
- 元數(shù)據(jù)維護(hù)操作簡單、快捷,支持批量操作;
- 可以清楚的知道自己負(fù)責(zé)的資產(chǎn)元數(shù)據(jù)覆蓋、用戶使用情況;
- 平臺提供方便的數(shù)據(jù)追蹤、溯源的功能,可以快速定位數(shù)據(jù)血緣。
3. 數(shù)據(jù)團隊管理者
評價數(shù)據(jù)資產(chǎn)業(yè)務(wù)價值、數(shù)據(jù)對業(yè)務(wù)支撐或賦能效率,對數(shù)據(jù)開發(fā)人員進(jìn)行量化考核。并對數(shù)據(jù)資產(chǎn)的健康度、數(shù)據(jù)成本進(jìn)行管控。
1)業(yè)務(wù)場景
- 評價數(shù)據(jù)資產(chǎn)建設(shè)的到底怎么樣;
- 數(shù)據(jù)人員工作量化考核;
- 平臺健康度管控,降本增效。
2)用戶
- 數(shù)據(jù)開發(fā)管理者;
- 數(shù)據(jù)部門負(fù)責(zé)人。
3)產(chǎn)品訴求
- 能夠提供資產(chǎn)健康度評價的全面的指標(biāo),如模型覆蓋度、復(fù)用度、元數(shù)據(jù)完善度、數(shù)據(jù)質(zhì)量等;
- 資產(chǎn)責(zé)任人到人,可以量化考核每個數(shù)據(jù)開發(fā)者的工作數(shù)量和質(zhì)量。
三、數(shù)據(jù)地圖需要具備的數(shù)據(jù)資產(chǎn)管理能力
1. 資產(chǎn)大盤
資產(chǎn)大盤按照不同角色的用戶,提供從總體到部門(租戶)以及個人的資產(chǎn)視圖,主要作用是客觀描述資產(chǎn)現(xiàn)狀,并且以健康度評價體系,提供資產(chǎn)建設(shè)優(yōu)化指引。主要服務(wù)于數(shù)據(jù)工作者及管理團隊。例如:
- 資產(chǎn)數(shù)量:資產(chǎn)總數(shù)、新增數(shù)量、治理數(shù)量;
- 資源消耗:存儲資源、生產(chǎn)消耗計算資源;
- 健康度:元數(shù)據(jù)覆蓋度100%表占比、數(shù)據(jù)質(zhì)量異常數(shù)、高耗時任務(wù)及列表、跨層引用數(shù)、近90天無訪問數(shù);
- 治理維度:治理資產(chǎn)數(shù)量、治理效果、待治理數(shù)量。
圖:阿里數(shù)據(jù)地圖
2. 數(shù)據(jù)探索
數(shù)據(jù)檢索方式包括基于業(yè)務(wù)域、主題、標(biāo)簽等層級篩選,表中英文、字段信息搜索,以及熱門推薦、個人收藏、數(shù)據(jù)專題等快捷方式。
在實際應(yīng)用時,搜索功能是第一優(yōu)先級的,至少要先讓用戶能夠精準(zhǔn)觸達(dá)目標(biāo)。因為業(yè)務(wù)域劃分、主題標(biāo)簽維護(hù)很難做到?jīng)]有二義性,讓用戶可以順利篩選出目標(biāo)數(shù)據(jù)。表的元數(shù)據(jù)信息是指可以給找數(shù)據(jù)的用戶提高更加全面、準(zhǔn)確的業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等一系列的信息。包括:
- 基本信息:如表中英文名稱、負(fù)責(zé)人、業(yè)務(wù)描述、字段中英文、分區(qū)字段、字段處理邏輯、業(yè)務(wù)域、主題、標(biāo)簽層級;
- 數(shù)據(jù)預(yù)覽:提供示例數(shù)據(jù)預(yù)覽功能,可以快速查看字段內(nèi)容或結(jié)構(gòu);
- 產(chǎn)出信息:產(chǎn)出時間、任務(wù)耗時及趨勢、最后更新時間;
- 數(shù)據(jù)血緣:數(shù)據(jù)表上下游,一鍵通知能力;
- 數(shù)據(jù)質(zhì)量:數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則覆蓋、最新監(jiān)控結(jié)果是否正常;
- 數(shù)據(jù)審計:表使用信息、變更記錄。
圖:阿里數(shù)據(jù)地圖
3. 資產(chǎn)管理
資產(chǎn)管理主要是面向資產(chǎn)創(chuàng)建者,對所負(fù)責(zé)的資產(chǎn)進(jìn)行業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)的維護(hù)及配置,對資產(chǎn)健康度負(fù)責(zé)。數(shù)據(jù)地圖需要的功能包括:
- 元數(shù)據(jù)信息維護(hù):業(yè)務(wù)描述、字段描述、業(yè)務(wù)邏輯、審批流程配置;
- 元數(shù)據(jù)更新:表結(jié)構(gòu)變更,如字段刪減、新增;
- 批量配置:批量授權(quán)、批量修改主題、層級;權(quán)限移交、復(fù)制;
- 數(shù)據(jù)治理流程:主要建立和數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量等平臺的聯(lián)動,做到跟進(jìn)用戶使用情況,快速跳轉(zhuǎn)至治理平臺,一鍵治理(歸檔、下線、刪除)。
4. 配置管理
提供業(yè)務(wù)域、數(shù)據(jù)層級、主題、標(biāo)簽配置,以及部門(租戶)公共參數(shù)配置能力,主要服務(wù)于數(shù)據(jù)倉庫或數(shù)據(jù)資產(chǎn)管理員,負(fù)責(zé)資產(chǎn)層級、架構(gòu)以及創(chuàng)建流程規(guī)范的規(guī)劃。
5. 個人工作臺
個人資產(chǎn)盤點,例如有權(quán)限的資產(chǎn),是否有權(quán)限即將到期,需要進(jìn)行批量續(xù)期。自己負(fù)責(zé)的資產(chǎn),用戶權(quán)限列表、資產(chǎn)使用分析。
代辦事項:數(shù)據(jù)資產(chǎn)管理要建立從上到下的管理和考核機制,否則資產(chǎn)創(chuàng)建時,為了圖快不進(jìn)行元數(shù)據(jù)信息維護(hù),就必然會導(dǎo)致資產(chǎn)復(fù)用度低。資產(chǎn)大盤服務(wù)于資產(chǎn)管理者,提供不同維度的資產(chǎn)健康度評價指標(biāo)。而個人代辦則提供每個資產(chǎn)創(chuàng)建者,需要關(guān)注的優(yōu)化任務(wù),例如元數(shù)據(jù)覆蓋不足100%,近XX天無訪問,任務(wù)耗時長,跨層引用等等。
四、總結(jié)
數(shù)據(jù)資產(chǎn)管理是提升企業(yè)數(shù)據(jù)復(fù)用度的重要數(shù)據(jù)產(chǎn)品之一,在產(chǎn)品規(guī)劃和設(shè)計時,需要從用戶需求場景以及產(chǎn)品目標(biāo)出發(fā),提供更快速找到數(shù)據(jù),以及更方便維護(hù)資產(chǎn)信息的能力,同時,為數(shù)據(jù)工作的量化考核以及開發(fā)人員的工作改進(jìn)提供指引方向。阿里Dataworks、網(wǎng)易猛犸、火山引擎都提供了商業(yè)化的數(shù)據(jù)地圖產(chǎn)品解決方案可供參考。
#專欄作家#
數(shù)據(jù)干飯人,微信號公眾號:數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領(lǐng)域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準(zhǔn)營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
寫的很專業(yè),建議必讀。
寫的不錯
文章里的腦圖我可以下載下來嗎,真的很有用,點贊
數(shù)據(jù)資產(chǎn)是數(shù)據(jù)中臺的重要根基,沒有資產(chǎn)的數(shù)據(jù)中臺是無源之水,就只能叫做數(shù)據(jù)工具。