數(shù)據(jù)產(chǎn)品經(jīng)理:數(shù)據(jù)資產(chǎn)管理產(chǎn)品架構規(guī)劃
編輯導語:數(shù)據(jù)資產(chǎn)管理與治理是數(shù)據(jù)產(chǎn)品經(jīng)理的四大方向之一。本篇文章作者為我們分享了數(shù)據(jù)資產(chǎn)模塊到底在做哪些事情,以幫助有需要的小伙伴判斷是不是可以去嘗試的數(shù)據(jù)產(chǎn)品方向。
在數(shù)據(jù)產(chǎn)品經(jīng)理從業(yè)指南相關文章中講到,數(shù)據(jù)資產(chǎn)管理與治理是數(shù)據(jù)產(chǎn)品經(jīng)理的四大方向之一。Q2開始了,近期在整理數(shù)據(jù)資產(chǎn)方向的產(chǎn)品工作規(guī)劃,順便分享一下,數(shù)據(jù)資產(chǎn)模塊到底在做哪些事情,也方便大家在未來找工作的時候(今年銅三鐵四的行情讓很多人只能靜待驚蟄了)判斷是不是可以去嘗試的數(shù)據(jù)產(chǎn)品方向。
一、用戶是誰要解決什么問題?
B端產(chǎn)品經(jīng)理工作方法論中,首要的一點就是搞清楚你的用戶是誰,他的訴求是什么,有哪些影響他工作效率的點,可以通過產(chǎn)品化的方式去解決。
數(shù)據(jù)資產(chǎn)產(chǎn)品的用戶分為兩類,一是數(shù)據(jù)資產(chǎn)的生產(chǎn)者,二是資產(chǎn)的消費者。
1. 資產(chǎn)生產(chǎn)者工作內(nèi)容及訴求
這里的生產(chǎn)者指的是數(shù)據(jù)開發(fā)者,雖然“我們不生產(chǎn)數(shù)據(jù),我們只是數(shù)據(jù)的搬運工”,但是他們基于原始的rawdata經(jīng)過加工處理之后,生成資產(chǎn)化的數(shù)據(jù)。
上圖是很多數(shù)據(jù)開發(fā)者的“愉快”的一天,也有人調(diào)侃說他們干著“出力不討好的臟活累活”,不出問題叫數(shù)據(jù)賦能,榮耀和光環(huán)都聚焦在應用產(chǎn)品端,出了問題就是“數(shù)據(jù)質(zhì)量有問題”?!肮び破涫拢叵壤淦鳌?,所以,作為數(shù)據(jù)資產(chǎn)產(chǎn)品經(jīng)理,給他們提供趁手的工具,可以高效快速的干活,幫助他們把自己的資產(chǎn)管理和治理好,才是對他們的一絲絲安慰。
- 開發(fā)數(shù)據(jù)的時候,ODS層、DWD層、APP層,臨時表,一堆的命名規(guī)范限制,記下來消耗CPU,記不住建模不規(guī)范事后被批還要整改。所以,能不能簡單點,開發(fā)的方式簡單點。
- 睡得正稥的時候報警電話什么的最惡心了,所以,任務調(diào)度運維的報警策略,失敗重試機制可以更AI一些么。即使非得人工處理,任務的一鍵通知、重跑能不能閉著眼睛就可以操作完接著睡覺了?
- 負責很多的數(shù)據(jù)模型,業(yè)務經(jīng)常來問數(shù)據(jù)在哪里,字段啥意思,可以不要來騷擾我嗎。所以,我想讓模型更多的被復用,但是最好自助去使用,我只想安靜去coding。
- 每次被老板指著鼻子說模型健康度差,哪個模型命名不規(guī)范,元數(shù)據(jù)缺失,任務耗時高,長時間沒人訪問。所以,可不可以提供個工作臺,就像農(nóng)民去田間看莊稼長啥樣要不要除草,讓我每天早上上班第一件事,把代辦清單的治理事項提前完成,下次老板直接周會表揚,我們要向XX同學學習,開發(fā)習慣非常優(yōu)雅。
- 數(shù)據(jù)開發(fā)者除了自己不能刪庫跑路外,還需要對數(shù)據(jù)安全問題負責,所以需要流程化、自動化的權限授權和審批管理流程。
2. 資產(chǎn)消費者的場景及訴求
指使用數(shù)據(jù)的業(yè)務產(chǎn)品、運營、分析以及二次加工的數(shù)據(jù)開發(fā)人員。作為數(shù)據(jù)消費者,就像你去實體店或者電商平臺買東西,你希望能夠:找得到,看得見,放心用(買)。也就是說,在資產(chǎn)倉庫中,SKU覆蓋全面,并且規(guī)格參數(shù)、用法用量(元數(shù)據(jù))完備可見,幫助你決策是否是所需要的,除此之外,最好有一些客戶好評推薦或者官方認證的童叟無欺的證明,這樣才可以放心使用,不至于掉坑里。
資產(chǎn)消費者的主要訴求包括:
- 當我需要用數(shù)據(jù),但是不知道數(shù)據(jù)在哪的時候,可以有工具引導我,從產(chǎn)品線,到數(shù)據(jù)分類可以逐步縮小范圍,最終眾里尋他千百度,啊原來你在這里。所以,需要有地圖指引的能力。
- 新入職工作交接,前輩告訴我需要的數(shù)據(jù)都在這個表里,但是求知欲比較強的我,希望搞清楚數(shù)據(jù)的來龍去脈,以便舉一反三,而不是僅僅改個日期參數(shù)就查數(shù)據(jù)去了,所以需要便捷的數(shù)據(jù)檢索能力。
- 數(shù)據(jù)找到了,有沒有相關的認證,證明今天數(shù)據(jù)沒問題呢。
- 雖然內(nèi)心是拒絕騷擾數(shù)據(jù)開發(fā)者的,但是遇到邏輯不清楚,數(shù)據(jù)不確定的時候,還是想能夠找到負責人,或者其他使用過這張表墻裂推薦的人,去交流交流。
- 除了利用表進行SQL查詢或者拖拽分析外,現(xiàn)在不都提中臺嗎,所以,還希望有可以直接可以輸出的數(shù)據(jù)服務,比如指標API、標簽服務,可以通過界面化的配置就生成了接口,DAAS嘛(數(shù)據(jù)接口即服務)。
二、數(shù)據(jù)資產(chǎn)模塊的產(chǎn)品體系規(guī)劃設計
明確了用戶及其訴求,接下來就是需要通過相應的數(shù)據(jù)產(chǎn)品來為其賦能助力了。兩類用戶可能會有重合的場景,比如數(shù)據(jù)開發(fā)者也會作為數(shù)據(jù)消費者去使用別人開發(fā)的數(shù)據(jù),同樣,業(yè)務人員也可以自己去申請建表。所以,在資產(chǎn)產(chǎn)品架構設計上,主要圍繞數(shù)據(jù)的匯聚、加工處理、資產(chǎn)管理、數(shù)據(jù)治理、價值輸出等環(huán)節(jié)進行覆蓋。
1. 數(shù)據(jù)匯聚
主要解決異構數(shù)據(jù)源之間的數(shù)據(jù)傳輸問題,數(shù)據(jù)從業(yè)務數(shù)據(jù)庫、產(chǎn)品端埋點采集或者其他第三方的API接口、FTP文件互傳,需要提供簡單通用的數(shù)據(jù)集成能力,方便把數(shù)據(jù)統(tǒng)一匯聚到中央數(shù)倉。
在產(chǎn)品功能設計時,不同的源、和目標之間所需要的參數(shù)配置是差異化的,逐個對接解決即可。另外,數(shù)據(jù)需要每天或者實時的進行同步消費,所以需要和調(diào)度系統(tǒng)結合,提供智能化自動化的資源調(diào)度和任務運維能力。
所以,很多數(shù)據(jù)產(chǎn)品是把數(shù)據(jù)集成作為一種數(shù)據(jù)開發(fā)任務類型,整合在數(shù)據(jù)開發(fā)套件產(chǎn)品之中。
2. 數(shù)據(jù)加工處理
在這個環(huán)節(jié)主要是基于業(yè)務對數(shù)據(jù)使用場景進行數(shù)據(jù)清洗和邏輯處理,包括離線數(shù)據(jù)開發(fā)和實時數(shù)據(jù)開發(fā),相當于是數(shù)據(jù)的加工廠,基于同步過來的數(shù)據(jù)源進行加工,形成高可用的數(shù)據(jù)模型。開發(fā)套件比較大,可以獨立成單獨的產(chǎn)品模塊。
同時,可以將模型建設規(guī)范融入到任務開發(fā)的校驗流程中。多些事前校驗,而不是僅僅依靠事后治理。例如提供dataphin之類的流程化建?;驍?shù)據(jù)加工工具
3. 數(shù)據(jù)資產(chǎn)化管理
資產(chǎn)化管理:數(shù)據(jù)工廠加工好的數(shù)據(jù),還需要進行分門別類的規(guī)整,貼上各種規(guī)格標簽,才能給到下游消費者使用。資產(chǎn)化管理主要通過數(shù)據(jù)地圖進行數(shù)據(jù)表查詢檢索,元數(shù)據(jù)信息維護查詢,為使用者提供方便的數(shù)據(jù)指引能力。
數(shù)據(jù)血緣:是貫通數(shù)據(jù)從入湖到業(yè)務終端全流程的數(shù)據(jù)鏈路關系,一是可以方便排查數(shù)據(jù)生產(chǎn)過程的來龍去脈,為翻代碼查邏輯提供指引。此外,基于血緣可以做到數(shù)據(jù)異常時的下游通知,以及下游應用無人使用時,數(shù)據(jù)一鍵治理,存儲計算資源釋放。
數(shù)據(jù)質(zhì)量監(jiān)控:針對任務執(zhí)行的結果準確性進行監(jiān)控,提前發(fā)現(xiàn)因為源端數(shù)據(jù)庫變更、開發(fā)Bug等問題引發(fā)的數(shù)據(jù)不準等問題。
數(shù)據(jù)治理:從任務資源消耗、時間消耗、業(yè)務使用(冷熱數(shù)據(jù))、開發(fā)規(guī)范、模型覆蓋度復用度等不同維度建立資產(chǎn)健康度評估指標體系,以及數(shù)據(jù)治理工作臺,每天上班就可以知道有哪些坑要填,提前把自己埋了。
4. 數(shù)據(jù)價值輸出
搞大數(shù)據(jù)最終是為了數(shù)據(jù)能夠產(chǎn)生價值,一是基于數(shù)據(jù)的決策,二是數(shù)據(jù)驅(qū)動的產(chǎn)品智能化、運營精細化。
SQL即席查詢是基于數(shù)據(jù)模型的SQL取數(shù),自助分析則是通過傻瓜式拖拽方式服務于無SQL能力的業(yè)務人員。在這個環(huán)節(jié)和資產(chǎn)關系密切的就是指標管理、標簽資產(chǎn)管理,通過數(shù)據(jù)API方式,最終將數(shù)據(jù)輸出給到前端的可視化分析產(chǎn)品或者產(chǎn)品、運營主流程的接入應用。
5. 數(shù)據(jù)安全管理
數(shù)據(jù)庫、數(shù)據(jù)表、指標及標簽的元數(shù)據(jù)可以公開查閱,但真正要取數(shù)使用,必須先獲取對應的授權,因此需要提供一鍵權限申請、審批消息通知、授權后應用自動賦權等全流程的自動化產(chǎn)品設計。
三、總結
數(shù)據(jù)資產(chǎn)是大數(shù)據(jù)的根基,前期業(yè)務發(fā)展追求短平快,留下的資產(chǎn)不規(guī)范不健全的坑未來還是要逐一去填平。數(shù)字化轉(zhuǎn)型首先要解決的也是數(shù)據(jù)匯聚和數(shù)據(jù)資產(chǎn)等問題。
數(shù)據(jù)資產(chǎn)模塊相關的產(chǎn)品經(jīng)理,不僅要具備良好的產(chǎn)品通用能力,同時需要對大數(shù)據(jù)生態(tài)、數(shù)據(jù)流轉(zhuǎn)流程、數(shù)倉建設等理論有良好的認知,這樣做起產(chǎn)品才能更加游刃有余。但萬變不離其宗,數(shù)據(jù)的采存管用流程涉及的數(shù)據(jù)產(chǎn)品模塊,各家公司也都大同小異。
#專欄作家#
數(shù)據(jù)干飯人,微信號公眾號:數(shù)據(jù)干飯人,人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺產(chǎn)品領域,覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理,BI與數(shù)據(jù)可視化,精準營銷平臺等數(shù)據(jù)產(chǎn)品。擅長大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設計。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
數(shù)據(jù)開發(fā)人員的用戶畫像生動,??