本文深入探討了數(shù)據(jù)治理的核心議題——如何提高數(shù)據(jù)質(zhì)量。從識別數(shù)據(jù)質(zhì)量問題的根源到實施有效的監(jiān)控規(guī)則，再到衡量數(shù)據(jù)治理成效的指標(biāo)，為您提供了一套完整的數(shù)據(jù)質(zhì)量管理框架，希望幫助您的組織確保數(shù)據(jù)的準(zhǔn)確性和可靠性，從而做出更明智的業(yè)務(wù)決策。

文章基于《數(shù)據(jù)中臺實踐課》總結(jié)分享

往期文章講過數(shù)據(jù)治理可以說是數(shù)據(jù)產(chǎn)品的生命線，如果數(shù)據(jù)不準(zhǔn)給業(yè)務(wù)帶來錯誤的決策引導(dǎo)，可能會帶來難以預(yù)計的業(yè)務(wù)損失。

一、數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因

二、如果提高數(shù)據(jù)質(zhì)量?

數(shù)據(jù)質(zhì)量問題無法完全根治或杜絕，所以要想提升數(shù)據(jù)質(zhì)量，最重要的就是“早發(fā)現(xiàn)，早恢復(fù)”。要做到這一點就需要依賴完善的數(shù)據(jù)質(zhì)量監(jiān)控能力，在數(shù)據(jù)生產(chǎn)加工的全鏈路過程中，添加質(zhì)量稽核規(guī)則。例如對產(chǎn)出表按照業(yè)務(wù)規(guī)則，設(shè)計一些校驗邏輯，確保數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。

在數(shù)據(jù)產(chǎn)出任務(wù)運行結(jié)束后，啟動稽核校驗任務(wù)對數(shù)據(jù)結(jié)果進行掃描計算，判斷數(shù)據(jù)結(jié)果是否符合規(guī)則預(yù)期。如果不符合，就根據(jù)提前設(shè)定的強弱規(guī)則，觸發(fā)不同的處理流程。如果是強規(guī)則，就立即終止任務(wù)加工鏈路，后續(xù)的任務(wù)不會執(zhí)行，并且立即發(fā)出電話報警， 甚至關(guān)鍵任務(wù)還要開啟循環(huán)電話報警，直到故障被認領(lǐng)；如果是弱規(guī)則，任務(wù)會繼續(xù)執(zhí)行。但是存在風(fēng)險，這些風(fēng)險會通過郵件或者短信的方式，通知到數(shù)據(jù)開發(fā)，由人來進一步判斷風(fēng)險嚴(yán)重程度。

早發(fā)現(xiàn)，是要能夠先于數(shù)據(jù)使用方發(fā)現(xiàn)數(shù)據(jù)的問題，盡可能在出現(xiàn)問題的源頭發(fā)現(xiàn)問題，這樣就為“早恢復(fù)”爭取到了大量的時間。早恢復(fù)，就是要縮短故障恢復(fù)的時間，降低故障對數(shù)據(jù)產(chǎn)出的影響。圖5 稽核校驗執(zhí)行流程圖 那具體要加哪些稽核規(guī)則呢？

三、數(shù)據(jù)治理監(jiān)控的常用規(guī)則

完整性規(guī)則。主要目的是確保數(shù)據(jù)記錄是完整的，不丟失。常見的稽核規(guī)則有表數(shù)據(jù)量的絕對值監(jiān)控和波動率的監(jiān)控（比如表波動超20%，就認為是異常）。還有主鍵唯一性的監(jiān)控，它是判斷數(shù)據(jù)是否有重復(fù)記錄的監(jiān)控規(guī)則，比較基礎(chǔ)。除了表級別的監(jiān)控， 還有字段級別的監(jiān)控（比如字段為 0、為 NULL 的記錄）。

一致性規(guī)則。主要解決相關(guān)數(shù)據(jù)在不同模型中一致性的問題。商品購買率是通過商品購 買用戶數(shù)除以商品訪問 uv 計算而來的，如果在不同的模型中，商品購買用戶數(shù)是 1W、 商品訪問 uv10W，商品購買率 20%，那這三個指標(biāo)就存在不一致。

準(zhǔn)確性規(guī)則。主要解決數(shù)據(jù)記錄正確性的問題。常見的稽核規(guī)則有，一個商品只能歸屬在一個類目，數(shù)據(jù)格式是不是正確的 IP 格式，訂單的下單日期是還沒有發(fā)生的日期等等。

四、數(shù)據(jù)治理的衡量指標(biāo)

管理學(xué)大師彼得德魯克說過如果你無法衡量，你就無法提升。做數(shù)據(jù)治理，也需要有衡量標(biāo)準(zhǔn)，促進不斷改善。那么如何評價數(shù)據(jù)質(zhì)量是否有改進呢？除了故障次數(shù)，你還可以有這樣幾個指標(biāo)。

核心任務(wù)產(chǎn)出完成率。這個指標(biāo)是一個綜合性指標(biāo)，如果任務(wù)異常， 任務(wù)延遲，強稽核規(guī)則失敗，都會導(dǎo)致任務(wù)無法在規(guī)定時間前產(chǎn)出。

基于稽核規(guī)則，計算表級別的質(zhì)量分數(shù)。根據(jù)表上稽核規(guī)則的通過情況，為每個表建立質(zhì)量分數(shù)，對于分數(shù)低的表，表負責(zé)人要承擔(dān)改進責(zé)任。

需要立即介入的報警次數(shù)，通常以開啟循環(huán)報警的電話報警次數(shù)為準(zhǔn)。對于核心任務(wù)， 任務(wù)異常會觸發(fā)循環(huán)電話報警，接到報警的數(shù)據(jù)開發(fā)需要立即介入。

數(shù)據(jù)產(chǎn)品 SLA。每個數(shù)據(jù)產(chǎn)品上所有指標(biāo)有沒有在 9 點產(chǎn)出，如果沒有，開始計算不可 用時間，整體可以按照不同數(shù)據(jù)產(chǎn)品的重要性進行折算，99.8% 是數(shù)據(jù)產(chǎn)品一個相對比 較好的 SLA。

五、數(shù)據(jù)質(zhì)量相關(guān)的數(shù)據(jù)產(chǎn)品

工欲善其事必先利其器，提升數(shù)據(jù)監(jiān)控稽核規(guī)則的配置效率和覆蓋度需要依賴于數(shù)據(jù)質(zhì)量監(jiān)控相關(guān)的產(chǎn)品，一般來說需要具備靈活的規(guī)則配置能力和批量操作的功能，隨著AI的發(fā)展，增加更多的智能分析和預(yù)警能力。