編輯導(dǎo)語：當(dāng)你在進(jìn)行一項(xiàng)產(chǎn)品設(shè)計(jì)時(shí)，數(shù)據(jù)突然產(chǎn)生波動(dòng)了，你會(huì)怎么做？作者分享了自己是如何利用基尼系數(shù)進(jìn)行數(shù)據(jù)波動(dòng)自動(dòng)歸因分析的方法，我們一起來看下吧。

日常工作中，數(shù)據(jù)同學(xué)經(jīng)常會(huì)被老板或業(yè)務(wù)問到“昨日XX指標(biāo)波動(dòng)50%，幫忙看下什么原因？”，也有上來直接來一句“今天數(shù)據(jù)是不是有問題??？”，數(shù)據(jù)同學(xué)心里一驚，“我X，是不是集群延遲了？難道昨天修改邏輯，改出Bug了嗎？”

于是先去找到指標(biāo)對(duì)應(yīng)的數(shù)據(jù)任務(wù)，排查數(shù)據(jù)加工流程有無異常，檢查了一遍任務(wù)運(yùn)行正常，各個(gè)環(huán)節(jié)數(shù)據(jù)無誤，松了一口氣。

開始分析波動(dòng)原因，經(jīng)過多個(gè)維度的拆解分析后，發(fā)現(xiàn)南京下降影響最大，結(jié)合最新公布的疫情信息，回復(fù)老板/業(yè)務(wù)說，“昨日數(shù)據(jù)波動(dòng)的主要原因是XXX，指標(biāo)總體下降XX，其中南京下降XX，影響率XX”。一輪操作后，一上午過去了，既定的排期任務(wù)又要晚上加班搬磚了。

一、數(shù)據(jù)波動(dòng)產(chǎn)生的原因

業(yè)務(wù)數(shù)據(jù)不可能一成不變，尤其是互聯(lián)網(wǎng)業(yè)務(wù)發(fā)展迅速，業(yè)務(wù)指標(biāo)也會(huì)不斷變化。數(shù)據(jù)的波動(dòng)主要體現(xiàn)和對(duì)比日期（同比、環(huán)比等）出現(xiàn)上升或下降。

DAU、訂單數(shù)、營(yíng)收等經(jīng)營(yíng)業(yè)績(jī)性指標(biāo)重點(diǎn)關(guān)注下降，而退訂率、投訴率等服務(wù)性指標(biāo)重點(diǎn)關(guān)注上升。當(dāng)用戶反饋數(shù)據(jù)波動(dòng)問題時(shí)，可以從以下幾個(gè)方面排查分析：

• 首先確認(rèn)數(shù)據(jù)質(zhì)量問題，數(shù)據(jù)在加工過程，由于源頭數(shù)據(jù)異常、任務(wù)依賴延遲(集群資源不足)、開發(fā)Bug等原因，導(dǎo)致的數(shù)據(jù)重復(fù)、延遲、異常值臟數(shù)據(jù)等，影響數(shù)據(jù)結(jié)果。
• 周期性波動(dòng)，對(duì)于有周期屬性的業(yè)務(wù)，OTA旅游產(chǎn)品，景區(qū)門票周末、暑期、節(jié)假日是出行旺季，這些時(shí)段各項(xiàng)業(yè)務(wù)指標(biāo)會(huì)較其他時(shí)段有明細(xì)的增幅。外賣業(yè)務(wù)，在母親節(jié)、情人節(jié)等節(jié)日，鮮花品類會(huì)暴漲。
• 市場(chǎng)環(huán)境影響，如突發(fā)政治政策，用戶信息安全監(jiān)控政策出臺(tái)后，一些赴美上市的出行、招聘等企業(yè)新用戶停止注冊(cè)，業(yè)務(wù)會(huì)出現(xiàn)大幅波動(dòng)。
• 自然環(huán)境，如天氣，外賣業(yè)務(wù)白領(lǐng)區(qū)域來說，工作日遇到雨雪天氣，出門吃飯的人會(huì)大大減少，外賣訂單激增。
• 業(yè)務(wù)動(dòng)作，如新版本發(fā)布、新的營(yíng)銷活動(dòng)上線等，五一期間，各家OTA公司上線機(jī)票盲盒活動(dòng)，一時(shí)成為后疫情時(shí)代的爆款產(chǎn)品，帶來增量流量的提升。
• 競(jìng)對(duì)出現(xiàn)，互聯(lián)網(wǎng)業(yè)務(wù)新入局者往往會(huì)在營(yíng)銷、補(bǔ)貼等方面投入更多的資源，以跑馬圈地獲取用戶，對(duì)于忠誠(chéng)度不高的趨利型用戶，會(huì)被直接轉(zhuǎn)移，百度、美團(tuán)、餓了么外賣市場(chǎng)三足鼎立時(shí)，很多人同時(shí)裝三個(gè)App，哪個(gè)補(bǔ)貼多用哪個(gè)。
• 業(yè)務(wù)變化，產(chǎn)品調(diào)整帶來的統(tǒng)計(jì)邏輯的變更，例如App新版本上線后，流量入口的統(tǒng)計(jì)埋點(diǎn)方式發(fā)生的變化，業(yè)務(wù)產(chǎn)品未及時(shí)通知數(shù)據(jù)團(tuán)隊(duì)，統(tǒng)計(jì)邏輯變更不及時(shí)，導(dǎo)致數(shù)據(jù)波動(dòng)。

二、什么樣的數(shù)據(jù)波動(dòng)才是異常？

異常的判斷需要結(jié)合業(yè)務(wù)的屬性、發(fā)展階段、指標(biāo)特征、對(duì)比的周期綜合確定評(píng)價(jià)標(biāo)準(zhǔn)。首先是指標(biāo)評(píng)價(jià)的依據(jù)，即憑什么說指標(biāo)波動(dòng)了，和歷史同期比通常的方式是對(duì)比分析（上一篇文章有詳細(xì)的同比、環(huán)比計(jì)算邏輯和常用場(chǎng)景）。

對(duì)于波動(dòng)范圍，同是DAU指標(biāo)，百萬級(jí)公司可能下降30%定為異常，而對(duì)于千萬級(jí)、億級(jí)的企業(yè)可能下降5%就需要分析下原因了。

因此，在數(shù)據(jù)產(chǎn)品設(shè)計(jì)時(shí)，需要對(duì)業(yè)務(wù)需求進(jìn)行調(diào)研分析，確定指標(biāo)異常的判斷標(biāo)準(zhǔn)。

三、數(shù)據(jù)產(chǎn)品異常歸因分析設(shè)計(jì)思路

1. 數(shù)據(jù)質(zhì)量保證

數(shù)據(jù)波動(dòng)時(shí)，很多業(yè)務(wù)第一反應(yīng)是“數(shù)據(jù)準(zhǔn)不準(zhǔn)”，尤其是當(dāng)數(shù)據(jù)質(zhì)量問題比較頻繁時(shí)，會(huì)降低業(yè)務(wù)對(duì)數(shù)據(jù)產(chǎn)品的信任度。

數(shù)據(jù)質(zhì)量可以說是數(shù)據(jù)產(chǎn)品的生命線，沒數(shù)據(jù)時(shí)，業(yè)務(wù)可以基于經(jīng)驗(yàn)等多方考慮去決策，但如果數(shù)據(jù)質(zhì)量有問題給業(yè)務(wù)帶來錯(cuò)誤的決策引導(dǎo)，那就是好心辦壞事了。

因此，數(shù)據(jù)產(chǎn)品設(shè)計(jì)要考慮數(shù)據(jù)質(zhì)量的把控，可以通過數(shù)據(jù)質(zhì)量監(jiān)控報(bào)警日?qǐng)?bào)每日巡檢指標(biāo)涉及的任務(wù)運(yùn)行情況、數(shù)據(jù)生產(chǎn)鏈路的表的質(zhì)量情況（一致性、及時(shí)性、準(zhǔn)確性、完整性監(jiān)控），當(dāng)監(jiān)控體系覆蓋健全后，業(yè)務(wù)來質(zhì)問數(shù)據(jù)問題時(shí)，就可以有底氣問業(yè)務(wù)上是否有什么動(dòng)作。

當(dāng)監(jiān)控發(fā)現(xiàn)數(shù)據(jù)質(zhì)量異常時(shí)，數(shù)據(jù)人員第一時(shí)間進(jìn)行問題排查和恢復(fù)處理，并且產(chǎn)品端通過調(diào)用質(zhì)量監(jiān)控結(jié)果的接口數(shù)據(jù)，進(jìn)行異常提醒，降低錯(cuò)誤數(shù)據(jù)對(duì)業(yè)務(wù)決策的負(fù)面影響。

2. 指標(biāo)異常規(guī)則的配置

數(shù)據(jù)質(zhì)量保證沒問題后，第二步就是界定指標(biāo)波動(dòng)異常的標(biāo)準(zhǔn)了，一般有兩種方式，一是充分了解業(yè)務(wù)需求，將指標(biāo)預(yù)警的規(guī)則，內(nèi)嵌到產(chǎn)品實(shí)現(xiàn)邏輯中，好處是開發(fā)成本低，可以快速變現(xiàn)。

適合于規(guī)則變化不頻繁的場(chǎng)景，缺點(diǎn)是后期業(yè)務(wù)變化需要調(diào)整規(guī)則時(shí)，需要開發(fā)支持，且難以復(fù)用。第二種方式是建立統(tǒng)一的指標(biāo)預(yù)警的配置化工具，業(yè)務(wù)可以按照自己需求場(chǎng)景設(shè)定預(yù)警的規(guī)則。

3. 利用基尼系數(shù)的思想實(shí)現(xiàn)異常歸因報(bào)告自動(dòng)生成

確定數(shù)據(jù)質(zhì)量準(zhǔn)確無誤后，指標(biāo)波動(dòng)異常分析的一般流程是，先結(jié)合常見的幾種異常原因（業(yè)務(wù)動(dòng)作、市場(chǎng)環(huán)境等）提出初步假設(shè)。然后是將指標(biāo)按照支持的維度進(jìn)行逐層拆解分析。

例如昨日大盤單量環(huán)比下降40%，先分平臺(tái)看，Android、ios、微信小程序各段環(huán)比是否有明顯的差異，即是各端均差不多幅度下降，還是某一端明顯下降。

分業(yè)務(wù)類型看，環(huán)比下降幅度Top的業(yè)務(wù)分別是團(tuán)購(gòu)、麗人、到店，單量下降對(duì)大盤整體的影響分別是10%，8%，5%等。最后確定指標(biāo)拆解過程定位關(guān)鍵影響維度驗(yàn)證假設(shè)，得出分析結(jié)論。

這個(gè)分析流程的核心思想是基于某一標(biāo)準(zhǔn)（指標(biāo)）分析哪個(gè)維度、以及哪一維度枚舉值對(duì)總體的影響最大，這和經(jīng)濟(jì)學(xué)中用基尼系數(shù)（英文：Giniindex、GiniCoefficient）比較相似，基尼系數(shù)來作為衡量一個(gè)國(guó)家或地區(qū)居民收入差距的常用指標(biāo)。

基尼系數(shù)取值區(qū)間為[0,1]。越接近0表明收入分配越是趨向平等，一般認(rèn)為小于0.2時(shí)，居民收入過于平均，0.2-0.3之間時(shí)較為平均，0.3-0.4之間時(shí)比較合理，0.4-0.5時(shí)差距過大，大于0.5時(shí)差距懸殊。

因此，可以先通過計(jì)算各個(gè)維度下，每個(gè)維度枚舉值波動(dòng)情況對(duì)大盤的影響，得到單一維度下，各個(gè)值的基尼系數(shù)（基尼系數(shù)的算法公式參考百度百科），得到哪些維度波動(dòng)“不公平”，即差異比較大，由此可得影響總體波動(dòng)的關(guān)鍵維度排名，然后再針對(duì)具體維度下的各個(gè)枚舉值，計(jì)算波動(dòng)影響Top的值。

例如昨日訂單環(huán)比下降10%，降低數(shù)值為A，通過基尼系數(shù)得到城市維度下，基尼系數(shù)最高，0.7，可以確定城市維度存在明顯差異，每個(gè)城市環(huán)比下降值從高到低依次為，B1，B2……Bn，由此可自動(dòng)生產(chǎn)歸因報(bào)告，即到訂單下降主要受到地區(qū)影響，分城市看大盤貢獻(xiàn)度Top3的城市為：上海B1/A，北京B2/A，南京B3/A。

4. 數(shù)據(jù)填報(bào)，實(shí)現(xiàn)信息共享

數(shù)據(jù)部門經(jīng)常遇到的痛點(diǎn)是很難第一時(shí)間獲得業(yè)務(wù)的信息，比如產(chǎn)品改版、活動(dòng)上線等，往往是先看到數(shù)據(jù)波動(dòng)，再去溝通確認(rèn)業(yè)務(wù)動(dòng)作。

因此，可以考慮基于數(shù)據(jù)填報(bào)的能力，當(dāng)業(yè)務(wù)調(diào)整、或者外部經(jīng)濟(jì)、政治、競(jìng)爭(zhēng)環(huán)境信息時(shí)，可以及時(shí)更新備注，作為日期維度表的補(bǔ)充，在產(chǎn)品端進(jìn)行展示提醒。

四、小結(jié)

指標(biāo)波動(dòng)是數(shù)據(jù)工作中最常見的問題，高效的異常波動(dòng)的歸因分析流程主要從以下幾個(gè)方面逐步完善：

• 建立完善的數(shù)據(jù)質(zhì)量監(jiān)控體系，才有足夠的自信，確認(rèn)不是數(shù)據(jù)問題
• 利用基尼系數(shù)分析或其他分析方法，產(chǎn)品化影響波動(dòng)的關(guān)鍵維度以及影響率，可應(yīng)用與定制化的可視化報(bào)表或自主分析BI工具中
• 了解波動(dòng)的常見原因，將定量的數(shù)據(jù)分析結(jié)果與業(yè)務(wù)內(nèi)外部的因素結(jié)合起來
• 建立便捷的信息共享通道，降低溝通成本

#專欄作家#

數(shù)據(jù)干飯人，微信號(hào)公眾號(hào)：數(shù)據(jù)干飯人，人人都是產(chǎn)品經(jīng)理專欄作家。專注數(shù)據(jù)中臺(tái)產(chǎn)品領(lǐng)域，覆蓋開發(fā)套件,數(shù)據(jù)資產(chǎn)與數(shù)據(jù)治理，BI與數(shù)據(jù)可視化，精準(zhǔn)營(yíng)銷平臺(tái)等數(shù)據(jù)產(chǎn)品。擅長(zhǎng)大數(shù)據(jù)解決方案規(guī)劃與產(chǎn)品方案設(shè)計(jì)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議