企業(yè)對于業(yè)務(wù)指標(biāo)的監(jiān)控變得尤為重要。面對日常運(yùn)營中指標(biāo)波動的挑戰(zhàn)，如何有效識別異常波動，既避免漏報(bào)也減少錯報(bào)，是每個數(shù)據(jù)驅(qū)動型企業(yè)需解決的問題。本文提出了一種集成監(jiān)控方案，結(jié)合閾值、3sigma和時間序列方法，以app日活指標(biāo)為例，展示了如何實(shí)現(xiàn)對業(yè)務(wù)指標(biāo)的精準(zhǔn)監(jiān)控和異常預(yù)警。

一、應(yīng)用場景

在日常工作中，我們經(jīng)常面臨指標(biāo)波動的挑戰(zhàn)。比如，當(dāng)DAU指標(biāo)環(huán)比下降10%，我們是否應(yīng)該觸發(fā)監(jiān)控機(jī)制呢？為了有效地識別指標(biāo)異常，我們需要解決兩個核心問題：

1. 避免漏報(bào)，即確保能夠準(zhǔn)確地識別異常波動，從而最小化對業(yè)務(wù)的影響；
2. 減少錯報(bào)，即避免錯誤預(yù)警，減少不必要的排查工作，以節(jié)約人力資源。

本文將介紹一種集成監(jiān)控方案，能更有效地識別業(yè)務(wù)指標(biāo)中的異常情況。

二、解決方案

以app日活指標(biāo)為例，設(shè)計(jì)基于閾值、3sigma、時間序列于一體的集成監(jiān)控方案。

介紹如何實(shí)現(xiàn)對日活進(jìn)行監(jiān)控，識別指標(biāo)異常。

1. 基于閾值的監(jiān)控方案

基于閾值的監(jiān)控方案，主要依賴個人經(jīng)驗(yàn)設(shè)置指標(biāo)閾值。通常適用于振幅相對平緩的業(yè)務(wù)數(shù)據(jù)指標(biāo)，通常采用的方式有：

• 基于歷史數(shù)據(jù)觀測值設(shè)置監(jiān)控閾值，將異常上限設(shè)置在歷史數(shù)據(jù)正常值最高點(diǎn)附近，下限設(shè)定在最低點(diǎn)附近，一旦業(yè)務(wù)指標(biāo)超過設(shè)置的上限、下限值觸發(fā)監(jiān)控；
• 基于同環(huán)比設(shè)置監(jiān)控閾值，基于歷史數(shù)據(jù)同環(huán)比波動范圍，將閾值設(shè)置在同環(huán)比歷史數(shù)據(jù)峰值、谷峰附近，當(dāng)業(yè)務(wù)指標(biāo)超過設(shè)定值觸發(fā)監(jiān)控。

2. 基于3sigma監(jiān)控方案

3sigma準(zhǔn)則通常適用于對正態(tài)或近似正態(tài)分布的業(yè)務(wù)數(shù)據(jù)，若數(shù)據(jù)服從正態(tài)分布，對數(shù)據(jù)指標(biāo)進(jìn)行計(jì)算處理得到標(biāo)準(zhǔn)偏差，按與平均值的偏差在三倍標(biāo)準(zhǔn)差范圍內(nèi)來確定數(shù)據(jù)分布區(qū)間，區(qū)間外的指標(biāo)值則判定為異常值。

即業(yè)務(wù)指標(biāo)在滿足正態(tài)分布的前提下，距離指標(biāo)平均值3倍標(biāo)準(zhǔn)差之外的值出現(xiàn)的概率很小(P(|x?μ|>3σ)≤0.003)，若在區(qū)間外則可認(rèn)為是異常值。

若數(shù)據(jù)不服從正態(tài)分布，也可以用距離平均值多少倍標(biāo)準(zhǔn)差來描述，但sigma系數(shù)需要根據(jù)業(yè)務(wù)數(shù)據(jù)分布情況來判定。

3. 基于時間序列的監(jiān)控方案

前文提到數(shù)列呈現(xiàn)平穩(wěn)波動或者服從正態(tài)分布的情況，在實(shí)際生產(chǎn)過程中，業(yè)務(wù)指標(biāo)往往會表現(xiàn)出周期性、趨勢性規(guī)劃。

前兩種監(jiān)控方案往往會出現(xiàn)錯報(bào)現(xiàn)象，比如在電商節(jié)、節(jié)假日、周年慶等時期，數(shù)據(jù)波動較大，前面基于閾值以及3sigma原則的監(jiān)控往往會誤報(bào)、觸發(fā)監(jiān)控導(dǎo)致不必要排查上的人力投入。

基于時間序列監(jiān)控方案考慮到業(yè)務(wù)指標(biāo)季節(jié)性和周期性變化對具體時間點(diǎn)的影響，從業(yè)務(wù)數(shù)據(jù)指標(biāo)歷史時間序列中找出變量變化的特征，利用統(tǒng)計(jì)學(xué)方式預(yù)測變量未來趨勢以及發(fā)展規(guī)律，從而測算出預(yù)測值。

通過預(yù)測值與真實(shí)值的偏差程度來識別是否是異常，通常會使用平均絕對百分比誤差(MAPE)指標(biāo)來衡量，如MAPE超出所給的設(shè)定值，則判斷為異常，從而觸發(fā)異常監(jiān)控。以日活指標(biāo)(t-1)為例。

通過t-2前的歷史數(shù)據(jù)構(gòu)建預(yù)測模型，來預(yù)測t-1天的日活值，當(dāng)業(yè)務(wù)數(shù)據(jù)集在t-1天更新指標(biāo)值(真實(shí)值)。

通過計(jì)算預(yù)測值與真實(shí)值之間的平均絕對百分誤差來度量偏差程度，依據(jù)模型訓(xùn)練精度設(shè)定閾值。當(dāng)觸發(fā)該閾值時，觸發(fā)監(jiān)控進(jìn)行異常預(yù)警。

綜上所述，集成監(jiān)控根據(jù)業(yè)務(wù)指標(biāo)數(shù)列特征構(gòu)建相應(yīng)的監(jiān)控模型來進(jìn)行異常的識別與預(yù)警，整體解決方案如下圖：

三、應(yīng)用案例

以下是以app日活為例，將基于閾值、3sigma、時間序列于一體的監(jiān)控方案運(yùn)用在其指標(biāo)異常監(jiān)控上。

為舉例方便，我們采用2022年10月到12月期間3個月業(yè)務(wù)數(shù)據(jù)樣本。

1. 基于閾值的監(jiān)控方案

通過計(jì)算樣本環(huán)比最大波動值為23.9%（見下圖），可以將閾值設(shè)置為該值，當(dāng)日活環(huán)比值超過閾值，如25%超過閾值(23.9%)時，則觸發(fā)異常監(jiān)控。

該方案也可以根據(jù)樣本最大值、最小值來進(jìn)行閾值監(jiān)控，當(dāng)業(yè)務(wù)指標(biāo)超過最大、最小值范圍時觸發(fā)監(jiān)控。

2. 基于3sigma的監(jiān)控方案

基于上文提到的3sigma準(zhǔn)則，我們計(jì)算出近3個月的均值、標(biāo)準(zhǔn)差值，在數(shù)據(jù)呈現(xiàn)近似正態(tài)分布情況下，業(yè)務(wù)指標(biāo)數(shù)據(jù)落在數(shù)值分布在（μ-3σ,μ+3σ)中的概率約為99.7%，若指標(biāo)數(shù)據(jù)落在該區(qū)間外，我們則判定為異常值，從而觸發(fā)監(jiān)控。

3. 基于時間序列的監(jiān)控方案

進(jìn)行時間序列預(yù)測前，先可以將指標(biāo)拆分成4部分：

(a)趨勢性；(b)季節(jié)性；(c) 周期性；(d)隨機(jī)噪聲。

通過觀察分解圖，來初步識別業(yè)務(wù)數(shù)據(jù)指標(biāo)序列是否平穩(wěn)。

如果數(shù)據(jù)是平穩(wěn)的，可以使用傳統(tǒng)的自回歸平均移動模型（ARMA）；如果數(shù)據(jù)是不平穩(wěn)的，可以使用差分移動自回歸平均移動模型（ARIMA）。

在實(shí)際應(yīng)用中，我們會發(fā)現(xiàn)傳統(tǒng)模型的預(yù)測精度效果相對較差，這里我們采用SVR模型來進(jìn)行預(yù)測，對于SVR模型，最主要的參數(shù)就是C(懲罰系數(shù))和gamma（核函數(shù)自帶參數(shù)）。

對于C和gamma參數(shù)的確定可以通過交叉驗(yàn)證的方法來進(jìn)行確定，本文采取的是粒子群算法，通過粒子群算法初始化隨機(jī)解，根據(jù)迭代找到最優(yōu)解。

模型效果如下：

我們可以將真實(shí)值與預(yù)測值的誤差上限設(shè)定為6%，這個設(shè)定通常會略高于平均絕對百分比誤差值（MAPE）的數(shù)值（如上圖3.79%）。

當(dāng)誤差超過6%的閾值時，將會觸發(fā)異常監(jiān)控，及時發(fā)現(xiàn)并處理異常情況。

這樣可以確保我們對預(yù)測值的準(zhǔn)確性進(jìn)行有效監(jiān)控和控制。

以2023年1.1-2.28期間日活數(shù)據(jù)為例，監(jiān)控體系各方案效果，如下：

在日活數(shù)據(jù)監(jiān)控中，考慮日活指標(biāo)的周期性、趨勢性采用時間序列模型較合適，從上圖的監(jiān)控效果中，基于時間序列的監(jiān)控方案效果也是3種方案中最好的，在業(yè)務(wù)預(yù)警中，我們可根據(jù)業(yè)務(wù)數(shù)據(jù)本身的規(guī)律來選取最合適的監(jiān)控方案。