訂單轉(zhuǎn)化率提升了，活動(dòng)帶來了增長(zhǎng)，但這些成果究竟意味著什么？是業(yè)務(wù)的自然增長(zhǎng)，還是資源投入的回報(bào)？如何判斷這些變化是好是壞？本文將帶你深入探討數(shù)據(jù)分析中至關(guān)重要的一步——設(shè)定衡量基準(zhǔn)。

數(shù)據(jù)分析常被說是個(gè)仁者見仁智者見智的工作，其原因是數(shù)據(jù)分析結(jié)果解讀會(huì)因人的業(yè)務(wù)經(jīng)驗(yàn)、認(rèn)知、數(shù)據(jù)能力而異，得到結(jié)論和建議通常會(huì)以一定參考系為準(zhǔn)判斷業(yè)務(wù)進(jìn)展的好壞，分析師需要站在客觀角度評(píng)判事物好壞，既要對(duì)業(yè)務(wù)足夠熟悉又要有公允的標(biāo)準(zhǔn)對(duì)結(jié)果衡量。如何定個(gè)好標(biāo)準(zhǔn)變得尤為重要。

一般情況下，我們通常會(huì)面臨這樣的問題，如訂單轉(zhuǎn)化率從3%提升到5%，或者活動(dòng)帶來的訂單增長(zhǎng)了15%，是多還是少？我們常在匯報(bào)上聽到這樣的字眼，而單獨(dú)看這個(gè)數(shù)字不足以說明情況，很多時(shí)候增長(zhǎng)的數(shù)字一部分是業(yè)務(wù)自然增長(zhǎng)帶來，也有時(shí)是投入了大量資源之后帶來的增長(zhǎng)。因此在介紹變化時(shí)，需要選擇一定的對(duì)比基準(zhǔn)。

• 橫向：同類型業(yè)務(wù) 行業(yè)平均水平、標(biāo)桿水平
• 縱向：業(yè)務(wù)自身歷史平均水平、同期水平、最好水平、近期平均水平
• 平行：AB實(shí)驗(yàn)中，對(duì)照組指標(biāo)水平

以上對(duì)比基準(zhǔn)的具體應(yīng)用場(chǎng)景：

1. 同類型業(yè)務(wù) 行業(yè)平均水平、標(biāo)桿水平

• 業(yè)務(wù)或產(chǎn)品本身是新的，做市場(chǎng)規(guī)模預(yù)估，歷史沒有參考數(shù)據(jù)可依賴。
• 確定業(yè)務(wù)在市場(chǎng)中份額，判斷是否開展新的業(yè)務(wù)。
• 判斷現(xiàn)有經(jīng)營(yíng)狀況，根據(jù)對(duì)比行業(yè)相同或相似產(chǎn)品用戶需求變化趨勢(shì)，判斷自身經(jīng)營(yíng)情況，從而調(diào)整市場(chǎng)競(jìng)爭(zhēng)策略。

主要解決的問題：橫向?qū)Ρ?，確定市場(chǎng)地位，輔助判斷業(yè)務(wù)趨勢(shì)是否正常。

2. 業(yè)務(wù)自身歷史平均水平、同期水平、最好水平、近期平均水平

• 年度規(guī)劃和預(yù)算目標(biāo)制定。尤其在具有周期性季節(jié)性的業(yè)務(wù)中，歷史數(shù)據(jù)具有更大的參考意義。
• 項(xiàng)目目標(biāo)制定和復(fù)盤。某些活動(dòng)如早期的雙11，反映的是一年中的峰值，同時(shí)也是一種需求極限探測(cè)，為次年的目標(biāo)做了基線探測(cè)。
• 長(zhǎng)期業(yè)務(wù)經(jīng)營(yíng)監(jiān)控?？串?dāng)前業(yè)務(wù)發(fā)展趨勢(shì)是否符合周期性，增長(zhǎng)趨勢(shì)快速還是緩慢，判斷業(yè)務(wù)所在生命周期。

主要解決的問題：業(yè)務(wù)自身隨時(shí)間推移的增長(zhǎng)變化。

3. AB實(shí)驗(yàn)同期對(duì)照組水平

• 用戶分流AB實(shí)驗(yàn)。隨機(jī)分流用戶，一組用戶看到新策略或新版本，另一組可用用戶看到原始版本，對(duì)比哪組效果更好。
• 不同地域AB實(shí)驗(yàn)。有些策略由于供給側(cè)不能獨(dú)立拆分給實(shí)驗(yàn)組和對(duì)照組，會(huì)存在供給側(cè)的不均衡。一般采用相似或組合群組地域方式篩選相似AB組來實(shí)驗(yàn)。對(duì)比方式同用戶分流AB實(shí)驗(yàn)。

主要解決的問題：同時(shí)間、同外部環(huán)境等情況下的兩組不同的策略表現(xiàn)。

說了一些常規(guī)的對(duì)比基準(zhǔn)，再講一類特殊且經(jīng)?？吹降膶?duì)比基準(zhǔn)。

例如，電商平臺(tái)某個(gè)品類做活動(dòng)，這段時(shí)間該品類根據(jù)上面描述的對(duì)比基準(zhǔn)2下的收入、訂單量均有明顯提升，同時(shí)根據(jù)對(duì)比基準(zhǔn)1也發(fā)現(xiàn)該品類在他競(jìng)對(duì)的訂單等有所下降。在這種情況下，可以判斷這個(gè)品類增長(zhǎng)良好要繼續(xù)投入嗎？

顯然這并不能下結(jié)論，有幾個(gè)問題并沒有回答：

• 這個(gè)品類收入增加，其他品類變化如何？是否會(huì)存在相互擠兌？
• 這個(gè)品類的增加是一直持續(xù)增加？持續(xù)多久會(huì)達(dá)到天花板？
• 這個(gè)品類增加是否讓整體收入增加？局部變好而是否全局變差？

因此，再來重新看使用基準(zhǔn)1和基準(zhǔn)2的限定條件，即進(jìn)行大盤對(duì)比時(shí)是合理的，而局部對(duì)比變化需要放在大盤中對(duì)比才能說明其作用，而更多情況下我們更希望是局部的增長(zhǎng)不會(huì)影響其他部分，這樣的增長(zhǎng)才是良性健康的增長(zhǎng)。通常情況下進(jìn)行實(shí)驗(yàn)?zāi)芤徊糠纸鉀Q該類問題。

整體下的維度拆分對(duì)比，更多是對(duì)整體表現(xiàn)進(jìn)行事實(shí)描述，而不能當(dāng)做判斷依據(jù)做決策。