基于數(shù)據(jù)的基準(zhǔn)對比，就是通過不斷的對比去發(fā)現(xiàn)我們的產(chǎn)品距離目標(biāo)是否達(dá)到了？還是有一定的距離呢？

數(shù)據(jù)的價值需要靠有兩點來實現(xiàn)：

• 第一，大數(shù)據(jù)是需要由小數(shù)據(jù)的精準(zhǔn)、完整、及時；這關(guān)系到的是實際業(yè)務(wù)場景的分析和數(shù)據(jù)指標(biāo)體系的搭建，這方面我在后面的文章中會講解說明；
• 第二，就是數(shù)據(jù)的比較，只有通過數(shù)據(jù)的比較，數(shù)據(jù)才會賦予生命力；一個同比，另外一個是和同行比；如果用更加可執(zhí)行的語言來說的話，一個是基于基準(zhǔn)的比較，第二個是基于不同產(chǎn)品的比較。

上節(jié)中我有提過數(shù)據(jù)分析都是基于一定的目的，基于基準(zhǔn)的比較目的是檢驗我們的產(chǎn)品數(shù)據(jù)是否達(dá)到了目標(biāo)；基于不同產(chǎn)品的比較，目的是為了測試我們哪一版本的產(chǎn)品設(shè)計更加符合用戶的需求，這個我們將在下一節(jié)中闡述。

基于基準(zhǔn)的比較分析——我的的產(chǎn)品達(dá)到目標(biāo)沒

從上面的兩個描述分析說起，“描述一”中該數(shù)據(jù)就是一個很簡單的陳述，我們無法知道老王賣了1000元水果，這個值是多還是少，是增加了還是減少了，所有這個數(shù)據(jù)的描述是毫無意義的。

“描述二”中，該描述是有對比，昨天是800元這是一個基于歷史數(shù)據(jù)的基準(zhǔn)，今天是1000元是在歷史數(shù)據(jù)的基礎(chǔ)上有所增長，所以我們可以認(rèn)為老王今天的營收多余昨天。

關(guān)于對于基準(zhǔn)的對比總結(jié)了從以下的幾個維度分析：如何設(shè)定基準(zhǔn)、確保統(tǒng)一維度、通過樣本數(shù)量和數(shù)據(jù)類型來選取計算公式。

以下我們來一一分析：

1. 如何設(shè)定基準(zhǔn)

一般來說有以下幾種方法：

1）基于這個產(chǎn)品任務(wù)以往測試所得歷史數(shù)據(jù)

2）基于已發(fā)表科學(xué)研究或市場研究的發(fā)現(xiàn)

3）同負(fù)責(zé)產(chǎn)品的利益相關(guān)者商議標(biāo)準(zhǔn)

無論用什么方法，不要讓分析的產(chǎn)生麻痹你設(shè)定特定目標(biāo)；定義目標(biāo)并不容易，尤其在你即將開始可用性計劃時。不要給你設(shè)定的第一目標(biāo)限制，重要的是你要立即建立一些具體的目標(biāo)，這樣你就能測量改進(jìn)的效果。

如果發(fā)現(xiàn)目標(biāo)不現(xiàn)實或者不合適，你可以修訂它們。如果你發(fā)現(xiàn)自己需要去做這類修訂，試著在獲得經(jīng)驗的早期修訂，并用產(chǎn)品來進(jìn)行最初的測量。不要為適應(yīng)一個不易用的產(chǎn)品去改變合理的目標(biāo)。

?2. 確保統(tǒng)一維度

測量目標(biāo)的最客觀基礎(chǔ)來自前人或者競品的可用性研究數(shù)據(jù)，為了最大化普適性，歷史數(shù)據(jù)應(yīng)該來自相同的條件下、相似的類型參與者完成相同任務(wù)的研究。

舉個例子：

從上面的例子可以看出，保持統(tǒng)一的維度，變量的對比之間才有意義。如果描述8和描述9 改成：“描述8：老王賣水果，在山東賣，早上賣了1000元?！薄懊枋?：小李賣水果，在山西賣，賣了1500元”。那這個時候我們就很難斷定，賣水果的價格差異，是人的能力問題引起的還是地理位置引起的。所以對比分析確保地理緯度一直才有對比性可言。

3. 計算方法

與上節(jié)中我們提到的置信區(qū)間的計算方法一樣，所用的計算方法主要取決于“數(shù)據(jù)的類型（離散型二進(jìn)制VS連續(xù)型）和樣本量大小”。

（1）離散型二進(jìn)制數(shù)據(jù)

離散型數(shù)據(jù)主要用于測量對比任務(wù)完成率這樣的指標(biāo)的時候居多。

1）針對小樣本的離散型數(shù)據(jù)

以上公式是“精準(zhǔn)概率”的計算方法，還有一個是“中間概率”的計算方法，我們通過以下的一個例子來對比以下，以下兩個區(qū)間的計算方法有什么異同。

ex：在一場設(shè)計初期的測試中，9名用戶中有8名成功的完成了任務(wù)。是否有充足的證據(jù)表明，至少有70%的用戶可以成功完成任務(wù)？

解：完成率的觀測值為8/9=88.9%。假定總體完成率為70%，用二項式精準(zhǔn)區(qū)間概率可以得到9次嘗試中成功8次成功以上的概率。為此，我們計算恰好8次成功的概率和恰好9次成功的概率。

精準(zhǔn)概率的計算：9次嘗試中有八次成功或者九次成功的概率為0.1556+0.04035=0.1960。換句話說，完成率有80.4%的可能性會超過70%

中間概率的計算：我們使用1/2（0.1556）=0.07782，而不是0.1556。然后把這一半的概率加上9次成功的概率（0.07782+0.04035），得到中間概率值（mid-p-value）=0.1182?，F(xiàn)在我們可以說完成率有88.2%的可能性超過70%。

從計算的數(shù)值看，“精準(zhǔn)概率”的計算方法比“中間概率”的計算方法要保守。

2）針對大樣本的離散型數(shù)據(jù)

上面我們介紹小樣本的離散型二進(jìn)制數(shù)據(jù)的時，是直接計算p值。在計算大樣本的離散型數(shù)據(jù)的時候需要使用 z 分?jǐn)?shù)來生成p值，只有當(dāng)樣本中至少有15個成功樣本和15個失敗樣本的時候才適用。

只有當(dāng)樣本中至少有15個成功樣本和15個失敗樣本的時候才適用，得到的Z值可以使用Excel公式=NORMSDIST（Z）獲得標(biāo)準(zhǔn)正態(tài)累積分布到Z的概率值。

（2）連續(xù)型數(shù)據(jù)

離散型數(shù)據(jù)主要用于在測量滿意度評分和任務(wù)時間這樣的指標(biāo)居多。

1）評分類數(shù)據(jù)與基準(zhǔn)的對比

等式告訴我們等式的結(jié)果想要告訴我們樣本平均值和基準(zhǔn)之間的標(biāo)準(zhǔn)差是多少，標(biāo)準(zhǔn)差越大就越說明樣本超出基準(zhǔn)。在Excel中統(tǒng)計顯著性p-value=TDIST（ABS（t）,自由度，方向）；t 需要取絕對值，因為有時候平均值比基準(zhǔn)小的情況。自由度=樣本量n-1;方向雙向檢測為1，單側(cè)檢驗為0。

2）時間類數(shù)據(jù)和基準(zhǔn)對比

任務(wù)時間趨于偏正態(tài)（有右側(cè)長尾），大多數(shù)統(tǒng)計出來程序基于這樣的一個假設(shè)：數(shù)據(jù)近似均勻且正態(tài)分布。為了補救這個問題，我們首先將原始數(shù)據(jù)轉(zhuǎn)化為時間的對數(shù)，然后和問卷數(shù)據(jù)處理方法一樣，執(zhí)行樣本t檢驗。

連續(xù)性數(shù)據(jù)總結(jié)：對于連續(xù)性數(shù)據(jù)是根據(jù)計算t 值再來轉(zhuǎn)化成p-value值，來對比統(tǒng)計的顯著性。同樣我們需要計算數(shù)值置信區(qū)間，看看基準(zhǔn)是否落在該置信區(qū)間里面，再來判斷該對比是否有意義。

總結(jié)

基于數(shù)據(jù)的基準(zhǔn)對比，就是通過不斷的對比去發(fā)現(xiàn)我們的產(chǎn)品距離目標(biāo)是否達(dá)到了？還是有一定的距離呢？以便于發(fā)現(xiàn)問題，制定下一步的產(chǎn)品策略。

本文由 @平遙抒雪 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載