新功能上線后，如何從數據的角度去評估該功能的效果如何？作者提出了產品功能分析的“三板斧”，分別是明確功能、梳理指標、對比效果，并以快手購物車功能為例進行案例說明，感興趣的伙伴一起來看看吧。

如果你是一名BP在產品業(yè)務線的數據分析師，那么你會經常遇到產品更新迭代后加入一些新的模塊或功能。當一個新的功能上線后，我們需要從數據的角度去評估該功能的效果如何。本篇將給大家分享作為一名產品數據分析師或者產品經理，如何從專業(yè)角度利用數據分析評估產品新功能的效果。

引言

首先先給大家分享兩組數據，一個來自微軟，一個來自亞馬遜。

在微軟團隊內部公認比較OK的想法，真正實施以后：大約有三分之一起到了預期效果，三分之一的想法沒有產生明顯影響，還有三分之一反而會起到了負作用。

亞馬遜大約有60%到90%的想法，是無法改善他們的產品的。

所以，關于產品驗證環(huán)節(jié)上，大家不要過于盲目自信，應該從扭曲力場中回到現(xiàn)實了。

所以，作為一名合格的產品分析師或者產品經理，必須學會在產品迭代的環(huán)節(jié)中，適時地對改版效果進行衡量并確認進展，這樣才能更好地了解迭代對產品本身起到的作用。

那么，在一次產品改版之后，我們應從哪幾個角度去入手，才能更好地評估一個功能的具體效果呢？

整體來說，我們可以分三個層次去度量評估。

1. 首先，我們需要明確新功能的目標；
2. 其次，梳理該功能的指標，具體可以分為大盤指標、基礎指標和護欄指標
3. 最后，通過對比分析明確功能的效果。

接下來，我們針對每個層次展開來說。

一、產品功能分析“三板斧”

1. 明確功能目標

黎巴嫩詩人紀伯倫曾經說過一句非常有哲理的話，“我們已經走得太遠，以至忘記了為什么出發(fā)”。

同樣，對于任意一款新產品，不管是大版本迭代升級，亦或是只增加一個小功能的升級，我們首先需要回歸初心去思考，為什么要增加這個新功能？也就是增加這個新功能的目的是什么？

比如在一款APP中增加評論功能，可以豐富用戶互動行為，從而增加用戶粘性帶動大盤活躍；再比如電商類APP中上線秒殺功能，挑選某些商品參與特價秒殺，從而在短時間內促進用戶轉化，提升大盤GMV。

2. 梳理功能指標

弄清楚上線新功能的目的之后，接下來有同學迫不及待地會問，怎么樣才能知道該功能有沒有達到目的呢？這個問題我們翻譯過來就是：通過哪些指標能夠衡量新功能的目標。

正所謂無法定義就無法度量，在實際業(yè)務中，對于所有的功能，我們都需要有一些明確的指標來進行衡量。舉個例子，我們想要上線一個新功能來提升用戶滿意度，這個時候我們就需要首先明確什么是用戶滿意度，使用頻次增加？停留時長增加？還是留存率提升？

對于這些功能指標，我們可以分為三大類：結果指標、基礎指標和護欄指標。

1. 結果指標

結果指標很好理解，就是看新功能對大盤的貢獻情況。比如上線新功能的帶來的DAU在大盤DAU中的占比是多少，或者新功能帶來的GMV在大盤GMV中貢獻占比是多少等等。

2. 基礎指標

基礎指標，就是監(jiān)測該功能的日常表現(xiàn)，具體又可以分為橫向指標和縱向指標。那么如何區(qū)分橫向指標和縱向指標呢？當一個產品增加某個新功能，一定會在用戶使用路徑中（UJM模型）體現(xiàn)出來。比如下面這張圖，展示的是簡化版的用戶使用路徑，以及增加了某個新功能D之后的使用路徑。

所謂縱向指標，就是指當前功能的 UV、PV等指標，對比上一層的漏斗（滲透率）以及留存率相關的指標?？v向指標的目的是度量該功能本身流量的大小以及相較于上一層級的留存情況。

那什么是橫向指標呢？從圖中我們可以非常清晰的看到，對于某個特定的功能（比如功能D），用戶從開始使用到使用完成，經過的過程依次是“進入該功能”→“在功能中停留、點擊、消費、跳轉等一系列行為”→“退出該功能”。

相應地，該功能橫向指標包含用戶使用路徑中的常用行為指標，比如頁面的CTR、頁面停留時長、頁面跳出率等。橫向指標的目的是度量用戶在產品中的操作步驟或使用路徑，分析用戶的消費情況。

橫向和縱向分析相結合，就能比較清楚地了解當前功能的效果。

3. 護欄指標

可能你看到“護欄指標”這幾個字會比較懵，會疑惑什么是護欄指標。通俗來說，是一種對功能效果評估補充的服務層指標。

舉個例子，某APP上線了某個新功能，但是該功能占用的服務器內存特別大，雖然功能效果很好，但是經常會導致APP白屏或者閃崩。這時候，我們就需要從服務器層面，去監(jiān)控比如“新功能失敗率”這樣的指標。而這些指標就是護欄指標。

護欄指標的意義在于，我們不僅能從大盤貢獻和基礎功能層面去評估某個新功能的價值，還可以從服務層面保證用戶體驗沒有下降（比如打開某頁面等待時長沒有從1s上漲至5s）。因為往往很多時候，功能有沒有效果還不是那么重要，如果我們從最直接的交互上損害了用戶的體驗而導致用戶流失，反而是最得不償失的。

但我們也不需要過于緊張，并不是所有頁面和功能都需要護欄指標。比如常見視頻的播放、頁面的加載、活動的下發(fā)等，這幾種往往需要監(jiān)控一些失敗率及大盤上的加載效率。而一些小功能的添加，只需要監(jiān)控最基礎的頁面白屏率就可以了。

3. 分析功能效果

明確功能目標以及衡量目標的數據指標之后，最后我們需要判斷該功能的效果如何。數據分析中有一句名言：沒有對比就沒有結論。想要明確功能效果，必須進行對比。

那么跟誰進行對比呢？

兩種思路，第一種，向外看，我們可以和競品（如果能夠拿到數據）進行對比；第二種，向內看，用一段周期內使用該功能的用戶對比未使用該功能的用戶之間的數據進行對比，也就是大家經常聽到的A/B Test。

二、實戰(zhàn)案例：快手“購物車”功能分析

快手是一款短視頻APP，相信大多數人應該都不陌生。當我們?yōu)g覽短視頻時，視頻左下角會有一個“購物車”的小按鈕，接下來我們就以“購物車”功能為例，來看一下如何分析該功能。

為了幫助大家更好的熟悉該功能，我們先來了解一下它整體的操作路徑：

需要注意的是，并不是所有視頻都會有購物車按鈕，只有部分視頻中會有該功能。這個應該是由號主自主選擇設定。當我們點擊“購物車”按鈕后，會自動跳轉到商品列表頁，點擊“搶購”按鈕后跳轉到商品詳情頁，在商品詳情頁右下角可以選擇付費購買。

了解了該功能的使用路徑之后，接下來我們按照剛才給大家介紹的分析“三板斧”，分層級進行實操。

1. 明確功能目標

大家都知道，“購物車”功能多存在于電商類購物APP中，對于一個短視頻APP加入“購物車”功能，很明顯是為了支持其電商業(yè)務的發(fā)展。

因此，我們可以很明確地知道，快手加入這個功能主要就是為了增加其收入，其次附帶功能是提升用戶的活躍和留存。

因為“購物車”帶有種草功能，用戶通過觀看視頻種草后可以將商品加入購物車，而后決定是否購買。久而久之會不斷擴展用戶的使用需求，從而提高用戶的活躍度和留存率。

2. 梳理功能指標

功能指標又可以分為三個層級：大盤指標，基礎指標，護欄指標。

首先我們要拆解大盤貢獻。通過上一步，我們可以確定該功能主要目標是提高平臺GMV，次要目標是提升用戶活躍和留存，因此和大盤指標有聯(lián)系的對應三個指標：收入（GMV）、使用該該功能的UV、PV等、該功能的大盤留存率。

GMV 可以度量該功能能夠為快手平臺整體商業(yè)化帶來的收入；

使用該功能的UV可以度量大盤中有多人會使用該功能，從而度量該功能對于拉升大盤活躍的貢獻；

大盤留存率可以通過對比未使用該功能的用戶的大盤留存率，度量該功能對大盤留存率的提升。

其次我們要度量該功能的基礎指標?？v向上，我們需要明確地知道各個頁面的 PV、UV，以及整體的功能留存率；橫向上，我們需要知道各個頁面中商品的點擊數、各子模塊的點擊數、頁面的停留時長、頁面的跳出率等。

縱向上度量流量的大小，橫向上度量用戶消費的情況，建立一個當前功能的頁面漏斗，為后期迭代做好數據準備。

最后我們還需要分析護欄指標，對于一個短視頻平臺來說，視頻是核心，因此寧愿沒有“購物車”功能也必須保證視頻正常播放。“購物車”功能應該是嵌入在一個播放容器中，所以我們可以分析以下幾個護欄指標：播放器加載成功率、視頻播放成功率以及該功能的打開成功率。

播放器和視頻播放成功率是為了保證視頻的播放不受該功能影響，而“購物車”打開率則是為了監(jiān)控該功能的穩(wěn)定性。

3. 對比功能效果

首先可以向外看做競品對比，比如可以對比抖音和視頻號的“購物車”功能，或者其他直播中類似的帶貨數據的對比。

其次我們重點來說一下內部對比，內部對比也可以分為幾種對比角度。

頁面及功能之間的對比。比如頁面的哪些功能數據相比其他頁面更好，我們可以以實際產生的收入來作為衡量標準。因為有的漏斗雖然量少，但是轉化很高，有的則相反。

商品之間的對比。比如同類型的產品，我們在哪些視頻中賣的更好，哪些視頻中賣的效果不好，這就是商品和視頻的匹配度問題。在上架商品時，我們可以推薦或者引導號主上架的商品類型。

受眾之間的對比。同一個視頻，同一個商品，對于不同用戶的購買率如何，一定會有差異，那我們如果為了提高 GMV，視頻推薦策略中是否需要考慮到這個特征。

對于頁面和功能之間的對比，通過漏斗和轉化率，我們可以知道每個頁面的哪些環(huán)節(jié)需要優(yōu)化；對于商品之間的對比，我們知道不同人群對商品的喜好，從而在不同渠道投放商品時更精準；對于受眾之間的對比，我們可以知道不同人群對商品的價格敏感情況以及商品的偏好情況，從而制定千人千面的營銷策略。

做完這三步，針對該功能初步的分析也基本完成了。

既明確了分析目標，又建立了度量標準，從而得到了效果結論。后期隨著業(yè)務的發(fā)展，我們還需要繼續(xù)在此基礎上不斷迭代優(yōu)化。