我們總以為產(chǎn)品改版會(huì)帶來(lái)更佳的用戶體驗(yàn)，提升用戶留存、用戶活躍，似乎每項(xiàng)指標(biāo)都會(huì)如想象中一樣蹭蹭上漲，但這只是自我認(rèn)為的好結(jié)果，真正的改版效果還是需要我們落到實(shí)處的去衡量評(píng)估的。

在產(chǎn)品正式發(fā)布之前，產(chǎn)品經(jīng)理的大部分工作都是圍繞著需求的升級(jí)迭代來(lái)進(jìn)行的，比如說(shuō)定義要迭代的需求點(diǎn)，撰寫(xiě)產(chǎn)品新版本PRD，然后開(kāi)產(chǎn)品評(píng)審會(huì)，接著跟蹤設(shè)計(jì)、研發(fā)，最終測(cè)試沒(méi)問(wèn)題之后發(fā)布給產(chǎn)品所有用戶。

前面我們也提到過(guò)，產(chǎn)品迭代的需求來(lái)源有這么幾個(gè)大類：市場(chǎng)調(diào)研、競(jìng)品分析、用戶反饋、數(shù)據(jù)分析和團(tuán)隊(duì)成員頭腦風(fēng)暴。其中的數(shù)據(jù)分析就是指產(chǎn)品上線之后，用戶通過(guò)使用產(chǎn)品產(chǎn)生了相關(guān)的用戶行為數(shù)據(jù)，產(chǎn)品和運(yùn)營(yíng)經(jīng)常會(huì)去觀察這些數(shù)據(jù)，用來(lái)指導(dǎo)產(chǎn)品的迭代和改版方向。

理想的情況，自然是產(chǎn)品在迭代中不斷演化，用戶不斷增長(zhǎng)，收益也蹭蹭蹭地往上增長(zhǎng)，直至產(chǎn)品走向成功的道路。但大部分產(chǎn)品其實(shí)并沒(méi)有這么幸運(yùn)，基本都是以失敗告終，當(dāng)然這個(gè)失敗有很多因素（市場(chǎng)環(huán)境、商業(yè)模式、用戶習(xí)慣、運(yùn)營(yíng)推廣、資源、團(tuán)隊(duì)能力等等），排除掉這些因素，還有非常大的一個(gè)點(diǎn)，是很多互聯(lián)網(wǎng)公司在產(chǎn)品迭代部分，缺少“衡量”這么一個(gè)環(huán)節(jié)。也就是大家都以為隨著產(chǎn)品的迭代、功能的堆砌，產(chǎn)品會(huì)逐漸走上成功之路，實(shí)際上只是在原地打轉(zhuǎn)，有些甚至是在倒退。

作為一名合格的產(chǎn)品經(jīng)理，總歸還是要學(xué)會(huì)在產(chǎn)品迭代的環(huán)節(jié)中，適時(shí)地對(duì)改版效果進(jìn)行衡量并確認(rèn)進(jìn)展，這樣才能更好地了解迭代對(duì)產(chǎn)品本身起到的作用。

那么，在一次產(chǎn)品改版之后，產(chǎn)品經(jīng)理如何能夠知道這次改版是否達(dá)到預(yù)期的效果呢？

具體可以從以下幾個(gè)方面來(lái)進(jìn)行分析：

• – 改版后，新功能是否受歡迎
• – 改版后，對(duì)產(chǎn)品的流程轉(zhuǎn)化率是否有提升
• – 改版后，對(duì)產(chǎn)品的整體留存的影響
• – 改版后，用戶究竟是如何使用新功能的

問(wèn)題1：新功能是否受歡迎

要衡量一個(gè)新功能是否受歡迎，基本就看這個(gè)功能上線之后，用的人數(shù)多不多，用的人越多，表示這個(gè)新功能還是挺受歡迎的（當(dāng)然，這里還有一些運(yùn)營(yíng)推廣的因素）。

一個(gè)比較好的衡量指標(biāo)是功能活躍比，什么叫功能活躍比，也就是使用了新功能的用戶數(shù)/同期活躍用戶數(shù)，比如說(shuō)新功能的用戶數(shù)是1000人，而同時(shí)期產(chǎn)品的整體活躍用戶數(shù)是10000人，那么這個(gè)功能的活躍比就是10%。

舉個(gè)例子：

助理來(lái)也里面的訂閱功能，定位是基于微信CUI的交互方式，為助理來(lái)也的用戶提供大眾化的高質(zhì)量訂閱內(nèi)容精選。

前期迭代的目標(biāo)就是為了增加整個(gè)訂閱功能的訂閱人數(shù)，但是當(dāng)通過(guò)一系列的產(chǎn)品和運(yùn)營(yíng)手段，將訂閱人數(shù)提升上去之后，接下來(lái)要考慮的就是需不需要繼續(xù)深化訂閱功能服務(wù)（畢竟有很多人光訂閱不看的，這個(gè)時(shí)候就成了不活躍用戶），這個(gè)時(shí)候功能的活躍比就很能夠體現(xiàn)問(wèn)題了，如果訂閱服務(wù)的活躍人數(shù)占產(chǎn)品總體活躍人數(shù)比重較高的話，說(shuō)明訂閱服務(wù)還是滿足用戶對(duì)于助理來(lái)也產(chǎn)品定位的一個(gè)需求的。

當(dāng)然，一個(gè)功能會(huì)被多少人使用還會(huì)受到功能本身之外的很多因素影響，比如說(shuō)該功能是否是某一個(gè)產(chǎn)品流程的必經(jīng)之路，無(wú)論用戶是否喜歡或者需要，在產(chǎn)品的數(shù)據(jù)體現(xiàn)上，都會(huì)是一個(gè)不錯(cuò)的表現(xiàn)。但產(chǎn)品經(jīng)理萬(wàn)萬(wàn)不可光憑這一個(gè)數(shù)據(jù)，就給整個(gè)功能打下好壞的標(biāo)簽，還是需要其他數(shù)據(jù)維度才能更好地進(jìn)行評(píng)判。

問(wèn)題2：對(duì)產(chǎn)品流程轉(zhuǎn)化率是否有提升

很多時(shí)候，產(chǎn)品經(jīng)理接手一個(gè)新項(xiàng)目之后都喜歡對(duì)原來(lái)的產(chǎn)品設(shè)計(jì)界面進(jìn)行改版，不管之前的界面是美是丑，總之我來(lái)了，就要產(chǎn)出一套新的界面。當(dāng)然，也不是說(shuō)對(duì)產(chǎn)品界面改版就完全是不靠譜的事情，如果改版之后，對(duì)產(chǎn)品流程的轉(zhuǎn)化率（或者其他數(shù)據(jù)指標(biāo)）的確有提升，那還是相當(dāng)有用的。

所以，這個(gè)時(shí)候，我們就需要通過(guò)去觀察整個(gè)產(chǎn)品的流程轉(zhuǎn)化率是否因?yàn)楫a(chǎn)品迭代改版而有所提升。最基本的方法，就是通過(guò)創(chuàng)建流程漏斗來(lái)進(jìn)行數(shù)據(jù)觀察，現(xiàn)在很多第三方的數(shù)據(jù)分析工具，都已經(jīng)支持用戶自己手動(dòng)創(chuàng)建轉(zhuǎn)化漏斗了，我們只需要梳理清楚一個(gè)產(chǎn)品流程轉(zhuǎn)化漏斗都包含哪些環(huán)節(jié)。比如電商網(wǎng)站，最基本的轉(zhuǎn)化漏斗的路徑便是：

網(wǎng)站首頁(yè)–>商品搜索–>商品詳情–>加入購(gòu)物車–>立即支付–>確認(rèn)收貨

這樣，我們就可以將上述事件組裝成一個(gè)轉(zhuǎn)化漏斗，如果你優(yōu)化了商品詳情頁(yè)或者是搜索頁(yè)面，那么就可以很好地通過(guò)漏斗來(lái)看出，改版之前和改版之后，這個(gè)流程的轉(zhuǎn)化數(shù)據(jù)發(fā)生了什么變化，每個(gè)小環(huán)節(jié)的漏斗轉(zhuǎn)化率又發(fā)生了什么變化，這樣就能比較準(zhǔn)確地評(píng)估出產(chǎn)品迭代對(duì)流程轉(zhuǎn)化率是否具備提升作用。

問(wèn)題3：對(duì)產(chǎn)品整體留存的影響

一個(gè)好的功能是能夠產(chǎn)生用戶粘性的，這是因?yàn)橛脩魧?duì)產(chǎn)品更加喜愛(ài)的話，會(huì)讓用戶更加頻繁地使用產(chǎn)品（也有一部分的確是剛需的因素）。所以，我們?cè)诘?，也可以好好觀察一下產(chǎn)品的整體留存是否產(chǎn)生了變化，比如次日留存、周留存、月留存等等指標(biāo)，是否朝著更好的方向發(fā)展。

我之前從事在線教育領(lǐng)域的時(shí)候，做過(guò)一個(gè)網(wǎng)校的項(xiàng)目，網(wǎng)站剛上線的時(shí)候用戶的次周留存非常之低，大概3%都不到，大量用錢買過(guò)來(lái)的流量都白白流失了。那個(gè)時(shí)候大家經(jīng)常碰在一起進(jìn)行頭腦風(fēng)暴，分析為什么用戶來(lái)了就基本不再回來(lái)了，各種原因進(jìn)行拆解。

后來(lái)運(yùn)營(yíng)提出是否可以通過(guò)建設(shè)社區(qū)、資訊板塊來(lái)增加網(wǎng)校的整體留存率。剛提出這個(gè)想法的時(shí)候，大家都半信半疑，一方面覺(jué)得如果社區(qū)、資訊真的能做起來(lái)，那肯定是能提高網(wǎng)站留存的，另一方面又覺(jué)得現(xiàn)在做社區(qū)太難了（天涯、貓撲不都倒下了么），就我們這么一點(diǎn)人力，要做社區(qū)和每日的資訊運(yùn)營(yíng)，談何容易。但是也沒(méi)有想出其他好的辦法，最后團(tuán)隊(duì)還是投入了大量的人力和資源來(lái)做這件事情，但是沒(méi)想到效果居然不錯(cuò)，網(wǎng)站的整體次周留存大幅提升，從原來(lái)的3%不到提高到15%，通過(guò)運(yùn)營(yíng)整個(gè)社區(qū)和資訊板塊，來(lái)為網(wǎng)校課程導(dǎo)流也產(chǎn)生了不錯(cuò)的收益。

問(wèn)題4：用戶究竟如何使用新功能

雖然上面的三點(diǎn)都能為產(chǎn)品經(jīng)理提供數(shù)據(jù)方面的洞察，但是最后一個(gè)問(wèn)題同樣非常重要，那就是用戶究竟是如何使用產(chǎn)品新功能的，是否符合你預(yù)期設(shè)想的那樣，還是說(shuō)用戶自己創(chuàng)造出了新的玩法。

要衡量一次產(chǎn)品迭代到底效果如何，數(shù)據(jù)表現(xiàn)固然是很重要的一方面，但另一方面，產(chǎn)品經(jīng)理也該深入到用戶之中，去詢問(wèn)和了解用戶對(duì)于新功能的反饋和體驗(yàn)如何，或者近距離地觀察一下用戶是如何使用產(chǎn)品的。更重要的是，當(dāng)出現(xiàn)迭代之后數(shù)據(jù)表現(xiàn)不佳的情況下，只有這樣近距離地觀察用戶操作使用產(chǎn)品，你才能發(fā)現(xiàn)問(wèn)題所在，也許是因?yàn)橛脩舻奈⑿虐姹颈容^低，導(dǎo)致一些功能不支持，也許是因?yàn)橛脩舻木W(wǎng)絡(luò)不太好，導(dǎo)致加載信息不完整，諸如此類的異常情況，還是需要產(chǎn)品自己和用戶產(chǎn)生連接，才能更好地洞察這些情況。

當(dāng)然，想要綜合地衡量一次產(chǎn)品迭代到底是否符合期望，還得看整個(gè)團(tuán)隊(duì)在迭代之前設(shè)定的預(yù)期收益是如何的，比如說(shuō)在產(chǎn)品評(píng)審會(huì)的時(shí)候，你說(shuō)要增加某某功能，原因是你覺(jué)得做了這個(gè)功能之后產(chǎn)品的日活會(huì)提升30%。那么迭代之后，日活是否真的增加了30%，或者雖然沒(méi)有增加30%，但是通過(guò)上面幾點(diǎn)數(shù)據(jù)的分析和觀察，給整個(gè)產(chǎn)品帶來(lái)了其他方面的收益，如留存上升、轉(zhuǎn)化率提升等。從這個(gè)角度分析，也可以說(shuō)是一次成功的迭代。

#專欄作家#

壹百度，微信公眾號(hào)：倒退集，人人都是產(chǎn)品經(jīng)理專欄作家。在線教育企業(yè)服務(wù)領(lǐng)域產(chǎn)品經(jīng)理，創(chuàng)業(yè)公司Team Leader。曾主導(dǎo)多款重量級(jí)產(chǎn)品的產(chǎn)品策劃和設(shè)計(jì)工作。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。