本文是作者撰寫的知乎Live整理稿，主要和大家分享一下如何通過數(shù)據(jù)分析驅(qū)動(dòng)用戶增長(zhǎng)。

根據(jù)經(jīng)驗(yàn)以如下幾個(gè)問題展開：

• 互聯(lián)網(wǎng)用戶增長(zhǎng)特點(diǎn)
• 數(shù)據(jù)分析在其中的作用
• 實(shí)驗(yàn)對(duì)產(chǎn)品開發(fā)的作用
• A/B 測(cè)試的作用和難點(diǎn)
• 數(shù)據(jù)驅(qū)動(dòng)用戶增長(zhǎng)的局限性
• 彩蛋：以知乎為例，一些數(shù)據(jù)分析的機(jī)會(huì)

下面就是全文字分享：

行業(yè)特點(diǎn)

說到互聯(lián)網(wǎng)產(chǎn)品的用戶增長(zhǎng)，可能大家都有所耳聞。與傳統(tǒng)行業(yè)相比，互聯(lián)網(wǎng)相關(guān)的產(chǎn)品有幾個(gè)不一樣的特點(diǎn)。

一是由于網(wǎng)絡(luò)效應(yīng)，由于互聯(lián)網(wǎng)相關(guān)產(chǎn)品更容易擴(kuò)展，更有可能出現(xiàn)爆炸性增長(zhǎng)的局面。

二是互聯(lián)網(wǎng)行業(yè)更容易出現(xiàn)贏者通吃的局面，比如優(yōu)酷和土豆的合并，攜程和去哪的合并，立馬形成行業(yè)壟斷。

三是在行業(yè)發(fā)展前期一旦有一個(gè)好的產(chǎn)品領(lǐng)先，后來者就很難翻盤了，所以互聯(lián)網(wǎng)行業(yè)會(huì)出現(xiàn)前期大量燒錢搶占市場(chǎng)和用戶的局面，比如 Uber 是一個(gè)特別典型的例子。

Retention / 用戶留存

對(duì)用戶增長(zhǎng)來說，什么是最重要的呢?有人說是用戶最重要，有人說是 Acquisition 也就是新用戶獲取最重要。在 Facebook 內(nèi)部來說，以及很多熱門 Startup 來說，最重要的是 retention，也就是用戶留存。這也是為什么十幾年前，F(xiàn)acebook 剛創(chuàng)立的時(shí)候，大家通常用的指標(biāo)都是注冊(cè)用戶。Mark Zuckerberg 從一開始就很明確，注冊(cè)用戶并不是最重要的，最重要的應(yīng)該是活躍用戶。

用戶留存曲線

好的產(chǎn)品和不好的產(chǎn)品用戶留存是什么樣子的呢?有這里就需要提到一個(gè)概念 J 曲線。

如下圖所示，橫軸是從注冊(cè)開始到現(xiàn)在的天數(shù)，縱軸是活躍用戶的比例。這里用的例子是月活用戶，也就是說如果過去一個(gè)月之內(nèi)你用過這個(gè)產(chǎn)品，那么你就算是一個(gè) active user。很顯然，注冊(cè)開始第一天，大家都是月活，第二天第三天直到30天都是如此，從第31天開始，有一部分人不是月活了，因?yàn)樗麄冎辉诘谝惶煊昧?，之后就再也沒用過，以此類推第32天33天等等。

一個(gè)好的產(chǎn)品，應(yīng)該是像黑色曲線這樣，隨著時(shí)間的推移會(huì)有下降，但是到一定程度之后會(huì)趨于跟 x 軸平行。如果你看到一條紅線這樣的用戶留存曲線，那就你就需要好好研究一下你的產(chǎn)品了，因?yàn)檫@意味著隨著時(shí)間的推移，所有注冊(cè)用戶都會(huì)放棄你的產(chǎn)品。那么即使你把全世界的人都抓來注冊(cè)了，終究月活用戶數(shù)也會(huì)變成0。

用戶留存 vs. 新產(chǎn)品

推出新產(chǎn)品的時(shí)候，用戶留存曲線是非常重要的，以確保有一個(gè)足夠好的產(chǎn)品，接下來才是把這個(gè)產(chǎn)品推向更多用戶的時(shí)候。其它互聯(lián)網(wǎng)公司比如 Airbnb 也有類似的策略。當(dāng)然不同的產(chǎn)品，關(guān)注的指標(biāo)很有可能是不一樣的。比如說微信，假如你看月活的話，那可能意義就不是很大了。一個(gè)月用一次微信的用戶，說有不了什么問題，更應(yīng)該關(guān)注的可能是日活，或者發(fā)了多少條信息這種。那么對(duì)于 Airbnb 來說，月活則是一個(gè)比較適用的指標(biāo)，其它比如每個(gè)月有多少房間預(yù)訂之類，也是應(yīng)該關(guān)注的指標(biāo)。

神奇時(shí)刻 — magic moment / Ahhhaa moment

假設(shè)現(xiàn)在你有一個(gè)很好的產(chǎn)品，用戶注冊(cè)之后過一了段時(shí)間也還是有很多人留下來繼續(xù)使用。那么接下來怎么做用戶增長(zhǎng)?

很多社交網(wǎng)絡(luò)產(chǎn)品都提到一個(gè)概念叫 magic moment，直譯過來的話就是神奇時(shí)刻。什么算 magic moment 呢?比如對(duì)于 Facebook 來說，你注冊(cè)之后，在上面看到你現(xiàn)實(shí)生活中認(rèn)識(shí)的好友，看到他們的照片，狀態(tài)等等。這個(gè)時(shí)候?qū)π掠脩魜碚f，心里想的是啊!原來 Facebook 是干這個(gè)用的。比如對(duì)于知乎來說，可能是在答了一個(gè)題之后，看到小紅點(diǎn)顯示有人點(diǎn)贊，或者是感謝，或者是關(guān)注等等。同樣，對(duì)于LinkedIn，Twitter，微信，微博也是類似，新用戶或者是找到他們想要聯(lián)系的好友，或者是找到他們想要粉的人，這一時(shí)刻讓用戶有繼續(xù)使用下去的動(dòng)力。

例子 — 用戶留存率 vs. 好友數(shù)

對(duì)于很多社交網(wǎng)絡(luò)產(chǎn)品 比如說 LinkedIn 來說，一個(gè)很簡(jiǎn)單便是很有效的分析方法，就是看用戶留存率跟好友數(shù)的關(guān)系。當(dāng)你的好友數(shù)低于某一個(gè)值的時(shí)候，用戶留存率會(huì)非常的低。當(dāng)好友數(shù)量達(dá)到一定數(shù)量的時(shí)候，再增加好友數(shù)對(duì)留存率的影響就很小了。那么確定下來這個(gè)值之后，工程師們要做的就是以這個(gè)為目標(biāo)進(jìn)行各種產(chǎn)品改進(jìn)、優(yōu)化、新產(chǎn)品開發(fā)等等。

有人可能會(huì)問了，這里面有個(gè)很顯然的問題，就是你只能說明這是相關(guān)性，而不是因果性。但是最終解決辦法其實(shí)很簡(jiǎn)單，不管 Facebook 也好，微信也好，如果你沒有好友的話，肯定是沒有人會(huì)繼續(xù)用的。所以這里面肯定有因果性在里面。同時(shí)肯定也有相關(guān)性，很大程度上二者肯定是相互影響的，通常來說好友越多，更有使用產(chǎn)品的動(dòng)力。產(chǎn)品使用的更好，好友也更多。

A/B 測(cè)試

上面一段提到在設(shè)定某一個(gè)目標(biāo)之后，工程師們接下來就要通過各種產(chǎn)品改進(jìn)、優(yōu)化、新產(chǎn)品開發(fā)等，互聯(lián)網(wǎng)公司基本上都是通過 A/B 測(cè)試來確定是否發(fā)布產(chǎn)品，是公司產(chǎn)品開發(fā)非常重要的一環(huán)。在灣區(qū)這邊有一個(gè) meetup 小組就是專門講 A/B 測(cè)試的，像 Uber, LinkedIn, Netflix 等等都在這個(gè)小組介紹過各個(gè)公司是怎么做 A/B 測(cè)試的。

接下來就以 Airbnb 為例子來說明 A/B 測(cè)試為什么重要，如何做 A/B 測(cè)試，以及中間可能遇到的問題。

例子來源：http://nerds.airbnb.com/experiments-at-airbnb/

為什么要做實(shí)驗(yàn)

實(shí)驗(yàn)是最有效的證明因果關(guān)系而非相關(guān)性的工具。以 NBA 為例，數(shù)據(jù)顯示，當(dāng)科比出手10-19次時(shí)，湖人的勝率是71.5%;當(dāng)科比出手20-29次時(shí)，湖人的勝率驟降到60.8%;而當(dāng)科比出手30次或者更多時(shí)，湖人的勝率只有41.7%。

根據(jù)這組數(shù)據(jù)，為了贏球，科比應(yīng)該少出手?并不一定如此。有可能科比出手少的時(shí)候是因?yàn)殛?duì)友狀態(tài)好，并不需要他出手太多。也有可能是因?yàn)榍蜿?duì)早早領(lǐng)先，垃圾時(shí)間太多。而出手太多的比賽是因?yàn)楸荣惼D難或者隊(duì)友狀態(tài)不好，需要他挺身而出。當(dāng)然，以上也只是可能之一，具體是什么情況光靠這組數(shù)據(jù)并不能得出任何結(jié)論。

A/B 測(cè)試的用處

對(duì) Airbnb 來說，很多時(shí)候一個(gè)新產(chǎn)品的發(fā)布，是很難說明結(jié)果到底是新產(chǎn)品的呢，還是別的因素。

如下圖所示，紅色部分是新產(chǎn)品發(fā)布和撤回的時(shí)間段，這期間的變化到底是因?yàn)楫a(chǎn)品呢，還是別的因素?有可能用戶受到時(shí)間的影響，比如周中和周末的區(qū)別，是否假期，天氣等等。對(duì)于 Airbnb 這種旅行相關(guān)的公司來說，這些外在影響尤其大。通過實(shí)驗(yàn)則可以把產(chǎn)品的影響跟別的外在因素的影響區(qū)分開，產(chǎn)品做一個(gè)小的改變，跟對(duì)照組進(jìn)行對(duì)比，這就是 A/B 測(cè)試。

實(shí)驗(yàn)需要跑多久?

A/B 測(cè)試的老大難問題：實(shí)驗(yàn)跑多久最合適?結(jié)束太早可能產(chǎn)品的真正效果還沒有足夠時(shí)間體現(xiàn)出來，實(shí)驗(yàn)拖太長(zhǎng)會(huì)影響產(chǎn)品迭代改進(jìn)的效率，這對(duì)諸如 Airbnb 這樣的初創(chuàng)公司還是 Facebook 這樣講究 move fast 的公司來說，都是很麻煩的事情。

例子 — 搜索價(jià)格范圍

Airbnb 曾經(jīng)測(cè)試過把價(jià)格選擇范圍從最高的$300改成$1000。一周之后，根據(jù)下圖的紅線顯示，實(shí)驗(yàn)效果顯著 (p<0.05)，也就是說改成$1000之后預(yù)訂會(huì)增加。但是事實(shí)上實(shí)驗(yàn)繼續(xù)進(jìn)行下去的話，你就發(fā)現(xiàn)這個(gè)改變其實(shí)是沒有效果的，最終也沒有統(tǒng)計(jì)顯著 (p>0.05)。

不過雖然這個(gè)測(cè)試的結(jié)果是中性的，考慮到有一部分用戶的確需有查找高端房源的需要，Airbnb 還是決定把最高搜索價(jià)格從$300改成了$1000。那么到底實(shí)驗(yàn)應(yīng)該進(jìn)行多久呢?通過各種復(fù)雜的統(tǒng)計(jì)分析，Airbnb 總結(jié)出了一套動(dòng)態(tài)決定邊界(Dynamic decision boundary)，綜合考慮p值和實(shí)驗(yàn)進(jìn)行的天數(shù)。

全面理解實(shí)驗(yàn)結(jié)果

通常來說，選定一個(gè)或幾個(gè)指標(biāo)(metrics)來分析實(shí)驗(yàn)結(jié)果，以免主觀挑選實(shí)驗(yàn)結(jié)果(cherry picking)。但是僅僅看一個(gè)指標(biāo)也是不行的，很容易就錯(cuò)過全局，一葉瞕目。比如 Airbnb 做過一個(gè)非常大的改動(dòng)，在用戶搜索的結(jié)果顯示里，更加強(qiáng)調(diào)房源的照片和在地圖上顯示的地點(diǎn)。項(xiàng)目非常大，大家都認(rèn)為結(jié)果會(huì)很好，用戶調(diào)研顯示也是如此。

盡管如此，Airbnb 還是決定如常做一下 A/B 測(cè)試，然后發(fā)現(xiàn)了問題：結(jié)果基本是中性的。幸好 Airbnb 的數(shù)據(jù)科學(xué)家們并沒有就此結(jié)束，相反，他們看了看不同的方面，包括在不同瀏覽器的效果，發(fā)現(xiàn) IE 是最大問題所在。很快進(jìn)一步發(fā)現(xiàn)，新產(chǎn)品在某些老版本的 IE 上會(huì)有 bug，以至于預(yù)訂率了超過3%。修復(fù)了在 IE 上的 bug之后，立馬預(yù)訂率就變成提高超過2%，與其它瀏覽器上效果類似了。這是一個(gè)非常典型的例子。很多時(shí)候看到中性的實(shí)驗(yàn)效果，不妨根據(jù)不同的維度進(jìn)行細(xì)分，比如瀏覽器、同家、用戶類型等等。

問題： Twitter 2015 年用戶增長(zhǎng)為 11%，這是否存在增長(zhǎng)的危機(jī)?為什么?

結(jié)果 too good to be true

不管是自己打造的 A/B 測(cè)試系統(tǒng)，還是使用第三方的系統(tǒng)，都是有可能出問題的。

如果默認(rèn)系統(tǒng)都是有效的話，有時(shí)候麻煩就來了。有時(shí)候可能是使用過程中出了問題，有時(shí)候可能是系統(tǒng)本身的問題。最簡(jiǎn)單的辦法是跑個(gè) A/A 測(cè)試，也就是實(shí)驗(yàn)組和對(duì)照組都是一樣的產(chǎn)品，然后看系統(tǒng)結(jié)果怎么說。

Airbnb 做過一系列 A/A 測(cè)試，發(fā)現(xiàn)在實(shí)驗(yàn)組和對(duì)照組的用戶數(shù)量基本一致的時(shí)候，系統(tǒng)是正常工作的，顯示中性的結(jié)果。但是當(dāng)對(duì)照組的用戶遠(yuǎn)超實(shí)驗(yàn)組(75% vs. 25%)的時(shí)候，結(jié)果顯示高達(dá)-15%的偏差。最后發(fā)現(xiàn)原因在于對(duì)用戶的追蹤問題，很大一部分用戶沒有正常的記錄到實(shí)驗(yàn)組里去。未必每一個(gè)公司都會(huì)碰到完全一樣的問題，不過適當(dāng)?shù)倪M(jìn)行 A/A 測(cè)試，確保系統(tǒng)正常工作是非常重要的。

據(jù)驅(qū)動(dòng)用戶增長(zhǎng)的前提

首先需要有一個(gè)好的產(chǎn)品。其次在創(chuàng)業(yè)初期，所有人都需要有這個(gè)概念。最后需要要 infrastructure 的支持，諸如 logging，dashboard，A/B 測(cè)試系統(tǒng)等的建立。例如：Uber 的 A/B 測(cè)試系統(tǒng)

作者：鄒昕，07 年從清華生物系本科畢業(yè)，之后又學(xué)了五年生物，之后轉(zhuǎn)行念了數(shù)據(jù)分析專業(yè)的碩士，畢業(yè)之后在 Discover 做信用卡風(fēng)險(xiǎn)控制，包括模型和數(shù)據(jù)分析方面的工作，今年年初跳槽到 Facebook 做數(shù)據(jù)分析。

來源：http://www.36dsj.com/archives/55758

本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@36大數(shù)據(jù)，作者@鄒昕