編輯導(dǎo)讀：增長(zhǎng)是懸在每個(gè)企業(yè)頭上的達(dá)摩克利斯之劍，對(duì)它又愛又恨。在這個(gè)獲客越來越難的時(shí)代，如何提高用戶的增長(zhǎng)率及轉(zhuǎn)化率，是每個(gè)企業(yè)都需要思考的問題。本文作者以一個(gè)增長(zhǎng)實(shí)驗(yàn)為例，對(duì)此作出了一些分析，希望對(duì)你有幫助。

開展增長(zhǎng)實(shí)驗(yàn)的步驟一般分為：產(chǎn)生實(shí)驗(yàn)想法、排序?qū)嶒?yàn)想法、設(shè)計(jì)實(shí)驗(yàn)、開發(fā)實(shí)驗(yàn)、分析實(shí)驗(yàn)結(jié)果、產(chǎn)出增長(zhǎng)報(bào)告。下面我們分別介紹。

一、產(chǎn)生實(shí)驗(yàn)想法

1. 明確實(shí)驗(yàn)的目標(biāo)

我們開展增長(zhǎng)實(shí)驗(yàn)一定是基于我們發(fā)現(xiàn)了什么問題。

是某個(gè)按鈕轉(zhuǎn)化率過低？還是某個(gè)功能留存率過低？找到問題，我們才能知道優(yōu)化的方向。比如我們發(fā)現(xiàn)注冊(cè)功能轉(zhuǎn)化率僅為30%，那么我們可以制定我們的實(shí)驗(yàn)?zāi)繕?biāo)為：把注冊(cè)功能轉(zhuǎn)化率從30%提高到50%。下面我們都以注冊(cè)功能轉(zhuǎn)化率低的案例舉例。

2. 找到問題產(chǎn)生的原因

為了達(dá)成實(shí)驗(yàn)?zāi)繕?biāo)，我們要去發(fā)現(xiàn)問題產(chǎn)生的原因。

我們可以通過定性和定量?jī)煞N方式來尋找問題產(chǎn)生的原因。

在定性方面，我們可以通過用戶調(diào)研、用戶可用性研究等方式來了解為什么注冊(cè)功能轉(zhuǎn)化率這么低。

在定量方面，我們可以通過數(shù)據(jù)來洞察。比如，通過漏斗模型是否可以查看用戶在哪里流失率最高；通過用戶分群，是否可以了解哪些用戶注冊(cè)轉(zhuǎn)化率高、哪類用戶注冊(cè)轉(zhuǎn)化率低等等。

3. 根據(jù)原因?qū)ふ医鉀Q方案

知道問題產(chǎn)生的原因，尋找解決方案就容易了。

我們可以通過定性、定量以及最佳實(shí)踐的方式來尋找解決方案。

定性、定量就不介紹啦，和“找到問題產(chǎn)生的原因”里面的大同小異。

這里聊聊最佳實(shí)踐。所謂最佳實(shí)踐就是那些公認(rèn)為可能會(huì)提高轉(zhuǎn)化率的方法。比如B=MAT模型、Lift模型。

在B=MAT模型中，想要提高用戶的轉(zhuǎn)化率這一行為（behavior），我們要給予用戶足夠的動(dòng)機(jī)（motivation）、降低用戶阻力并且提高能力（ability）、在適當(dāng)情景下給予觸發(fā)提醒（trigger）。

Lift模型主要分為價(jià)值主張、相關(guān)性、清晰度、焦慮感、注意力分散、緊迫性。

• 價(jià)值主張。要有明確有力的營(yíng)銷口號(hào)，用戶可以精準(zhǔn)地感知到自己能夠獲得什么好處。
• 相關(guān)性。落地頁、轉(zhuǎn)化頁符合用戶預(yù)期、與你的價(jià)值主張緊密相連。
• 清晰度。體驗(yàn)流程流暢，用戶清晰知道下一步怎么操作。
• 焦慮感。做減法，不要給用戶過多的選擇；不做不符合用戶預(yù)期、習(xí)慣的事情。
• 注意力分散。減少視覺感染，信息噪音。
• 緊迫性。營(yíng)造饑餓感使用戶快速?zèng)Q策，善于利用稟賦效應(yīng)、損失厭惡心理。

在這里我們利用以上的方式，假設(shè)針對(duì)“注冊(cè)功能轉(zhuǎn)化率低”得出的解決方案如下：

1. 縮短頁面不必要的注冊(cè)流程，比如在注冊(cè)時(shí)不需要用戶填寫郵箱等個(gè)人信息。只要輸入手機(jī)號(hào)以及驗(yàn)證碼即可登錄注冊(cè)。
2. 突出注冊(cè)按鈕。

4. 形成實(shí)驗(yàn)假設(shè)

最后我們要根據(jù)前幾步形成我們的實(shí)驗(yàn)假設(shè)。在這里給小伙伴分享一個(gè)實(shí)驗(yàn)假設(shè)的模板。

“如果[做了某個(gè)具體的改動(dòng)]，預(yù)計(jì)[某指標(biāo)]可以提升[X%]，因?yàn)閇深層的原因，有數(shù)據(jù)支持]”

根據(jù)上文，我們的實(shí)驗(yàn)假設(shè)即可如下：

1. 如果[在用戶注冊(cè)時(shí)去掉輸入郵箱等個(gè)人信息]，預(yù)計(jì)[注冊(cè)轉(zhuǎn)化率]可以提升[30%]，因?yàn)閇通過漏斗分析，用戶在輸入郵箱等個(gè)人信息時(shí)近一半流失掉了]。
2. 如果[把注冊(cè)按鈕變?yōu)樵瓉淼?.3倍]，預(yù)計(jì)[注冊(cè)轉(zhuǎn)化率]可以提升[10%]，因?yàn)閇突顯了核心流程]。

二、排序?qū)嶒?yàn)想法

利用ICE可為我們的實(shí)驗(yàn)想法進(jìn)行排序。ICE分為預(yù)期影響（Impact）、成功概率（Confidence）、容易程度（Ease）。

• 預(yù)期影響指此實(shí)驗(yàn)大概會(huì)影響多少用戶；實(shí)驗(yàn)如果成功了，預(yù)計(jì)指標(biāo)能夠提升多少。
• 成功概率指的是有哪些數(shù)據(jù)或者證據(jù)來認(rèn)為這個(gè)實(shí)驗(yàn)會(huì)成功。
• 容易程度指的是我們需要投入多少人力、物力等資源才能完成這個(gè)實(shí)驗(yàn)。

為三類指標(biāo)分別賦予0-10的分值。最后的綜合得分=預(yù)期影響的分?jǐn)?shù)+成功概率的分?jǐn)?shù)+容易程度的分?jǐn)?shù)。

三、設(shè)計(jì)實(shí)驗(yàn)

1. 選擇的實(shí)驗(yàn)的指標(biāo)

這里我們需要關(guān)注三類指標(biāo)：核心指標(biāo)、輔助指標(biāo)、反向指標(biāo)。

• 核心指標(biāo)是決定實(shí)驗(yàn)的關(guān)鍵指標(biāo)，也是最直接的指標(biāo)。優(yōu)化注冊(cè)轉(zhuǎn)化率這個(gè)實(shí)驗(yàn)我們需要關(guān)注的就是注冊(cè)的轉(zhuǎn)化率是否提高/降低了。
• 輔助指標(biāo)是指實(shí)驗(yàn)可能間接影響的指標(biāo)。比如優(yōu)化注冊(cè)轉(zhuǎn)化率對(duì)日活、激活率有何影響。
• 反向指標(biāo)指的是指衡量實(shí)驗(yàn)產(chǎn)生負(fù)面影響的指標(biāo)。比如頁面退出率、訂單取消率、應(yīng)用卸載率等等。優(yōu)化注冊(cè)轉(zhuǎn)化率這個(gè)實(shí)驗(yàn)不涉及反向指標(biāo)。

2. 明確實(shí)驗(yàn)的受眾

我們此次增長(zhǎng)實(shí)驗(yàn)是針對(duì)哪類人？我們可以根據(jù)操作系統(tǒng)、瀏覽器類型、地區(qū)、來源的渠道等方式進(jìn)行分組。比如針對(duì)注冊(cè)轉(zhuǎn)化率的增長(zhǎng)實(shí)驗(yàn)，我們的受眾就是通過百度搜索來的新安卓用戶。

我們?cè)谧鯝/B測(cè)試的時(shí)候要有實(shí)驗(yàn)組和對(duì)照組。這里我們?cè)O(shè)一個(gè)前提，都是通過百度搜索新來的安卓用戶。

假設(shè)我們這里開展“新用戶注冊(cè)時(shí)去掉郵箱等個(gè)人信息”的實(shí)驗(yàn)。

• 實(shí)驗(yàn)組：使用修改后的版本的用戶。
• 對(duì)照組：使用修改前的版本的用戶。

這樣做的好處是，避免了其它變量對(duì)實(shí)驗(yàn)的影響。

3. 預(yù)估試驗(yàn)樣本量

明確受眾后，我們還要知道需要多少的樣本量才能證明我們的實(shí)驗(yàn)成立。

這里我們需要引入“統(tǒng)計(jì)顯著性”的概念。統(tǒng)計(jì)顯著性的含義是指兩個(gè)群體的態(tài)度之間的任何差異是由于系統(tǒng)因素而不是偶然因素的影響。假如我們利用A/B測(cè)試做這個(gè)實(shí)驗(yàn)，發(fā)現(xiàn)轉(zhuǎn)化率有差別，當(dāng)統(tǒng)計(jì)顯著性為95%，則說明有95%的可能性轉(zhuǎn)化率的差別是真實(shí)存在的，有5%的可能性差別是由于誤差引起的。

一般建議統(tǒng)計(jì)顯著性為95%以上。

假設(shè)我們之前版本的注冊(cè)轉(zhuǎn)化率為20%，新版本的注冊(cè)轉(zhuǎn)化率為25%，統(tǒng)計(jì)顯著性為95%時(shí)，我們則需要每個(gè)版本分配至少670個(gè)樣本量。

假如我們想讓統(tǒng)計(jì)顯著性提高到99%，則至少需要700個(gè)樣本量。

小伙伴如果需要此工具，只需在我的公眾號(hào)回復(fù)“增長(zhǎng)工具”即可獲得。

4. 預(yù)估實(shí)驗(yàn)時(shí)長(zhǎng)

知道了樣本量，接下來我們要預(yù)估實(shí)驗(yàn)要持續(xù)多久。對(duì)于某些實(shí)驗(yàn)可能很短的時(shí)間就能看出這個(gè)實(shí)驗(yàn)的真正結(jié)果，但對(duì)于某些實(shí)驗(yàn)可能需要更多的時(shí)間才能得到真正的結(jié)果。

這里我們用一個(gè)公示：

實(shí)驗(yàn)所需時(shí)間=所需總樣本數(shù)量/頁面每天訪問數(shù)

假設(shè)針對(duì)“注冊(cè)時(shí)去掉郵箱等個(gè)人信息”的實(shí)驗(yàn)，我們需要的樣本量為1400（新舊版本分別700個(gè)樣本量），每天注冊(cè)頁面訪問人數(shù)為140。則實(shí)驗(yàn)時(shí)長(zhǎng)=1400/140=10天。

四、開發(fā)實(shí)驗(yàn)

首先我們要對(duì)數(shù)據(jù)進(jìn)行埋點(diǎn)。

如果你是使用第三方的A/B測(cè)試工具，我們要確定實(shí)驗(yàn)的指標(biāo)（前面已經(jīng)敘述過）、找到此指標(biāo)對(duì)應(yīng)的用戶行為，然后把我們的埋點(diǎn)需求寫出來即可。數(shù)據(jù)會(huì)自動(dòng)返回到A/B測(cè)試軟件，A/B測(cè)試軟件會(huì)自動(dòng)計(jì)算實(shí)驗(yàn)的指標(biāo)。

如果你是手動(dòng)分析實(shí)驗(yàn)，也需要確認(rèn)實(shí)驗(yàn)的指標(biāo)、然后確立用戶的行為。技術(shù)開發(fā)完埋點(diǎn)后，數(shù)據(jù)會(huì)返回到數(shù)據(jù)庫，這時(shí)我們導(dǎo)出數(shù)據(jù)進(jìn)行分析即可。

其次一定要對(duì)埋點(diǎn)進(jìn)行測(cè)試。確保我們的數(shù)據(jù)是可靠的。

最后我們開發(fā)上線A/B測(cè)試版本即可。

五、分析實(shí)驗(yàn)結(jié)果

1. 評(píng)估結(jié)果的可信度

我們可以把每個(gè)版本的訪問數(shù)、轉(zhuǎn)化人數(shù)輸入進(jìn)工具里，工具會(huì)幫我們計(jì)算統(tǒng)計(jì)顯著性。如果有顯著的統(tǒng)計(jì)學(xué)差異，證明我們的實(shí)驗(yàn)結(jié)果是可靠的。

假設(shè)我們的對(duì)照組的訪問數(shù)是1000，轉(zhuǎn)化數(shù)是60；實(shí)驗(yàn)組的訪問數(shù)是1000，轉(zhuǎn)化數(shù)是150。當(dāng)我們把這些信息輸入到工具后，得出此實(shí)驗(yàn)是具備顯著性差異的，說明此實(shí)驗(yàn)的結(jié)果是可信的。

2. 關(guān)注三類指標(biāo)

我們要關(guān)注之前提到的核心指標(biāo)、輔助指標(biāo)以及反向指標(biāo)。

• 核心指標(biāo)：實(shí)驗(yàn)組的核心指標(biāo)是否比對(duì)照組有所提升？
• 輔助指標(biāo)：輔助指標(biāo)的變化是否符合我們的預(yù)期，是否和核心指標(biāo)趨勢(shì)一致？
• 反向指標(biāo)：是否沒有明顯的負(fù)面影響，我們是否可以接受反向指標(biāo)的變化？

3. 觀測(cè)四種狀態(tài)

• 如果實(shí)驗(yàn)組與對(duì)照組的指標(biāo)相比大幅度提升，則實(shí)驗(yàn)組勝利。
• 如果實(shí)驗(yàn)組與對(duì)照組的指標(biāo)相比小幅度提升，則實(shí)驗(yàn)組勝利。
• 如果實(shí)驗(yàn)組與對(duì)照組的指標(biāo)相比下降，則對(duì)照組勝利。改動(dòng)后指標(biāo)不升反而下降這時(shí)我們需要去尋找原因，可以通過細(xì)分漏斗、用戶分群等方式去排查原因。
• 如果實(shí)驗(yàn)組與對(duì)照組的指標(biāo)相比變化不明顯，則說明對(duì)照組勝利。指標(biāo)沒變化，我們也就沒有優(yōu)化的必要了。保持現(xiàn)狀就好。

4. 明確下一步方向

1. 此實(shí)驗(yàn)的假設(shè)取得成功。如果取得成功，我們可以思考是否可以針對(duì)這個(gè)點(diǎn)進(jìn)行更多其他的實(shí)驗(yàn)？此實(shí)驗(yàn)的思路能否應(yīng)用到其它實(shí)驗(yàn)上？
2. 此實(shí)驗(yàn)假設(shè)輕微成功。如果指標(biāo)只變動(dòng)了一點(diǎn)點(diǎn)，我們可以進(jìn)行迭代，直到達(dá)到我們滿意的程度。
3. 此實(shí)驗(yàn)假設(shè)失敗。如果沒有達(dá)到我們的預(yù)期，我們這時(shí)要進(jìn)行反思復(fù)盤，我們從這次增長(zhǎng)實(shí)驗(yàn)中學(xué)到了什么？并且清理好代碼。

六、產(chǎn)出增長(zhǎng)報(bào)告

根據(jù)上面的實(shí)驗(yàn)我們最終可以產(chǎn)出增長(zhǎng)報(bào)告。增長(zhǎng)報(bào)告主要記錄實(shí)驗(yàn)的目標(biāo)、實(shí)驗(yàn)的假設(shè)、實(shí)驗(yàn)的分值、實(shí)驗(yàn)的指標(biāo)、實(shí)驗(yàn)的受眾、實(shí)驗(yàn)的設(shè)計(jì)、實(shí)驗(yàn)結(jié)果、實(shí)驗(yàn)洞察以及后續(xù)計(jì)劃等內(nèi)容。這對(duì)我們沉淀增長(zhǎng)知識(shí)、復(fù)盤回顧有極大的幫助。

這一期的內(nèi)容暫時(shí)分享到這，后續(xù)會(huì)繼續(xù)更新關(guān)于增長(zhǎng)的內(nèi)容，也希望和大家多多交流。

作者：付曉虎（小老虎），一名99年創(chuàng)業(yè)者對(duì)增長(zhǎng)的思考，公眾號(hào)：小老虎Speak

本文由 @小老虎 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。