大多數(shù)產(chǎn)品人都是通過(guò)增長(zhǎng)實(shí)驗(yàn)來(lái)完成用戶及產(chǎn)品的增長(zhǎng)。什么是增長(zhǎng)實(shí)驗(yàn)？它的正確設(shè)計(jì)模型又是什么呢？本文將會(huì)告訴你答案。

在增長(zhǎng)工作中，大家常會(huì)通過(guò)增長(zhǎng)實(shí)驗(yàn)來(lái)確定增長(zhǎng)策略的有效性和影響范圍。而設(shè)計(jì)增長(zhǎng)實(shí)驗(yàn)時(shí)常會(huì)遇到一些坑。比如：

• 沒(méi)有定義正確的實(shí)驗(yàn)指標(biāo)，實(shí)驗(yàn)上線后無(wú)法決定實(shí)驗(yàn)成功還是失敗。
• 對(duì)于實(shí)驗(yàn)?zāi)繕?biāo)用戶沒(méi)有清晰的認(rèn)識(shí)，導(dǎo)致實(shí)驗(yàn)上線后，分析了很久都得不出結(jié)論。
• 流量劃分不均勻隨機(jī)，導(dǎo)致實(shí)驗(yàn)結(jié)果出現(xiàn)偏頗，數(shù)據(jù)不可信。

本文將通過(guò)以下三小節(jié)的內(nèi)容來(lái)簡(jiǎn)單分享下如何避免以上這些常見(jiàn)的問(wèn)題。

一、制定實(shí)驗(yàn)指標(biāo)

正確的實(shí)驗(yàn)指標(biāo)能夠全面準(zhǔn)確地檢驗(yàn)實(shí)驗(yàn)假設(shè)的真?zhèn)?，從而衡量?shí)驗(yàn)結(jié)果的成敗。

衡量實(shí)驗(yàn)成敗，主要可以分為三類指標(biāo)：

1. 核心指標(biāo)

核心指標(biāo)是決定實(shí)驗(yàn)成敗的關(guān)鍵指標(biāo)，該指標(biāo)是后期實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)顯著計(jì)算的關(guān)鍵。核心指標(biāo)確定的前提是實(shí)驗(yàn)最終目標(biāo)的確立。根據(jù)該實(shí)驗(yàn)?zāi)繕?biāo)判斷想要影響的指標(biāo)是哪一個(gè)。是否可以通過(guò)這個(gè)指標(biāo)確定實(shí)驗(yàn)組的改動(dòng)是成功的。

2. 輔助指標(biāo)

輔助指標(biāo)是實(shí)驗(yàn)可能影響到的其他重要指標(biāo)，通過(guò)這些重要指標(biāo)可以全面了解實(shí)驗(yàn)結(jié)果。常見(jiàn)的輔助指標(biāo)如漏斗細(xì)分步驟的各節(jié)點(diǎn)轉(zhuǎn)化率，可以通過(guò)這些轉(zhuǎn)化率更全面的了解實(shí)驗(yàn)改動(dòng)對(duì)整個(gè)漏斗的影響。

3. 反向指標(biāo)

反向指標(biāo)是提示實(shí)驗(yàn)可能出現(xiàn)的負(fù)面影響。通過(guò)反向指標(biāo)的高低來(lái)判斷實(shí)驗(yàn)結(jié)果是否成功。如果實(shí)驗(yàn)沒(méi)有負(fù)面影響或負(fù)面影響較小，可以接受，才能宣布實(shí)驗(yàn)成功。如果負(fù)面影響很大，可以否決實(shí)驗(yàn)的正向結(jié)果。

常見(jiàn)的反向指標(biāo)如頁(yè)面退出率，訂單取消率，Push退訂率，應(yīng)用刪除率等。

二、確定實(shí)驗(yàn)對(duì)象

在確定了實(shí)驗(yàn)?zāi)繕?biāo)后進(jìn)入了增長(zhǎng)實(shí)驗(yàn)設(shè)計(jì)的第二步，確定實(shí)驗(yàn)對(duì)象。這一步驟主要解決實(shí)驗(yàn)對(duì)象的包含范圍和實(shí)驗(yàn)所需的樣本數(shù)量。

1. 確定實(shí)驗(yàn)對(duì)象的包含范圍

如果所設(shè)計(jì)的增長(zhǎng)實(shí)驗(yàn)希望所有用戶都進(jìn)入該實(shí)驗(yàn)范圍，那則不需要這一步。如果希望僅有符合特定條件的用戶才可進(jìn)入實(shí)驗(yàn)范圍，則需要設(shè)置實(shí)驗(yàn)對(duì)象范圍。通過(guò)此設(shè)置可針對(duì)特定用戶群組進(jìn)行實(shí)驗(yàn)，幫助生成更精細(xì)的產(chǎn)品優(yōu)化方案。通常設(shè)置實(shí)驗(yàn)對(duì)象范圍類型可通過(guò)第三方A/B測(cè)試工具自帶分組來(lái)設(shè)置。

設(shè)置實(shí)驗(yàn)受眾可以通過(guò)一些第三方A/B測(cè)試工具來(lái)完成。

很多第三方的測(cè)試協(xié)助工具都會(huì)有默認(rèn)受眾分組，比如：操作系統(tǒng)，瀏覽器類型，設(shè)備類型，應(yīng)用版本等等。

我們也可以自定義受眾分組，比如：

• 注冊(cè)15天內(nèi)的新用戶
• 來(lái)自一線城市的用戶
• 某個(gè)興趣標(biāo)簽的用戶
• 來(lái)自某個(gè)渠道的用戶

2. 預(yù)估實(shí)驗(yàn)所需的樣本數(shù)量

首先我們先來(lái)看一個(gè)案例，某公司想通過(guò)改變按鈕顏色提高“下單”按鈕的點(diǎn)擊率。

在實(shí)驗(yàn)上線2小時(shí)后，進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問(wèn)量是60次，按鈕點(diǎn)擊次數(shù)為15次，轉(zhuǎn)化率為25%。
• 紅色按鈕的頁(yè)面訪問(wèn)量是56次，按鈕點(diǎn)擊次數(shù)為7次，轉(zhuǎn)化率為12.5%。
• 那么這時(shí)候，是否可以得到藍(lán)色按鈕比紅色按鈕的轉(zhuǎn)化率更高呢？相信大多數(shù)的產(chǎn)品人都會(huì)認(rèn)為樣本數(shù)太小，不能得出可信的結(jié)論。

在實(shí)驗(yàn)上線2天后，再進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問(wèn)量是6238次，按鈕點(diǎn)擊次數(shù)為368次，轉(zhuǎn)化率為5.9%。
• 紅色按鈕的頁(yè)面訪問(wèn)量是6122次，按鈕點(diǎn)擊次數(shù)為588次，轉(zhuǎn)化率為9.6%。
• 那么此時(shí)，是否能確定紅色按鈕是否效果更好呢？但樣本數(shù)量是否可信呢?

在實(shí)驗(yàn)上線1年后，又進(jìn)行了一次數(shù)據(jù)統(tǒng)計(jì)：

• 藍(lán)色按鈕的頁(yè)面訪問(wèn)量是132892次，按鈕點(diǎn)擊次數(shù)為6110次，轉(zhuǎn)化率為4.6%。
• 紅色按鈕的頁(yè)面訪問(wèn)量是140021次，按鈕點(diǎn)擊次數(shù)為9641次，轉(zhuǎn)化率為7.5%。
• 那么此時(shí)，是否就可以非常的肯定的說(shuō)紅色按鈕較藍(lán)色按鈕的轉(zhuǎn)化率更好?

通過(guò)上述案例可發(fā)現(xiàn)從結(jié)果可靠性的角度看，樣本量越大，實(shí)驗(yàn)時(shí)間越長(zhǎng)，實(shí)驗(yàn)結(jié)果則越可靠。

但從實(shí)際工作的成本角度出發(fā)，樣本量越小，實(shí)驗(yàn)時(shí)間越短，實(shí)驗(yàn)的試錯(cuò)成本就越小，實(shí)驗(yàn)迭代速度也越快。

因此在保障實(shí)驗(yàn)結(jié)果可靠性的同時(shí)又盡可能最小化樣本量，不會(huì)浪費(fèi)過(guò)多的實(shí)驗(yàn)時(shí)間顯得至關(guān)重要。我們可以通過(guò)對(duì)增長(zhǎng)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)找到這個(gè)平衡點(diǎn)。

統(tǒng)計(jì)顯著性（Statistical significance）：是指零假設(shè)為真的情況下拒絕零假設(shè)所要承擔(dān)的風(fēng)險(xiǎn)水平，又叫概率水平，或者顯著水平。在增長(zhǎng)實(shí)驗(yàn)中是指對(duì)照組和實(shí)驗(yàn)組之間轉(zhuǎn)化率差異的真實(shí)水平程度。

如：對(duì)比對(duì)照組和實(shí)驗(yàn)組的某個(gè)實(shí)驗(yàn)指標(biāo)發(fā)現(xiàn)轉(zhuǎn)化率有差別，而統(tǒng)計(jì)顯著性為90%。則代表造成差別中有90%的可能性是真實(shí)存在的。而10%的可能性是隨機(jī)誤差引起的。

當(dāng)統(tǒng)計(jì)顯著性越高，則隨機(jī)誤差的可能性就越低，得到的結(jié)果就越可靠。我們可通過(guò)確認(rèn)結(jié)果統(tǒng)計(jì)性顯著所需的最小樣本數(shù)來(lái)預(yù)估實(shí)驗(yàn)所需樣本數(shù)量。

影響實(shí)驗(yàn)所需樣本數(shù)量的因素主要有三個(gè)：

1. 原版本的轉(zhuǎn)化率：如原版本的轉(zhuǎn)化率越低，則實(shí)驗(yàn)所需要的樣本數(shù)量越大。
2. 新版本的轉(zhuǎn)化率：如果新版本和原版本的轉(zhuǎn)化率差別越小，則檢測(cè)所需的敏感度越高，實(shí)驗(yàn)所需要的樣本數(shù)量越大。
3. 統(tǒng)計(jì)顯著性要求：統(tǒng)計(jì)顯著性要求越高，對(duì)結(jié)果的需求越確定，則實(shí)驗(yàn)所需要的樣本數(shù)量越大。建議一般情況統(tǒng)計(jì)顯著性要求至少為95%。

我們繼續(xù)剛才的案例。假設(shè)原版本，也就是藍(lán)色按鈕的點(diǎn)擊轉(zhuǎn)化率為10%，而預(yù)計(jì)改為紅色后，點(diǎn)擊轉(zhuǎn)化率為12%，我們通過(guò)第三方A/B測(cè)試樣本計(jì)算器工具，在統(tǒng)計(jì)顯著設(shè)置為95%的情況下，預(yù)估出實(shí)驗(yàn)所需要的樣本數(shù)量為2900。我們預(yù)估每天的的頁(yè)面訪問(wèn)數(shù)為500。而這個(gè)實(shí)驗(yàn)一共存在紅色按鈕和藍(lán)色按鈕兩個(gè)實(shí)驗(yàn)樣本，則樣本總數(shù)為5800，所以需要的實(shí)驗(yàn)時(shí)長(zhǎng)是12天。

三、設(shè)計(jì)實(shí)驗(yàn)版本

在完成了確定實(shí)驗(yàn)指標(biāo)和實(shí)驗(yàn)對(duì)象后，就可以開(kāi)始設(shè)計(jì)實(shí)驗(yàn)版本了。在設(shè)計(jì)實(shí)驗(yàn)版本時(shí)，需要思考實(shí)驗(yàn)組相比對(duì)照組都做了哪些改動(dòng)。確定實(shí)驗(yàn)版本數(shù)量，版本之間的關(guān)聯(lián)和區(qū)別是什么。實(shí)驗(yàn)受眾的流量在實(shí)驗(yàn)版本之間如何分配。
實(shí)驗(yàn)版本的數(shù)量和區(qū)別可以通過(guò)以下三個(gè)方面來(lái)確定：

1. 版本數(shù)量取決于實(shí)驗(yàn)假設(shè)的數(shù)量，只選擇高質(zhì)量的實(shí)驗(yàn)假設(shè)。
2. 明確實(shí)驗(yàn)類型，是優(yōu)化型實(shí)驗(yàn)還是探索型實(shí)驗(yàn)。優(yōu)化型實(shí)驗(yàn)：每個(gè)版本只改變單一變量，明確改動(dòng)的影響。探索型實(shí)驗(yàn)：可以同時(shí)改變多個(gè)變量，設(shè)計(jì)全新的實(shí)驗(yàn)版本。
3. 版本數(shù)量越大，則需要的總樣本數(shù)量越大。

實(shí)驗(yàn)受眾的流量在實(shí)驗(yàn)版本之間分配原則是保證每個(gè)實(shí)驗(yàn)版本的樣本分流均勻隨機(jī)。樣本分流是否均勻隨機(jī)，會(huì)極大影響實(shí)驗(yàn)結(jié)果的可信性。均勻隨機(jī)的樣本分流可消除一切外在因素的影響。保證對(duì)照組和實(shí)驗(yàn)組唯一區(qū)別就是實(shí)驗(yàn)改動(dòng)。

樣本科學(xué)分流是A/B測(cè)試工具的重要功能之一，需要達(dá)到以下四個(gè)標(biāo)準(zhǔn)：

• 均勻性：確保分流樣本各個(gè)維度分配比例均勻，且分布隨機(jī)。
• 唯一性：通過(guò)精準(zhǔn)高效的算法，確保單個(gè)用戶每次登錄產(chǎn)品時(shí)被分配到的實(shí)驗(yàn)版本是唯一的。
• 定向性：可根據(jù)樣本標(biāo)簽來(lái)實(shí)現(xiàn)精準(zhǔn)的定向分流。
• 分層分流：可以滿足并進(jìn)行大量A/B實(shí)驗(yàn)測(cè)試需求。

四、增長(zhǎng)實(shí)驗(yàn)案例

這里通過(guò)一個(gè)虛擬的案例來(lái)簡(jiǎn)單分享一下如何設(shè)計(jì)一個(gè)增長(zhǎng)實(shí)驗(yàn)。
假設(shè)你現(xiàn)在需要設(shè)計(jì)一個(gè)增長(zhǎng)策略方案，來(lái)提高keep的用戶的關(guān)注轉(zhuǎn)化率。

1. 實(shí)驗(yàn)想法

1）實(shí)驗(yàn)?zāi)繕?biāo)

提升用戶對(duì)其他用戶的關(guān)注率。

2）實(shí)現(xiàn)想法

通過(guò)最佳實(shí)踐（微博案例），可得出實(shí)驗(yàn)想法一：落地頁(yè)的發(fā)現(xiàn)頁(yè)簽下信息流中每個(gè)用戶的動(dòng)態(tài)cell，如未關(guān)注，則顯示【關(guān)注】按鈕。增加關(guān)注功能曝光量，可提升用戶的關(guān)注點(diǎn)擊率。

根據(jù)用戶行為路徑，收集用戶行為數(shù)據(jù)：

• 關(guān)注行為在收藏行為的占比。即：用戶同時(shí)關(guān)注博主并收藏博主動(dòng)態(tài)占用戶收藏動(dòng)態(tài)的比例。
• 關(guān)注行為在點(diǎn)贊行為的占比。即：用戶同時(shí)關(guān)注博主并點(diǎn)贊博主動(dòng)態(tài)占用戶點(diǎn)贊動(dòng)態(tài)的比例。

通過(guò)數(shù)據(jù)定量分析發(fā)現(xiàn)，用戶點(diǎn)贊和收藏行為與用戶關(guān)注博主行為相關(guān)性較大。

因而得出實(shí)驗(yàn)假設(shè)：在動(dòng)態(tài)詳情頁(yè)中，首次觸發(fā)對(duì)該用戶的簡(jiǎn)單社交行為(點(diǎn)贊，收藏)時(shí)，如未關(guān)注用戶時(shí)，調(diào)起彈框引導(dǎo)用戶關(guān)注發(fā)布者?！娟P(guān)注該用戶，及時(shí)獲得TA的最新動(dòng)態(tài)。】「關(guān)注」「取消」。

3）實(shí)驗(yàn)假設(shè)

基于以上實(shí)驗(yàn)想法分析，得出以下假設(shè)：

• 假設(shè)一：落地頁(yè)的發(fā)現(xiàn)頁(yè)簽下信息流中每個(gè)用戶的動(dòng)態(tài)，如未關(guān)注該用戶，則顯示【關(guān)注】按鈕。增大關(guān)注功能曝光量，預(yù)計(jì)關(guān)注點(diǎn)擊率提升到10%。因?yàn)樵龃蠊δ芷毓饬?，?dāng)用戶對(duì)該博主感興趣時(shí)，可更便捷的關(guān)注該博主。
• 假設(shè)二：動(dòng)態(tài)詳情頁(yè)中，首次觸發(fā)對(duì)該用戶的簡(jiǎn)單社交行為(點(diǎn)贊，收藏)時(shí)，調(diào)起彈框引導(dǎo)用戶關(guān)注發(fā)布者。預(yù)計(jì)關(guān)注點(diǎn)擊率提升到6%。因?yàn)辄c(diǎn)贊或收藏內(nèi)容，表示用戶對(duì)該博主的內(nèi)容的感興趣并認(rèn)可該博主。降低兩者之間的社會(huì)認(rèn)知差異。更容易接受關(guān)注該博主的行為。

2. 優(yōu)先級(jí)排序

通過(guò)ICE優(yōu)先級(jí)模型，得到優(yōu)先級(jí)結(jié)論：推薦動(dòng)態(tài)頁(yè)-增加關(guān)注按鈕的綜合得分最高。

3. 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)假設(shè)：如果在動(dòng)態(tài)詳情頁(yè)，如果用戶在內(nèi)容上停留5秒以上，“關(guān)注”按鈕變亮變大，提示用戶可以關(guān)注此博主，關(guān)注率預(yù)計(jì)可提升至6%，因?yàn)橛脩糸喿x每條動(dòng)態(tài)內(nèi)容的是平均時(shí)長(zhǎng)為10秒，閱讀5秒以上，表示用戶對(duì)該內(nèi)容感興趣，此時(shí)突出關(guān)注按鈕，更容易誘發(fā)用戶完成關(guān)注博主的動(dòng)作。

1）制定實(shí)驗(yàn)指標(biāo)

• 核心指標(biāo)：動(dòng)態(tài)詳情頁(yè)的關(guān)注按鈕的點(diǎn)擊率
• 反向指標(biāo)：用戶取關(guān)率。因提高了用戶關(guān)注按鈕的曝光聚集度，造成用戶體驗(yàn)降低，致使用戶執(zhí)行取關(guān)操作。
• 輔助指標(biāo)：動(dòng)態(tài)詳情頁(yè)的平均閱讀時(shí)長(zhǎng)。動(dòng)態(tài)詳情的訪問(wèn)UV和PV。動(dòng)態(tài)詳情頁(yè)的點(diǎn)贊率，收藏率，評(píng)論按鈕點(diǎn)擊率。日人均關(guān)注博主數(shù)。如：用戶在內(nèi)容閱讀5秒后，受到關(guān)注按鈕的動(dòng)效提醒效果的影響，可能會(huì)影響用戶的內(nèi)容閱讀體驗(yàn)，內(nèi)容閱讀體驗(yàn)的最直觀的反應(yīng)指標(biāo)為內(nèi)容閱讀平均閱讀時(shí)長(zhǎng)。動(dòng)態(tài)詳情的訪問(wèn)UV和PV是否下降會(huì)直接反應(yīng)出在詳情頁(yè)修改關(guān)注按鈕交互效果后，對(duì)用戶再次進(jìn)入該頁(yè)面是否產(chǎn)生阻力。在動(dòng)態(tài)詳情頁(yè)中，關(guān)注按鈕點(diǎn)擊率的改變可能會(huì)影響動(dòng)態(tài)的社交類行為如點(diǎn)贊，收藏，評(píng)論，關(guān)注的觸發(fā)概率。

2）確定實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)對(duì)象范圍：根據(jù)用戶行為路徑，該實(shí)驗(yàn)對(duì)象訪問(wèn)內(nèi)容詳情頁(yè)且停留時(shí)間2秒以上的用戶群體。

原因：

• 實(shí)驗(yàn)對(duì)象為對(duì)內(nèi)容詳情頁(yè)的關(guān)注按鈕。因而用戶需訪問(wèn)內(nèi)容詳情頁(yè)。
• 因?qū)嶒?yàn)組需對(duì)用戶在內(nèi)容詳情頁(yè)的停留時(shí)長(zhǎng)做邊際限制，最短2秒，因而停留時(shí)間2秒以上為受眾用戶行為特征范圍。

3）設(shè)計(jì)實(shí)驗(yàn)版本

• 對(duì)照組：保持原有產(chǎn)品交互設(shè)計(jì)不變，即用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留5秒以上，關(guān)注按鈕無(wú)變化。
• 實(shí)驗(yàn)組A：用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留5秒時(shí)，關(guān)注按鈕發(fā)生變大變亮的漸進(jìn)動(dòng)效，時(shí)間為2秒。設(shè)計(jì)原因：考察提高關(guān)注按鈕曝光獲取是否會(huì)提高用戶的關(guān)注點(diǎn)擊率。
• 實(shí)驗(yàn)組B：用戶在動(dòng)態(tài)詳情頁(yè)面閱讀停留2秒時(shí)，關(guān)注按鈕發(fā)生變大變亮的閃爍動(dòng)效，時(shí)間為2秒。設(shè)計(jì)原因：考察用戶對(duì)內(nèi)容的閱讀時(shí)長(zhǎng)的高低是否影響用戶的關(guān)注點(diǎn)擊率。

通過(guò)第三方工具，比如云眼計(jì)算樣本數(shù)量，可以得到以下結(jié)論：

• 當(dāng)前內(nèi)容詳情頁(yè)的關(guān)注按鈕的點(diǎn)擊率是5%。內(nèi)容詳情頁(yè)每天的平均訪問(wèn)量是10000人。假設(shè)滿足在內(nèi)容詳情頁(yè)停留2秒以上的用戶占50%，即5000人。
• 如目標(biāo)點(diǎn)擊率提升到6%，每個(gè)實(shí)驗(yàn)版本的樣本量是6900；三個(gè)實(shí)驗(yàn)的樣本量為6900×3 = 20700。預(yù)估實(shí)驗(yàn)周期為4~5個(gè)自然日（20700 ÷ 5000 ≈ 4.14）。
• 如目標(biāo)點(diǎn)擊率提升到5.5%，每個(gè)實(shí)驗(yàn)版本的樣本量是31000；三個(gè)實(shí)驗(yàn)的樣本量為31000×3 = 93000。預(yù)估實(shí)驗(yàn)周期為18~19個(gè)自然日（93000 ÷ 5000 ≈ 18.6）。

#專欄作家#

楊三季，微信公眾號(hào)：楊三季，人人都是產(chǎn)品經(jīng)理專欄作家。7年互聯(lián)網(wǎng)經(jīng)驗(yàn)的高級(jí)產(chǎn)品官，深耕內(nèi)容電商，互聯(lián)網(wǎng)保險(xiǎn)領(lǐng)域，擅長(zhǎng)產(chǎn)品增長(zhǎng)、數(shù)據(jù)分析、中臺(tái)架構(gòu)等內(nèi)容。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash，基于 CC0 協(xié)議