你是否有過(guò)當(dāng)實(shí)驗(yàn)版本上線后，卻發(fā)現(xiàn)有些實(shí)驗(yàn)細(xì)節(jié)還沒(méi)想清楚？怎樣的實(shí)驗(yàn)版本設(shè)計(jì)才能避免此類問(wèn)題呢？本文將為你揭秘那些成功實(shí)驗(yàn)版本背后的3個(gè)簡(jiǎn)單步驟。

一、實(shí)驗(yàn)版本設(shè)計(jì)要點(diǎn)

在這一部分要回答的問(wèn)題是實(shí)驗(yàn)所做的改動(dòng)在哪里？設(shè)計(jì)幾個(gè)版本，它們之間的區(qū)別是什么？以及這些流量在版本之間是如何分配的。

1. 明確實(shí)驗(yàn)改動(dòng)的位置

設(shè)計(jì)實(shí)驗(yàn)版本的第一步，是要明確實(shí)驗(yàn)所做的改動(dòng)在哪里。這一點(diǎn)比較簡(jiǎn)單，例如你的改動(dòng)可能在APP的主頁(yè)、營(yíng)銷落地頁(yè)的按鈕，或者是整個(gè)新用戶注冊(cè)流程等。

明確改動(dòng)位置后，工程師和設(shè)計(jì)師就知道去哪里做開(kāi)發(fā)和設(shè)計(jì)了。

2. 確定實(shí)驗(yàn)版本數(shù)量和區(qū)別

第二步是針對(duì)改動(dòng)位置，考慮設(shè)計(jì)幾個(gè)版本，以及版本之間有什么區(qū)別。這里有幾個(gè)要點(diǎn)：

(1) 新版本數(shù)量取決于實(shí)驗(yàn)假設(shè)數(shù)量

新版本的數(shù)量其實(shí)取決于針對(duì)改動(dòng)點(diǎn)，你有幾個(gè)實(shí)驗(yàn)假設(shè)。

假設(shè)數(shù)量多，可能就要設(shè)計(jì)多個(gè)新版本；假設(shè)只有一個(gè)，那就只需設(shè)計(jì)一個(gè)新版本。

(2) 選擇高質(zhì)量實(shí)驗(yàn)假設(shè)，避免隨意改動(dòng)

我們要注意的是，不要隨意想當(dāng)然地改動(dòng)。所有的實(shí)驗(yàn)假設(shè)和版本設(shè)計(jì)，都要選擇那些高質(zhì)量、有依據(jù)的，這樣才能提高實(shí)驗(yàn)成功率，避免浪費(fèi)開(kāi)發(fā)設(shè)計(jì)資源。

(3) 區(qū)分優(yōu)化實(shí)驗(yàn)和探索實(shí)驗(yàn)

a.優(yōu)化實(shí)驗(yàn)：每個(gè)版本只改變單一變量

舉例來(lái)說(shuō)，如果你要優(yōu)化一個(gè)落地頁(yè)，想看每個(gè)元素如何改動(dòng)效果最好，那你可以試試不同顏色的按鈕、不同文案、不同圖片，每個(gè)版本只改變一個(gè)變量如顏色、文案或圖片。

這樣可以明確判斷每個(gè)改動(dòng)的影響。等確認(rèn)了哪些改動(dòng)有效，最終版本再把它們合并起來(lái)。

b.探索實(shí)驗(yàn)：可同時(shí)改變多個(gè)變量或設(shè)計(jì)全新版本

另一類是探索性實(shí)驗(yàn)，你可以在一個(gè)版本中同時(shí)改變多個(gè)變量，或者設(shè)計(jì)一個(gè)全新的版本。常見(jiàn)于兩種情況：

要么是之前已經(jīng)做了很多局部?jī)?yōu)化實(shí)驗(yàn)，洞察積累多了，想要突破局部最大化的瓶頸；

要么是現(xiàn)有版本表現(xiàn)太差，與其慢慢優(yōu)化，不如推倒重來(lái)，設(shè)計(jì)一個(gè)理想版本。此類實(shí)驗(yàn)允許大刀闊斧地改動(dòng)。

(4) 版本數(shù)量越多，所需總樣本量越大

需要強(qiáng)調(diào)的是，版本數(shù)量越多，實(shí)驗(yàn)所需的總樣本數(shù)就越大。如果你的用戶量不夠大，建議不要設(shè)置太多的版本。

3. 若分流不均勻，實(shí)驗(yàn)結(jié)論可信性降低

在明確了幾個(gè)實(shí)驗(yàn)版本之后，下一個(gè)問(wèn)題是如何在這些版本之間分配用戶流量。

我們還是以一個(gè)紅藍(lán)按鈕的例子來(lái)說(shuō)明。假設(shè)在一個(gè)實(shí)驗(yàn)中，50%的用戶看到藍(lán)色版本，另外50%看到紅色版本。

我們的實(shí)驗(yàn)假設(shè)是，紅色按鈕更醒目，所以點(diǎn)擊率會(huì)更高。

如果實(shí)驗(yàn)觀測(cè)到，紅色版本的點(diǎn)擊率比藍(lán)色高出50%，據(jù)此我們得出結(jié)論：紅色版本比藍(lán)色版本更好。但事實(shí)真的如此嗎？

舉一個(gè)極端例子，如果分到紅色組的用戶全是紅綠色盲，你還能得出這個(gè)結(jié)論嗎？顯然不能。

這說(shuō)明了，AB實(shí)驗(yàn)中的樣本分流是否均勻，會(huì)極大影響實(shí)驗(yàn)結(jié)論的可信性。如果樣本分流做得不好，實(shí)驗(yàn)結(jié)果可能根本沒(méi)有參考價(jià)值。

二、樣本科學(xué)分流的重要性

1. 分流均勻可消除外在因素影響，確保實(shí)驗(yàn)組和對(duì)照組的可比性

樣本分流之所以要做到均勻，就是要消除一切外在因素的影響，確保對(duì)照組和實(shí)驗(yàn)組之間唯一的區(qū)別就是實(shí)驗(yàn)改動(dòng)點(diǎn)，其他條件都一致。

這樣才能放心地將最終指標(biāo)的差異歸因于實(shí)驗(yàn)改動(dòng)，而非其他隨機(jī)因素。

舉個(gè)例子，復(fù)聯(lián)中的滅霸要隨機(jī)消滅一半人口。這里的”隨機(jī)”很關(guān)鍵，如果消滅的方式有選擇性，比如留下的都是實(shí)力較弱的超級(jí)英雄，那他們最后輸給滅霸，并不能說(shuō)明這些英雄真的不如滅霸。因?yàn)橄麥邕^(guò)程不是隨機(jī)的，不符合分流均勻的要求。

2. 樣本科學(xué)分流需達(dá)到四個(gè)標(biāo)準(zhǔn)

(1) 均勻性

分流人群各維度分配比例均勻

(2) 唯一性

同一用戶始終保持在原實(shí)驗(yàn)分組

(3) 定向性

針對(duì)特定用戶類型設(shè)定實(shí)驗(yàn)受眾分層分流

(4) 可重復(fù)性

不同實(shí)驗(yàn)之間的分流不沖突

3. 科學(xué)分流需從技術(shù)層面保證，以支持AB測(cè)試結(jié)果的可信性

(1) 使用第三方AB測(cè)試工具可簡(jiǎn)化樣本分流過(guò)程

第三方AB測(cè)試工具可以很方便地完成樣本分流。

以吆喝科技產(chǎn)品為例，可以在后臺(tái)設(shè)置有多少流量進(jìn)入實(shí)驗(yàn)，如果有多個(gè)實(shí)驗(yàn)同時(shí)進(jìn)行，還能設(shè)置不同實(shí)驗(yàn)之間的流量分配。

然后再進(jìn)一步設(shè)置實(shí)驗(yàn)內(nèi)部的分組，如50%進(jìn)入對(duì)照組，50%進(jìn)入實(shí)驗(yàn)組。

第三方工具可以保證分流的均勻性和唯一性。

(2) 自建AB測(cè)試系統(tǒng)需關(guān)注分流系統(tǒng)的建設(shè)

如果要自建AB測(cè)試系統(tǒng)，分流系統(tǒng)是需要重點(diǎn)關(guān)注的。

這里分享一個(gè)電商公司自建分流系統(tǒng)的案例，他們大概花了一個(gè)月時(shí)間搭建了基本的分流架構(gòu)：

增長(zhǎng) or 運(yùn)營(yíng)團(tuán)隊(duì)提交分流需求 → 工程師后端進(jìn)行用戶分流，前端APP和小程序埋點(diǎn)不同實(shí)驗(yàn)版本 → 后端控制前端執(zhí)行相應(yīng)實(shí)驗(yàn)版本，收集數(shù)據(jù) → 分析師手動(dòng)進(jìn)行統(tǒng)計(jì)分析。

綜上所述，明確改動(dòng)點(diǎn)，創(chuàng)造高質(zhì)量假設(shè)，并科學(xué)分配流量，是設(shè)計(jì)實(shí)驗(yàn)版本的根本。

三、實(shí)驗(yàn)設(shè)計(jì)步驟（系列文章小結(jié)）

1. 選擇實(shí)驗(yàn)指標(biāo)

選擇指標(biāo)時(shí)，除了核心指標(biāo)，還要考慮輔助指標(biāo)和反向指標(biāo)，以全面評(píng)估實(shí)驗(yàn)效果。

2. 確定實(shí)驗(yàn)受眾

需要考慮：受眾范圍、樣本量和實(shí)驗(yàn)時(shí)長(zhǎng)評(píng)估。

(1) 統(tǒng)計(jì)顯著性與所需樣本量的關(guān)系

實(shí)驗(yàn)需要的樣本量，與原版本轉(zhuǎn)化率、新版本預(yù)期提升幅度、統(tǒng)計(jì)顯著性要求都有關(guān)系。

(2) 樣本量過(guò)大時(shí)的實(shí)驗(yàn)設(shè)計(jì)調(diào)整方法

如果評(píng)估發(fā)現(xiàn)所需樣本量過(guò)大，可以考慮加大改動(dòng)幅度、減少版本數(shù)量等方式，對(duì)實(shí)驗(yàn)設(shè)計(jì)進(jìn)行調(diào)整。

3. 設(shè)計(jì)實(shí)驗(yàn)版本

需明確改動(dòng)位置、版本數(shù)量和類型。

(1) 實(shí)驗(yàn)假設(shè)數(shù)量決定版本數(shù)量

在設(shè)計(jì)實(shí)驗(yàn)版本的時(shí)候，要考慮有幾個(gè)高質(zhì)量的實(shí)驗(yàn)假設(shè)，那就設(shè)計(jì)幾個(gè)實(shí)驗(yàn)版本。

(2) 優(yōu)化實(shí)驗(yàn)與探索實(shí)驗(yàn)的版本設(shè)計(jì)區(qū)別

同時(shí)我們也要考慮我們這個(gè)實(shí)驗(yàn)是一個(gè)優(yōu)化實(shí)驗(yàn)還是一個(gè)探索實(shí)驗(yàn)。優(yōu)化實(shí)驗(yàn)建議去做單變量的測(cè)試，而探索實(shí)驗(yàn)可以做一個(gè)全新的設(shè)計(jì)。

4. 進(jìn)行流量分配

科學(xué)分流是獲得可信實(shí)驗(yàn)結(jié)果的關(guān)鍵。流量分配必須嚴(yán)格執(zhí)行科學(xué)分流，不管是用第三方工具還是自建分流系統(tǒng)，這是獲得可靠實(shí)驗(yàn)數(shù)據(jù)和結(jié)論的基礎(chǔ)。

5. 實(shí)驗(yàn)開(kāi)發(fā)上線總結(jié)優(yōu)化

最后，在實(shí)驗(yàn)版本開(kāi)發(fā)上線后，我們就可以收集數(shù)據(jù)，得出實(shí)驗(yàn)結(jié)果，總結(jié)實(shí)驗(yàn)心得，并規(guī)劃后續(xù)優(yōu)化計(jì)劃，從而完成一次完整的AB實(shí)驗(yàn)。

最后總結(jié)一下，實(shí)驗(yàn)設(shè)計(jì)的藝術(shù)在于精確識(shí)別改動(dòng)點(diǎn)、構(gòu)建可靠實(shí)驗(yàn)假設(shè)、執(zhí)行科學(xué)流量分配。通過(guò)本文的學(xué)習(xí)，希望你可以更系統(tǒng)、科學(xué)地進(jìn)行實(shí)驗(yàn)，從而更精準(zhǔn)地優(yōu)化運(yùn)營(yíng)策略，提升運(yùn)營(yíng)效果。