編輯導(dǎo)讀：AB測試是產(chǎn)品、運(yùn)營同學(xué)經(jīng)常用到的工具，它能夠比較不同版本用戶體驗的變化，收集數(shù)據(jù)并根據(jù)數(shù)據(jù)分析結(jié)果衡量更改對業(yè)務(wù)的影響，可以確保每個更改都產(chǎn)生正向結(jié)果，從而消除創(chuàng)新和迭代風(fēng)險，讓業(yè)務(wù)快速增長。在產(chǎn)品體驗設(shè)計工作中，AB測試也是不可或缺的一種有效手段。本文對此進(jìn)行了說明，與大家分享。

• “我更傾向于A版方案，視覺風(fēng)格更加統(tǒng)一，簡單直觀”
• “這兩個方案我感覺都可以啊，不就是文案的差異嗎”
• “我傾向于B，這一版引導(dǎo)清晰關(guān)鍵指標(biāo)轉(zhuǎn)化肯定會高”
• “…”

設(shè)計師在日常工作中，始終面對著不斷出現(xiàn)的艱難選擇，兩種看似都可行的設(shè)計方案常常難以抉擇。面對這種情況，設(shè)計師和產(chǎn)品常常會通過測試來最終做出設(shè)計決策，而其中較為常用的測試?yán)骶褪茿/B測試-先把兩種（或者多種）方案進(jìn)行小流量的測試，利用測試的數(shù)據(jù)來預(yù)估全量之后的效果。

下面，我將結(jié)合最近的AB測實踐，聊聊在產(chǎn)品設(shè)計中A/B測試的心得體會，助力改善產(chǎn)品體驗。

01 A/B 測試是什么

AB測試是為Web或App界面或流程制作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組（目標(biāo)人群）隨機(jī)的訪問這些版本，收集各群組的用戶體驗數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好版本，正式采用。①

02?A/B測試能解決哪些問題？

1. 解決分歧。消解在設(shè)計過程中各方的分歧，最終達(dá)成方案的共識。
2. 明確影響的因素。通過不同因素的驗證，探尋影響產(chǎn)品轉(zhuǎn)化的因素。
3. 助力核心數(shù)據(jù)的增長。通過A/B測試，分析評估出轉(zhuǎn)化最高的方案。
4. 優(yōu)化產(chǎn)品體驗。降低新方案帶來的不確定影響，助力產(chǎn)品體驗優(yōu)化。

03?設(shè)計師要如何使用A/B測試呢？

筆者通過公司內(nèi)部多項AB測實踐，總結(jié)了一套通用的A/B測試流程，如下圖，希望下面的步驟，可以幫你通過A/B測試來提升產(chǎn)品體驗。

明確目標(biāo)-設(shè)置變量-設(shè)計方案-線上測試-分析迭代

1. 明確目標(biāo)

在開始測試之前，我們一定要明確希望通過A/B測來達(dá)成什么目標(biāo)。這個可以是提升頁面的點(diǎn)擊量，可以是提升訂單轉(zhuǎn)化，也可能是提高銷售額。衡量標(biāo)準(zhǔn)通常是根據(jù)公司、產(chǎn)品和團(tuán)隊的具體目標(biāo)來制定。

以招聘業(yè)務(wù)線職位列表頁優(yōu)化為例，因為線上列表頁存在已久，投遞連接轉(zhuǎn)化也相對固定，產(chǎn)品側(cè)希望通過豐富HR字段來探索提升職位列表投遞轉(zhuǎn)化的可能性。

通過前期各方的溝通，我們也明確了此次優(yōu)化的目標(biāo)為提升用戶的投遞轉(zhuǎn)化率，基于這個目標(biāo)，我們也拓展出多個優(yōu)化方向，我們期望通過A/B測來驗證我們的方案，找出最優(yōu)方案。

2. 設(shè)置變量

達(dá)成目標(biāo)的方式有多種，設(shè)計師應(yīng)合理轉(zhuǎn)化產(chǎn)品的目標(biāo)，拓展多個解題方案。除了產(chǎn)品前期提供的豐富內(nèi)容變量以外，我們也在信息內(nèi)容展示形式上拓展出其他多個版本。在內(nèi)容展示上，設(shè)計師也可以在信息元素大小、顏色、布局等多個維度去探究更合理的答案。

在設(shè)置變量環(huán)節(jié)，一個重要的前提是嚴(yán)格控制變量，兩兩對比只存在一個單一變量，只有這樣我們才能判斷最終的數(shù)據(jù)變動是否由某單一變量引起。

在列表頁優(yōu)化項目中，我們確定了以下兩個方向去控制變量：

• 內(nèi)容層面：驗證HR信息、單條推薦理由、多條推薦理由
• 形式層面：標(biāo)簽的強(qiáng)弱、信息的布局

3. 設(shè)計方案

基于討論的方向，我們共輸出7版不同的方案（不包括線上版），兩兩對比控制了單一變量，從內(nèi)容有無、標(biāo)簽的強(qiáng)弱、信息的布局等多個維度去反復(fù)驗證。具體方案如下：

七種方案，在保證單一變量前提下，兩兩對比組合出多組不同的對照組。

4. 線上測試

通常而言，測試時間至少要達(dá)到3天，最長不宜超過14天。測試前2兩天數(shù)據(jù)可能會出現(xiàn)大的波動而導(dǎo)致測試數(shù)據(jù)出現(xiàn)偏差，結(jié)合筆者經(jīng)驗，一般來講新方案數(shù)據(jù)趨于穩(wěn)定需要經(jīng)歷至少3天左右時間。

流量的路徑及切分的方式可以根據(jù)具體情況來靈活配置，就職位列表來講，基于Native的職位頁面因為開發(fā)成本以及發(fā)版的限制，顯然不適合做多版本的A/B測試，最終我們是在詳情頁推薦列表的H5頁面去做我們的A/B測驗，這樣的好處顯而易見，既規(guī)避了主路徑列表的風(fēng)險，又能節(jié)省開發(fā)量快速上線。同時在流量的切分上，我們采用了1:1的切分方式，以保證樣本的平均。

5. 分析結(jié)果

方案在上線之后，我們要及時的收集整理我們的測試數(shù)據(jù)，將所有方案數(shù)據(jù)和指標(biāo)進(jìn)行對比分析，基于結(jié)果，選出其中更優(yōu)秀的方案以達(dá)成設(shè)計目標(biāo)。

基于對職位列表數(shù)據(jù)分析，在職位列表場景下，我們也看到一些結(jié)論：

1. 職位HR信息的露出對用戶的決策起到了正向的作用。
2. 帶有單條推薦理由的帖子用戶的投遞率更高。
3. 左對齊布局樣式比左右對齊布局轉(zhuǎn)化率要高。（職位列表場景下）
4. 淺色標(biāo)簽相對于重色標(biāo)簽轉(zhuǎn)化略高。（職位列表場景下）
5. 展露職位hr信息+單條推薦理由+左側(cè)布局頭投遞率最高。

經(jīng)過多方案的對比，我們最終確定了最優(yōu)方案，經(jīng)過驗證的職位列表推全到了大類頁，同樣帶來了不錯的數(shù)據(jù)轉(zhuǎn)化。

04 A/B測試的局限性

A/B測試的方法適用于諸多類型的設(shè)計問題，但它并不是完美的，有其自身的局限性。

首先A/B測試只呈現(xiàn)出了結(jié)果，而不會為你揭示出現(xiàn)結(jié)果的原因。你可以通過AB測試驗證哪些元素會影響你的設(shè)計結(jié)果，但卻無法通過A/B測得知這些不同元素有不同結(jié)果的原因，A/B測也無法反饋有關(guān)用戶行為的具體細(xì)節(jié)，并不能幫助你作更多、更長遠(yuǎn)的決定。②

A/B測更多的是解決當(dāng)下哪個方案“更優(yōu)“而不是“最優(yōu)”的問題，這就需要我們根據(jù)更多的數(shù)據(jù)分析，結(jié)合更多的重復(fù)試驗來最終推導(dǎo)出原因。

05 結(jié)語

誠然，A/B測可以快速驗證出當(dāng)前階段更優(yōu)的設(shè)計方案，從而降低新方案帶來的不確定性。但是，我們應(yīng)同時看到A/B測的局限性，A/B測試結(jié)果不應(yīng)該作為評判設(shè)計作品好壞的標(biāo)準(zhǔn)。A/B測更大的價值在于通過測試結(jié)果來發(fā)掘問題，改進(jìn)我們的設(shè)計方案進(jìn)而提升產(chǎn)品體驗。

參考文獻(xiàn)：

1. 百度百科-AB測試
2. Tubik Studio-想驗證你的設(shè)計？最簡單最實用的A/B測試幫你搞定 @陳子木

作者：王書偉，視覺設(shè)計師

作者：王書偉，視覺設(shè)計師本文來源于人人都是產(chǎn)品經(jīng)理合作媒體@58用戶體驗設(shè)計中心（微信公眾號@58UXD），作者@王書偉

題圖來自pexels，基于CC0協(xié)議