A/B 測(cè)試，簡單來說，就是為同一個(gè)目標(biāo)制定兩個(gè)方案（比如兩個(gè)頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個(gè)方案更符合設(shè)計(jì)。那我們要如何通過 AB Testing 提升產(chǎn)品數(shù)據(jù)？

產(chǎn)品或者設(shè)計(jì)師在做設(shè)計(jì)方案時(shí)，會(huì)有一套方法論來制作多個(gè)方案，經(jīng)過評(píng)審之后一般都會(huì)得出一個(gè)平衡了用戶體驗(yàn)和業(yè)務(wù)目標(biāo)的方案。但往往也存在一種情況：A方案和B方案各有優(yōu)劣，實(shí)在無法主觀判斷兩個(gè)方案上線之后數(shù)據(jù)如何。

如果AB方案的實(shí)現(xiàn)成本不是很高，就可以使用AB Testing來解決。依據(jù)上線之后的數(shù)據(jù)表現(xiàn)，最終上線數(shù)據(jù)更好的方案。

1. 原理

數(shù)理統(tǒng)計(jì)學(xué)中有一個(gè)概念叫“假設(shè)檢驗(yàn)(Hypothesis Testing）”，其基本的原理是對(duì)整體特征做出某種假設(shè)，然后通過抽樣研究的統(tǒng)計(jì)推理，對(duì)此假設(shè)應(yīng)該被拒絕還是接受作出推斷。

在假設(shè)檢驗(yàn)中，存在原假設(shè)和備擇假設(shè)，以下圖為例：

改變按鈕樣式的AB Testing

原假設(shè)指改變按鈕樣式會(huì)帶來轉(zhuǎn)化率的提升，備擇假設(shè)是改變按鈕樣式不會(huì)帶來轉(zhuǎn)化率的提升。

原假設(shè)和備擇假設(shè)有且只能有一個(gè)為真。

2. 背景

Google是最早將AB Testing應(yīng)用到互聯(lián)網(wǎng)產(chǎn)品的公司，谷歌工程師在2000年進(jìn)行了他們的第一次AB測(cè)試，試圖確定在搜索引擎結(jié)果頁面上顯示的最佳結(jié)果數(shù)量。后來AB測(cè)試不斷發(fā)展，但基礎(chǔ)和基本原則通常保持不變，2011年，谷歌首次測(cè)試后11年，谷歌進(jìn)行了7,000多次不同的AB測(cè)試。

目前像Facebook、LinkedIn等公司都有專門的增長團(tuán)隊(duì)來做AB Testing的實(shí)驗(yàn)（增長團(tuán)隊(duì)的核心就是不斷的進(jìn)行AB Testing來提升產(chǎn)品數(shù)據(jù)），并且團(tuán)隊(duì)負(fù)責(zé)人直接向CEO匯報(bào)，最近兩年國內(nèi)不少公司也越來越重視數(shù)據(jù)增長。

3. AB Testing越來越被重視的原因

為什么數(shù)據(jù)增長會(huì)在互聯(lián)網(wǎng)行業(yè)興起，我認(rèn)為有兩點(diǎn)原因：

• 一是互聯(lián)網(wǎng)產(chǎn)品的表現(xiàn)形式趨于成熟，目前市場(chǎng)上主流的智能手機(jī)操作系統(tǒng)只有iOS和Android，它們?cè)诮换ズ鸵曈X層面越來越規(guī)范和統(tǒng)一；
• 二是互聯(lián)網(wǎng)產(chǎn)品設(shè)計(jì)的方法論逐漸成熟，互聯(lián)網(wǎng)公司產(chǎn)品設(shè)計(jì)流程的分工已經(jīng)很細(xì)，產(chǎn)品經(jīng)理、交互設(shè)計(jì)師、視覺設(shè)計(jì)師，而且每個(gè)崗位都有成熟的方法論。

由于這兩點(diǎn)原因，導(dǎo)致大家做出來的東西在用戶體驗(yàn)層面已經(jīng)拉不開很大的差距，這時(shí)候如何在同質(zhì)化產(chǎn)品中脫穎而出變得更加困難，其中通過科學(xué)的方法，采用認(rèn)知心理學(xué)和統(tǒng)計(jì)學(xué)相關(guān)知識(shí)的AB Testing展現(xiàn)了它的威力，并為互聯(lián)網(wǎng)產(chǎn)品的數(shù)據(jù)增長帶來了新的動(dòng)力。

4. 具體方法論：如何做實(shí)驗(yàn)？

①提出想法，設(shè)定假設(shè)

得出假設(shè)的方法有很多，包括福格模型、頭腦風(fēng)暴、經(jīng)驗(yàn)總結(jié)、行業(yè)借鑒、公司不同部門人員提出建議、用戶調(diào)研、數(shù)據(jù)分析。方法有很多，以后我們會(huì)詳細(xì)介紹。

②預(yù)估成本/設(shè)定優(yōu)先級(jí)

有些實(shí)驗(yàn)方案不僅涉及設(shè)計(jì)和開發(fā)成本，還需要額外的資金成本，像增加現(xiàn)金或優(yōu)惠券獎(jiǎng)勵(lì)來提升轉(zhuǎn)化率的實(shí)驗(yàn)，這個(gè)時(shí)候需要對(duì)該類實(shí)驗(yàn)經(jīng)濟(jì)成本預(yù)估，并且結(jié)合ICE模型來設(shè)定優(yōu)先級(jí)，決定哪個(gè)實(shí)驗(yàn)先做，哪個(gè)實(shí)驗(yàn)后做。

ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項(xiàng)滿分為十分，ICE總分為三項(xiàng)的平均分，ICE分值越高，對(duì)應(yīng)的優(yōu)先級(jí)也越高。

③設(shè)計(jì)方案

決定了哪些實(shí)驗(yàn)先做，哪些后做，接下來就要開始進(jìn)入方案的設(shè)計(jì)階段了，有些簡單的實(shí)驗(yàn)可能不需要經(jīng)過設(shè)計(jì)階段，可以直接開發(fā)上線。主要跟交互設(shè)計(jì)師，根據(jù)第一步提出的假設(shè)，提出多種方案，最后選擇一到兩個(gè)方案進(jìn)行AB testing。

著名的資訊公司Upworthy會(huì)對(duì)每篇即將上線的文章討論出25個(gè)標(biāo)題，最終選擇2個(gè)標(biāo)題進(jìn)行A B testing。

④確定實(shí)驗(yàn)人數(shù)和周期

關(guān)于計(jì)算實(shí)驗(yàn)人數(shù)和周期，有很多工具網(wǎng)站可以使用，例如：Evanmiller網(wǎng)站。打開這個(gè)網(wǎng)站，你會(huì)發(fā)現(xiàn)有四個(gè)字段需要輸入：

• 一個(gè)是Baseline conversion rate，指原有的轉(zhuǎn)化率；
• 二是Minimum Detectable Effect，指預(yù)計(jì)會(huì)提升的百分比，另外兩個(gè)是β和α值，你只要記住設(shè)定這兩個(gè)值是為了保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。一般β值會(huì)設(shè)定在5%/10%，α值會(huì)取1%~10%之間。

⑤安排開發(fā)與測(cè)試

這個(gè)大家太熟悉了，就不多說。

⑥分析實(shí)驗(yàn)結(jié)果

在分析實(shí)驗(yàn)結(jié)果的時(shí)候要特別注意兩點(diǎn)：

• 一要排除其他因素導(dǎo)致的數(shù)據(jù)變動(dòng)，例如你的產(chǎn)品是受季節(jié)影響的話，實(shí)驗(yàn)得出的數(shù)據(jù)要扣除季節(jié)對(duì)數(shù)據(jù)產(chǎn)生的影響；
• 二是確保關(guān)聯(lián)數(shù)據(jù)也有相應(yīng)增長，例如你的實(shí)驗(yàn)是要提升活動(dòng)詳情頁到支付頁的轉(zhuǎn)化率，實(shí)驗(yàn)結(jié)果顯示，轉(zhuǎn)化率從之前的5%提升到了6%，這相當(dāng)于增長了20%。但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進(jìn)入下一步，也就是支付成功，很有可能本次實(shí)驗(yàn)只是把用戶從活動(dòng)詳情頁吸引到了支付頁，但是吸引來的用戶并沒有去真正下單。

⑦擴(kuò)大實(shí)驗(yàn)或失敗

分析完實(shí)驗(yàn)結(jié)果后，如果判定實(shí)驗(yàn)成功，接下來就擴(kuò)大實(shí)驗(yàn)范圍，把本次改進(jìn)覆蓋所有用戶；如果實(shí)驗(yàn)失敗，也不要灰心，畢竟AB Testing的成功率并不是很高，大膽的接受實(shí)驗(yàn)失敗，并開始下一個(gè)實(shí)驗(yàn)吧。

5. 注意事項(xiàng)

1. 確保實(shí)驗(yàn)的變量唯一；
2. 確保試驗(yàn)周期不能過長，一般控制在2到3周，最好不要超過一個(gè)月；
3. 確保α和β值在合理的區(qū)間內(nèi)，保證實(shí)驗(yàn)的準(zhǔn)確性；
4. 分析實(shí)驗(yàn)結(jié)果時(shí)，記得排除其他因素在實(shí)驗(yàn)中的影響。

#專欄作家#

鄒志楠，微信公眾號(hào)：鄒志楠，人人都是產(chǎn)品經(jīng)理專欄作家。用戶體驗(yàn)設(shè)計(jì)師，專注于互聯(lián)網(wǎng)產(chǎn)品設(shè)計(jì)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議