本文來和大家聊聊，在日常的運(yùn)營中，如何才能運(yùn)用好AB測試，通過數(shù)據(jù)反饋，AB測試，測試結(jié)果分析，運(yùn)營策略優(yōu)化等過程，最終將產(chǎn)品轉(zhuǎn)化的每一個環(huán)節(jié)做好，從而更好地提升在AARRR環(huán)節(jié)的某一項(xiàng)數(shù)據(jù)指標(biāo)。

我相信運(yùn)營對于AB測試一定不陌生。當(dāng)我們從數(shù)據(jù)中發(fā)現(xiàn)了一定的問題，但是也不敢確定想出來的辦法一定能解這個問題的時候，領(lǐng)導(dǎo)便會說：小范圍測試一下吧。

這時候說的測試就是AB實(shí)驗(yàn)，簡單來說，AB測試是為產(chǎn)品的界面或流程制作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組（目標(biāo)人群）隨機(jī)的訪問這些版本，收集各群組的用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析、評估出最好版本，正式采用。

進(jìn)行AB實(shí)驗(yàn)?zāi)軌蛴欣趦?yōu)化用戶體驗(yàn)，提升漏斗或者單個節(jié)點(diǎn)的轉(zhuǎn)化率，從而使得產(chǎn)品的最終效果變得越來越好。

那么該怎么去進(jìn)行測試呢？如何才能保證測試的數(shù)據(jù)有效性，在最短的時間內(nèi)測試出來結(jié)果，以便后期能夠更好地進(jìn)行調(diào)整。小步快跑，關(guān)鍵是步子要小，結(jié)果要快，后期才能更好地運(yùn)用在運(yùn)營過程中。

今天就來和大家聊聊，在日常的運(yùn)營中，如何才能運(yùn)用好AB測試，通過數(shù)據(jù)反饋，AB測試，測試結(jié)果分析，運(yùn)營策略優(yōu)化等過程，最終將產(chǎn)品轉(zhuǎn)化的每一個環(huán)節(jié)做好，從而更好地提升在AARRR環(huán)節(jié)的某一項(xiàng)數(shù)據(jù)指標(biāo)。

一、從數(shù)據(jù)中發(fā)現(xiàn)問題

前面，我寫過一遍文章：運(yùn)營人如何進(jìn)行數(shù)據(jù)分析？從日常的數(shù)據(jù)中發(fā)現(xiàn)問題，找到出現(xiàn)異常的那些數(shù)據(jù)。

最終，從數(shù)據(jù)中發(fā)現(xiàn)問題，也需要回到數(shù)據(jù)中去解決問題。一般來說，在數(shù)據(jù)折線圖中，數(shù)據(jù)出現(xiàn)下降拐點(diǎn)的很在程度上為異常數(shù)據(jù)。在進(jìn)行數(shù)據(jù)分析的時候，可以著重關(guān)注這些數(shù)據(jù)。

如下圖的各個渠道周新增用戶趨勢圖，就可以重點(diǎn)分析，為什么第四周之后，新增用戶的增長幅度降低，是因?yàn)轭A(yù)算減少了嗎？還是說，在用戶注冊的過程中遇到了什么問題，導(dǎo)致新增用戶下降。

在日常的運(yùn)營中，數(shù)據(jù)分析運(yùn)用的比較多的便是漏斗模型，不一定是AARRR模型，而是用戶路徑中每一個關(guān)鍵步驟都會出現(xiàn)流失，轉(zhuǎn)化率下降的問題，只是說這個流失是否在合理范圍內(nèi)，和業(yè)內(nèi)的平均數(shù)據(jù)相比，這個數(shù)據(jù)是否還存在可優(yōu)化的空間。

從關(guān)鍵用戶路徑出發(fā)，從數(shù)據(jù)中能夠快速找到，用戶在哪個環(huán)節(jié)可能出現(xiàn)了一定的問題，用戶在哪個環(huán)節(jié)停留的時間比較長，用戶在某個環(huán)節(jié)轉(zhuǎn)化率急劇下降，這些可能就是AB實(shí)驗(yàn)的關(guān)鍵點(diǎn)。

做好其中一個環(huán)節(jié)的優(yōu)化，便能夠帶來明顯數(shù)據(jù)的提升，從而更好地提升轉(zhuǎn)化率。

如，用戶在淘寶上搜索一個產(chǎn)品的路徑可能是：直接輸入關(guān)鍵詞——點(diǎn)擊某個產(chǎn)品——查看產(chǎn)品信息（包括詳情頁和評論等）——詢問客服——選擇產(chǎn)品規(guī)則——下單購買。

而這些步驟，每個環(huán)節(jié)都會出現(xiàn)用戶流失的情況。如果每天的曝光很高，但是卻沒有點(diǎn)擊，那么說明在首圖中還需要去進(jìn)行優(yōu)化，了解用戶為什么沒有點(diǎn)擊的原因：是因?yàn)槿巳翰痪珳?zhǔn)，還是因?yàn)楹透偲返氖讏D更吸引人，還是其他什么原因。這些都可以去通過AB實(shí)驗(yàn)去進(jìn)行測試，不斷優(yōu)化用戶路徑中的關(guān)鍵步驟。

接下來就進(jìn)入重點(diǎn)了，如何去進(jìn)行AB實(shí)驗(yàn)，在這過程中，需要注意什么，什么樣的實(shí)驗(yàn)才真正算一個好的實(shí)驗(yàn)。

二、如何進(jìn)行AB實(shí)驗(yàn)？

進(jìn)行AB實(shí)驗(yàn)，我主要會在以下4個方面進(jìn)行說明。

1）確定實(shí)驗(yàn)的核心目標(biāo)

2）確定測試的樣本量

3）確定實(shí)驗(yàn)的周期

4）AB實(shí)驗(yàn)遵從的原則

以上這4個關(guān)鍵點(diǎn)，是我認(rèn)為進(jìn)行AB實(shí)驗(yàn)最關(guān)鍵的核心，將這些東西弄明白，基本上就能進(jìn)行一個完整的AB實(shí)驗(yàn)了。接下來，我將舉例說明。

1. 確定AB實(shí)驗(yàn)的核心目標(biāo)

這個應(yīng)該不用多說，運(yùn)營是目標(biāo)導(dǎo)向的，做實(shí)驗(yàn)的時候也不例外。只有確定了做AB實(shí)驗(yàn)的核心目的，才能更好地進(jìn)行后續(xù)的AB實(shí)驗(yàn)。

在核心目標(biāo)這里，需要延伸出來，其他兩個和核心目標(biāo)相關(guān)的兩個指標(biāo)，第一個是輔助指標(biāo)，第二個是反向指標(biāo)。有這兩個指標(biāo)之后，我們才能更好地確定核心目標(biāo)，后期也才能更好地檢測這是否是一次成功的實(shí)驗(yàn)。如果核心指標(biāo)提升了很多，但是同時反向指標(biāo)也上升了很多，那么可能相當(dāng)于是亡羊補(bǔ)牢，拆了東墻補(bǔ)西墻，最終也很難將核心指標(biāo)提升上去。

接上邊的那個列子，在用戶搜索產(chǎn)品的時候，我們發(fā)現(xiàn)用戶的點(diǎn)擊率很低，遠(yuǎn)遠(yuǎn)低于行業(yè)平均水平，假設(shè)行業(yè)平均水平是5%，而目前你的產(chǎn)品的點(diǎn)擊率才2%。

假設(shè)核心目標(biāo)是將商品點(diǎn)擊率從2%提高到5%，而同時輔助指標(biāo)是購買轉(zhuǎn)化率在一定程度上會有所提升，畢竟要保證進(jìn)來的流量不是虛假流量，最終能夠形成一定的轉(zhuǎn)化。而反向指標(biāo)是，頁面的跳失率在一定程度上不會收到太大的影響。

2. 確定測試的樣本量

確定了實(shí)驗(yàn)?zāi)繕?biāo)之后，緊接著我們就應(yīng)該來測算出需要測試的樣本量。很大的樣本量雖然更能體現(xiàn)實(shí)驗(yàn)的準(zhǔn)確性，但是可能在數(shù)據(jù)收集上也需要耗費(fèi)更多的時間。很小的樣本量，很難說明數(shù)據(jù)的準(zhǔn)確性。

所以我們需要在有限的時間內(nèi)收集好足夠的數(shù)據(jù)量做實(shí)驗(yàn)。

按照實(shí)驗(yàn)的準(zhǔn)確性原則來說，一般是統(tǒng)計(jì)顯著≥95%確定的樣本量，是有效樣本量，能夠保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，確定操作的統(tǒng)計(jì)顯著差異不是由于偶然因素造成的，而是系統(tǒng)設(shè)定的測試實(shí)驗(yàn)的結(jié)果。

如何根據(jù)統(tǒng)計(jì)顯著，確定所需的最小的樣本量？直接用AB測試樣本數(shù)量計(jì)算器（https://www.eyeofcloud.com/124.html） 計(jì)算出每個版本需要的最小樣本量。

也就是說，做這個實(shí)驗(yàn)，至少需要640個樣本數(shù)量。并且需要保證分流的均勻性，人群是隨機(jī)分類的。

3. 確定實(shí)驗(yàn)周期

是不是上邊的樣本量保證了之后，就一定能保證實(shí)驗(yàn)的準(zhǔn)確性呢？答案是否定的，還有一個很重要的因素是需要保證實(shí)驗(yàn)周期，能夠剛好覆蓋產(chǎn)品的一般使用周期。也就是說，能夠覆蓋產(chǎn)品的高頻用戶和低頻用戶，保證不會因?yàn)橛脩羧后w之間的差距而產(chǎn)生一定的數(shù)據(jù)的差異。

舉個例子，如果一個產(chǎn)品的使用周期是7天，那么實(shí)驗(yàn)周期需要大于等于7。如果一個產(chǎn)品的使用周期是30天（如工具類的產(chǎn)品，比較低頻），實(shí)驗(yàn)周期就需要大于等于30天，才能更好地保證實(shí)驗(yàn)的準(zhǔn)確性。

4. AB實(shí)驗(yàn)遵從的原則

接下來，簡單地和大家聊下AB實(shí)驗(yàn)需要遵從的原則，以便我們更好地進(jìn)行實(shí)驗(yàn)，在保證實(shí)驗(yàn)結(jié)果的前提下，能夠快速推動實(shí)驗(yàn)的進(jìn)行。

1）小步快跑原則

遵循效率優(yōu)先、簡單優(yōu)化的原則，一點(diǎn)點(diǎn)優(yōu)化，一步步優(yōu)化。

能不開發(fā)就不開發(fā)，能從UI層面解決的就一定不要麻煩開發(fā)小哥哥。

即使要開發(fā)，也要了解競品的情況，給產(chǎn)品和技術(shù)一定的數(shù)據(jù)支撐，否則很難實(shí)現(xiàn)需求落地，畢竟開發(fā)小哥哥的時間都是很寶貴的，他們需要確認(rèn)自己做的都是能夠產(chǎn)生一定影響的事情。

2）案例借鑒原則

AB實(shí)驗(yàn)，一定要從數(shù)據(jù)入手，找到出現(xiàn)異常的數(shù)據(jù)。而最終進(jìn)行的優(yōu)化實(shí)驗(yàn)，也需要找到一定的案例來進(jìn)行支撐（實(shí)在沒有，也要找到一個相近的案例。畢竟我們的產(chǎn)品很多，不愁找不到相似的產(chǎn)品來支撐自己的實(shí)驗(yàn)。）

有其他案例作為支撐，也就是這個實(shí)驗(yàn)，是從某個成熟的產(chǎn)品中借鑒而來的，這樣成功的幾率也就更大。同時，如果有開發(fā)需求的話，產(chǎn)品和技術(shù)對于這個需求也更加認(rèn)可。（但是請看第一條，設(shè)計(jì)開發(fā)就一定需要排期，需要排期就一定需要一定的時間。）

3）預(yù)期管理原則

做好預(yù)期管理，這里不僅包含對于實(shí)驗(yàn)的預(yù)期，也包含對于領(lǐng)導(dǎo)預(yù)期的管理，不要給領(lǐng)導(dǎo)以及其他協(xié)作者太高的預(yù)期。最終結(jié)果，要讓結(jié)果高于預(yù)期，未來才能更好地推動資源，才能讓大家更信任你。

三、測試結(jié)果分析

接下來來到最關(guān)鍵的一步，那就是測試結(jié)果的數(shù)據(jù)分析。

在保證核心指標(biāo)明顯提升的基礎(chǔ)上，輔助指標(biāo)也有一定量的提升。

同時，反向指標(biāo)變化不明顯。一旦反向指標(biāo)差異變化明顯，可能是一次不成功的實(shí)驗(yàn)，畢竟?fàn)奚似渌闹笜?biāo)來讓核心指標(biāo)變得更好，不是長久的運(yùn)營策略。

如果統(tǒng)計(jì)顯著性，≥95%，那么則證明核心指標(biāo)有了一定量的提升。同時，再來計(jì)算輔助指標(biāo)是否也有了一定量的提升，同樣也是用上方的AB測試工具計(jì)算器來計(jì)算出統(tǒng)計(jì)顯著性。

而有了一定的小范圍數(shù)據(jù)支撐之后，如果再來提開發(fā)需求，將實(shí)驗(yàn)結(jié)果產(chǎn)品化或者繼續(xù)優(yōu)化迭代，那么需求也更加可靠。

四、將實(shí)驗(yàn)結(jié)果進(jìn)行整理歸類

將AB實(shí)驗(yàn)結(jié)果記錄在實(shí)驗(yàn)表中，方便后期更好地調(diào)用實(shí)驗(yàn)想法，為新的實(shí)驗(yàn)想法提供可參考的依據(jù)。

一般實(shí)驗(yàn)記錄可以分為以下幾個關(guān)鍵點(diǎn)：

• 實(shí)驗(yàn)的目標(biāo)：如提升單點(diǎn)轉(zhuǎn)化率或者漏斗轉(zhuǎn)化率
• 實(shí)驗(yàn)類型：是針對頁面上實(shí)驗(yàn)，還是文案修改上的實(shí)驗(yàn)，還是在用戶路徑上做了一定量的優(yōu)化，簡單描述就好。
• 實(shí)驗(yàn)的過程：簡單描述下實(shí)驗(yàn)的過程，用了多少樣本量，在多少時間內(nèi)完成內(nèi)進(jìn)行了什么樣的實(shí)驗(yàn)。
• 實(shí)驗(yàn)結(jié)果：最終的實(shí)驗(yàn)結(jié)果什么樣。

將已經(jīng)做好的實(shí)驗(yàn)結(jié)果進(jìn)行整理歸類，方便自己或者后來人調(diào)取實(shí)驗(yàn)庫，這樣在一定程度上能夠提高做事的效率。

以上就是我關(guān)于AB實(shí)驗(yàn)的一些分享。

在AB實(shí)驗(yàn)中，遵從最重要的原則就是：控制單一變量，小步快跑，得出結(jié)果，不斷優(yōu)化總結(jié)。用實(shí)驗(yàn)的思維去升級迭代，不斷進(jìn)行優(yōu)化，最終將操作系統(tǒng)變得越來越靈活。

本文由 @運(yùn)營汪日記 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議