在產(chǎn)品迭代或運(yùn)營(yíng)優(yōu)化策略上，聰明的團(tuán)隊(duì)總是會(huì)為同一個(gè)增長(zhǎng)目標(biāo)提供多個(gè)解決方案，如何擇其一還能保證最終效果是最優(yōu)的，很多時(shí)候，就會(huì)用數(shù)據(jù)來(lái)輔助決策。這時(shí)候，A\B測(cè)試就顯得必不可少，對(duì)于這樣的科學(xué)實(shí)踐，方法論顯得尤為重要，譯文即為原作者總結(jié)的A/B測(cè)試的10條準(zhǔn)則。

以下為譯文：

規(guī)則一：拋棄固有的認(rèn)知

很多時(shí)候，我們會(huì)基于用戶的屬性信息，特別是年齡，性別，地域或收入來(lái)認(rèn)識(shí)他們，盡可能不要醬紫，曾經(jīng)用戶的信息是尋找目標(biāo)用戶的最佳方式（或唯一方式），的確，他現(xiàn)在也依然重要，但在線上市場(chǎng)，我們有了非常多的切入點(diǎn)去一對(duì)一去探索用戶最真實(shí)需求的能力。

規(guī)則二：明確當(dāng)前指標(biāo)值

轉(zhuǎn)化率優(yōu)化是你急需著手的目標(biāo)，但是，在進(jìn)行高風(fēng)險(xiǎn)的A/B測(cè)試之前，需要提前確定一個(gè)基準(zhǔn)線，如果不知道當(dāng)前的轉(zhuǎn)化率，又怎么能知道未來(lái)的測(cè)試是否成功呢？

規(guī)則三：別人的經(jīng)驗(yàn)不一定適用于你

如果某一轉(zhuǎn)化率優(yōu)化策略適用于所有產(chǎn)品，那還有什么必要測(cè)試呢？這樣的話，所有人只需要借（chao）鑒（xi）即可。其實(shí)，區(qū)別還是很大的。

假設(shè)A公司是賣(mài)鞋的電商平臺(tái)，B公司是企業(yè)級(jí)服務(wù)的平臺(tái)，很明顯，就算他們有相同的客戶，購(gòu)買(mǎi)決策周期也完全不一樣，對(duì)A公司而言，把購(gòu)買(mǎi)按鈕從紅色換成綠色可能會(huì)帶來(lái)15%的銷(xiāo)量增長(zhǎng)，But，放到B公司，卻不一定有同樣的結(jié)果。

規(guī)則四：盡可能保證變量唯一

當(dāng)做AB測(cè)試時(shí)，一次測(cè)試只測(cè)試一個(gè)變量有助于讓結(jié)果更有說(shuō)服力。

規(guī)則五：在沒(méi)達(dá)到置信水平時(shí)不要下結(jié)論

在AB測(cè)試中，統(tǒng)計(jì)置信是指當(dāng)同一個(gè)測(cè)試再次被進(jìn)行時(shí)，有同樣結(jié)果的可能性。換句話說(shuō)，是看你測(cè)試結(jié)果的確定性。

舉例，假如你在做一項(xiàng)購(gòu)物車(chē)頁(yè)面的A/B測(cè)試，A代表使用單選按鈕，B代表使用下拉菜單，假設(shè)B帶來(lái)了75%的轉(zhuǎn)化提升。那么，B方案勝出？

還真不一定，這里還有其他需要考慮的點(diǎn)：

1、樣本大小

樣本大小會(huì)對(duì)置信度產(chǎn)生相當(dāng)?shù)挠绊?。還是以上述例子來(lái)說(shuō)，如果你的樣本是4個(gè)人，就意味著只有3個(gè)人選擇了下拉菜單，從起步來(lái)說(shuō)還算不錯(cuò)，但當(dāng)樣本量擴(kuò)大到1000時(shí)，我們想要保持相同轉(zhuǎn)化率的可能性是微乎其微的，也就是說(shuō)，當(dāng)下我們的測(cè)試結(jié)果置信度非常低。

2、置信水平

在一個(gè)500的樣本量里，99%的用戶都選擇了下拉菜單，你判斷出錯(cuò)的可能性較?。ㄒ?yàn)槿蒎e(cuò)率?。５绻挥?1%的用戶選擇了下拉菜單而49%的用戶選擇了單選按鈕，那隨機(jī)性就不得不考慮了，所以你需要繼續(xù)測(cè)試直到有一個(gè)較高的置信水平。

3、用戶規(guī)模

如果你的總用戶量是25w而你的樣本量是25，同樣也會(huì)出現(xiàn)一個(gè)比較低的置信水平。

規(guī)則六：循序漸進(jìn)（walk before you run）

由于用戶的認(rèn)知和預(yù)期的變化，CRO也會(huì)是一個(gè)變化的目標(biāo)，所以，犯錯(cuò)在所難免，重要的是在過(guò)程中總結(jié)經(jīng)驗(yàn)，這樣會(huì)為之后的測(cè)試產(chǎn)生累積價(jià)值。

規(guī)則七：多維度收集用戶反饋

用戶測(cè)試從未如此重要，也從未如此簡(jiǎn)單，就算你沒(méi)有個(gè)牛逼的用研團(tuán)隊(duì)，也可以選擇很多免費(fèi)（或花費(fèi)很少）的工具進(jìn)行用戶調(diào)研。

比如

1、Peek

一個(gè)可以很簡(jiǎn)單并且可以讓你快速收集用戶對(duì)網(wǎng)站的定性反饋

• 優(yōu)點(diǎn)：反饋比較客觀、細(xì)致而且免費(fèi)
• 缺點(diǎn)：無(wú)法測(cè)試目標(biāo)用戶群之外的用戶。而且，耗時(shí)太久，所以要收集數(shù)量巨大的反饋比較困難

2、Amazon Turk

通過(guò)定量分析（比如問(wèn)卷調(diào)研）幫助你在短時(shí)間內(nèi)收集到上千真實(shí)用戶的反饋

• 優(yōu)點(diǎn)：價(jià)格親民，可擴(kuò)展性強(qiáng)，數(shù)量級(jí)大，可以預(yù)設(shè)置一些條件
• 缺點(diǎn)：通常是通過(guò)問(wèn)卷調(diào)研來(lái)做，或者可以理解為需要人為操作。

當(dāng)然了，有用戶反饋總比沒(méi)有好

規(guī)則8：用戶行為數(shù)據(jù)可能和結(jié)果性數(shù)據(jù)有矛盾

結(jié)果性數(shù)據(jù)固然重要，但要注意很多時(shí)候可能沒(méi)有行為數(shù)據(jù)來(lái)的真實(shí)。

比如，你急著要打印一些重要文件好去開(kāi)會(huì)，剛打印了3頁(yè)就發(fā)現(xiàn)需要換墨盒了。?那么你會(huì)怎么處理呢？先停下來(lái)，想想你內(nèi)心真實(shí)的答案是啥。

你也許會(huì)說(shuō)你會(huì)換掉墨盒然后繼續(xù)打印。對(duì)，這是一個(gè)最終結(jié)果。

然而，在一個(gè)真實(shí)的場(chǎng)景里，其實(shí)你已經(jīng)踢了打印機(jī)四次，清空了卡紙，猛戳了7次“取消”鍵。然后才換了墨盒。?你歸整文件時(shí)，你又把咖啡灑在了體恤上，簡(jiǎn)直生無(wú)可戀……然后不得不調(diào)整會(huì)議時(shí)間。在結(jié)果性數(shù)據(jù)中，其實(shí)你并不會(huì)刻意去就你的想法撒謊。畢竟你也確實(shí)換了墨盒。?但是如果僅憑結(jié)果性數(shù)據(jù)，就會(huì)漏掉很多細(xì)節(jié)。

規(guī)則9：明確定義你的目標(biāo)值

實(shí)驗(yàn)前，明確或預(yù)估一個(gè)目標(biāo)值。心里有個(gè)目標(biāo)，然后圍繞目標(biāo)來(lái)優(yōu)化，一定程度上可以理解為KPI

規(guī)則10：不要測(cè)試那些影響較小的因素

基于業(yè)務(wù)的核心價(jià)值去做實(shí)驗(yàn)，聚焦能提升產(chǎn)品核心價(jià)值的因素。

原文地址：https://blog.kissmetrics.com/know-about-ab-testing/

原文作者：Nicki Powers

翻譯：璐爺

本文由 @璐爺 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。