AB測(cè)試的確可以解決很多的問題，但是濫用AB測(cè)試可能會(huì)帶來更多問題。

2018 年，中國(guó)移動(dòng)互聯(lián)網(wǎng)用戶增長(zhǎng)放緩，上半年僅增長(zhǎng) 2 千萬(wàn)。但是頭條系卻異軍突起，超過百度系、阿里系穩(wěn)居總使用時(shí)長(zhǎng)第 2 名。

頭條系的崛起有許多的原因，強(qiáng)大的數(shù)據(jù)監(jiān)控系統(tǒng)，成熟的增長(zhǎng)引擎，上百組同時(shí)進(jìn)行的AB測(cè)試等等都在幫助產(chǎn)品經(jīng)理和運(yùn)營(yíng)們找到最優(yōu)的方案。

36Kr曾在一篇報(bào)道中寫道：

“頭條發(fā)布一個(gè)新APP，其名字都必須打N個(gè)包放到各大應(yīng)用市場(chǎng)進(jìn)行多次A/B測(cè)試而決定，張一鳴告訴同事：哪怕你有99.9%的把握那是最好的一個(gè)名字，測(cè)一下又有神馬關(guān)系呢？”

頭條系強(qiáng)大的數(shù)據(jù)監(jiān)控系統(tǒng)很難模仿，他們的增長(zhǎng)引擎也不是短時(shí)間內(nèi)可以研發(fā)出來的。于是廣大的互聯(lián)網(wǎng)人便把學(xué)習(xí)的目標(biāo)放到了整個(gè)增長(zhǎng)過程中最后的執(zhí)行工具——AB測(cè)試。

“不了解用戶需求？沒事，可以先AB測(cè)試?！痹S多產(chǎn)品經(jīng)理開始用這樣的理由安慰自己?，F(xiàn)在的用戶自己都不知道自己要什么，我只要會(huì)AB測(cè)試就行了，畢竟頭條系不就是這么成長(zhǎng)起來的嗎？

但是只學(xué)習(xí)工具，不學(xué)習(xí)其精髓很快帶來了一些預(yù)料之外的結(jié)果。

既然擁有了AB測(cè)試這樣一把趁手的錘子，面對(duì)任何產(chǎn)品優(yōu)化都會(huì)想著用AB測(cè)試，在產(chǎn)品優(yōu)化的過程中AB測(cè)試的重要程度越來越高。于是，AB測(cè)試被濫用了！

據(jù)AppSumo評(píng)估，只有25％的AB測(cè)試產(chǎn)生了有意義的結(jié)果。而一次完整的AB測(cè)試周期可能就需要幾周的時(shí)間。

雖然AB測(cè)試可以解決很多的問題，但是濫用的AB測(cè)試可能會(huì)帶來更多問題。

認(rèn)知圈

當(dāng)我們遇到危險(xiǎn)狀況時(shí)，本能反應(yīng)會(huì)讓我們跑動(dòng)起來，盡快遠(yuǎn)離危險(xiǎn)。這種反應(yīng)速度非?？?，大腦還來不及進(jìn)入理性的思考我們就已經(jīng)開始行動(dòng)。雖然沒有仔細(xì)考慮往哪里跑，但是只要離危險(xiǎn)越遠(yuǎn)就越安全。

隨后我們大腦的理性部分才開始運(yùn)作，通過分析周圍的環(huán)境，找到最佳的逃跑路線。這可以讓逃生幾率進(jìn)一步增加。

人腦的本能和理性很好地詮釋了什么是二八原理：本能的部分響應(yīng)速度快，瞬間決定跑起來，這解決了80%的問題。即使沒有后續(xù)的理性部分，逃生的幾率也大大地增加。

而隨后的理性部分反應(yīng)速度慢，但是可以找到當(dāng)下的最優(yōu)解，找到最佳的逃生路線，解決隨后20%的問題。

人對(duì)外界的反應(yīng)模式和互聯(lián)網(wǎng)環(huán)境下產(chǎn)品迭代非常類似。當(dāng)我們希望通過滿足用戶需求來實(shí)現(xiàn)自己的商業(yè)目的時(shí)，也有類似“本能和理性”這樣兩類反應(yīng)模式。我們想要通過滿足用戶的需求，從而達(dá)到自己的商業(yè)目的。而為了達(dá)到這樣的效果，我們也有兩種方式可以選擇。

一種方式是通過自己對(duì)用戶的理解快速找到產(chǎn)品優(yōu)化的方向，另一種是通過實(shí)驗(yàn)找出更復(fù)雜更細(xì)致的優(yōu)化。

前者就像大腦的本能反應(yīng)，這種模式反應(yīng)迅速，并且能讓工作快速進(jìn)入正確的方向。后者就像大腦的理性部分，這類工作比較費(fèi)時(shí)，但是能處理復(fù)雜的信息，找出更好的解決方案。

我們把這種模式再形象化一些，我們可以把用戶需求和和我們對(duì)需求的認(rèn)知看成下圖中的關(guān)系。我們面對(duì)的環(huán)境就是紛繁復(fù)雜、不斷變化的用戶需求，而我們的“本能”就是中心的認(rèn)知能力，我們可以稱之為認(rèn)知圈。

在認(rèn)知圈的中心，我們對(duì)用戶的了解程度最高。在這里是一些基礎(chǔ)的用戶需求概念，比如人性是趨利避害的。

隨著越來越靠近認(rèn)知圈外層，我們對(duì)用戶需求的理解越來越模糊，比如我們知道人們傾向于通過對(duì)比來評(píng)估一件事物，不過什么樣的對(duì)比更有效就不是那么清楚了。

到了認(rèn)知圈之外，我們對(duì)用戶需求一無所知，只能通過其他工具幫助我們探索未知的領(lǐng)域，比如AB測(cè)試。

根據(jù)我們認(rèn)知圈位置的不同，我們大概有三種模式進(jìn)行產(chǎn)品優(yōu)化：

• 第一種、核心認(rèn)知圈中，直接依靠對(duì)用戶需求的理解進(jìn)行決策。由于我們非常了解用戶需求，能夠快速找到優(yōu)化方向甚至具體表現(xiàn)形式。往往幾分鐘內(nèi)就能決定出一個(gè)方案。并且由于前期有類似案例或者需求非常明確，優(yōu)化空間已不大，可以直接通過分析得出方案。比如你在某個(gè)細(xì)分領(lǐng)域的成功經(jīng)驗(yàn)，可以直接照搬到同一個(gè)細(xì)分領(lǐng)域的產(chǎn)品中。
• 第二種、模糊的認(rèn)知圈中，依靠對(duì)用戶需求的理解指出方向，再依靠AB測(cè)試優(yōu)化表現(xiàn)形式。這種情況下，我們對(duì)用戶需求有一定的理解，但并不是特別清晰，只能給出大致的方向。比如你這次去的也是負(fù)責(zé)同一個(gè)細(xì)分領(lǐng)域，但是新產(chǎn)品的平均年齡更低。雖然你之前的成功經(jīng)驗(yàn)很有用，不過具體的表現(xiàn)形式上可能要考慮年輕化。這就需要一定的摸索，但是大方向依然是不變的。
• 第三種、認(rèn)知圈外，不停試錯(cuò)找出大致的方向，然后再逐步優(yōu)化。在認(rèn)知圈外，我們不清楚用戶的需求到底是什么，只能需要通過AB測(cè)試通過不斷地是錯(cuò)，幫助我們?cè)诓涣私庥脩艟唧w需求的情況下繼續(xù)優(yōu)化。但是這樣的效率非常低。

互聯(lián)網(wǎng)人要快

前文提到的本能在面對(duì)危險(xiǎn)馬上逃跑，這能為自己贏得時(shí)間?；ヂ?lián)網(wǎng)環(huán)境下，我們的時(shí)間也一樣寶貴。

一個(gè)功能的上線時(shí)間比競(jìng)爭(zhēng)對(duì)手晚上一個(gè)月，就可能就會(huì)讓一個(gè)新興領(lǐng)域的領(lǐng)導(dǎo)者失去優(yōu)勢(shì)，甚至直接宣告失敗。所以，為了獲得或者保持競(jìng)爭(zhēng)優(yōu)勢(shì)，我們?cè)诋a(chǎn)品優(yōu)化時(shí)，有一個(gè)很重要的概念就是單位時(shí)間帶來的收益。

花費(fèi)相同時(shí)間的改動(dòng)，優(yōu)先選擇帶來收益更大的方案。

獲得收益接近的改動(dòng)，優(yōu)先選擇花費(fèi)時(shí)間更少的方案。

那么，如何知道哪種方案帶來的收益更大呢？

越靠近認(rèn)知圈的核心，我們?cè)接邪盐疹A(yù)測(cè)產(chǎn)品改動(dòng)將會(huì)帶來的收益大小。

越遠(yuǎn)離認(rèn)知圈的核心，我們對(duì)產(chǎn)品改動(dòng)帶來的影響的預(yù)測(cè)就會(huì)越不準(zhǔn)確。所以，在認(rèn)知圈中進(jìn)行決策是效率最高的，我們應(yīng)當(dāng)盡量在認(rèn)知圈內(nèi)進(jìn)行改版決策，從而在最短的時(shí)間內(nèi)提升產(chǎn)品體驗(yàn)，提高競(jìng)爭(zhēng)優(yōu)勢(shì)。

每個(gè)人的本能都是一樣的，這是寫入到我們基因中的底層代碼，每個(gè)人幾乎沒有差別。而每個(gè)人的認(rèn)知圈的大小卻差別很大。

有些人的認(rèn)知圈更大，對(duì)于許多優(yōu)化問題能夠高效率地找出最佳方案。

而有些人的認(rèn)知圈很小，每一次的優(yōu)化需要花費(fèi)數(shù)周甚至數(shù)月的時(shí)間來完成。這在快速發(fā)展的互聯(lián)網(wǎng)環(huán)境下，很容易就被淘汰出局。

而AB測(cè)試，就是一種非常耗費(fèi)時(shí)間的優(yōu)化方式。

很多AB測(cè)試是在重復(fù)造輪子

對(duì)于用戶的理解很多時(shí)候是建立在心理學(xué)、社會(huì)學(xué)的基礎(chǔ)上。

這兩個(gè)學(xué)科的研究成果往往都是來自于大量的雙盲實(shí)驗(yàn)，實(shí)際上這也就是一種AB測(cè)試。

比如峰終效應(yīng)，含義是我們對(duì)一項(xiàng)事物的體驗(yàn)之后，所能記住的就只是在峰與終時(shí)的體驗(yàn)，而在過程中好與不好體驗(yàn)的比重、好與不好體驗(yàn)的時(shí)間長(zhǎng)短，對(duì)記憶差不多沒有影響。

心理學(xué)家丹尼爾·卡納曼做了一系列實(shí)驗(yàn)，其中有一組是這樣的，他要求實(shí)驗(yàn)者把手指放到冷水中60秒，然后再邀請(qǐng)同一批人用另一個(gè)手指做同樣的事情，并額外保持30秒，只不過這30秒里溫度會(huì)被加熱一度。最后，實(shí)驗(yàn)者請(qǐng)受試者自己來選擇以哪種方式重復(fù)第三次實(shí)驗(yàn)。

從旁觀者的角度看，第一個(gè)試驗(yàn)忍受是60秒的冷水，第二個(gè)是90秒的冷水，第一個(gè)明顯會(huì)更好，但是絕大數(shù)實(shí)驗(yàn)者卻都選擇了第二種。

如果這個(gè)知識(shí)在你的認(rèn)知圈中，那么你就知道在游戲APP中需要?jiǎng)?chuàng)造高峰時(shí)刻的體驗(yàn)，在MOBA類游戲擊殺對(duì)方英雄時(shí)，在屏幕中央顯眼地提示擊殺對(duì)方，還有雙殺、三殺等特殊榮譽(yù)讓玩家感受到高峰時(shí)刻。

結(jié)束時(shí)還要把游戲中獲得的榮譽(yù)陳列出來，獲得一個(gè)完美的結(jié)束時(shí)刻。

有太多這樣的科學(xué)家花費(fèi)大量時(shí)間進(jìn)行雙盲測(cè)試得出一些知識(shí)，如果你一個(gè)一個(gè)去做，你能花多久得出類似的結(jié)論？即使你地得出了類似的結(jié)論，無疑也只是重復(fù)造輪子罷了。

你的認(rèn)知圈的擴(kuò)展實(shí)際上是建立在大量的AB測(cè)試上，既然已經(jīng)有那么多專業(yè)的科學(xué)家做了大量實(shí)驗(yàn)得出的現(xiàn)成結(jié)論，為什么還要自己重復(fù)這一過程呢？

通過學(xué)習(xí)提升自己認(rèn)知的成本遠(yuǎn)遠(yuǎn)低于自己重新實(shí)驗(yàn)，這將節(jié)省你大量的時(shí)間。

有時(shí)連輪子也造不出

當(dāng)然，如果不考慮時(shí)間的成本，能成功造出輪子的話還是可以接受的。但是，很多AB測(cè)試的結(jié)果并不能讓我們積累經(jīng)驗(yàn)、擴(kuò)大認(rèn)知圈。

之前在某特定場(chǎng)景下AB測(cè)試得出的結(jié)論很難套用在其他場(chǎng)景下，外部條件的不同導(dǎo)致AB測(cè)試的結(jié)果沒有通用性。過去的經(jīng)驗(yàn)無法預(yù)測(cè)未來的工作方向，每一個(gè)新的場(chǎng)景，都需要重新進(jìn)行嘗試而不是直接找到最佳的方向。而這一次的測(cè)試對(duì)于未來其他場(chǎng)景下的工作也沒有太大的意義。

于是幾年之后，你發(fā)現(xiàn)除了自己在工具層面的技能和效率有一定的提升之外，認(rèn)知和思維方式改變并不大。

有時(shí)甚至于一摸一樣的AB測(cè)試，在相近的不同時(shí)間段跑出來的結(jié)果也是不一樣的。如果你沒有足夠的用戶認(rèn)知，不明白有什么核心因素產(chǎn)生了變化，這樣的測(cè)試結(jié)果就完全失去了意義。并且，用戶本身就是這樣善變的，無意義的結(jié)果會(huì)經(jīng)常出現(xiàn)。

未知的不可控因素甚至讓AB測(cè)試從科學(xué)的試驗(yàn)工具逐步變成了一種玄學(xué)。曾經(jīng)有人開玩笑說，他每次AB測(cè)試都會(huì)選擇放在周四做，因?yàn)槟鞘撬男疫\(yùn)日。

隨著時(shí)間的推移，實(shí)驗(yàn)結(jié)果的價(jià)值在蒸發(fā)，時(shí)間在變，市場(chǎng)也在變，過去的實(shí)驗(yàn)不能給現(xiàn)在或者未來的市場(chǎng)更多的參考。由于實(shí)驗(yàn)的時(shí)效性，團(tuán)隊(duì)為了提供強(qiáng)有力的證據(jù)，就必須要不停的花費(fèi)大量的時(shí)間被裹挾著不得不斷進(jìn)行試驗(yàn)。

你不知道你不知道什么

我們把條件再放寬松一些，假設(shè)外界環(huán)境不變，那么我們是不是就能從AB測(cè)試中學(xué)習(xí)到經(jīng)驗(yàn)，提高自己的能力呢？

很遺憾，這也是不可行的。

在認(rèn)知圈之外，我們根本不知道自己不知道什么，因此都無法提出好的AB方案。

就好像現(xiàn)如今搜索引擎讓我們找尋答案的方式變得格外簡(jiǎn)單，但有一樣?xùn)|西你沒法上網(wǎng)搜索，那就是你應(yīng)該搜索什么。

農(nóng)業(yè)社會(huì)的人，勞動(dòng)強(qiáng)度要遠(yuǎn)遠(yuǎn)大于現(xiàn)代人，但是生產(chǎn)力卻非常低。原因就是他們沒有用工業(yè)化解決生產(chǎn)的認(rèn)知，他們想要致富只能想到辛勤的田間勞動(dòng)。沒有正確的認(rèn)知，就只能提出低效率的解決方案，根本無法想象出還有其他的解法。

在互聯(lián)網(wǎng)環(huán)境下，如果你知道用戶的購(gòu)買決策是建立在感性的基礎(chǔ)上的，那么你能夠提出一種AB測(cè)試，兩者的內(nèi)容都是基于用戶的情感設(shè)計(jì)的，看哪一種最能夠打動(dòng)用戶。

如果你沒有這個(gè)認(rèn)知，可能就會(huì)設(shè)計(jì)出另一種不同的AB測(cè)試方案，兩者的內(nèi)容是側(cè)重于不同的產(chǎn)品功能，看用戶更看重哪一種功能。

因?yàn)槟銢]有遵循人腦在決策時(shí)的基本工作模式，基于產(chǎn)品功能的頁(yè)面AB測(cè)試雖然能找到效果更好的一種，但是這只是矮子里拔高個(gè)，最好的效果也往往差于基于情感的設(shè)計(jì)方案。

沒有認(rèn)知的支撐，好的AB測(cè)試就像無根之木，無法成長(zhǎng)為參天大樹。

結(jié)語(yǔ)

AB測(cè)試很有用，但不應(yīng)被濫用，更不應(yīng)被神化。

AB測(cè)試是我們認(rèn)知能力的延伸，而不是我們探索未知的主要工具?；ǜ嗟臅r(shí)間閱讀和學(xué)習(xí)，擴(kuò)展自己的認(rèn)知圈才是互聯(lián)網(wǎng)人核心能力的基礎(chǔ)。

作者：三元方差，公眾號(hào)：三元方差（sanyuanfangcha）

本文由 @三元方差 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議