給要做的A/B測試定個小目標，比如先跳過這4個坑。

你聽到每個人都大贊A/B測試，它是如何幫助一款產(chǎn)品降低跳出率，增加轉(zhuǎn)化及轉(zhuǎn)化價值，并帶來更多的銷售。但是，你做的A/B測試卻并沒有達到人們說的那么神奇的效果。

事實上，不是每個獨立訪客都會注意到新的購買按鈕，你的注冊表單仍然會產(chǎn)生零轉(zhuǎn)化。而且，從產(chǎn)品頁跳轉(zhuǎn)過來的用戶看起來好像沒什么變化。困境在于：即使轉(zhuǎn)化上來了，你也知道這是因為時間的累積而不是測試！

盡管你認為A/B測有效，并且有足夠的證據(jù)來證明它的價值。但問題在于，在設(shè)置測試時你就Z在不經(jīng)意間破壞了你的A/B測試。在這篇文章中，我會告訴你殺A/B測試于無形中的四大誤區(qū)。

1.運行“快速”測試，難以發(fā)現(xiàn)真實問題

你知道，我敢肯定大多數(shù)轉(zhuǎn)化率專家聽到“快速”這個詞都會感到畏懼，但是我猜這也是從客戶那里聽到的最多的一個詞。

關(guān)鍵是：A/B測試不是快速解決問題的靈丹妙藥。

如果你想找出那些對轉(zhuǎn)化率有積極影響的頁面元素，首先需要研究和理解你的受眾，他們對你的商業(yè)模式會做何反應，識別造成低轉(zhuǎn)化的潛在問題，最終，提出如何解決它的想法。然后，啟動A/B測試來驗證它們。這是增加你獲勝砝碼的唯一真實解決方案。

從另一方面講，“快速”分割測試著眼于方案而非問題。測試不同的按鈕顏色絕不是一個有意義的測試。相反，運行基于數(shù)據(jù)的測試來分析“添加到購物車”按鈕的性能才是有意義的。

2.要相信人為的合理決定限制了你的測試選項

事實上：作為市場人員，我們經(jīng)常對客戶的喜好、信仰以及行為驅(qū)動因素做出假設(shè)。基于數(shù)據(jù)，我們試圖去猜測什么原因會說服一個人做出購買決定，注冊一個郵件列表，或引起其它任何轉(zhuǎn)化。

然而，問題在于，我們?nèi)狈侠硪罁?jù)。

例如，我們根據(jù)情緒而非邏輯做決定。南加州大學神經(jīng)科學教授 Antonio Damasio 對大腦產(chǎn)生情感的區(qū)域受損的人群做了一個實驗，發(fā)現(xiàn)他們不僅無法感覺到任何情緒，而且他們也無法做出決定。

他的課題可以解釋這些人群在邏輯上的行為，但實驗證明做決定對他們來說是很困難的一件事。

我們經(jīng)?；乇茏鰶Q定。

例如，我們經(jīng)常會選擇默認選項，因為這意味著根本不用做決定。

Dan Ariely 在他精彩的 TED 演講中解釋了這種行為：Are we in control of our own decision ? ( TED , December 2009)（觀看可能需要翻墻）

人們總是很容易接受建議

第一位研究人類行為的心理學家 Walter Dill Scott 寫道：“人類被稱為理性動物，但毋庸置疑，人類也是建議性生物。人是理性的，但很大程度上都會受別人建議的影響?！?/p>

想一想：什么時候你會被朋友或認為有權(quán)威性的人那里得到的建議所左右？什么時候你買東西是因為你很信賴的人也買了它？或者去一個度假勝地只是因為你的朋友去過那里？

我們來看看希拉里競選做的A/B測試中含有的暗示性信息：

1.注意這頁里的信息“Thank you”（背景左上角部位彈出），在捐助者捐助前展示，推動募捐。

2.“She’s with……”信息（在背景中同樣的地點，左上角彈出）

擁有的信息越多，我們所做的決策越差

奧斯丁大學的研究證明，我們對可用選項的信息越多，越會做出比較差的選擇，尤其是從長期結(jié)果來看。好吧，但是這根A/B測試有什么關(guān)系呢？關(guān)系很大。

你可以看到：假設(shè)你的客戶基于邏輯和理性做決定，那么你為潛在假設(shè)所做的試驗就越少。

總關(guān)注于決策背后的邏輯論證，意味著你很少測試“不常見的”場景。然而，“不常見的”場景可能會比你在注冊按鈕上做的其它測試帶來更加意想不到的結(jié)果。

3.忽略科學流程導致測試質(zhì)量不佳

看：如果一遍又一遍的測試都沒能提供任何有意義的結(jié)果，那很可能是因為你沒有正確的設(shè)計試驗?；蛟S你只是簡單的復制別人的測試。或許，你應該從頭開始設(shè)計你的測試的最佳實踐。

科學的方式是旨在幫助制定，測試和修改可行假設(shè)的一套程序。

該流程從觀察階段開始，識別問題并制定可測試的假設(shè)。再與研究發(fā)現(xiàn)的結(jié)果進行分析，得出的結(jié)論反過來又成為新的研究和假設(shè)的基礎(chǔ)。在另一篇文章（公眾號里發(fā)送關(guān)鍵字“另一篇文章”，查看鏈接）里我解釋了怎么通過科學的方式來設(shè)計A/B測試的細節(jié)。

但我必須澄清：使用科學方法并不意味著你必須從頭拿出你的假設(shè)的潛在解決方案。并且，科學的方法應該是運行每一個測試的基礎(chǔ)。

4.在錯的時間做的A/B測試掩蓋了正確的結(jié)果

你知道：買家行為變化取決于一年所在的時間。例如，季節(jié)會影響到購買行為的每一個變量，想一想黑色星期五時用戶的瘋狂表現(xiàn)吧。

你的公司也可能在一年的特定時間有不一樣的運行狀態(tài)。在你所在的區(qū)域你可能會季節(jié)性備貨，或者做比平時力度更大的促銷和優(yōu)惠，你可能會發(fā)更多的郵件，產(chǎn)出更多的內(nèi)容等。

不用說，這些行為都將反映在你的A/B測試結(jié)果里。因此，你可能不能確定是你的假設(shè)起了作用還是購物者的季節(jié)性行為引起你所期待的改善。

不是你跟A/B測試沒有緣，是相戀在了錯的時間。因此，作為一項準則，你應該在自然的商業(yè)循環(huán)周期里運行重要測試，以得到最客觀的數(shù)據(jù)，比如避免在旺季做測試。

結(jié)論

眾所周知，A / B測試是提高轉(zhuǎn)換率，降低跳出率，提高銷量的好方法。但是它很容易因為你不當?shù)脑囼炘O(shè)置而遭到破壞。為了避免這樣，在設(shè)計測試時，你應該注重科學的方法，關(guān)注目標群體的情緒心態(tài)，最后，避免在不合適的時間做測試。

本文由吆喝科技編譯，微信 ID：appadhoc

原文：How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing

本文由 @吆喝科技 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。