本篇文章主要介紹在進(jìn)行AB測試時(shí)，需要考慮的點(diǎn)及一些小的細(xì)節(jié)介紹，并通過一個(gè)案例進(jìn)行結(jié)合體驗(yàn)。

問題：產(chǎn)品為什么要做A/B測試？

原因：因?yàn)閷?shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。A/B測試是一個(gè)科學(xué)的統(tǒng)計(jì)方法，著一統(tǒng)計(jì)的誕生，再也不用為了爭吵是使用A圖片好，還是使用B圖片好，好不好按照效果說了算。這樣極大的避免了產(chǎn)品經(jīng)理憑借感覺定方案的情況。

所以本篇文章主要介紹在進(jìn)行AB測試時(shí)需要考慮的點(diǎn)及一些小的細(xì)節(jié)介紹，并通過一個(gè)案例進(jìn)行結(jié)合體驗(yàn)。

一、確定測試目的

A/B測試需要一個(gè)目標(biāo)，以便正確執(zhí)行：比如產(chǎn)品經(jīng)理的目標(biāo)就是想通過測試弄清楚某個(gè)顏色方式，或者某個(gè)標(biāo)題能否產(chǎn)生更多訂單的轉(zhuǎn)化。而如果你的A/B測試沒有目標(biāo)，那只能是在浪費(fèi)時(shí)間和精力。

確定A/B測試的目標(biāo)是什么（即要得出什么結(jié)論）？

比如我之前做過的百度平臺(tái)視頻類型的小程序播放頁A/B測試，目標(biāo)為：測試在百度平臺(tái)內(nèi)部，視頻類型的小程序播放頁哪種樣式（頁面布局）效果更好；

目標(biāo)好（適合）的標(biāo)準(zhǔn)是什么？

視頻類型的播放頁，好的標(biāo)準(zhǔn)是什么：

1. 頁面的人均點(diǎn)擊視頻數(shù)多；
2. 頁面的人均收益高。

文案好的標(biāo)準(zhǔn)是什么？

按鈕的點(diǎn)擊與曝光比率越高效果越好。

二、確認(rèn)參與A/B測試的幾版方案

在選擇參與A/B測試的幾種方案需要想清楚理由，即回答為什么能參與到這次A/B測試中；其次確認(rèn)參照方案，即參與A/B測試之后的方案除了相互之間進(jìn)行比較，最終要和哪個(gè)方案進(jìn)行終極PK（當(dāng)然我直接選用了線上的方案作為參照）。

播放頁樣式測試方案簡介

feed樣式：當(dāng)前視頻軟件上基本都采用這種feed流樣式（騰訊視頻、愛奇藝、優(yōu)酷）。

大圖樣式：為了與百度小程序廣告組件的大圖/視頻廣告樣式保持一致。

• 原因一：提升頁面的整體視覺；
• 原因二：猜測采用這種樣式會(huì)增加收益（與廣告樣式相近）；

左圖右文：目前很多家視頻公司相關(guān)推薦的主流樣式（好看視頻、西瓜視頻、嗶哩嗶哩等）。

三、確定所需數(shù)據(jù)來源（得出結(jié)論需要哪些數(shù)據(jù)做支撐）

1.怎么算人均點(diǎn)擊

我所理解的人均點(diǎn)擊有兩個(gè)維度：

1. 在該頁面發(fā)生點(diǎn)擊的人有沒有增多；
2. 每個(gè)人點(diǎn)擊的視頻數(shù)有沒有增多。

主要的計(jì)算方式如下：

怎么算人均收益

人均收益的計(jì)算方式：頁面總收入/頁面UV

1. 確認(rèn)頁面收益來源：主要有哪些廣告位；
2. 頁面UV：每種樣式的播放啟動(dòng)用戶數(shù)。

四、埋點(diǎn)方案確定

根據(jù)我們在（三）分析的所需數(shù)據(jù)進(jìn)行埋點(diǎn)方案確定

1. 我們需要在頁面的展現(xiàn)上報(bào)中上報(bào)播放頁樣式值，用來區(qū)分每一個(gè)樣式曝光了多少次；
2. 在視頻的點(diǎn)擊上報(bào)中區(qū)分行為發(fā)生在那種播放頁。

五、方案執(zhí)行

以描述案例做方式執(zhí)行的步驟：

1. 與前端約定樣式，當(dāng)推薦返回哪個(gè)字段時(shí)前端展示什么樣式；（別忘了讓前端小哥哥加上報(bào)吆，若是增加字段了，需要進(jìn)行數(shù)據(jù)備案）
2. 與推薦約定每個(gè)樣式的投放比例。

當(dāng)時(shí)做測試時(shí)樣式約定的值及投放的比例（如下圖）：

六、線上數(shù)據(jù)跟蹤

到這個(gè)步驟了，說明前期規(guī)劃的產(chǎn)品已經(jīng)上線了。我們的產(chǎn)品經(jīng)理就需要盯著數(shù)據(jù)分析結(jié)果了，我的建議是線上跟蹤所需的數(shù)據(jù)明細(xì)最好在思考（三）階段的時(shí)候列好，這樣在數(shù)據(jù)跟蹤時(shí)我們只需要按照設(shè)想進(jìn)行數(shù)據(jù)填充分析即可（當(dāng)然有不合適的地方還是需要及時(shí)改正的）。

eg：百度平臺(tái)視頻小程序播放樣式A/B測試人均收益數(shù)據(jù)明細(xì)表（具體數(shù)據(jù)就不放置了）

七、結(jié)論輸出

結(jié)論輸出建議采用的方式：圖表配文字結(jié)論（直觀、清晰）

結(jié)論：

1. 單分析人均收益效果，大圖樣式明顯好于feed樣式及左圖右文樣式；
2. 從曲線圖看出，大圖樣式的收益高于feed樣式，但是人均點(diǎn)擊視頻數(shù)略低于feed樣式；所以需要更長的周期去測試這兩種樣式，最后由更多人去決定選擇收益還是體驗(yàn)；
3. 經(jīng)過長達(dá)6天的測試結(jié)果可以看出，左圖右文收益與點(diǎn)擊效果均是最差，所有在后期繼續(xù)的測試中可以去掉該樣式，將此部分用戶分給feed樣式。

本文由 @李笑笑吆 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議