編輯導(dǎo)語：AB測試若運(yùn)用得當(dāng)，則可以對(duì)產(chǎn)品優(yōu)化、企業(yè)決策等多個(gè)情景有所幫助。本篇文章里，作者就以費(fèi)閱讀為研究對(duì)象，具體探討如何提高測試效率的問題。感興趣的話就一起來看一下吧。

前半章是案例，想看干貨的可直接轉(zhuǎn)到后半章。

如今ABtest已被廣泛應(yīng)用，是否經(jīng)常遇到測試成本高、觀察周期長、結(jié)果不清晰的問題？

本文將通過探究測試需要的樣本量來達(dá)到提升測試效率的目的。

一、思路

1）定性分析：確定樣本量和變量的關(guān)系。

2）定量分析：已知總體比例，計(jì)算抽樣樣本容量。

二、背景

以付費(fèi)閱讀行業(yè)測試書籍為例，計(jì)算已知總體比例的抽樣樣本容量。

三、案例

1. 數(shù)據(jù)獲得

付費(fèi)閱讀行業(yè)經(jīng)常會(huì)根據(jù)書籍推廣測試的后續(xù)回收增幅來對(duì)書籍質(zhì)量進(jìn)行評(píng)估，以確定書籍是否有推廣價(jià)值?，F(xiàn)需要對(duì)某測試書籍后續(xù)回收做有效判斷，觀察周期為5天。

現(xiàn)已有書籍平均回收經(jīng)驗(yàn)：

• 累計(jì)1天ROI=20%時(shí)，對(duì)應(yīng)累計(jì)5天ROI=40%
• 累計(jì)1天ROI=22%時(shí)，對(duì)應(yīng)累計(jì)5天ROI=42%
• 累計(jì)1天ROI=24%時(shí)，對(duì)應(yīng)累計(jì)5天ROI=44%

2. 數(shù)據(jù)分析

1）問題

對(duì)于以上表格中的數(shù)據(jù)如何評(píng)價(jià)？

在探索出樣本量的規(guī)律之前，我是這么做的：

初步結(jié)論：4/1、4/3、4/5后續(xù)達(dá)標(biāo)；4/2、4/4后續(xù)不達(dá)標(biāo)。

這就很難僅通過5天數(shù)據(jù)對(duì)這本書進(jìn)行評(píng)價(jià)了。

這時(shí)我們注意到4/1、4/2的新增uv非常少，而漲幅的偏差卻很大，那么是否因?yàn)闃颖玖康脑蚋蓴_了我們的判斷呢？

答案是：是的，樣本量會(huì)影響后續(xù)回收漲幅。

如果樣本量影響對(duì)書籍質(zhì)量的評(píng)估，那么究竟需要多少樣本量才能達(dá)到理想的反饋結(jié)果呢？

2）結(jié)果

本案例中，應(yīng)排除4/1、4/2、4/4三天再做評(píng)價(jià)。

4/3、4/5的測試結(jié)果為正向，因此認(rèn)為這本書可以用于推廣。

根據(jù)4/3、4/5的第5天增長情況對(duì)4/6進(jìn)行預(yù)估，4/6預(yù)計(jì)累計(jì)5天ROI=39%，結(jié)果仍為正向。

3）分析過程（正文+干貨）

定性分析：分解指標(biāo)，找出變量中受樣本量影響的因素，以及該因素與變量的關(guān)系。

本案例中：

• 累計(jì)ROI=累計(jì)充值金額/新增當(dāng)日消耗；
• 累計(jì)充值金額=∑第i天充值金額=∑第i天充值uv*第i天充值A(chǔ)RPPU；*ARPPU是對(duì)消費(fèi)能力的反應(yīng)，本案例中直接與用戶閱讀速度成正比，近似恒定；
• 第i天充值uv=新增uv*第i天留存比例；*對(duì)于付費(fèi)小說，免費(fèi)用戶在付費(fèi)章節(jié)幾乎全部流失，因此近似認(rèn)為5天后留存下來的用戶都是付費(fèi)用戶。

得到：累計(jì)充值金額=新增uv*∑第i天留存比例*第i天充值A(chǔ)RPPU。

問題簡化為：為保證新增用戶5天后有效留存，需要多少新增uv（又回到了熟悉的留存問題上了）。

現(xiàn)已知第5天平均留存比例為8%。

定量分析：大樣本條件下，已知總體比例π，求置信度(1-α)下的樣本容量n】

計(jì)算公式

本案例中：

• 給定95%的置信度下z=1.96
• π=8%（在總體比例未知的條件下可取π=0.5）
• E取0.2π=1.6%（E為給定的置信水平下使用者可以接受的允許誤差，由實(shí)際業(yè)務(wù)成本和接受程度決定）
• n=1.96*1.96*8%*92%÷1.6%÷1.6%≈1100

計(jì)算置信區(qū)間：

計(jì)算公式

在本案例中，1.96*sqr(8%*92%÷1100)≈1.6%，置信區(qū)間為 (6.4%,9.6%)。

四、結(jié)論

眾所周知，樣本量越大、測試周期越長，成本就會(huì)越高。如何降低成本是數(shù)據(jù)分析師應(yīng)做的，也是文章里想要表達(dá)的。

在本案例中，至少需要新增uv=1100。

因此認(rèn)為4/1、4/2、4/4為無效測試，再結(jié)合實(shí)際業(yè)務(wù)對(duì)4/5進(jìn)行取舍，本案例中認(rèn)為4/5是有效測試。

最后很重要！

互聯(lián)網(wǎng)很容易獲取到大樣本，但樣本里摻雜的因素很多，在做測試和計(jì)算樣本量的時(shí)候，一定需要先做定性分析！

本文由@樹無? 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于 CC0 協(xié)議