實(shí)驗(yàn)?zāi)康暮诵木褪菍?shí)驗(yàn)探究的核心內(nèi)容。比如在上述案例中對(duì)于京東APP推薦位樣式的改版對(duì)于用戶行為的影響（比方說用戶對(duì)于APP推薦位商品的瀏覽深度、點(diǎn)擊商品數(shù)等等），這些行為會(huì)被量化成為客觀的指標(biāo)例如點(diǎn)擊率CTR、人均曝光商品數(shù)，這個(gè)就需要結(jié)合實(shí)驗(yàn)觀察核心指標(biāo)來分析了。確認(rèn)完成核心的實(shí)驗(yàn)?zāi)康?，我們?cè)诳紤]后續(xù)的實(shí)驗(yàn)變量內(nèi)容、觀察的指標(biāo)以及如何做分流和最終的效果。

2）設(shè)計(jì)實(shí)驗(yàn)方案

設(shè)計(jì)實(shí)驗(yàn)方案是實(shí)驗(yàn)中是整個(gè)ABtest實(shí)驗(yàn)最為核心的部分，因?yàn)椴豢茖W(xué)的實(shí)驗(yàn)前置設(shè)計(jì)方案和依賴條件可能會(huì)導(dǎo)致AB實(shí)驗(yàn)結(jié)果的背道而馳。因此，設(shè)計(jì)實(shí)驗(yàn)方案核心關(guān)注包括選擇實(shí)驗(yàn)觀察指標(biāo)、確定實(shí)驗(yàn)變量維度、規(guī)劃流量分配、隨機(jī)抽樣算法、設(shè)定試驗(yàn)周期。

實(shí)驗(yàn)設(shè)計(jì)中的關(guān)鍵點(diǎn)

3）設(shè)計(jì)實(shí)驗(yàn)方案

為了全面衡量策略的效果，觀察指標(biāo)往往會(huì)設(shè)定“過程性指標(biāo)”、“結(jié)果性指標(biāo)”，過程性指標(biāo)在實(shí)驗(yàn)過程中作為輔助評(píng)估置信或者最終效果達(dá)成輔助效果評(píng)估，結(jié)果性指標(biāo)為最終結(jié)果目的指標(biāo)，用來直接反應(yīng)實(shí)驗(yàn)效果。這里我們來舉個(gè)例子，如果我們檢測(cè)一個(gè)廣告平臺(tái)出價(jià)模型調(diào)控策略最終是否能帶來廣告消耗cost的增長。

過程性指標(biāo)：

• 輔助置信評(píng)估指標(biāo)：需要關(guān)注到pv、click等指標(biāo)量級(jí)，例如我們認(rèn)為5%的流量桶需要達(dá)到1W 的click點(diǎn)擊量才認(rèn)為實(shí)驗(yàn)結(jié)果置信，才可以認(rèn)為廣告的CPC處于穩(wěn)定狀態(tài)。
• 輔助性效果達(dá)成指標(biāo)：廣告消耗cost是需要進(jìn)行計(jì)算拆分的，其最終需要被拆分成PV * CPM/1000，或者是CPC*Click，那么CPC和CPM就會(huì)是輔助達(dá)成廣告收入需要觀察的指標(biāo)，下鉆分析CPM、CPC效果的提升多少。

結(jié)果性指標(biāo)：最終為實(shí)驗(yàn)?zāi)康姆?wù)的核心指標(biāo)，例如廣告平臺(tái)上線對(duì)應(yīng)的出價(jià)策略就是希望能通過激進(jìn)的出價(jià)算法能在客戶ROI不變的情況下帶來收入cost的增長，這就是最終實(shí)驗(yàn)的目標(biāo)。

當(dāng)然，在實(shí)際工作過程中，我們?yōu)榱搜芯亢妥C明策略探究的價(jià)值，往往在做實(shí)驗(yàn)假設(shè)的時(shí)候根據(jù)過往經(jīng)驗(yàn)提前預(yù)估帶來的效果提升范圍，比如說點(diǎn)擊率提升3~5%之間，粗估出價(jià)調(diào)控策略帶來的影響。

4）設(shè)計(jì)實(shí)驗(yàn)方案

實(shí)驗(yàn)變量維度其實(shí)就是確認(rèn)實(shí)驗(yàn)的確認(rèn)實(shí)驗(yàn)組和對(duì)照組中不一致的功能或者策略，其中包含單一變量和多變量實(shí)驗(yàn)。

騰訊廣告拆分對(duì)比實(shí)驗(yàn)工具示意

• 單一變量實(shí)驗(yàn)：指在整個(gè)實(shí)驗(yàn)中只存在唯一對(duì)照變更的策略和功能內(nèi)容，不存在多個(gè)變量在整個(gè)實(shí)驗(yàn)的交織影響。例如廣告出價(jià)方式策略用強(qiáng)化學(xué)習(xí)（RL）代替PID控制策略對(duì)于大盤ppc和預(yù)算使用的影響，此時(shí)便不會(huì)把創(chuàng)意或者定向優(yōu)化策略也摻雜其中。
• 多變量實(shí)驗(yàn)（又稱自由變量實(shí)驗(yàn)）：指在實(shí)驗(yàn)中包含兩個(gè)或者兩個(gè)以上的變更策略和功能內(nèi)容，對(duì)實(shí)驗(yàn)整體處于疊加交織影響，最終看的是多變量整體交叉帶來的效果。但是多變量實(shí)驗(yàn)的弊端也非常明顯，無法直接下鉆分析具體某個(gè)策略的影響，最后實(shí)驗(yàn)負(fù)向也不知道是具體哪一塊策略升級(jí)帶來的效果，策略產(chǎn)品做實(shí)驗(yàn)中使用頻次較少。

5）實(shí)驗(yàn)維度&規(guī)劃流量分配

首先，我們來說說實(shí)驗(yàn)維度維度部分，規(guī)劃維度包含請(qǐng)求展現(xiàn)pv維度和請(qǐng)求用戶uv維度兩種維度類型實(shí)驗(yàn)，兩者之間的應(yīng)用場景和分流特點(diǎn)如下所示。

實(shí)驗(yàn)維度分類

其次，我們來看看規(guī)劃流量分配維度，在AB實(shí)驗(yàn)中，我們一般包含分流模型和分層模型兩種類型規(guī)劃全局流量。

分流模型實(shí)驗(yàn)和分層模型實(shí)驗(yàn)詳解

• 分流實(shí)驗(yàn)：互聯(lián)網(wǎng)最早的方式就是采用的分流模型，按流量桶的形式進(jìn)行實(shí)驗(yàn)隔離，實(shí)驗(yàn)之間互斥。但是這種實(shí)驗(yàn)的弊端非常明顯，因?yàn)榱髁客安荒軣o限分下去，對(duì)于互聯(lián)網(wǎng)大廠字節(jié)抖音、阿里淘寶肯定每天都存在成千上百組策略、功能實(shí)驗(yàn)，如果都需要做分流模型實(shí)驗(yàn)再打的流量池也無法滿足無限分桶的實(shí)驗(yàn)訴求。
• 分層模型：分層模型主要是在分流模型給的基礎(chǔ)上，可以針對(duì)同一個(gè)用戶的進(jìn)行多個(gè)不同類型的實(shí)驗(yàn)，層與層之間的的流量相互正交，流量請(qǐng)求從實(shí)驗(yàn)B到實(shí)驗(yàn)C，從實(shí)驗(yàn)C到實(shí)驗(yàn)D都會(huì)被再次隨機(jī)打散分配到不同的桶中，消除策略策略之間的疊加影響，假如每一層中80%的流量都用來正交，理論上實(shí)驗(yàn)分層可以無限分下去。

字節(jié)跳動(dòng)副總裁楊震原在火山引擎技術(shù)開放日上描述到：“字節(jié)現(xiàn)在每天都會(huì)新增1500個(gè)實(shí)驗(yàn)，累計(jì)做了70萬次實(shí)驗(yàn)”。如何在全局有限的流量下，充分利用流量，就會(huì)使用部分流量參加多個(gè)實(shí)驗(yàn)。利用流量分層模型，達(dá)到每層實(shí)驗(yàn)之間的互斥關(guān)系，保證實(shí)驗(yàn)A、實(shí)驗(yàn)B與實(shí)驗(yàn)C都不產(chǎn)生相互影響。

6）隨機(jī)抽樣算法

講完如何分流和分層之后，怎么把流量pv或者用戶uv分到對(duì)應(yīng)的桶&層中就至關(guān)重要了。為什么這么說呢？舉個(gè)簡單例子，如果我們把淘寶88VIP高消費(fèi)重度推薦位“閑逛”用戶都分到實(shí)驗(yàn)組中，把低活躍低消費(fèi)用戶都放到了對(duì)照組中，然后在上線一個(gè)增加推薦系統(tǒng)新穎性的策略，實(shí)驗(yàn)結(jié)果是實(shí)驗(yàn)組的人均曝光商品數(shù)遠(yuǎn)高于對(duì)照組，得到策略生效，這個(gè)邏輯顯然是錯(cuò)誤的。因?yàn)槿司唐菲毓鈹?shù)是用戶本身的差異屬性帶來的，而不是策略帶來的?；诖?，我們?cè)趯?shí)驗(yàn)中就誕生了以Hash分桶為核心的隨機(jī)抽樣算法，按照一定的規(guī)則分配到不同的實(shí)驗(yàn)組和對(duì)照組中，達(dá)到流量分配的比例。

Hash函數(shù)：將輸入的 Key （這個(gè)key在大廠中一般將用戶的設(shè)備device id或者是用戶user id）散列為隨機(jī)值（CR），依賴于 Hash 函數(shù)的特性來保證隨機(jī)分流的均勻性。CR 的優(yōu)點(diǎn)是速度快，大部分情況下均勻性能夠滿足要求。然而，缺點(diǎn)是在樣本量有限的情況下，無法保證多個(gè)桶之間的結(jié)構(gòu)是一致的。常見的Hash函數(shù)包含MD5、CRC、MurmurHash、CityHash以及SpookyHsh等，主要差異在于生成的散列值位數(shù)（32、64以及128bit）和性能適用于不同的場景和實(shí)驗(yàn)當(dāng)中。

自適應(yīng)分組算法：自適應(yīng)分組算法利用已分配和當(dāng)前待分配的樣本，通過評(píng)估已分配樣本的分組和結(jié)構(gòu)情況，實(shí)時(shí)改變當(dāng)前待分配樣本對(duì)不同組的分配概率。主要是通過：

• 初始化分組樣本：人群隨機(jī)打亂，對(duì)于對(duì)當(dāng)前2*K組個(gè)人進(jìn)行隨機(jī)分組，保證每個(gè)組至少有兩個(gè)樣本，然后開始Adaptive分組。
• 判斷直接或者間接分配：算法計(jì)算各組已分配樣本數(shù)和組所占比例之間的關(guān)系，得到各個(gè)組的平衡系數(shù)BS。如果各個(gè)組的比例平衡系數(shù)相差較大，則進(jìn)行直接分配，以粗粒度的方式調(diào)整各組的分配比例。如果平衡系數(shù)相差不大，則使用接下來的指標(biāo)分布計(jì)算，決定使用哪個(gè)組的間接分配概率。
• 計(jì)算分組與分配得分：算法計(jì)算將要分配的一個(gè)樣本，如果分配到組k后，組k的指標(biāo)分布得分MS_k，其中MS是根據(jù)ANOVA模型計(jì)算出來的每個(gè)組在各個(gè)觀察指標(biāo)上的均值和方差情況。通過比較各組的MS，選出向下偏離平均水平的組，并以該組的間接分配概率作為各個(gè)組本樣本的分配概率。

7）確認(rèn)實(shí)驗(yàn)周期

確認(rèn)實(shí)驗(yàn)周期最為核心的點(diǎn)就是保證實(shí)驗(yàn)的置信度。

第一點(diǎn)，需要保證實(shí)驗(yàn)周期內(nèi)累加的5%流量分桶的pv、uv流量能達(dá)到實(shí)驗(yàn)置信的門檻值，門檻值依據(jù)平臺(tái)的推薦位整體流量大小而定，需要保證換算指標(biāo)CTR、CVR或者ROI等，基礎(chǔ)正向樣本是達(dá)到置信門檻量級(jí)。（例如大廠的實(shí)驗(yàn)策略一般都是1~2周，可能流量偏少的中小廠則需要更長時(shí)間積累置信數(shù)據(jù)）

第二點(diǎn)，避免遇到電商618、雙11大促流量徒增、或者是實(shí)驗(yàn)桶中用戶行為波動(dòng)的周期，如果實(shí)驗(yàn)周期安排在大促周期范圍內(nèi)，容易導(dǎo)致前期的抽樣流量分組、客戶分組失效，實(shí)驗(yàn)中的用戶行為差異較大，會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果不置信的問題。

因此，確認(rèn)實(shí)驗(yàn)周期需要根據(jù)平臺(tái)和流量分桶百分比來確定實(shí)驗(yàn)周期的長短，其次還需要根據(jù)平臺(tái)流量和營銷活動(dòng)的安排盡量避開流量波動(dòng)幅度大（流量保障、流量暴跌），以及用戶行為變化較大的周期，保證實(shí)驗(yàn)的平緩和置信程度。

2. 實(shí)驗(yàn)中部分

當(dāng)AB實(shí)驗(yàn)上線后，我們需要緊密觀測(cè)實(shí)驗(yàn)指標(biāo)，判斷實(shí)驗(yàn)實(shí)驗(yàn)小流量期間上線實(shí)驗(yàn)的平穩(wěn)、效果波動(dòng)問題，這個(gè)地方就需要和前文的實(shí)驗(yàn)假設(shè)效果部分相互 。我們可以從以下三個(gè)角度進(jìn)行觀察：

1）收集實(shí)驗(yàn)數(shù)據(jù)

AA實(shí)驗(yàn)情況：收集實(shí)驗(yàn)數(shù)據(jù)即需要觀察實(shí)驗(yàn)AA組在空跑期、試驗(yàn)期間的變化幅度是否平穩(wěn)，正常情況下應(yīng)該不會(huì)出現(xiàn)明顯的波動(dòng)差異。如果出現(xiàn)明顯的差異效果需要考慮是否隨機(jī)抽樣流量和用戶采集有問題，應(yīng)該查找原因并且暫停實(shí)驗(yàn)。否則實(shí)驗(yàn)組與對(duì)照組結(jié)果會(huì)存在不置信的問題。

AB實(shí)驗(yàn)情況：在實(shí)驗(yàn)周期前的參考周期（類似AA中的空跑期），關(guān)鍵實(shí)驗(yàn)?zāi)康闹笜?biāo)保證平穩(wěn)，實(shí)驗(yàn)期出現(xiàn)變化，如果本身參考期內(nèi)實(shí)驗(yàn)組和對(duì)照組diff很大也與隨機(jī)抽樣算法有著偌大的關(guān)系。觀察每一天實(shí)驗(yàn)組和對(duì)照組之間過程指標(biāo)、關(guān)鍵指標(biāo)的效果diff值是否符合預(yù)期。如果某些關(guān)鍵指標(biāo)例如廣告收入cost或者是人均消耗arpu出現(xiàn)明顯下降問題也需要暫停實(shí)驗(yàn)。

2）保證實(shí)驗(yàn)平穩(wěn)

用戶/流量分桶情況：如果是用戶維度的分桶實(shí)驗(yàn)保證每個(gè)桶的用戶hash值具備唯一性。

新增實(shí)驗(yàn)正交不影響：需要時(shí)刻關(guān)注在你實(shí)驗(yàn)基礎(chǔ)上的新增分層模型實(shí)驗(yàn)是否流量/用戶正交，策略是否對(duì)你的實(shí)驗(yàn)效果產(chǎn)生明顯的影響。

3. 實(shí)驗(yàn)后部分

1）量化評(píng)估實(shí)驗(yàn)結(jié)果

①平均值效果評(píng)估

實(shí)驗(yàn)結(jié)果評(píng)估中，較為常見的統(tǒng)計(jì)值計(jì)算就是平均值計(jì)算，例如我們一般看到廣告策略實(shí)驗(yàn)組和對(duì)照組效果指標(biāo)例如ctr/ppc的增長，只能代表統(tǒng)計(jì)概念的平均值效果，通過平均值可以得出映射在小流量實(shí)驗(yàn)擴(kuò)全之后對(duì)大盤的平均值增益的影響。

②統(tǒng)計(jì)學(xué)顯著評(píng)估

統(tǒng)計(jì)學(xué)上還有實(shí)驗(yàn)的顯著值評(píng)估，一般用P值表示，其代表的意義是hash隨機(jī)抽樣分組后，實(shí)驗(yàn)組90%以上的用戶相較于對(duì)照組的對(duì)比都是正向，在統(tǒng)計(jì)區(qū)間范圍內(nèi)都落在正向區(qū)間，這證明不光平均值正向，并且實(shí)驗(yàn)結(jié)果在離散統(tǒng)計(jì)概念上都是正向的，這個(gè)就是我們所說的策略AB實(shí)驗(yàn)中的24K純正向效果。

2）小流量實(shí)驗(yàn)部分推全與“Hold back”預(yù)留

實(shí)驗(yàn)部分推全：前面的平均值和統(tǒng)計(jì)值如果評(píng)估正向，一般會(huì)走公司集團(tuán)內(nèi)部的審批，通過郵件的形式、審批流程的形式完成對(duì)相關(guān)方的周知，就會(huì)對(duì)5%小流量進(jìn)行策略進(jìn)行線上全量，使得實(shí)驗(yàn)策略能夠?qū)ζ脚_(tái)的每一次流量請(qǐng)求/用戶都可以生效。

長期Holdback預(yù)留：但是在推全前都會(huì)預(yù)留一個(gè)小流量實(shí)驗(yàn)桶，我們叫Hold back，該實(shí)驗(yàn)會(huì)保持長周期的觀察例如一個(gè)月的穩(wěn)定觀察，排除因?yàn)闀r(shí)間周期或者其他因素帶來的實(shí)驗(yàn)干擾，同時(shí)也便于后續(xù)線上問題、事故進(jìn)行回退，長周期正向效果驗(yàn)證完成后即可進(jìn)行真正的推全。

三、關(guān)于AB/AA實(shí)驗(yàn)的總結(jié)

撰寫本文的出發(fā)點(diǎn)是基于目前業(yè)界對(duì)于專業(yè)從頭到尾詳盡的AB實(shí)驗(yàn)流程，思考的文章介紹的偏少，而科學(xué)的AB實(shí)驗(yàn)是策略產(chǎn)品經(jīng)理在日常工作中驗(yàn)證策略帶來的業(yè)務(wù)收益重要手段，所以作者從自己過往工作經(jīng)歷、總結(jié)思考出對(duì)于策略產(chǎn)品科學(xué)AA和AB實(shí)驗(yàn)的全流程，幫助大家了解科學(xué)AA&AB實(shí)驗(yàn)的過程。

無論是晉升答辯、跳槽面試，AB實(shí)驗(yàn)得到的置信結(jié)果一定都是繞不開的重要話題，也是壓力面試最喜歡的切入點(diǎn)，因?yàn)檫@是對(duì)策略產(chǎn)品價(jià)值產(chǎn)出的標(biāo)尺和裁判員，策略產(chǎn)品協(xié)同算法對(duì)于策略&功能升級(jí)的價(jià)值產(chǎn)出需要通過實(shí)驗(yàn)得到最終的結(jié)果，希望所有策略產(chǎn)品都清晰的熟知關(guān)于AA和AB實(shí)驗(yàn)的全流程。