編輯導(dǎo)語：一個(gè)精確的測量，勝過一千個(gè)專家的意見，事實(shí)勝于雄辯。產(chǎn)品經(jīng)理在設(shè)計(jì)產(chǎn)品時(shí)，往往一個(gè)巧妙的低成本設(shè)計(jì)立馬就能使產(chǎn)品達(dá)到出乎意料的高收益的效果，本文分享了一些案例，供大家參考。

遙想2012那年，必應(yīng)的產(chǎn)品經(jīng)理提出了一個(gè)想法：將標(biāo)題下方的第一行文字移到標(biāo)題同一行。可惜，這個(gè)需求一聽就離離原上譜，不出所料，需求被延期了半年。

好在該需求實(shí)現(xiàn)起來并不復(fù)雜，一個(gè)工程師決定試一試。不同的是，他通過設(shè)置對照實(shí)驗(yàn)（隨機(jī)一部分用戶顯示新UI，隨機(jī)一部分用戶顯示老UI），實(shí)現(xiàn)了這個(gè)需求。

無心插柳柳成蔭，實(shí)驗(yàn)開啟沒幾個(gè)小時(shí)，「營收過高」的監(jiān)控開始報(bào)警。

你猜怎么著，不是埋點(diǎn)重復(fù)上報(bào)，不是搜索服務(wù)掛掉，是營收真真切切地漲了12%！這意味著在當(dāng)年的美國，營收增長超過了1億美金。

這個(gè)傳奇的案例就是《關(guān)鍵迭代：可信賴的線上對照試驗(yàn)》一書的開篇。接著作者Ron Kohavi（在線實(shí)驗(yàn)的「教父」）庖丁解牛般地展開了關(guān)于對照實(shí)驗(yàn)的一切。這本書被譽(yù)為 A/B 測試「圣經(jīng)」，強(qiáng)烈建議互聯(lián)網(wǎng)相關(guān)從業(yè)人員精讀。

說回這個(gè)例子，看起來「無關(guān)痛癢」的改動(dòng)，竟成了必應(yīng)歷史上最成功的 idea 之一。這項(xiàng)陳列實(shí)驗(yàn)帶來的結(jié)果，不僅提升了公司現(xiàn)有收益，還有可能影響了公司的戰(zhàn)略。

其中最令人拍案叫絕的部分是——得出這樣高價(jià)值的結(jié)論并沒有耗費(fèi)太多的資源。

那么，有沒有類似的低成本而高價(jià)值（具備較高的指導(dǎo)意義）的實(shí)驗(yàn)？

有，但并不靠運(yùn)氣，而是靠「設(shè)計(jì)」。

本文從《關(guān)鍵迭代》、策略產(chǎn)品經(jīng)理相關(guān)書籍和直播分享中摘錄了一些案例，分享給大家。這些設(shè)計(jì)上的神來之筆，的確讓人回味無窮。但請別忘記，是設(shè)計(jì)者對業(yè)務(wù)本質(zhì)付出了99%的艱苦思考，才換來了這1%的天才靈感。

一、畫門法

這是一個(gè)虛構(gòu)的線上銷售小部件的電子商務(wù)公司。一天，市場營銷部門希望通過發(fā)送優(yōu)惠券的促銷郵件來提升銷量。此前，公司沒有發(fā)過優(yōu)惠券，適應(yīng)這個(gè)新功能，改造成本較大。

在方案膠著之際，有員工對方案背后的假設(shè)提出了質(zhì)疑，他表示 Dr.Footcare 公司在添加優(yōu)惠券后，營收反而大幅流失了。于是公司產(chǎn)生了合理擔(dān)心：在結(jié)賬界面增加優(yōu)惠券輸入框會(huì)降低營收。即便沒有優(yōu)惠券，僅僅看到這個(gè)框也會(huì)拖慢用戶付款速度，并導(dǎo)致用戶開始搜索優(yōu)惠券甚至放棄結(jié)賬。

于是，現(xiàn)在面臨的問題似乎從「怎么新增優(yōu)惠券功能」變成了「在付款界面增加優(yōu)惠券輸入框會(huì)降低營收嗎」。

為了評估這一問題，他們沒有改造整個(gè)付款流程和新增任何數(shù)據(jù)存儲(chǔ)，而是——在墻上畫了一個(gè)門——來看看有多少人會(huì)試圖打開它。如下圖的實(shí)驗(yàn)組1和實(shí)驗(yàn)組2，他們僅僅在這個(gè)頁面增加了個(gè)入口，實(shí)際上用戶輸入任何數(shù)字都是無效的。

這種方法的好處顯而易見：

• 開發(fā)成本低，可快速上線
• 較好地還原了真實(shí)情況：假如全量上線，會(huì)有相當(dāng)一部分用戶對這個(gè)框產(chǎn)生困惑；那么這個(gè)小流量實(shí)驗(yàn)也可以還原這種困惑

結(jié)果是啥呢？對比對照組，實(shí)驗(yàn)組1和實(shí)驗(yàn)組2的營收都下降了。實(shí)驗(yàn)組2因?yàn)樵黾恿藦棿埃ǜ黠@的打斷），導(dǎo)致?lián)p失更大。

果不其然，這意味著要干這事兒，除了包含設(shè)計(jì)成本、研發(fā)成本和維護(hù)成本之外，還有一開始添加優(yōu)惠券框帶來的負(fù)向營收。

不過筆者發(fā)現(xiàn)，這個(gè)例子還有更多可琢磨的地方：

• 優(yōu)惠券到底會(huì)不會(huì)刺激人消費(fèi)？
• 答案是肯定的。給了優(yōu)惠券，不用白不用啊。實(shí)際是激發(fā)了用戶損失厭惡的心理。
• 畫門法證明了「在付款頁面添加優(yōu)惠券輸入框」帶來的負(fù)向影響，那么優(yōu)惠券還能怎么用？
• 當(dāng)前的主流電商平臺，統(tǒng)統(tǒng)沒有在付款界面增加任何跳轉(zhuǎn)其他頁面的可能性，拼多多甚至把購物車都去掉了。
• 他們把優(yōu)惠券本體前置到了選購的流程中。淘寶在付款之前幫用戶領(lǐng)券，拼多多則用拼單的方式代替了優(yōu)惠券。

• 畫門法并沒有證明「郵件送優(yōu)惠券無法提升營收」，怎么在不干擾其他用戶的情況下，用郵件優(yōu)惠券刺激用戶消費(fèi)呢？
• 其實(shí)郵件送優(yōu)惠券的古老手段依舊存在，但有兩點(diǎn)不同：

（1）給一小部分用戶分發(fā)，只為刺激忠誠用戶的消費(fèi)，且不會(huì)產(chǎn)生大規(guī)模的優(yōu)惠券焦慮；

（2）在用戶主頁兌換，絕不干擾付款流程。

畫門法在精益創(chuàng)業(yè)中也有廣泛的應(yīng)用，當(dāng)你想在大學(xué)生中做一門露營燒烤的生意時(shí)，不妨先把門畫出來——做一張簡單的宣傳單或意向表，看看有多少人報(bào)名。用豐滿的事實(shí)，反向?yàn)樯虡I(yè)談判獲得優(yōu)勢。

二、反證法

張小龍說過，微信永遠(yuǎn)把響應(yīng)速度作為最重要的用戶體驗(yàn)來對待。

當(dāng)然了，產(chǎn)品速度是越快越好。但提高十分之一秒的性能，到底有多重要？用戶真的能感知到嗎？

要知道改進(jìn)性能并不是個(gè)小活兒。我們既無法為一個(gè)肉眼無法感知的提升，專門組一個(gè)團(tuán)隊(duì)全力優(yōu)化。也很難在所有團(tuán)隊(duì)工作半年后，單獨(dú)拆出提速工作帶來的真正效果。

必應(yīng)和谷歌反其道而行之：想計(jì)算性能提升能帶來多少收益，成本太高。那我用反證法——通過主動(dòng)減速實(shí)驗(yàn)，計(jì)算性能下降會(huì)導(dǎo)致營收下降多少，再來反推，行不行？

這里需要用到一個(gè)關(guān)鍵假設(shè)，那就是局部線性近似：即該指標(biāo)（如營收）對性能的變化圖線，在當(dāng)前值附近可以很好地被線性擬合。下圖展示的就是一個(gè)常見的性能和關(guān)鍵指標(biāo)之間的關(guān)系曲線。

支撐這個(gè)假設(shè)，有兩點(diǎn)原因：

• 經(jīng)驗(yàn)之談：如果是秒級別的變動(dòng)，用戶是可以體驗(yàn)到的，往往對于關(guān)鍵指標(biāo)是斷崖式下降。但毫秒級別的實(shí)驗(yàn)，用戶感知不明顯，就可以用線性近似。
• 抽樣驗(yàn)證：必應(yīng)曾做過一個(gè)100毫秒和一個(gè)250毫秒的減速實(shí)驗(yàn)，而250毫秒實(shí)驗(yàn)中數(shù)個(gè)關(guān)鍵指標(biāo)的差值，剛好大約是100毫秒實(shí)驗(yàn)的2.5倍左右（已考慮置信區(qū)間）。這也驗(yàn)證了線性關(guān)系的假設(shè)。

通過局部線性近似，大廠也得出相應(yīng)的結(jié)論：

• 對2017年的必應(yīng)而言，每提高十分之一秒的速度，可以帶來一千八百萬美元的年度營收的增長
• 在亞馬遜，一個(gè)100毫秒的減速實(shí)驗(yàn)降低了1%的銷售量。

除了減速實(shí)驗(yàn)之外，我還想提及一個(gè)內(nèi)容平臺相關(guān)的「砍內(nèi)容實(shí)驗(yàn)」。思路也是用砍掉一部分某分類內(nèi)容帶來的損失，來預(yù)估增加相應(yīng)內(nèi)容帶來的收益。

實(shí)驗(yàn)的基本假設(shè)是：這類內(nèi)容是沒有達(dá)到飽和的。如果實(shí)驗(yàn)組砍掉100篇內(nèi)容帶來了50%的數(shù)據(jù)損失，那么增加100篇該分類內(nèi)容就可以帶來5%的數(shù)據(jù)提升。

但和減速實(shí)驗(yàn)一樣，要注意量級過大的減速和減量會(huì)導(dǎo)致非線性的跌幅，大刀闊斧的減量帶來的數(shù)據(jù)結(jié)論是不可靠的。

三、工具變量法

問：將看視頻的新用戶轉(zhuǎn)化為視頻作者，可以帶來什么收益？

常規(guī)的辦法，是直接利用現(xiàn)有數(shù)據(jù)進(jìn)行分析。也就是觀察性的因果研究，同時(shí)也叫準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)。如用構(gòu)造虛擬現(xiàn)實(shí)結(jié)合雙重差分法的方式，構(gòu)造可比較的對照組和實(shí)驗(yàn)組人群，來對比兩者的數(shù)據(jù)表現(xiàn)。

但這類準(zhǔn)實(shí)驗(yàn)的設(shè)計(jì)往往需要很多假設(shè)，其中任何一個(gè)假設(shè)有錯(cuò)誤（如用戶活躍周期性是規(guī)律的，但實(shí)際不規(guī)律），就會(huì)影響到結(jié)論的準(zhǔn)確性。同時(shí)，在結(jié)論推廣層面，也有較大的解釋成本。

這時(shí)候，我們可以設(shè)計(jì)個(gè)實(shí)驗(yàn)來簡化這個(gè)問題。

通過引入一個(gè)工具變量——給實(shí)驗(yàn)組的新用戶發(fā) push 來改變用戶發(fā)視頻的意愿。實(shí)驗(yàn)組的用戶會(huì)隨機(jī)收到這么一條 push：“這是你來快手的第一天，發(fā)個(gè)作品記錄一下！”

這時(shí)候，實(shí)驗(yàn)組勢必會(huì)有一部分用戶被這個(gè)「額外的力」，轉(zhuǎn)化為了視頻作者。我們通過測量兩組在關(guān)鍵指標(biāo)上的差異，就可以回答篇頭的問題。不過，筆者認(rèn)為，考慮到該工具變量會(huì)對用戶產(chǎn)生一定打擾，所以還需關(guān)注護(hù)欄指標(biāo)如 push 的關(guān)閉情況。

這是快手的經(jīng)濟(jì)學(xué)家楊淼鈺博士在 DataFunTalk 直播中分享的案例。直播干貨滿滿，文末有鏈接，強(qiáng)烈建議精讀。

工具變量法的目標(biāo)是找到一種工具，使我們能夠近似實(shí)現(xiàn)對照。在生活中也有一些常見的工具變量，比如在探究基因?qū)π愿竦挠绊憰r(shí)，可以用雙胞胎進(jìn)行測量，把環(huán)境因素變成了不變量。此時(shí)雙胞胎本身，就是一個(gè)工具變量。

四、其他好用的實(shí)驗(yàn)設(shè)計(jì)方法

交錯(cuò)性實(shí)驗(yàn)：在人工測評某幾個(gè)模型的效果時(shí)，如何讓結(jié)果不受人的主觀影響？可以使用交錯(cuò)性實(shí)驗(yàn)——交錯(cuò)式排列待評估的內(nèi)容，仿照雙盲實(shí)驗(yàn)。

重復(fù)實(shí)驗(yàn)：在同一撥用戶上，實(shí)驗(yàn)一段時(shí)間，撤回一段時(shí)間。為探究直升機(jī)監(jiān)視與入室盜竊數(shù)量的關(guān)系，我們發(fā)現(xiàn)有直升機(jī)監(jiān)視時(shí)，入室盜竊數(shù)量減少，取消監(jiān)視則增加。

斷點(diǎn)回歸設(shè)計(jì)：這也是一種準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)，如果想看頒發(fā)獎(jiǎng)學(xué)金對獲獎(jiǎng)人的影響，可以拿獎(jiǎng)學(xué)金的獲獎(jiǎng)閾值（如80分）上下的學(xué)生模擬隨機(jī)分配。我們的假設(shè)是：分?jǐn)?shù)剛好高于80的實(shí)驗(yàn)組學(xué)生，與分?jǐn)?shù)剛好低于80的對照組學(xué)生，在學(xué)習(xí)素質(zhì)上很相似。統(tǒng)一「學(xué)習(xí)素質(zhì)」這個(gè)重要變量之后，就可以進(jìn)一步探究了。

斷點(diǎn)回歸在社會(huì)學(xué)層面的用處很多，青山資本在《Z世代定義與特征丨青山資本2021年中消費(fèi)報(bào)告》一文中，也是運(yùn)用了斷點(diǎn)回歸的思路來劃分「Z時(shí)代」的。

世代的起止是由極重大事件產(chǎn)生的切割，使得某個(gè)年份前后的人群產(chǎn)生割裂式的思維和生活習(xí)慣差異。這恰恰與在計(jì)量經(jīng)濟(jì)學(xué)中研究社會(huì)問題時(shí)應(yīng)用斷點(diǎn)回歸的原因不謀而合。

引用：

1. Ron Kohavi《關(guān)鍵迭代：可信賴的線上對照試驗(yàn)》機(jī)械工業(yè)出版社2、青十五《十五讀書 | 策略產(chǎn)品經(jīng)理必讀的一本A/B測試“圣經(jīng)” B08》
2. DataFunTalk《快手歸因分析》
3. 青山資本《Z世代定義與特征丨青山資本2021年中消費(fèi)報(bào)告》
4. 韓瞳《策略產(chǎn)品經(jīng)理實(shí)踐》機(jī)械工業(yè)出版社

本文由 @白鹿銜書不銜花 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于 CC0 協(xié)議