文章介紹了A/B 測試在產(chǎn)品改版過程中的落地過程，希望對你有所啟發(fā)。

獲客拉新在產(chǎn)品發(fā)展的中早期一直是市場和運營日常工作中非常重要的工作之一，活動落地頁的設(shè)計對于一款互聯(lián)網(wǎng)產(chǎn)品來說，重要性不言而喻，但落地頁如何設(shè)計和改版，不是仿照其他產(chǎn)品的樣式那樣簡單，由于每一個產(chǎn)品所處的行業(yè)、營銷活動目的、公司資源各不相同，所以也就沒有一成不變的策略，我們需要分析活動表象下面的數(shù)據(jù)，通過數(shù)據(jù)來思考我們下次行動的方向。

最近我們產(chǎn)品官網(wǎng)做了一次大改版，線索轉(zhuǎn)化率較之前提升2%，Demo 內(nèi)任意事件操作轉(zhuǎn)化率提升1.3%（登錄 Demo 使用產(chǎn)品是我們產(chǎn)品核心功能之一，只有新用戶注冊后登錄 Demo 體驗了產(chǎn)品，才能讓用戶真正體驗到我們產(chǎn)品的價值，即新用戶過來后我們一定要讓他們體驗到產(chǎn)品的真正價值，這樣后續(xù)才能持續(xù)轉(zhuǎn)化）。

一、為什么要做改版？

線索增長率趨于平緩，穩(wěn)中有降，業(yè)務(wù)增長進入瓶頸，觀察用戶行為數(shù)據(jù)發(fā)現(xiàn)了一些有趣的現(xiàn)象，也是我們現(xiàn)有版本的問題：

• 從新用戶來源的關(guān)鍵詞來看，用戶更關(guān)心用戶行為分析、數(shù)據(jù)分析平臺、網(wǎng)站數(shù)據(jù)分析等
• 從用戶點擊圖來看，用戶更想進入 Demo 頁一探究竟，間接說明從落地頁未獲得自己想要的信息
• 從用戶行為來看，用戶在注冊申請賬號體驗 Demo 時遇到了阻礙，有大量用戶流失
• 從用戶路徑來看，用戶注冊成功后有一部分用戶找不到登錄入口，也就不能體驗產(chǎn)品核心價值功能

二、改版的目標是什么？

• 新用戶來到落地頁后，能夠很方便的獲取足夠的信息，有申請賬號試用的沖動
• 每個 Demo 的文案描述，直切用戶需求痛點
• 梳理注冊賬號體系，優(yōu)化泄漏點，提升注冊轉(zhuǎn)化率
• 注冊成功后新手引導(dǎo)流程，可快速找到 Demo 登錄入口，減少反復(fù)和流失

三、A/B測試落地過程

設(shè)計用戶分流規(guī)則

將用戶訪問的匿名 ID 按照100取余，余數(shù)在0-49之間的用戶訪問 A 版本，余數(shù)在50-99之間的用戶訪問Ｂ版本，這樣能確保分流過程足夠隨機。B 版本為新版本，A版本為舊版本。

數(shù)據(jù)追蹤埋點

無追蹤就不能復(fù)盤分析，所以需要對產(chǎn)品埋好點，為所有埋點數(shù)據(jù)增加一個屬性參數(shù)比如app_version，用于追蹤不同版本的表現(xiàn)。

梳理賬號體系

將核心關(guān)鍵步驟每一步驟都埋好點，便于分析轉(zhuǎn)化和流失點。

四、效果評估

最終確定的A、B兩個版本對比圖（限于篇幅只截了頭圖）

不同版本的宏觀表現(xiàn)：跳出率、平均停留時長、平均訪問深度

顯然B版本的跳出率要低于 A 版本的跳出率，說明用戶對 B 版本的第一印象不錯。但是 B 版本的平均停留時長和平均訪問深度略低于 A 版本，那 B 版本到底表現(xiàn)是好還是不好？關(guān)于這個問題，對不同產(chǎn)品而言，有的產(chǎn)品并不是平均停留時長和平均訪問深度越高就越好的，如果他在較短的時間內(nèi)和瀏覽了較少的頁面就去注冊了，恰恰說明他在短時間內(nèi)快速獲得了自己所需要的信息，并急于申請試用。

不同版本的目標實現(xiàn)：線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率

關(guān)于線索轉(zhuǎn)化率的衡量可謂是一波三折，有驚有喜。

第一波，線索轉(zhuǎn)化率和 Demo 登錄轉(zhuǎn)化率 B 版本均高于 A 版本。

從瀏覽首頁到點擊申請試用按鈕的轉(zhuǎn)化率提升了2%，成功申請后到登錄 Demo 體驗 Demo 的轉(zhuǎn)化率提升了1.3%，皆大歡喜！

一個星期后，戲劇性的事情翻轉(zhuǎn)了…

第二波，Demo 登錄轉(zhuǎn)化率 B 版本低于 A 版本11%

任何事情還真不能高興的太早，一個星期后，老板問，B 版本的表現(xiàn)居然低于A版本11個百分點，你們看看這到底怎么回事？所有參與新官網(wǎng)設(shè)計的人都很焦慮，難道辛辛苦苦設(shè)計的新版本比老版本差這么多？

開始追本溯源，注冊轉(zhuǎn)化率 B 版本高于 A 版本，但是 Demo 登錄轉(zhuǎn)化率反降低了，所以問題出在從瀏覽體驗 Demo 頁到 demo 登錄頁這個部分。

于是又測試了一遍從注冊到登錄 Demo 的流程：

發(fā)現(xiàn)從新官網(wǎng)完成注冊之后，跳轉(zhuǎn)到 Demo 體驗頁面居然是舊官網(wǎng)的體驗 Demo 頁面，會給用戶帶來錯覺，這還是我最開始訪問的那個網(wǎng)站嗎？最后緊急替換成新的體驗 Demo 頁面。

第三波，從瀏覽 Demo 頁到 Demo 登錄轉(zhuǎn)化率提升后，1個多星期后再次下降了

這次數(shù)據(jù)的下降，其實老板并沒有發(fā)現(xiàn)，所以要趕在老板發(fā)現(xiàn)前，先把問題找出來，汗顏…

各種假設(shè)找原因中，會不會是在 Demo 頁，新版本點擊登錄的比例小于舊版本？于是把成功提交申請后到 Demo 登錄的過程再次細化，在瀏覽 Demo 頁到 Demo 登錄之間增加一步“點擊登錄按鈕”，看看問題是不是出在這里？

很失望，新版本從瀏覽Demo頁到點擊登錄的比例大于舊版本，所以問題應(yīng)該不是出在 Demo 頁上，繼續(xù)假設(shè)排查中…

這些瀏覽 Demo 頁后沒有成功登錄 Demo 的這些流失的人都干什么去了？此時我們可以借助用戶分群，給這些流失的人打個標簽，看看這批流失的人整體的訪問路徑是什么？

從中可以看出，新用戶從 Demo 頁跳轉(zhuǎn)到登錄頁后，有一定的用戶分流，有相當大比例的用戶重新來到了首頁，重新進行申請試用，也就是說存在同一個用戶申請多次的現(xiàn)象，所以又查看了人均申請次數(shù)這個指標，確實存在人均申請多次的情況，申請間隔還恰好是1分鐘。

很奇怪，他們不是成功申請了嗎，為什么還要再申請？

從用戶登錄 Demo 的界面來看，猜想，很有可能在以下兩個地方出問題：

1. 這一段時間有可能短信系統(tǒng)出問題，導(dǎo)致發(fā)送賬號存在一定的延遲，用戶收不到賬號密碼，以為出問題了，就重新點擊了“還沒賬號，申請試用”，所以也就不奇怪為什么會有人重新來到首頁，重新申請了。
2. 密碼輸入錯誤，但是又不支持找回密碼，只能重新申請。從數(shù)據(jù)中我們也驗證了該假設(shè)，確實存在同一個用戶密碼輸入錯誤多次的現(xiàn)象。

五、下一步產(chǎn)品優(yōu)化方向

從數(shù)據(jù)分析中，我們也獲得了下一步產(chǎn)品優(yōu)化的方向：

1. 進一步完善賬號體系，忘記密碼后產(chǎn)品處理流程
2. 盡量保證短信系統(tǒng)的穩(wěn)定性，保證用戶在1分鐘內(nèi)成功收到用戶名密碼
3. 同一個手機號時候允許申請多次，如果不能申請多次，產(chǎn)品的處理流程是什么

更多優(yōu)化點，還在路上~~~

作者：李金霞，神策數(shù)據(jù)分析師，先后服務(wù)的客戶包含紛享銷客、拉鉤云人事、網(wǎng)易七魚、ofo、多盟、更美等公司，致力于通過數(shù)據(jù)分析實現(xiàn)產(chǎn)品優(yōu)化和精細化運營。

本文由 @李金霞 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自PEXELS，基于CCO協(xié)議