編輯導(dǎo)語：我們都知道產(chǎn)品會經(jīng)過不斷的測試，在產(chǎn)品功能上線前，通過招募內(nèi)測用戶對產(chǎn)品功能進(jìn)行先行體驗測試，對于實際上線后的產(chǎn)品質(zhì)量會有一定的幫助；本文作者以 K12 產(chǎn)品為例，分享了如何組織用戶內(nèi)測活動，我們一起來了解一下吧。

在產(chǎn)品功能上線前，最后的環(huán)節(jié)一般是由測試同學(xué)撰寫產(chǎn)品測試用例，測試通過后部署上線。

但由于測試同學(xué)人力有限，對于用戶的使用場景、設(shè)備類型以及網(wǎng)絡(luò)情況很難做到全面模擬，難免有所疏漏；遂在產(chǎn)品上線前增加小規(guī)模的用戶內(nèi)測環(huán)節(jié)，對于提高上線后的產(chǎn)品質(zhì)量，減少 Bug 出現(xiàn)的風(fēng)險，會有一定的幫助。

那么，如何去組織一場用戶內(nèi)測活動，需要注意的點都有哪些？通過這篇復(fù)盤文檔，我們從0開始梳理這些問題。

01 回顧目標(biāo)

回顧歷次的用戶內(nèi)測活動，目標(biāo)一共可以分為以下三種：

1）暴露未測試到的 Bug

如果產(chǎn)品涉及比較大的更新，例如上線全新的功能或是更改大范圍的程序代碼，此時就需要重點關(guān)注在測試過程中出現(xiàn)的 Bug 數(shù)量和 Bug 類型，關(guān)注是否有影響用戶使用的問題出現(xiàn)，以及出現(xiàn)的頻率；然后再依據(jù)問題的類型和數(shù)量去判斷優(yōu)先級，對接產(chǎn)研同學(xué)去修復(fù)問題，保證最終上線的質(zhì)量。

2）預(yù)知產(chǎn)品上線后可能的風(fēng)險

通過內(nèi)測活動，我們需要模擬更多接近真實的使用場景，從而去發(fā)現(xiàn)隱藏其中的問題，也可以通過對內(nèi)測安裝包的數(shù)據(jù)埋點，拿到該功能一部分的用戶使用數(shù)據(jù)，從產(chǎn)品研發(fā)的角度，去預(yù)知產(chǎn)品上線后可能的風(fēng)險，從而進(jìn)行規(guī)避，做好應(yīng)對方案，提升產(chǎn)品的穩(wěn)定性。

3）收集用戶的反饋

內(nèi)測活動是產(chǎn)品和用戶進(jìn)行溝通的好機(jī)會，我們可以借此機(jī)會收集用戶對于產(chǎn)品和功能的建議或評價，當(dāng)然不一定局限于每次的重點測試功能，用戶對于產(chǎn)品全局的意見統(tǒng)統(tǒng)可以收集，作為后續(xù)產(chǎn)品迭代的參考。

02 回顧過程

在確定一場內(nèi)測活動的目標(biāo)后，在活動流程中有哪些需要關(guān)注的點呢？我從以下5個方面分別來整理一下。

1）人員招募

拿我之前組織過的幾次活動來說，因為產(chǎn)品的類型是 K12 學(xué)生用戶，主要集中于小學(xué)年級。

如果直接招募小學(xué)年級的學(xué)生作為測試用戶，一是會影響學(xué)生的學(xué)習(xí)進(jìn)度，另外如果出現(xiàn)比較嚴(yán)重的產(chǎn)品質(zhì)量問題，會不利于產(chǎn)品形象的塑造；所以，我們將招募的人群屬性定位在小學(xué)年齡段的寶媽群體。

那如何去找到這類人群呢？

我們將目標(biāo)鎖定在了一些正規(guī)的兼職群、兼職論壇，通過發(fā)布任務(wù)信息招募用戶進(jìn)群，方便進(jìn)行后續(xù)的任務(wù)指導(dǎo)；在這個環(huán)節(jié)我們還發(fā)現(xiàn)，經(jīng)常參加兼職活動的人會有自己的兼職圈，通過向這些用戶借力，可以讓我們的招募進(jìn)度產(chǎn)生裂變的效果。

我們在人員招募和管理時，選擇了 QQ 群的方式。因為 QQ 群提供了比較完善的群管理和群文件支持，可以在流程上減少我們的人力。

如果產(chǎn)品是非 K12 類的話，也可以通過正式版本 App 內(nèi)的彈窗提醒，來招募意向參加內(nèi)測的用戶，引導(dǎo)這些用戶主動下載測試版本的 App，配合反饋活動去引導(dǎo)大家充分測試、暴露問題；但此方法對產(chǎn)品類型、用戶屬性又會有一定的限制，且需要產(chǎn)品研發(fā)同學(xué)的支持，大家可以按照實際情況進(jìn)行選擇。

2）活動成本

為了激勵內(nèi)測用戶更充分的參加活動，我們可以設(shè)定一定數(shù)量的獎品、獎金等激勵方式，如果是社交屬性比較強(qiáng)的產(chǎn)品，也可以發(fā)放站內(nèi)勛章、稱號等虛擬物品。

激勵方式選擇的前提是要保證大部分的用戶都會喜歡，這樣才可以激發(fā)用戶反饋的動力；如果最后的活動獎勵對于用戶來說不痛不癢，那活動的效果可能會大打折扣。

由于我們招募的活動用戶大部分來源于外部兼職論壇，所以我們就采取最直接的方法——獎金，作為激勵方式；獎金發(fā)放的標(biāo)準(zhǔn)以參加測試的時長、問題反饋的數(shù)量質(zhì)量為標(biāo)準(zhǔn)，因為所有參與活動的用戶都已經(jīng)添加到QQ群內(nèi)，所以我們可以通過群紅包的形式，來節(jié)省我們發(fā)放獎金的人力。

通過每次內(nèi)測活動的人數(shù)，我們可以預(yù)估活動的成本支出，以此來向 Leader 或者合作的業(yè)務(wù)部門進(jìn)行報備；另外，因為發(fā)放群紅包不能取得發(fā)票，所以還需要提前和財稅同學(xué)來確定流程的合規(guī)性。

3）組織測試

接下來就要開始準(zhǔn)備測試了，這個環(huán)節(jié)也是非常重要的一個環(huán)節(jié)，會直接決定我們的活動目標(biāo)是否完成。

首先，我們需要和產(chǎn)品研發(fā)同學(xué)確認(rèn)測試版本安裝包的交付時間。在之前的實操過程中，因為已經(jīng)在報名時建立了活動群，就可以把安裝包發(fā)送到群內(nèi)，引導(dǎo)參與活動的用戶下載安裝。

在安裝過程中需要注意，iOS 用戶需要下載官方測試的 Testflight App才能參加測試，Android 用戶需要在安裝過程中留意手機(jī)是否有提醒“跳轉(zhuǎn)到官方市場安裝、該版本未通過驗證”的提示，需要引導(dǎo)用戶跳過這些提示，確保用戶安裝的是參與活動的版本。

那怎么去引導(dǎo)用戶針對新上線的功能進(jìn)行測試呢？我這里采取了兩個辦法。

因為是 K12 直播授課類的產(chǎn)品，針對于有關(guān)直播才可以測試的新功能，可以協(xié)調(diào)內(nèi)部同事通過模擬老師真實的上課情況；在設(shè)定好直播時間后，及時的通知內(nèi)測用戶預(yù)留時間參加，然后在直播的過程中引導(dǎo)內(nèi)測用戶的操作。這里需要注意的是，如果是通過直播引導(dǎo)用戶參與測試，那么要在直播中去描述如何操作、操作產(chǎn)生的結(jié)果以及如何去記錄問題，方便后續(xù)的問題追溯。

除此之外的非直播課功能，可以通過截圖標(biāo)記、錄屏或者 gif 圖、流程圖的形式，做一個功能操作的說明文檔，以圖文、視頻的形式去引導(dǎo)用戶操作，從而暴露問題。

4）問題收集

因為內(nèi)測版本和正式版本的不同，為了避免內(nèi)測活動對正式版本的反饋數(shù)據(jù)有影響，所以在問題收集的環(huán)節(jié)需要選擇一個獨立的收集用戶反饋的入口。

在之前的活動中，我采用的方式都是問卷收集，請參與活動的用戶填寫自己的賬號、遇到問題的時間點以及對應(yīng)的截圖或者復(fù)現(xiàn)錄屏，再配合產(chǎn)品的埋點數(shù)據(jù)，已經(jīng)基本滿足定位問題的要求。

收到內(nèi)測用戶反饋的問題后，要對用戶描述的問題以及問題的緊急程序進(jìn)行排序整理。為了計算相同類型的反饋出現(xiàn)的頻率，在整理用戶反饋時，除了要將用戶的基本信息（賬號、設(shè)備類型等）和反饋信息（問題描述+截圖）進(jìn)行對應(yīng)外，還可以將用戶描述的問題以不同類型的詞語代替，以便于最后統(tǒng)計同一問題的量級；對于不理解或者不能確定的反饋內(nèi)容，需要和用戶進(jìn)行二次確認(rèn)，切勿進(jìn)行推測。

5）后續(xù)跟進(jìn)

在整理完用戶反饋的問題后，可以將文檔發(fā)送給負(fù)責(zé)項目的產(chǎn)品研發(fā)同學(xué)來進(jìn)行后續(xù)跟進(jìn)。

在文檔中，針對于用戶反饋的影響使用的問題，需要評估是否屬于 Bug 以及后續(xù)的修復(fù)計劃；針對于用戶的需求建議，需要評估后續(xù)是否需要迭代以及迭代計劃。

03 評估結(jié)果

對內(nèi)測活動的結(jié)果分析，有助于我們評估每次活動的效果和質(zhì)量，有以下兩個維度：

• 活動人數(shù)：目標(biāo)招募人數(shù)，實際招募人數(shù)、內(nèi)測版本安裝人數(shù)、問題反饋的人數(shù)；
• 反饋質(zhì)量：活動總反饋數(shù)量、有效反饋數(shù)量、確定是Bug的反饋數(shù)量、確定是需求建議的反饋數(shù)量。

通過對比每次活動中的 實際招募人數(shù) → 內(nèi)測版本安裝人數(shù) → 問題反饋的人數(shù)中每個環(huán)節(jié)的轉(zhuǎn)化率，來幫助我們?nèi)?yōu)化活動的形式；而通過有效反饋數(shù)量和活動總反饋數(shù)量的變化，可以幫助我們優(yōu)化內(nèi)測用戶的反饋教育環(huán)節(jié)，幫助我們獲取更高質(zhì)量的反饋。

04 分析原因

這個環(huán)節(jié)說兩個我曾經(jīng)在活動中踩過的坑，希望可以幫助大家避雷。

最初，為了激發(fā)報名用戶對于發(fā)現(xiàn)問題的積極性，設(shè)置了額外的反饋獎勵，并把獎勵標(biāo)準(zhǔn)設(shè)定成了反饋數(shù)量的前三名；前幾次活動結(jié)束后我們觀察數(shù)據(jù)，發(fā)現(xiàn)有效反饋的占比只有 40% 左右，重復(fù)反饋和無效反饋的數(shù)量會比較多。

于是后面我們就更改了反饋獎勵的規(guī)則，以“質(zhì)量 + 數(shù)量”為標(biāo)準(zhǔn)，并公開反饋質(zhì)量較好的反饋，給到參與活動的用戶一個正向的促進(jìn)作用；在后續(xù)的內(nèi)測活動中，有效反饋的占比就可以穩(wěn)定在 70% 左右。

還有一次 500人+規(guī)模的內(nèi)測活動，我們依然使用 QQ 群這種方式去做 1 對 N 的用戶管理與內(nèi)測教育，但活動人數(shù)的增長導(dǎo)致內(nèi)測教育的難度增加，1 對 N 的模式顯然已經(jīng)不再適用。

在活動結(jié)束時為參與用戶發(fā)放獎勵時，也會因為頻繁的進(jìn)行紅包交易而被騰訊官方敏感提醒，造成封號風(fēng)險；針對于這種情況，我們在建立活動群時一定要將備用的管理賬號也拉入群內(nèi)，同時增加內(nèi)測教育的人力。

從長期來看的話，在歷次活動中發(fā)掘一部分內(nèi)測的優(yōu)質(zhì)用戶，并賦予這些用戶推廣、管理內(nèi)測活動的能力，對于釋放我們自身的人力也會有很大的好處。

05 總結(jié)經(jīng)驗

因為 K12 行業(yè)的特殊性，所以我們選擇了 QQ 群發(fā)放內(nèi)測包 + 招募外部用戶的方式，來對即將上線的新功能進(jìn)行測試。

內(nèi)測活動的關(guān)鍵，就是要招募到足夠的用戶，得到更多的反饋后去支持產(chǎn)品迭代；內(nèi)測版本對比正式版本，會提前體驗新功能，在招募時配上“限量招募”“邀請體驗”的字眼，可以助力我們的招募進(jìn)度。

在內(nèi)測進(jìn)行中，要做好對內(nèi)測用戶的功能宣傳與反饋教育，設(shè)定合適的激勵機(jī)制從而去得到更多高質(zhì)量的反饋。

同時，要及時的發(fā)掘在內(nèi)測活動中積極參與且反饋質(zhì)量較高的用戶，將這類用戶塑造為我們每次內(nèi)測活動中的“形象角色”，給到其他參與活動的用戶一個正向的積極作用。

本文由@白說運營 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，不得轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。