關(guān)于用戶抽樣,你需要知道的”內(nèi)幕”
用戶研究中,選誰來參與調(diào)研是件重要的事情,一方面因為調(diào)研目的不同,選擇的調(diào)研對象不同,另一方面時間精力和資源有限,不可能把所有的目標(biāo)用戶研究一遍。怎么做用戶抽樣?專業(yè)書上會有詳細(xì)說明,本文主要分享工作中常用的、實用的幾種方法。
從是否符合統(tǒng)計要求來說,抽樣可以分為非概率抽樣與概率抽樣。
非概率抽樣
定性研究注重信息深度而非統(tǒng)計意義,常用非概率抽樣,如可用性測試中,我們找符合要求的公司普通同事參與測試,快速發(fā)現(xiàn)問題,這就是“就近法”;再如深度訪談時,我們發(fā)現(xiàn)每增加一個用戶的邊際效用遞減,新增用戶所帶來的信息極其有限,訪談獲得的信息已經(jīng)基本飽和,就沒必要繼續(xù)增加訪談對象,這是“目標(biāo)式或判斷式抽樣”。
非概率抽樣還有滾雪球式抽樣和配額抽樣,“滾雪球”顧名思義,讓目標(biāo)調(diào)研對象再去找符合要求的對象。比如需要找讀書會成員,找到一個以后,再讓ta推薦其它會員,效率較高。配額抽樣,常用于一個大群體中的各個小群體之間差異明顯、需要對不同小群體分別進(jìn)行抽樣的情況。比如醫(yī)療美容類APP,男女比例為1:9,差異懸殊,有必要進(jìn)行配額抽樣??刂茋?yán)格的配額抽樣可以認(rèn)為具備統(tǒng)計意義,可做定量參考。
非概率抽樣
概率抽樣基于概率理論(數(shù)學(xué)的一個分支),相對復(fù)雜。概率抽樣的基本原則是,如果總體中的每一個個體被抽取為樣本的概率相同,那么從這個總體中抽取的樣本,就具有對該總體的代表性。概率抽樣必須是隨機(jī)抽樣,換一種說法,概率抽樣能避免各種偏見(人為因素)影響。
概率抽樣涉及四個概念:
- 抽樣誤差
- 置信水平
- 置信區(qū)間
- 樣本量
想要深入了解?這里幾句話說不清楚,請學(xué)習(xí)統(tǒng)計學(xué)或者概率論吧。
嚴(yán)格的概率抽樣,隨機(jī)抽到某樣本后,該樣本必須反饋信息;如因各種原因無法反饋,再用相同條件隨機(jī)抽取一名。這種做法在市場調(diào)研的線下執(zhí)行中比較常見,因為線下可以“盯人”填問卷/做出反饋。在網(wǎng)絡(luò)問卷調(diào)研里卻不常見,因為網(wǎng)絡(luò)調(diào)研很難做到嚴(yán)格的隨機(jī)。
這里簡單介紹用研工作中做定量調(diào)研會遇到的情況。第一種情況是產(chǎn)品有完備的用戶數(shù)據(jù),當(dāng)需要對用戶的行為/狀態(tài)進(jìn)行分析時,不用考慮抽樣,按分析目的選取全部所需數(shù)據(jù)即可。另一種情況是近似的概率抽樣,因為做網(wǎng)絡(luò)問卷調(diào)研時,渠道特點、用戶特點等帶來的抽樣偏差無法避免,網(wǎng)絡(luò)調(diào)研的抽樣偏差主要有這幾種情況:
- 渠道自身的過濾作用,如問卷Banner放在LOFTER發(fā)現(xiàn)頁,只有訪問這個頁面的用戶才會看到該問卷調(diào)研。
- 用戶活躍程度影響填答概率,如問卷投放5天后回收,隔一周甚至更久才會登錄一次的用戶,很難有機(jī)會發(fā)現(xiàn)問卷并進(jìn)行填答。
- 用戶自身特點,有些用戶“高冷范兒”不喜歡表達(dá),不管問卷“廣告詞”寫得多生動他都無動于衷,這樣的用戶需要通過其他方式接觸。
產(chǎn)品不同,用戶特點也不一樣,由此造成抽樣偏差不會完全相同,這點需要用研人員在項目實踐中自行思考積累。
外包渠道招募時需要注意
關(guān)于抽樣,有必要再提一下外包渠道招募。招募用戶是個費時費力還依賴人際關(guān)系網(wǎng)的工作,有時候需要借助第三方。但是要把招募交托給第三方公司,自己還是要花很多心思在三方面:
- 界定招募條件
- 明確時間進(jìn)度
- 監(jiān)控招募質(zhì)量
首先,跟第三方招募渠道打交道,招募條件越死板越好,別指望對方會根據(jù)調(diào)研目的主動去思考怎樣的人符合要求。你告訴他們的是一個個可以用證據(jù)證明的要求。比如每個月在淘寶上網(wǎng)購15次以上,那就提供指定月份的該用戶淘寶購物記錄截屏,截屏顯示網(wǎng)購次數(shù)15次以上。有時候為了找到真正符合要求的用戶,不用告訴對方全部的真實招募要求,適當(dāng)隱藏一兩個,只告訴需要怎樣的“證據(jù)”即可。比如手機(jī)淘寶是“千人千面”完全個性化的,想了解用戶近期感興趣的物品,只需說我們要一個“淘寶首頁截屏”即可,不用說要截屏的目的。
其次,招募過程中不斷催進(jìn)度、催進(jìn)度、催進(jìn)度。我們覺得難招的人,第三方招募公司也不一定容易招,他們會把招募要求分發(fā)給各個線人,線人再繼續(xù)去搜索,整個鏈條很長。不催的話,出現(xiàn)“明天要訪談/測試了,今晚用戶還沒完全敲定”的情況就不奇怪了。
最后,監(jiān)控質(zhì)量也非常重要,主要是指識別“假用戶”。一般如果招募6個用戶,第三方公司會給8個符合要求的用戶,這也不保險,我們曾經(jīng)遇到過“8選6”但最終只選出4個符合要求的真實用戶的情況。識別“假用戶”沒有固定的套路,需要隨機(jī)應(yīng)變。
關(guān)于質(zhì)量監(jiān)控,有個例子分享:
一次調(diào)研中,我們要求找時尚領(lǐng)域的用戶,平時會主動消費時尚資訊或使用相關(guān)應(yīng)用,羅列了一批雜志、網(wǎng)站、公眾號、應(yīng)用,要求目標(biāo)用戶至少正在消費或使用其中的兩項或以上。
第三方幫助招募到了一批用戶,暫且稱他們?yōu)锳、B、C……其中見到A的第一眼,我不敢相信自己的眼睛,“這真的是關(guān)注時尚的用戶?!宅男吧,頭發(fā)好多天沒洗了嗎?這褲子五年前買的吧……”本著大膽假設(shè)小心求證的態(tài)度,我們問他平時看哪些時尚內(nèi)容,在哪里看?A說在微信里看公眾號XX和XX,我們跟進(jìn):“XX公眾號不懂,還沒看過,能不能讓我們看一眼?”A打開微信給我們看XX公眾號,我們再問:“這個號的內(nèi)容風(fēng)格是怎樣的?能再看一條具體內(nèi)容嗎?”A點進(jìn)去,我們看到公眾號第一條消息是當(dāng)天早上9點多發(fā)的“歡迎辭”,也就是說用戶在到達(dá)訪談地點之前剛剛關(guān)注該公眾號。到這里已經(jīng)確定A不是我們要找的人。
轉(zhuǎn)向B用戶,B手機(jī)上有好幾個我們要求范圍內(nèi)的APP,B還表示經(jīng)常在其中一個APP里買東西,最近剛買過鞋。請其打開APP想大致了解一下她會買哪些東西,發(fā)現(xiàn)里面沒有任何購物記錄。B說她是學(xué)生,沒有網(wǎng)銀,無法網(wǎng)購,鞋子是用老媽的手機(jī)買的。OK,我們轉(zhuǎn)而問她別的問題,最后話題扯到手機(jī)淘寶,找個理由看到她淘寶購物記錄,嘿嘿,B有網(wǎng)銀,網(wǎng)購很“熟練”。
再綜合其它因素,確定B也不是我們要找的人。
工作中做定量調(diào)研,不是追求樣本量越大越好。以問卷調(diào)研為例,在嚴(yán)格符合抽樣要求的情況下,假設(shè)產(chǎn)品的用戶量級為百萬級,400個樣本就能滿足統(tǒng)計需求(置信水平95% (即=0.05),e取5%)。當(dāng)然這是理想狀況,實際很難遇到嚴(yán)格隨機(jī)抽樣的情況,或者說做到嚴(yán)格隨機(jī)抽樣的成本特別高。用研人員的核心價值在于了解上述無法通過計算樣本量和置信區(qū)間等技術(shù)手段解決的抽樣問題,并且有辦法處理好這些問題。比如參照行為數(shù)據(jù)按比例推算,比如把結(jié)論限定在某個范圍內(nèi),比如結(jié)合其他渠道的信息綜合分析問題等。
以上是一些個人的粗淺體會,歡迎討論。
#專欄作家#
作者:韓曉燕,人人都是產(chǎn)品經(jīng)理專欄作家,網(wǎng)易杭州研究院,產(chǎn)品發(fā)展部,微信公眾號“用鹽有點咸”,用戶研究。
本文由 @韓曉燕 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
- 目前還沒評論,等你發(fā)揮!