調(diào)查問卷的兩個(gè)陷阱:誘導(dǎo)性問題和幸存者偏差

1 評(píng)論 21489 瀏覽 72 收藏 9 分鐘

我們?cè)跍y試一個(gè)產(chǎn)品的時(shí)候,會(huì)通過用調(diào)查問卷的方式看看用戶對(duì)產(chǎn)品的喜好程度和看法,但你的調(diào)查真的有用嗎?你的調(diào)查有沒有踩坑呢?

收集回來幾千份問卷,你有沒有想過有可能數(shù)據(jù)是無效的?訪談了幾百位用戶,你有沒有想過你做的可能是無用功?問題在哪?

你不會(huì)問問題!

坑1 你喜不喜歡我們的產(chǎn)品?

當(dāng)你查看這個(gè)問題的數(shù)據(jù)時(shí),你欣喜地發(fā)現(xiàn)99%的用戶都選擇了“是”,于是你屁顛屁顛地去告訴老板“我們家的產(chǎn)品,用戶很喜歡”,并且拿出數(shù)據(jù)給老板看,老板一開心,砸了幾十萬廣告費(fèi),結(jié)果打了水漂。

誤區(qū)1 誘導(dǎo)性問題

人,皆有憐憫之心。當(dāng)你問出這個(gè)問題的時(shí)候,其實(shí)跟你去跟暗戀的人表白說“你喜不喜歡我”一樣,你的潛臺(tái)詞是“我喜歡你,我希望你最好也喜歡我”,你實(shí)際上在告訴用戶,“我希望你喜歡我,趕緊選喜歡”。用戶想,既然你這么懇求,那么用戶就會(huì)“我稍微勉為其難地看在你面子是給你個(gè)好評(píng)吧”。

結(jié)果會(huì)怎樣?或者我這么問,兩個(gè)人勉強(qiáng)在一起能幸福嗎?

類似的坑

這個(gè)服務(wù)1塊錢,你能接受嗎?我們打算新推出一個(gè)功能,你會(huì)用嗎?

如何破?

其實(shí),你會(huì)發(fā)現(xiàn),很多類似的問題的選項(xiàng)都是“非此即彼”,第一個(gè)很簡單的方法就是:不要使用“是不是”、“喜不喜歡”這種只有“二元選項(xiàng)”的問法。

對(duì)于詢問用戶滿意度等較為主觀的可以使用“五分法”,即如“很不滿意”、“比較不滿意”、“一般”、“比較滿意”、“很滿意”五種選項(xiàng)。當(dāng)然,你可以選擇用1-5分作為替代,也可以使用7分,除了10分,不建議使用多于7分的選項(xiàng),用戶有選擇困難癥的。

對(duì)于詢問用戶對(duì)價(jià)格的接受度,請(qǐng)使用PSM價(jià)格敏感度的模型。PSM模型下,問題是這樣問的:

(實(shí)例 調(diào)研知識(shí)音頻專欄價(jià)格敏感度)

問的是用戶對(duì)各個(gè)價(jià)格區(qū)間的接受度,通常我們只會(huì)設(shè)置價(jià)格敏感相關(guān)的4個(gè)選項(xiàng),“太便宜”、“比較便宜”、“有點(diǎn)貴”、“太貴”。特別說明:上圖我是增加了一個(gè)中間選項(xiàng)“剛好”,實(shí)際上這個(gè)選項(xiàng)在統(tǒng)計(jì)中沒有什么作用,純粹是站在用戶視角考慮用戶習(xí)慣思維增加的選項(xiàng)。

然后根據(jù)各選項(xiàng)的數(shù)據(jù)可以繪出PSM模型的曲線圖:

(實(shí)例 調(diào)研知識(shí)音頻專欄價(jià)格敏感度)

  • P1:是用戶可接受價(jià)格的最低值,“有點(diǎn)貴”和“太便宜”的交點(diǎn);
  • P3:是用戶可接受價(jià)格的最高值,“太貴”和“比較便宜”的交點(diǎn);
  • P2:是最佳價(jià)格,用戶覺得不會(huì)太貴也不會(huì)太便宜,“太貴”和“太便宜”的交點(diǎn)。

另外,除了用PSM模型曲線圖,也可以用百分百堆棧圖,這個(gè)比較直觀,可以看出最佳的價(jià)格區(qū)間是哪個(gè)。我的判斷參考數(shù)據(jù)是:選擇“比較便宜”和“有點(diǎn)貴”的比例超過80%的價(jià)格區(qū)間,即為最佳區(qū)間。(下圖還要加上“剛好”的比例)

(實(shí)例 調(diào)研知識(shí)音頻專欄價(jià)格敏感度)

坑2 你花在我們產(chǎn)品上的時(shí)間有多少?

問卷收集完后,你查看了下用戶回饋的數(shù)據(jù),你發(fā)現(xiàn)用戶還挺活躍的。但是,一查看后臺(tái)數(shù)據(jù)對(duì)比,怎么活躍才這么低,不科學(xué)呀!

誤區(qū)2 幸存者偏差

有個(gè)故事,美國空軍發(fā)現(xiàn)能飛回來的戰(zhàn)斗機(jī)中,機(jī)翼的彈孔比機(jī)身的多,那么升級(jí)設(shè)備加強(qiáng)防彈效果的時(shí)候,應(yīng)該著重機(jī)翼還是機(jī)身?按照數(shù)據(jù)來看,機(jī)翼比機(jī)身的彈孔多,應(yīng)該著重升級(jí)機(jī)翼。但是,事實(shí)是,應(yīng)該著重機(jī)身。因?yàn)闄C(jī)身中彈多的都?xì)г诂F(xiàn)場飛不回來了,機(jī)翼中彈還能安全飛回來。

把問卷投放在自家產(chǎn)品上,愿意給你填問卷的其實(shí)大部分已經(jīng)是活躍用戶,沉默用戶不使用你的產(chǎn)品更不會(huì)給你填問卷。所以說,給你找茬的用戶都是真愛。

如何破?

其實(shí)方法前面也提到過,就是看后臺(tái)數(shù)據(jù),用戶的行為比他說的更真實(shí)。如果后臺(tái)埋點(diǎn)還沒埋得到你想的數(shù)據(jù),那怎么辦?

分為事前和事后,兩個(gè)應(yīng)對(duì)方法。

  • 事前,根據(jù)用戶類型進(jìn)行配比,進(jìn)行定向隨機(jī)投放,按比例收集問卷。
  • 事后,根據(jù)用戶類型的比例進(jìn)行權(quán)重配比。比如:用戶A和B分別占比30%和70%,根據(jù)收集回來的問卷按照用戶類型分類統(tǒng)計(jì)數(shù)據(jù),最后乘以權(quán)重配比,得出最后的數(shù)據(jù)。

以上是兩個(gè)具體的例子。

總的來說

在做問卷的時(shí)候,需要警惕以下的問題:

  • 用戶通常言行不一。用戶給你的答案不一定是正確的,用戶在實(shí)際場景中的選擇,可能和他選擇的選項(xiàng)大相徑庭??梢粤私庀滤髂嵊螒驒C(jī)黑黃色偏好調(diào)研的案例。
  • 用戶的是搖擺不定的。當(dāng)用戶面對(duì)抽象性問題或他沒有面對(duì)過的問題時(shí),他會(huì)給出傾向問卷設(shè)計(jì)者預(yù)設(shè)立場的答案。盡量用事物或場景觸發(fā)用戶的無意識(shí)行為,或說出代入場景的真實(shí)體驗(yàn)。
  • 能觸達(dá)用戶群體是與全體用戶有偏差的。預(yù)防樣本少、非隨機(jī)調(diào)研的情況出現(xiàn),不然會(huì)出現(xiàn)以偏概全的結(jié)果。反例比如:只選擇本地區(qū)用戶、優(yōu)先聯(lián)系有留聯(lián)系方式的用戶。

設(shè)計(jì)問卷中,除了問卷調(diào)研的目的,更多地是要思考問卷本身(含問題設(shè)計(jì)、文案、排版)對(duì)用戶的影響,盡量還原用戶的行為和思考,剔除其他影響,這需要關(guān)注問卷中很多的細(xì)節(jié)。

最后的建議是——多踩坑。

 

作者:湘塵,微信公眾號(hào):塵言運(yùn)營(ID:Operator-Chen)。在全棧運(yùn)營路上狂奔中的1歲半運(yùn)營喵,喜歡運(yùn)營、用研、營銷,歡迎交流勾搭~

本文由 @湘塵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Pexels ,基于 CC0 協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!