8個常見的研究者認知偏誤陷阱
認知偏誤是一件很常見的事情,尤其在用戶調研中,它的出現(xiàn)更容易誤導研究者踏入認知陷阱,將產品與功能越改越錯。這時候,準確洞察研究者認知偏誤陷阱就顯得非常重要了。
認知偏誤(Cognitive bias)是一種常見的現(xiàn)象,它是指當我們思考問題或做決策時,大腦會有一些固定的思維傾向。
這個過程多是無意識的,有時也會帶來正面作用,如幫助我們在紛繁復雜的環(huán)境中節(jié)省思考時間,更高效地做出決定。但是在研究中,認知偏誤易導致研究結果不準確,降低研究的價值。
我們都希望研究是客觀、理性、反映真實情況的,了解常見的認知偏誤可以幫助我們在工作中盡量規(guī)避它們,得出更準確的結論。
實際上每個人都會有認知偏誤,包括研究者和用戶。
今天我們就來說說研究者的常見認知偏誤,下次有機會再談談用戶的,敬請期待。
一、確認偏誤(Confirmation bias)
當人們本來就持有某種觀點時,對這種觀點的感知和注意度會被放大,會選擇性地回憶或收集關于它的事例。人們對于自己原本就相信的觀點會更容易接受,而把反面觀點擱置在一旁。
舉個例子:有些人認為女司機不擅長開車,更容易造成事故,所以當新聞中的事故與女司機有關時,他們會覺得“果然如此”。而實際上男司機的事故率比女司機更高。
在用戶研究中,當你的預設想法是用戶對A設計的滿意度比B設計更高時,在研究中你可能會更關注用戶提到的A設計的優(yōu)點、收集更多用戶對于A設計的正面評價。當用戶表示對A設計滿意時,會覺得“果然是這樣”。這種偏誤會讓你遺漏許多其它信息。
二、虛假一致性偏差(False consensus effect)
虛假一致性偏差是指人們很容易認為其他人跟自己有相同的想法,從而高估這些觀點的普遍適用性。
舉個例子:有一種冷叫做“你媽覺得你冷”。媽媽感覺到了冬天的寒冷,擔心我們也會冷,于是催促我們穿秋褲,但可能年輕人并沒覺得冷。此時媽媽的想法就帶有虛假一致性偏差。
當年輕人吐槽父母朋友圈轉的雞湯文、養(yǎng)生文無用時,也是一種虛假一致性偏差。
在用戶研究中,我們也很容易陷入虛假一致性偏差。
比如,當你認為產品的某個方面比較好或者你對產品的某個方面不滿意,可能會傾向于認為這也是許多其他用戶的感受,但也許事實并非如此。
在對海外產品做研究時尤其要注意這一點,研究者與用戶的巨大文化背景差異可能會導致研究結果的嚴重失真。
三、聚類錯覺(Clustering Illusion)
聚類錯覺產生的原因是人們傾向于從隨機事件中找出某種規(guī)律。
舉個例子:如果張三連著幾次在群里搶紅包都搶到最大份,他可能會覺得自己最近“手氣特別旺”。這就是一種聚類錯覺,人們試圖將幾次隨機的結果聯(lián)系起來,用某種規(guī)律進行解釋。
在研究中,聚類錯覺容易出現(xiàn)在小樣本研究中。
比如,我們在小樣本中發(fā)現(xiàn)了被訪者的某些共性,總結出某些規(guī)律,并期望它們在更大的群體中也適用,但這種共性可能只是源于隨機,而非事實。
我們應該謹慎對待在小樣本研究中的發(fā)現(xiàn),思考它們是否只是隨機結果,最好用其它研究方法幫助驗證或參考二手資料,避免出現(xiàn)聚類錯覺。
四、知識的詛咒(Curse of knowledge)
培根說過,“知識就是力量”。它怎么會帶來詛咒呢?知道的更多難道不好嗎?
知識的詛咒是指——人一旦知道了某件事,就沒辦法想象不知道的樣子,也很難體會到不知者的感受。
舉個例子:在某次考試之后的課堂上,
- 老師:“同學們,這是一道送分題啊,大家都做對了吧?只要先連一條輔助線,再……”
- 學生:“這是啥?這又是啥?這些都是啥?”
在用戶研究中,知識的詛咒也會給我們帶來許多困擾。
比如,我們對自己的產品很熟悉,就很難想象新手用戶是如何使用它的,使用感受如何。我們可能會驚訝地發(fā)現(xiàn),即使在我們看起來操作十分簡單的功能,新手用戶使用起來也很吃力。
再比如在設計問卷或者訪談腳本時,我們可能會不小心加入一些專業(yè)術語而不自知,讓用戶看得一頭霧水。
研究者的有些認知偏誤還會直接影響到用戶的行為和反應。
五、選擇性偏差(Selection bias)
選擇性偏差是指過程或樣本的非隨機性導致結論的不準確。
舉個例子:假設張三想統(tǒng)計人們的工資水平,他拿著一份個稅納稅名單開始了調查,結果發(fā)現(xiàn),所有人的工資都在5000以上。
這個結果當然是不準確的,因為5000是我國的個稅起征點,工資超過5000的人才會出現(xiàn)在納稅名單上,張三的研究樣本是有選擇性偏差的,不能代表總體。
在用戶研究中,選擇性偏差不僅會出現(xiàn)在樣本選擇中,還可能會出現(xiàn)在研究設計中。
比如在可用性測試中,我們設計了一系列的任務,研究結果自然就無法包含未選中的任務。而且這些任務也會讓用戶產生一種心理,既然它是設定好的任務,就一定是可以被完成的,他們也會耐心地、多次嘗試去完成任務,以期達成某種結果。
當然我們也不會設置無法完成的任務。但在實際的使用情境中,用戶并不知道哪些操作是有結果的,哪些沒有,他們的行為和態(tài)度可能與可用性測試中不同。
六、框架效應(Framing effect)
框架效應是指——對于同一個問題,當描述有所不同時,人們給出的選擇也會有差異。
舉個例子:假如說“XX疾病的存活率達93%”,人們可能會覺得這種疾病沒有很嚴重;但如果說“XX疾病的致死率達7%”,那么人們可能會覺得很嚴重。
在用戶研究中,我們也要避免框架效應帶來的影響,不要設置引導性的問題,題目中不要用明顯的正面或負面詞匯,盡量用中立的語言描述。避免題目的描述干擾到用戶的選擇,而導致研究結果不準確。
七、觀察者期望效應(Observer-Expectancy Effect)
觀察者期望效應是指——研究者有時可能會期望出現(xiàn)某種結果,他們無意識地操縱了試驗過程,或者錯誤地解釋實驗結果,導致研究結果嚴重歪曲。
一般來說,被觀察者幾乎無法不受觀察行為的影響,當研究是針對人時,被試者會更容易感覺到研究者無意中透露的期望,從而做出相符的反應。
在用戶研究中,研究者的表情、肢體語言等都可能會反映出自己所期待的結果,如果用戶察覺到了這些,就可能做一些迎合研究者期望的反應。
比如,如果研究者無意中透露出某個新功能是他們團隊非常重視、投入巨大、報有很大期待的功能,用戶可能會更傾向于對這個功能給出正向的評價,肯定該功能的市場前景。但這也許并非他真實的感覺。
如何避免認知偏誤
如何避免這些認知偏誤呢?這里有一些建議:
1. 研究方案:避免單一的研究方法和單一的樣本渠道來源
多種研究方法的結果相互驗證,多種樣本渠道來源互做補充,幫助我們避免“聚類錯覺”和“選擇性偏差”,讓我們的研究結果更準確。
2. 研究準備期:問卷試填、試訪談、預測試
找其他人進行試研究,幫我們在正式研究開始前發(fā)現(xiàn)問卷中是否含有引導性問題、專業(yè)術語、歧義用語等不便于用戶理解的地方;訪談或測試中是否出現(xiàn)不適當?shù)南乱庾R行為等。避免因“知識的詛咒”、“框架效應”和“觀察者期望效應”導致的研究結果不準確。
3. 研究進行時:多人合作研究、二手資料做參考、聽取他人意見
多人共同參與研究和分析,有助于避免認知偏誤。訪談時,每個研究員追問的點可能有所不同;走查評估時大家對問題的關注點也可能不一樣。單個人的研究難免容易陷入“確認偏誤”、“虛假一致性偏差”。綜合大家的觀點,會讓研究結果更客觀。
如果只能由單人完成研究,可以收集二手資料,閱讀前人研究做參考。同時聽取來自他人的意見,幫助拓展思路,包括用研同事和產品經理、設計師等非用研同事。
4. 研究結束后:復盤研究
研究結束后,反問自己:
- 研究的過程是否客觀?
- 研究的結論是否可信?
- 所有的結論都是有數(shù)據(jù)支撐、符合邏輯的嗎?
- 有哪些結論是帶有偏誤的嗎?
- 是否漏掉了一些很重要的結論?
- 是否與其他人的研究結果相似或相悖?
- 相悖原因是什么?
- 下次研究將如何做改善?
彩蛋:最后還有一個認知偏誤介紹給大家。
八、偏見盲點(bias blind spot)
偏見盲點是指——我們都傾向于認為自己比別人更少受到認知偏誤的影響。人們都有偏見盲點,更容易發(fā)現(xiàn)別人出現(xiàn)的認知偏誤而忽略自己存在的認知偏誤。
舉個例子:如果你看到這篇文章后覺得“這些都是別人容易遇到的,我可比他們客觀多了”,那么你可能就陷入了偏見盲點。
(所以,這里要大張旗鼓地求翻牌了:為了證明自己沒有陷入偏見盲點,親愛的讀者們,快來點贊吧、轉發(fā)吧、收藏吧!便于以后實時提醒自己哦~)
參考文獻
1. Cognitive bias cheat sheet(https://betterhumans.coach.me/cognitive-bias-cheat-sheet-55a472476b18)
2. 20 cognitive biases that screw up your decisions(https://www.businessinsider.com.au/cognitive-biases-that-affect-decisions-2015-8)
3. 6 common cognitive biases UXers should know(https://medium.muz.li/6-common-cognitive-biases-uxers-should-know-750b8c7af1a8)
4. Cognitive biases in user research(https://blog.optimalworkshop.com/cognitive-biases-user-research)
5. Combating Bias in User Testing(https://blog.fullstory.com/combating-bias-in-user-testing/)
6. Don’t Let Your Brain Deceive You: Avoiding Bias In Your UX Feedback(https://www.smashingmagazine.com/2017/10/avoid-bias-ux-feedback/)
7. Overcoming bias in research and product design(https://medium.theuxblog.com/overcoming-bias-in-research-and-product-design-f35a0d92496d)
8. Overcoming Cognitive Bias in User Research(https://npr.design/overcoming-cognitive-bias-in-user-research-e4082f4506a)
9. User Research Bias: How It Hurts Your App And What You Can Do About It(https://usabilitygeek.com/user-research-bias/)
作者: Sijia,公眾號:京東設計中心JDC(ID:JDCdesign)
來源:http://jdc.jd.com/archives/212946
題圖來自Unsplash,基于CC0協(xié)議
怪不得京東戰(zhàn)略上總輸給阿里和拼多多……
推薦一本書《用事實說話》,用陳述性的描述能夠讓自己從旁觀角度更客觀看待事物