用戶日志法:持續(xù)研究更真實(shí)用戶體驗(yàn)
大多數(shù)的產(chǎn)品體驗(yàn)研究方法都是衡量了當(dāng)時(shí)當(dāng)刻的用戶體驗(yàn),但是無法體現(xiàn)一段周期的用戶體驗(yàn),具有一定的局限性。而用戶日志,就是一個(gè)可持續(xù)研究的方法。
深度訪談、焦點(diǎn)小組、問卷法、可用性測(cè)試……這些耳熟能詳?shù)姆椒?,大家都不陌生,即使沒用過但應(yīng)該都聽過。
沒錯(cuò),這些研究方法可以了解用戶對(duì)產(chǎn)品的直接體驗(yàn),但可能僅是此刻的體驗(yàn),就像是曲線上的一個(gè)點(diǎn)。這當(dāng)然是有價(jià)值的,但如果我們能了解到用戶從產(chǎn)品小白變成產(chǎn)品專家的成長曲線,就可以更好預(yù)測(cè)用戶在不同階段想要什么,有助于設(shè)計(jì)出完整的體驗(yàn)方式。
因此,我們需要用一些有助于了解用戶的行為和態(tài)度是如何隨時(shí)間變化的方法,這就是可持續(xù)研究的方法。
你可以說,這很簡單嘛,我們可以做縱向研究:一次性招募一些用戶,定期邀請(qǐng)他們,并觀察他們的使用行為和態(tài)度如何變化。
但是,我們不能忽視學(xué)習(xí)效應(yīng)。如果在這種縱向研究中,我們重復(fù)用那些常見的方法,比如可用性測(cè)試、焦點(diǎn)小組、問卷等等,而且還是對(duì)相同的人去使用,那么研究過程會(huì)失去客觀性,研究結(jié)果也會(huì)失去有效性。
這里給大家分享一種適合做持續(xù)研究的方法:用戶日志法,也可以叫做日記研究(diary study)、日記調(diào)查法(The diary survey method),有些公司稱這種方法為留置研究。叫什么不重要,關(guān)鍵是這種方法能了解產(chǎn)品對(duì)人們體驗(yàn)的長期效果,以及體驗(yàn)如何隨時(shí)間變化。
什么是用戶日志法
用戶日志法,顧名思義,要求一組人通過寫日記的方式,按時(shí)記錄他們使用產(chǎn)品的活動(dòng),而我們來研究這些記錄。
日記可以跟蹤用戶在使用產(chǎn)品過程中犯了哪些錯(cuò)誤,吸取了哪些經(jīng)驗(yàn)教訓(xùn),學(xué)會(huì)了什么,他們經(jīng)常如何使用產(chǎn)品等等;也可以讓用戶記錄我們感興趣的、希望讓用戶去記錄的東西,甚至還可以通過記錄用戶周圍的地點(diǎn)和人群,讓我們對(duì)他們的生活有一個(gè)大體的了解。
然后我們對(duì)日記進(jìn)行編碼并分析,即使是很少的日記樣本,也能幫助我們發(fā)現(xiàn)其他方法難以發(fā)現(xiàn)的問題。
而且日記研究最適合用于產(chǎn)品的全功能分析,這是其他受時(shí)間限制的單次研究無法做到的,比如1小時(shí)的可用性測(cè)試或者訪談,我們無法涉及產(chǎn)品的方方面面。
用戶日志法的優(yōu)點(diǎn)
1. 參與的用戶不受地理限制
我們可以根據(jù)用戶的地理分布來安排各地樣本數(shù),無論你的用戶分布在全國、還是全世界,都可以參與。
這樣就可以進(jìn)行國際化研究,了解文化和地理差異會(huì)如何影響人們對(duì)產(chǎn)品的體驗(yàn)。
2. 記錄用戶在一段時(shí)間內(nèi)的體驗(yàn)變化過程,模擬/還原真實(shí)的產(chǎn)品體驗(yàn)過程
畢竟很多在實(shí)驗(yàn)室/辦公室進(jìn)行的研究,只能研究此刻的用戶體驗(yàn),并且無法保障用戶的表現(xiàn)是否受到了人為環(huán)境的影響。
3. 對(duì)樣本數(shù)量的要求不高
至少保證有6名樣本參與(和其他定性研究對(duì)樣本的要求一樣)。
4. 對(duì)持續(xù)時(shí)間的要求也不高
如果是每天都要使用的產(chǎn)品,一周時(shí)間就足以發(fā)現(xiàn)用戶的使用變化。
當(dāng)然,如果產(chǎn)品是每周使用一次的頻率,大概需要2個(gè)月的記錄時(shí)間才能度量變化。
5. 對(duì)研究者的人數(shù)要求不高
一位研究人員,一般可以同時(shí)管理好5~10名參加者,包括每天和他們溝通進(jìn)行跟進(jìn),了解并解決他們遇到的問題,鼓勵(lì)他們持續(xù)記日記不要放棄,有時(shí)候要根據(jù)他們的反饋調(diào)整日記結(jié)構(gòu)。
6. 記錄內(nèi)容更真實(shí)、更細(xì)致
當(dāng)面的溝通可能會(huì)使用戶有所保留,尤其是在付費(fèi)調(diào)研的項(xiàng)目中。而寫日記的方式,用戶更容易真實(shí)地描述自己的生活狀態(tài)、對(duì)某個(gè)事情的態(tài)度,與日記的對(duì)話有時(shí)候會(huì)比當(dāng)面表述更加生動(dòng)且細(xì)致(寫過日記的人能體會(huì))。
7. 用戶又更充裕的體驗(yàn)時(shí)間
在一周或者更長一些的時(shí)間內(nèi),對(duì)于我們?cè)O(shè)定的體驗(yàn)任務(wù),用戶有更充裕的體驗(yàn)時(shí)間;這樣的真實(shí)環(huán)境可能要比在實(shí)驗(yàn)室/辦公室匆忙地進(jìn)行體驗(yàn)要好。
用戶日志法的兩種主要類型
正如訪談可以分為結(jié)構(gòu)化訪談與非結(jié)構(gòu)化訪談兩種,日志研究也有用戶自驅(qū)的非結(jié)構(gòu)化日記,和研究者制定好的結(jié)構(gòu)化日記。
有什么區(qū)別呢?
用戶自驅(qū)的非結(jié)構(gòu)化日記
也就是用戶想寫啥寫啥,我們會(huì)建議希望其填寫什么,但不會(huì)強(qiáng)行規(guī)定什么不能寫;可以是產(chǎn)品的日常體驗(yàn),可以是使用產(chǎn)品時(shí)遇到的問題,也可以是自己今天的心情、和家人朋友的相處、居住的環(huán)境、工作的氛圍等等。
對(duì)于非結(jié)構(gòu)化日記,指導(dǎo)說明的文檔就顯得非常重要。指導(dǎo)文檔要具體、簡潔并且完整。
除了鼓勵(lì)積極參與、持續(xù)記錄外,還要具備以下重要信息:
- 讓參與者知道,他們提交的內(nèi)容,并不是用來測(cè)試他們的智商或者能力;要測(cè)試的是產(chǎn)品,他們有責(zé)任告訴我們產(chǎn)品的失敗之處。
- 鼓勵(lì)參與者描述細(xì)節(jié),想寫多少都可以,但我們想看到盡可能多的細(xì)節(jié)。
- 日記內(nèi)容盡可能與體驗(yàn)相關(guān),正面負(fù)面、大小都可以,我們對(duì)所有體驗(yàn)都感興趣。
- 如果使用不到一些功能,也沒關(guān)系,請(qǐng)?jiān)敿?xì)描述這種情況。
- 如果不確定某些內(nèi)容是否可以在日記中填寫,也請(qǐng)把這些內(nèi)容放到日記中。
- 提供研究者的聯(lián)系方式。
指導(dǎo)發(fā)出后,還要和參與者電話溝通,以便能說明清楚更多細(xì)節(jié)的注意事項(xiàng)。
結(jié)構(gòu)化日記
為日記提前設(shè)計(jì)好記錄的結(jié)構(gòu)與方式,可以避免出現(xiàn)大量我們不關(guān)心的信息,這樣的方式可以給參與者明確的記錄指南,幫忙他們不跑偏。
結(jié)構(gòu)化日記可以分為三種:調(diào)查日記、可用性日記、問題報(bào)告日記。
1)調(diào)查日記
提出一系列問題,參與者通過回答這些問題來完成每次日記的填寫,這種結(jié)構(gòu)性日記很像問卷調(diào)研。
每次的日記可以設(shè)置不同的題目,關(guān)注產(chǎn)品的不同方面;有些問題也可以重復(fù),這樣就能度量參與者的體驗(yàn)如何產(chǎn)生變化。
可以設(shè)置開放式問題,給參與者提供更加深入描述體驗(yàn)的機(jī)會(huì)。
調(diào)查日記非常適用于像游戲這樣有成長屬性的產(chǎn)品,每次的日記會(huì)隨著游戲進(jìn)度的深入、級(jí)別的提升而要回答不同的體驗(yàn)問題。
2)可用性日記
請(qǐng)參與者根據(jù)日記,每次執(zhí)行特定的任務(wù),或者讓他們看特定的內(nèi)容,請(qǐng)他們?cè)u(píng)估不同的模塊,并描述使用情況。
這很像遠(yuǎn)程可用性測(cè)試,如果要研究指定的某個(gè)模塊、功能的使用體驗(yàn)是如何隨時(shí)間變化的,這種結(jié)構(gòu)性日記是最適合不過的了。
3)問題報(bào)告日記
就像是一份隨時(shí)進(jìn)行問題反饋的表格,參與者無論什么時(shí)候有了問題或者見解,就可以進(jìn)行填寫。
這種日記的填寫難度最低,還能找到產(chǎn)品上最大的痛點(diǎn)。這類問題報(bào)告日記的研究,可以在整個(gè)產(chǎn)品周期中不斷進(jìn)行,我們可以用文檔形式記錄用戶碰到的問題。
雖然看起來這個(gè)方法是最沒有含金量的,但是這種日記很容易大規(guī)模開展,從而提高總反饋率。
小結(jié)
無論是采用哪種日記結(jié)構(gòu)和形式,哪怕項(xiàng)目已經(jīng)在進(jìn)行中,也要不斷評(píng)估日記的記錄形式有沒有用,參與者是否能理解,是否能引導(dǎo)參與者記錄你所關(guān)注的緯度。
如果通過及時(shí)的回收,發(fā)現(xiàn)參與者的記錄沒有符合我們想要的方式,那就需要找出問題,及時(shí)調(diào)整,更新日記形式。
如何分析日記
首先,一收到日記就應(yīng)該馬上開始仔細(xì)閱讀,既要比較不同參與者之間的差異,也要分析同一參與者的變化趨勢(shì),建立假設(shè)。
然后,就是編碼與分析,方式類似焦點(diǎn)小組或者多位樣本的深度訪談,這里略。
最后,需要結(jié)合焦點(diǎn)小組或者訪談進(jìn)行深入洞察,更詳細(xì)的了解體驗(yàn)記錄背后的實(shí)際情況。
日志研究項(xiàng)目執(zhí)行的關(guān)鍵因素
1)參與用戶的招募
要招募有責(zé)任心、表達(dá)能力強(qiáng)的參與者;
選擇一些候補(bǔ)參與者。
2)制作日記材料
讓日記材料看起來專業(yè)、吸引人;
設(shè)計(jì)并提供一些小貼紙或者其他的道具,使日記的記錄具有趣味性。
3)預(yù)測(cè)試很重要
提前找一些用戶進(jìn)行預(yù)測(cè)試,發(fā)現(xiàn)問題及時(shí)完善;
注意完成一次日記所需要的時(shí)間,一般為20分鐘,避免超過30分鐘。
4)持續(xù)關(guān)注參與者
在日志研究項(xiàng)目的進(jìn)行中,研究人員需要每天和參與者保持聯(lián)系,不能放任參與者自己玩。
研究人員要能持久維持參與者的積極性,還要及時(shí)捕捉參與者認(rèn)為不必要報(bào)告的問題,從而進(jìn)行日記結(jié)構(gòu)的調(diào)整。
5)獎(jiǎng)勵(lì)機(jī)制
獎(jiǎng)勵(lì)要和參與者完成日記記錄所花費(fèi)的時(shí)間能夠匹配。
一方面是總體獎(jiǎng)勵(lì),比如每次記日記需要30分鐘,一周7次日記需要3.5個(gè)小時(shí)。按照國內(nèi)一般的調(diào)研費(fèi)用200元/小時(shí)計(jì)算的話,一周的日記項(xiàng)目需要至少支付單名用戶700元。如果是國外的用戶,則調(diào)研費(fèi)用需要按照當(dāng)?shù)貥?biāo)準(zhǔn)費(fèi)率分開計(jì)算,比如10年前我參加的一項(xiàng)美國項(xiàng)目,調(diào)研費(fèi)用已經(jīng)是60美元/小時(shí)/人。
另一方面,日志研究項(xiàng)目最大的風(fēng)險(xiǎn)是參與者會(huì)中途退出。除了總體獎(jiǎng)勵(lì)會(huì)影響參與者的退出率以外,過程中是否能時(shí)不時(shí)為參與者提供一些小驚喜,也對(duì)提高任務(wù)完成率有較大的幫助。
6)時(shí)刻提醒
彌補(bǔ)非面對(duì)面研究裂縫的一個(gè)重要方法,就是時(shí)刻提醒。日志研究不是當(dāng)面進(jìn)行,主要得依靠時(shí)刻提醒。因?yàn)檫@項(xiàng)研究主要依賴于參與者的自覺性,他們很容易不夠重視日志的持續(xù)記錄。
所以,我們要時(shí)刻提醒他們的完整參與對(duì)產(chǎn)品的重要性,告訴參與者,你一直在等他還沒有提交的日記,他的日記對(duì)公司非常重要。
但切記,不要每天發(fā)好幾次類似“請(qǐng)保持良好的日志填寫狀態(tài)喔~“這種垃圾信息。
7)收發(fā)日志
如果是紙質(zhì)的日記本,需要讓用戶把文件寄回,快遞費(fèi)可以到付;如果是語音的日記,或者一些在線文檔的話,則回收會(huì)更方便,如微信群/QQ群/論壇/問卷系統(tǒng)/郵件/石墨等。
8)安排后續(xù)訪談
回收日志后的第一周內(nèi),趁著參與者腦海中日志記錄的事件仍然記憶猶新時(shí),及時(shí)安排后續(xù)的訪談。
好了,關(guān)于用戶日志這種研究方法,就和大家分享到這里。實(shí)際項(xiàng)目中有任何不解的地方,歡迎找我討論。
作者:媛媛大王(微信公眾號(hào):用戶研究社?),資深用戶研究員
本文由 @媛媛大王 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Pexels ,基于 CC0 協(xié)議
這個(gè)調(diào)研周期感覺挺長的