我用ChatGPT做用研?
ChatGPT火出圈,各行各業(yè)紛紛在思考和實(shí)踐如何借助ChatGPT降本增效。用戶研究工作中涉及到大量知識獲取、文本總結(jié)、數(shù)據(jù)分析、價(jià)值洞察等工作,無疑也是ChatGPT發(fā)揮作用的場景之一。本文就ChatGPT在用戶研究場景中的作用做了初步探索,總體來看ChatGPT尚不能完全取代用戶研究員,但也展現(xiàn)出多種輔助用戶研究工作的潛力。
ChatGPT簡介
ChatGPT是OpenAI推出的自然語言對話機(jī)器人,在推出不到兩個(gè)月的時(shí)間里,月活就突破了一億。與之相比,TikTok和Instagram達(dá)到這一成績分別用時(shí)九個(gè)月和兩年半。在業(yè)界,微軟于2月初火速上線整合ChatGPT的Bing搜索,還計(jì)劃將其整合進(jìn)Office全家桶,在落地應(yīng)用上大踏步前進(jìn)。與此同時(shí),谷歌也緊急上線競品Bard,正面硬剛(雖然首秀翻車,給出錯(cuò)誤答案,導(dǎo)致股價(jià)大跌)。此外,百度、阿里等國內(nèi)科技企業(yè)也紛紛開始類ChatGPT的開發(fā)和內(nèi)測。
對于ChatGPT是什么,相信大家已經(jīng)有所了解,這里就偷懶讓ChatGPT親自答一下(圖 1)。相比于之前的聊天機(jī)器人,ChatGPT在語言理解、表達(dá)等方面都有非常驚艷的表現(xiàn),而這離不開其背后強(qiáng)大的技術(shù),《一篇不是很枯燥的ChatGPT閑談》對ChatGPT的技術(shù)做了非常詳實(shí)的介紹,這里就不再多說。
圖 1 ChatGPT自我介紹
ChatGPT的這些能力在整合搜索結(jié)果、寫代碼、Debug、寫文章等應(yīng)用場景中表現(xiàn)亮眼。但同時(shí)也存在不少局限,比如數(shù)學(xué)能力低、回復(fù)啰嗦等。此外ChatGPT雖然可以拒絕回答違法違規(guī)(比如如何偷東西等)、超出能力范圍(比如預(yù)測大賽冠軍等)的問題,但目前其實(shí)是可以通過“我們來玩角色扮演的游戲吧”的方式繞過去。
比如“賽博算卦”~~首先直接讓ChatGPT算卦會被無情拒絕(圖 2),ChatGPT說作為一個(gè)AI模型,它無法推算八字排盤和流年運(yùn)勢。但換一種思路,我們可以和ChatGPT“商量”玩算命先生的游戲,讓ChatGPT扮演算命先生,我們來扮演顧客,從而獲得回答(圖 3),雖然我不懂算卦,但答案看上去還是很專業(yè)的。
圖 2 ChatGPT拒絕算卦
圖 3 和ChatGPT玩算命先生的游戲(參考自https://www.zhihu.com/question/570729170/answer/2794969678)
ChatGPT能替代用戶研究嗎?
雖然還存在著這樣那樣的局限性,但ChatGPT所顯現(xiàn)出的巨大應(yīng)用潛力使得關(guān)于ChatGPT可以取代哪些職業(yè)的討論成為當(dāng)下的熱門話題。不禁讓從事用戶研究工作的我好奇:ChatGPT能夠給用戶研究帶來什么樣的改變?會讓用戶研究員失業(yè)嗎?
懷著這樣的想法,我試著使用ChatGPT對數(shù)字藏品的價(jià)值進(jìn)行用戶調(diào)研,包括案頭分析、研究設(shè)計(jì)、訪談執(zhí)行和分析、問卷設(shè)計(jì)和分析以及報(bào)告撰寫等主要研究環(huán)節(jié)。從初步的探索來看,當(dāng)前ChatGPT顯然不能完全取代用戶研究員的工作,但是在以下四個(gè)方面已經(jīng)展現(xiàn)出其作為輔助工具,為用戶研究降本增效的潛力:
- 高效整合內(nèi)容的搜索引擎:提升在理解需求和概念、獲得HowTo答案(尤其是程序相關(guān))等方面的效率;
- 能力多樣的“配菜員”:提供初步的研究框架、訪談提綱等,針對訪談記錄、數(shù)據(jù)結(jié)果總結(jié)關(guān)鍵信息等,輔助研究員在此基礎(chǔ)上修改提升;
- 提升內(nèi)容表達(dá)的潤色工具:根據(jù)需求轉(zhuǎn)換成不同風(fēng)格的表達(dá)、識別錯(cuò)別字等,但當(dāng)前英文比中文的潤色效果更好;
- 用戶訪談降本增效的“模擬器”:通過讓ChatGPT扮演主持人訪談用戶,或者扮演典型用戶接受訪談,提升用戶訪談的效率。
讓我們依次看下ChatGPT在這些方面的具體表現(xiàn):
一、高效整合內(nèi)容的搜索引擎
和傳統(tǒng)搜索提供多個(gè)相關(guān)結(jié)果不同,ChatGPT能夠根據(jù)多個(gè)搜索結(jié)果,提供整合后的內(nèi)容。這種高效整合內(nèi)容的能力可以幫助用戶研究員在需求理解、案頭研究、數(shù)據(jù)分析等環(huán)節(jié)更快速地獲得高價(jià)值(如相關(guān)性高、總結(jié)性強(qiáng)、廢話少等)的知識性內(nèi)容。
比如針對“數(shù)字藏品的核心價(jià)值”的研究問題,在需求理解、案頭研究階段,通過詢問“什么是數(shù)字藏品”(圖 4),ChatGPT用清晰有條理的內(nèi)容介紹了數(shù)字藏品的概念、技術(shù)特點(diǎn)等。還可以通過進(jìn)一步追問,得到如ChatGPT對數(shù)字藏品的價(jià)值(圖 5)、具體的藝術(shù)價(jià)值(圖 6)、相關(guān)研究資源推薦(圖 7)等更為詳實(shí)的回答,這些內(nèi)容確實(shí)可以幫助我們更快速地加深對研究主題的理解,輔助和啟發(fā)研究方案設(shè)計(jì)等。
圖 4 數(shù)字藏品概念釋義
圖 5 數(shù)字藏品有哪些價(jià)值
圖 6 追問數(shù)字藏品的藝術(shù)價(jià)值
圖 7 推薦相關(guān)研究資源
但在此過程中,特別需要我們提高警惕,注意對ChatGPT答案的真實(shí)性和準(zhǔn)確性進(jìn)行判斷、交叉驗(yàn)證等。這是因?yàn)镃hatGPT會很“自信地”輸出一番胡扯的內(nèi)容(圖 8),如果缺乏相關(guān)背景知識的話,就很容易被誤導(dǎo)。此外ChatGPT無法提供生成答案所依據(jù)的特定參考文獻(xiàn)(圖 9),也提升了對內(nèi)容交叉驗(yàn)證的難度。
圖 8 對某數(shù)字藏品平臺的一番胡扯
圖 9 ChatGPT無法提供答案的參考文獻(xiàn)
除了可以提供研究主題相關(guān)的知識外,ChatGPT也可以在數(shù)據(jù)分析等階段對數(shù)據(jù)分析的方法、實(shí)現(xiàn)代碼提供直接的指導(dǎo),比如“如何使用Excel計(jì)算平均值、TGI指數(shù)”(圖 10),ChatGPT就給出了公式和操作步驟,研究員照著答案操作即可。但目前ChatGPT對常用的數(shù)據(jù)分析軟件SPSS的支持效果有限,比如“根據(jù)變量A的選項(xiàng)生成新的變量B”的SPSS語句(圖 11)就是錯(cuò)誤的,猜測和ChatGPT訓(xùn)練數(shù)據(jù)集中SPSS相關(guān)知識內(nèi)容較少有關(guān)。
圖10 ChatGPT對使用Excel計(jì)算平均值、TGI指數(shù)的指導(dǎo)
圖 11 針對SPSS語句實(shí)現(xiàn),ChatGPT給出錯(cuò)誤答案
但總的來說,作為高效整合內(nèi)容的搜索引擎,ChatGPT可以幫助研究員快速地了解相關(guān)的研究主題,輔助和啟發(fā)研究方案設(shè)計(jì)等,也能提供數(shù)據(jù)分析方法的指導(dǎo)。但在此過程中,需要研究員特別注意ChatGPT答案的真實(shí)性、準(zhǔn)確性,且目前對SPSS的支持不如Python、Excel的效果好。
二、能力多樣的“配菜員”
ChatGPT在用戶研究工作中,第二個(gè)可能的應(yīng)用是作為能力多樣的“配菜員”,從訪談逐字稿、問卷數(shù)據(jù)中提煉關(guān)鍵信息,或者根據(jù)研究員的訴求提供諸如方案設(shè)計(jì)、問卷大綱等多種建議,提高研究員分析數(shù)據(jù)獲得洞察、撰寫訪談提綱或者問卷等任務(wù)的效率。
在這一部分,讓我印象最為深刻的是ChatGPT分析總結(jié)原始數(shù)據(jù)的能力,比如我根據(jù)真實(shí)用戶的訪談記錄改編出以下三個(gè)用戶對使用過的數(shù)字藏品平臺的評價(jià):
用戶1:“我玩的跟他差不多,也就兩個(gè),一個(gè)平臺A一個(gè)平臺B,像那種官方發(fā)出來的那種在自己那里抽獎(jiǎng)的那些我也會看,但是像那種野牌子我一般是不會去玩,那種野牌子感覺沒有什么大公司,我怕我買完收藏了,他就什么都沒了,這種就不會錯(cuò)的。然后區(qū)別其實(shí)我主要是看文物的,別的我其實(shí)看的少,我感覺也沒啥區(qū)別?!?/p>
用戶2:“首先第一個(gè)最大區(qū)別就是因?yàn)閲鴥?nèi)的數(shù)字藏品發(fā)售的話都是以公司為主題,但是國外的首先他只是在中介平臺上傳自己的圖片,然后進(jìn)行發(fā)布,這其實(shí)是國內(nèi)外最大的一個(gè)區(qū)別,然后國內(nèi)的區(qū)別的話,第一個(gè)我覺得是公司可信度不同,就比如說在平臺B上面買的話我完全不用擔(dān)心這個(gè)數(shù)字藏品會不見了,然后還有就是小公司的話就是像他說的會非常容易怕跑路,我收藏的東西就不見了,然后每個(gè)平臺的話其實(shí)他會有錨定的點(diǎn),就是我發(fā)售的藏品的主題內(nèi)容會有什么不同,有一些他會發(fā)售類似說什么古代人物這種,有一些像平臺B這種的話就是主做博物館里面的藏品什么的,還有類似我剛才說的明星那種,就每個(gè)做的內(nèi)容他會不同,大概就這些?!?/p>
用戶3:“我主要玩的話就是平臺C和平臺D,他們不同的話那個(gè)平臺D大部分都是古風(fēng)還有文物之類的,然后平臺C很多衍生的吧,就改的比較厲害的,很多二創(chuàng)的那種,然后他發(fā)行的東西也就不一樣,就經(jīng)常很多種類嘛,買的就比較多了,平臺D就要少一點(diǎn),他那個(gè)發(fā)行時(shí)間要慢一點(diǎn),東西就少一點(diǎn),可以選擇就少一點(diǎn)?!?/p>
然后讓ChatGPT從中總結(jié)出和數(shù)字藏品平臺有關(guān)的關(guān)鍵信息(圖 12)。我們看到ChatGPT總結(jié)的質(zhì)量已經(jīng)比較高了,基本上覆蓋了用戶提到的關(guān)鍵點(diǎn),比如平臺可信度很重要、不同平臺的內(nèi)容存在差異等。
雖然ChatGPT的總結(jié)還僅限于原文觀點(diǎn)的提煉,而不能進(jìn)行更多的關(guān)聯(lián)分析(比如從第一點(diǎn)平臺可信度可以得出用戶需要平臺背書來確保數(shù)字藏品的安全,但基于區(qū)塊鏈的數(shù)字藏品在技術(shù)上本身就具有永久有效、公開透明的特性,造成這種差異的原因可能是現(xiàn)實(shí)中數(shù)字藏品依然依托于中心化平臺的運(yùn)營,也可能是用戶對數(shù)字藏品的技術(shù)特性缺乏認(rèn)同等),但已經(jīng)可以很好地作為進(jìn)一步提煉洞察的材料了。
圖 12 ChatGPT總結(jié)出的與數(shù)字藏品相關(guān)的關(guān)鍵信息
除了總結(jié)訪談記錄,ChatGPT也能從問卷數(shù)據(jù)中得出關(guān)鍵信息,比如表 1是兩種數(shù)字藏品用戶類型在選購數(shù)字藏品時(shí),會主要考慮哪些因素的統(tǒng)計(jì)數(shù)據(jù)(非真實(shí)數(shù)據(jù)):
表 1 收藏用戶和投資用戶選購數(shù)字藏品時(shí)主要考慮的因素(非真實(shí)數(shù)據(jù))
我們可以讓ChatGPT分析兩種類型用戶在選購因素上的差異(圖 13),甚至可以直接讓ChatGPT根據(jù)選購因素得出如何設(shè)計(jì)數(shù)字藏品的建議(圖 14)??梢钥吹?,和訪談記錄總結(jié)類似,ChatGPT能夠針對統(tǒng)計(jì)數(shù)據(jù)得出初步分析結(jié)果(比如兩種用戶更看重的選購因素),但需要研究員在此基礎(chǔ)上做更深度的洞察提煉。
圖 13 對比兩種用戶在選購因素上的異同
圖 14 根據(jù)選購因素得出數(shù)字藏品設(shè)計(jì)的建議
此外,ChatGPT還可以針對研究方案(圖 15和圖 16)、訪談提綱(圖 17和圖 18)、訪談中追問(圖 19)、問卷設(shè)計(jì)(圖 20)、數(shù)據(jù)可視化(圖 21)等提供初步建議,這些建議的質(zhì)量參差不齊,總體來看離真正可用的方案、提綱等尚有不小的距離(比如問卷題目和選項(xiàng)過于簡單、數(shù)據(jù)可視化建議效果不佳等),但已經(jīng)可以用來啟發(fā)研究員在此基礎(chǔ)上修改完善。
圖 15 ChatGPT撰寫研究計(jì)劃
圖 16 追問研究對象如何分組
圖 17 撰寫深度訪談大綱
圖 18 根據(jù)訪談提綱追問具體的訪談問題
圖 19 訪談中追問什么問題
圖 20 撰寫問卷題目和選項(xiàng)
圖 21 數(shù)據(jù)可視化建議
總的來看,ChatGPT在用戶研究的多個(gè)環(huán)節(jié)中均有著扮演“配菜員”的潛力,如分析訪談記錄、問卷數(shù)據(jù),總結(jié)其中的關(guān)鍵信息,或者就研究方案、訪談提綱、問卷題目等提供建議。從目前的效果來看,ChatGPT的答案并不是真正可用的方案、提綱、問卷、洞察等,但確實(shí)可以提高如總結(jié)訪談記錄、分析問卷數(shù)據(jù)的效率,為研究員進(jìn)一步分析,得出更高價(jià)值的洞察提供了豐富的原材料。
三、提升內(nèi)容表達(dá)的潤色工具
ChatGPT修改文案的能力在用戶研究工作中也有用武之地,比如修改問卷題目、報(bào)告內(nèi)容中的錯(cuò)別字。如圖 22所示,ChatGPT成功識別并修改了“參于”、“資質(zhì)”、“隆資”這幾處錯(cuò)別字,并在“甚至”前添加了逗號提升表達(dá)準(zhǔn)確性。其修改效果還是比較驚艷的。
圖 22 錯(cuò)別字修改
此外相信有不少研究員在撰寫英文報(bào)告時(shí),擔(dān)心自己寫出的句子比較生硬、詞不達(dá)意。在這方面,ChatGPT可以很好地幫助我們提升英文報(bào)告的表達(dá),比如使用更精準(zhǔn)更地道的詞匯、更符合英語母語的表達(dá)習(xí)慣等。
要實(shí)現(xiàn)這一點(diǎn)的話,需要用到ChatGPT更“高端“的玩法,即通過適當(dāng)?shù)奶崾菊Z(Prompt)讓ChatGPT扮演特定風(fēng)格的英文翻譯,將輸入的內(nèi)容在不改變其意思的情況下,翻譯成更優(yōu)美高端的英文(當(dāng)然也可以嘗試其他風(fēng)格,比如更c(diǎn)oncise等):
I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English. I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary. I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高興認(rèn)識你”
圖 23展示的就是“數(shù)字藏品交易的投機(jī)炒作氛圍濃厚,買家會面臨如莊家控盤、平臺跑路、內(nèi)容侵權(quán)、無人接盤等風(fēng)險(xiǎn)”這句話的英文翻譯結(jié)果,和直接翻譯的結(jié)果對比(圖 24),確實(shí)效果更好一些。
圖 23 翻譯并提升英文表達(dá)
圖 24 直接翻譯成英文
總的來說,ChatGPT在修改錯(cuò)別字、提高英文表達(dá)方面均有不錯(cuò)的表現(xiàn),確實(shí)可以幫助我們更高效的潤色輸出的內(nèi)容,比如訪談提綱、問卷題目、洞察報(bào)告等。
四、用戶訪談降本增效的“模擬器”
在作為潤色工具的部分,我們分享了ChatGPT的“高端”玩法,即使用Prompt將其“調(diào)教”成特定風(fēng)格的英文翻譯。這種玩法可以使ChatGPT扮演各種各樣的角色,比如心理咨詢師、面試官、體育評論員等等(在此推薦一個(gè)相關(guān)Prompt的GitHub倉:https://github.com/f/awesome-chatgpt-prompts ),讓ChatGPT的應(yīng)用場景擴(kuò)展了不少。
回到用戶研究,很自然地就會想到:讓ChatGPT扮演主持人的角色,訪談用戶的效果如何,能不能自動化訪談?或者反過來,讓ChatGPT扮演某類典型用戶接受訪談,它的回答和真實(shí)用戶的回答相差多少?能不能作為典型用戶的初步洞察?
我們先來看下ChatGPT扮演主持人訪談用戶的效果(圖 25),這里我讓ChatGPT扮演成一位訪談主持人,目的是通過詢問用戶問題來弄清楚“數(shù)字藏品(NFT)的核心用戶價(jià)值是什么”,相應(yīng)的Prompt是:
I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer. Do not write all the conservation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations. Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”
我們看到ChatGPT的表現(xiàn)還是比較驚艷的,它沒有直接詢問“你覺得數(shù)字藏品有哪些核心價(jià)值?”,而是從如何理解數(shù)字藏品這個(gè)概念入手,詢問了一系列相關(guān)問題,比如如何知道數(shù)字藏品、如何在日常生活中使用數(shù)字藏品、數(shù)字藏品最大的好處等等。雖然在這個(gè)case中,ChatGPT并沒有能夠結(jié)合上下文來追問用戶,但當(dāng)前的表現(xiàn)已經(jīng)足以讓我們思考ChatGPT是不是能夠代替我們自動訪談用戶,就一些簡單的、結(jié)構(gòu)清晰的研究問題提供訪談洞察。
圖 25 ChatGPT扮演主持人訪談用戶
看完ChatGPT扮演主持人的效果,讓我們繼續(xù)看下它扮演某類典型用戶接受訪談的表現(xiàn)(圖 26)。首先通過以下Prompt讓ChatGPT扮演一位年輕的數(shù)字藏品用戶:“她”是一位20歲的在校大學(xué)生,愛好廣泛比如聚會、看電影、逛街等等。然后就可以通過詢問數(shù)字藏品相關(guān)的問題來挖掘“她”對數(shù)字藏品的看法。
I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc. I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conservation at once. Wait for my questions and give me answers. Do not write explanations. My first sentence is “Hi”
圖 26 ChatGPT扮演典型用戶接受訪談
總體來看,ChatGPT的表現(xiàn)持續(xù)驚艷,比如詢問“她”是如何知道數(shù)字藏品的,“她”給出的回答是“玩數(shù)字藏品的好友分享給她的”。當(dāng)重復(fù)“她”覺得NFT很cool的看法后,“她”回答到“數(shù)字藏品改變了我們對數(shù)字世界所有權(quán)和價(jià)值的看法”等。這些回答從主觀感受上看確實(shí)很貼近我們訪談到實(shí)際用戶。
所以展開想象力,這會不會改變今后用戶研究的流程?比如在訪談?wù)鎸?shí)用戶前,能不能先讓ChatGPT扮演幾種典型用戶來獲得初步洞察,之后再進(jìn)行真實(shí)用戶訪談以驗(yàn)證和補(bǔ)充?當(dāng)然在此之前還有很多的問題要回答,比如如何使用Prompt更準(zhǔn)確地描述典型用戶(如需要哪些變量?),ChatGPT扮演典型用戶的準(zhǔn)確性和有效性有多高等等。但無疑ChatGPT的表現(xiàn)已經(jīng)足以讓我們開始類似的思考。
五、總結(jié)
總結(jié)一下,通過上述初步的探索,我會覺得ChatGPT在未來的用戶研究工作中,可能成為降本增效的輔助工具:作為高效的搜索引擎,提升獲取知識的效率;也可以作為能力多樣的“配菜員”,提供諸如訪談初步總結(jié)、數(shù)據(jù)分析結(jié)果、訪談大綱等內(nèi)容,輔助研究員完成研究設(shè)計(jì)、洞察分析等;還能作為內(nèi)容(尤其是英文內(nèi)容)的潤色工具,修改錯(cuò)別字、轉(zhuǎn)換不同表達(dá)風(fēng)格等;最后也顯示了其作為主持人執(zhí)行訪談或者扮演典型用戶接受訪談的潛力。
當(dāng)然ChatGPT距離真正可用的用戶研究輔助工具還有一段距離,比如需要用戶研究領(lǐng)域的知識對模型進(jìn)行Fine-tune以提升答案質(zhì)量,再比如需要定制化的交互方式,以提升在用戶研究工作中,與ChatGPT交互的體驗(yàn)和效率等等。
此外,對于有興趣繼續(xù)探索ChatGPT應(yīng)用的同學(xué),分享三個(gè)Tips:
- 多試幾次,以比較不同的回答;
- 學(xué)會提問,明確需求,由粗到細(xì)引導(dǎo),并且注意之前輸入內(nèi)容的影響;
- 保持獨(dú)立思考和批判性思維,時(shí)刻警惕內(nèi)容的真實(shí)性、準(zhǔn)確性,避免被ChatGPT牽著鼻子走。
最后,對于 ChatGPT能否替代用戶研究,我認(rèn)同:“AI will not replace you. A person using AI will.
作者:qichengding
來源公眾號:騰訊CDC體驗(yàn)設(shè)計(jì)(ID:tx_cdc),構(gòu)建數(shù)字時(shí)代互聯(lián)網(wǎng)生態(tài)的用戶價(jià)值與體驗(yàn)創(chuàng)新
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @CDC 授權(quán)發(fā)布,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。
未來五年內(nèi)用研團(tuán)隊(duì)會大幅縮減,原來一個(gè)人跟一個(gè)項(xiàng)目,有了GPT一個(gè)人可以跟三個(gè)