內(nèi)容分析在用戶反饋分析中的應用

1 評論 12971 瀏覽 17 收藏 17 分鐘

*本文內(nèi)容由渡劫、劍虹、和筆者共同提供,筆者整理歸納

TB最近在各個關鍵產(chǎn)品與購物流程中陸續(xù)加入了用戶反饋入口(圖1),也開設了各種官方論壇收集用戶意見和建議,因此會收集到大量純文本數(shù)據(jù)。如何對這些數(shù)據(jù)進行分析、從而指導產(chǎn)品改進?本文將講述,將內(nèi)容分析(content-analysis)應用于網(wǎng)絡文本數(shù)據(jù)(如,用戶反饋)處理的理論基礎與實際應用。包括:內(nèi)容分析法簡述;企業(yè)中應用內(nèi)容分析的步驟與技巧。

圖1:淘寶的用戶反饋 入口

PART1 理論基礎:內(nèi)容分析法簡述

內(nèi)容分析,是指利用明晰的編碼規(guī)則,將大量文本信息轉(zhuǎn)化為定量數(shù)據(jù),并 歸于若干類別以分析信息特征的方法)。內(nèi)容分析有三個特點:

1)客觀性。內(nèi)容分析不受主觀偏見影響,有標準化的研究過程,研究員對結果持開放態(tài)度;

2)系統(tǒng)。內(nèi)容分析過程(取樣、分析、編碼等)有統(tǒng)一、標準的規(guī)則和程序;

3)定性與定量結合。內(nèi)容分析通過定性研究找出能反映內(nèi)容本質(zhì)的特征,又將文本轉(zhuǎn)化為定量的數(shù)據(jù),分析 結果可用頻次、百分比,或相關系數(shù)等來表示。

這種研究無需直接接觸研究對象,在傳播學、情報學、教育學等社會學科有廣泛應用,但目的有所差別。鑒于本文所述的應用類型,更傾向從情報學的觀點去定義內(nèi)容分析的目的:通過分析內(nèi)容了解本質(zhì)性的事實和趨勢,并揭示隱性問題。換句話說,在用戶反饋分析中應用內(nèi)容分析法,目的在于對反饋信息進行系統(tǒng)的歸納分類,整理問題點并評估其嚴重性,從而有針對地實施改進。

內(nèi)容分析的基本流程如圖2所示??蒲兄校€有訓練編碼員(5、6環(huán)節(jié)間)、測量編碼員之間可信度(6、7環(huán)節(jié)間)的步驟。在企業(yè)環(huán)境中由于受到時間等調(diào)研成本制約,可選擇性執(zhí)行這兩步。具體每一步的實施將在PART2中通過實例詳述。

圖2:內(nèi)容分析流程圖

PART2 實踐應用:步驟與技巧

如前所述,在企業(yè)的用戶研究中利用內(nèi)容分析處理文本型用戶反饋數(shù)據(jù),最終目的在于,通過科學有效地總結歸納問題來促進改進。因此應用文本分析的步驟和技巧有以下特點:

1)編碼員(用戶研究員)需要對產(chǎn)品/項目的功能等特征有充分了解;
2)抽樣的時間點,會根據(jù)產(chǎn)品/項目的特點而定,如有無重大改 進等;
3)分類以及后續(xù)數(shù)據(jù)分析維度的建立,是研究員與產(chǎn)品經(jīng)理等項目組關鍵成員共同完成的;

現(xiàn)按照前文所述的分析流程,以旺鋪升級后一周內(nèi)的用戶反饋分析為例,介紹內(nèi)容分析在企業(yè)用戶研究中的實踐步驟。

第一步 對分析的目標和范圍做出準確定義

分析目標:收集、歸納用戶體驗問題及用戶看法
分析范圍:

  • 主題領域——以某產(chǎn)品,或某流程的用戶反饋為范圍
  • 時間段——如,改版后一周內(nèi)、新上線一 周后……等。值得注意的是,在產(chǎn)品大事件(如發(fā)布、改版)時間段,收集到的問題會較多,用戶反饋兩極化明顯。在系統(tǒng)大事件(down機等)時間段,反饋的 問題會較集中,用戶反饋多為抱怨。

呈現(xiàn)在用戶研究報告中,也就是一句簡短陳述,如:旺鋪升級后一周內(nèi)的用戶反饋總結

第二步 決定抽樣樣本

包括決定以下三方面

1)內(nèi)容源:選擇從什么地方(幫派?問卷?…等)抽樣
2)時間:選擇在分析時間段的哪幾天(全段?隔天?隔周?)抽樣
3)內(nèi)容:對內(nèi)容進行隨機或等距抽樣

這意味著研究員要對產(chǎn)品周期有充分的了解和認識。在本例中,我們的抽樣樣本是,旺鋪升級后一周內(nèi) (7天)用戶通過旺鋪裝修頁面“提意見”入口(圖3)提交的所有數(shù)據(jù)。

——>

圖3:旺鋪用戶反饋收集入口

第三步 確定分析單位

分析單位是內(nèi)容分析中的最小元素, 要對此給出明確清晰的操作性定義。在本例中,分析單位就是一名用戶所陳述的一條意見。值得注意的是,并非以一次提交的數(shù)據(jù)為單位,因為一名用戶一次性可能 提交若干條意見,需要把意見拆開,每條為一個分析單位。如圖4所示,“刪除模塊刪完不能添加”、“發(fā)布完又回到裝修頁面”分別是一個分析單位。

圖4:分析單位舉例

第四步 建立分類

分類是內(nèi)容分析的關鍵步驟,決定了后續(xù)的定量分析的有效性。類別是內(nèi)容分析的基本單位,每個分析單位都能且只能歸入某類別中。在學術研究中,往往依據(jù)研究理論或參考過往研究結果來分類。在企業(yè)用研中,則要對產(chǎn)品有充分了解,并與產(chǎn)品經(jīng)理合作制定分類框架。因為這便于分配問題解決負責人。

窮盡、互斥是分類的兩大原則。分類應涵蓋可能的問題范圍,但由于事前無法全面預知內(nèi)容,最好設立“其它”類以滿足窮盡性。若有≥10%的 分析單位被歸入“其它”,則分類不當。類與類之間是不重合的,若有一個分析單位可歸入兩個或以上類別,則分類不當,或分析單位不準。

分多少類為合適?類別太多會導致某些類的分析單位少而失去統(tǒng)計意義;類別太少,不同性質(zhì)的分析單位歸入同一類,可能會掩蓋顯著性差 異??紤]到將分類合并比將分類拆分容易,建議寧多勿少。在無從下手的情況下,可試檢驗50-100條分析 單位。

在本例中的分類如圖5——

圖5:旺鋪用戶反饋 的分類與說明

該分類傾向于以問題解決方(如系統(tǒng)問題由開發(fā)人員解決、功能需求由產(chǎn)品經(jīng)理解決、交互問題由設計 師解決)為基礎維度,便于推動改進。對于頁面、功能有限的產(chǎn)品/流程,也可按照頁面或功能分類。對于本例,也有針對功能、頁面進行分類,主要體現(xiàn)在二級編碼中,詳情見下。

第五步 制作編碼表 試驗性編碼

制作編碼表是在大分類的基礎上進行 細化,以更好地聚焦問題。在這一步,要盡可能細致全面,才能保證有效的數(shù)據(jù)分析。對每個編碼的含義要有所說明,尤其在編碼者不止一人的情況下。在本例中, 對功能需求這一大分類的部分編碼如圖6,其原則是盡可能涵蓋所有功能。而對于系統(tǒng)問題、交互體驗問題,子編碼 又是應內(nèi)容特點、以另外的維度設定的。

圖6:編碼表示例

在 編碼表制作好后,抽取50-100條分析單位(如100條反饋)進行試編碼(coding),以檢驗是否夠細夠全。當然了,在實際實施編碼(第六步)過 程中可能發(fā)現(xiàn)編碼不夠用的情況。此時只能新增編碼,并對該分類下的所有分析單位重新編碼。所幸的是——也是內(nèi)容分析的優(yōu)點之一——即使發(fā)現(xiàn)問題,能在不影 響數(shù)據(jù)本身準確性和完好性的情況下彌補錯誤。不像問卷調(diào)研或現(xiàn)場實驗,一旦實施,有錯誤也無法彌補,只能拋棄數(shù)據(jù)。

第六步 收集數(shù)據(jù) 實施編碼

收集數(shù)據(jù)就是按照之前所定義好的范圍與抽樣 標準提取數(shù)據(jù)。通常將數(shù)據(jù)導入到EXCEL中進行處理。在本例中,每條用戶意見(即最小分析單位)對應一行(圖7)。

圖7:原始數(shù)據(jù)示例

然 后便可開始對每個分析單位進行編碼,是純?nèi)斯さ倪^程。目前也有一些文本分析軟件可輔助,但這些基于分詞技術的軟件智能程度不足,且實施聚類分析對樣本量有 要求(至少上萬條),更適合用于海量文本數(shù)據(jù)的分類。

編碼過程可借助EXCEL的文本篩選功能。比如筆者用得較多的是“包含XX關鍵詞” 的篩選方式(圖8),能有效提高編碼效率。在過程中要把無意義的分析單位(如在本例中,會有用戶在反饋中打自己店鋪的廣告)給清理掉。

圖8:文本篩選功能 示例

初步編碼結果如下圖所示,接著便可進入分析、報告階段。

圖9:編碼結果示例

第 七步 分析 報告結果

分析包括兩部分。定量部分使用描述性統(tǒng)計,計算各分類中條目、各個碼類的頻數(shù)、百分比。如果還能結合到其他變量,如用 戶的星級等,可進行更復雜的交叉分析、卡方檢驗、t檢驗、方差分析等。定性部分,是對某子編碼下的所有條目進行梳理,總結出問題點。

要注意的是,頻數(shù)、百分比不是衡量嚴重程度的唯一指標。比如我們發(fā)現(xiàn)大量系統(tǒng)問題這一分類的用戶意見,但基本上說 的只是發(fā)布失敗和速度慢兩點。 功能需求這一分類下的意見總數(shù)相對較少,但問題有10余種。因此,定性與定量分析的結合,才能反映各分類對整體體驗(滿意或不滿意)的貢獻度大小,以及問題聚焦/分散程度。示例如下:

圖10:反饋總結示例

進 一步的分析還包括對表象所隱含的問題的推斷。例如筆者發(fā)現(xiàn)圖11所示的問題。

圖11:深層分析示例

在企業(yè)中,內(nèi)容分析報告的輸出形式更靈活,關鍵在于有效傳達問題,推動問題的解決。尤其用戶反饋的內(nèi)容本身比用戶研究員的分析歸納更具沖擊力,更易引起同理心。

在本例中,筆者的輸出物包括:

  • 原始數(shù)據(jù)EXCEL表,按分類將問題 分別放在不同sheet里(圖11)。在每一張sheet里,可通過篩選功能,看具體某個方面的用戶反饋原話。要注意的是,此時會把編碼重新轉(zhuǎn)化為文字描述便于理解。

    圖12:EXCEL 輸出物示例

  • 用戶反饋總結ppt,將各分類中的問題匯總羅列,用于向項目組宣講,并探討解決 方案。陳述問題時,可引用典型的用戶原話。比如有10個人反映同一問題,可選取問題表達最清晰或感情色彩最濃烈者的原話。

小結

本文介紹了內(nèi)容分析,以及內(nèi)容分析在企業(yè) 用戶研究中應用的步驟與技巧。內(nèi)容分析的優(yōu)點有:1)相比實驗法、問卷法等,較為節(jié)省人力物力;2)內(nèi)容可被重復分析,可靠性較大;3)無需直接接觸研究 對象;4)操作過程若產(chǎn)生問題,錯誤易被彌補。它的缺點在于:1)人為因素(如如何分類、編碼)會極大影響結果;2)編碼工作需時較長、單調(diào)。

源地址:http://piglili.blogbus.co……60772605.html

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!