閱讀之前問自己一下，你真的知道什么是定性和定量分析嗎？你是否需要有關(guān)產(chǎn)品用戶體驗(yàn)的數(shù)字?jǐn)?shù)據(jù)，但卻不確定應(yīng)該如何做？如果你無法胸有成竹的回答上述兩個問題，建議你認(rèn)真閱讀下面的文字，一時不懂不要緊，理解了何為定量研究后，一定會成為你的分析利器。

許多從事用戶體驗(yàn)及研究的專業(yè)人士傾向于定性方法論,而這也這被廣泛認(rèn)為比定量 (量化) 研究更容易。但不得不承認(rèn)，定性研究可能回避了較大的樣本規(guī)模和量化相關(guān)的統(tǒng)計數(shù)據(jù)問題。

而量化方法卻是經(jīng)驗(yàn)豐富的用戶體驗(yàn)研究員的工具包中應(yīng)當(dāng)包含的重要組成部分。

量化方法允許你:

• 用數(shù)字為產(chǎn)品的可用性打上一個標(biāo)簽。數(shù)字有時比質(zhì)量測試的結(jié)果更有說服力 (特別是當(dāng)你試圖說服像 CEO 這樣的高管時)。
• 比較不同的設(shè)計 (例如, 產(chǎn)品的新版本與舊版本, 或你的產(chǎn)品與競爭對手的產(chǎn)品), 并確定你所觀察的差異是否具有統(tǒng)計學(xué)意義, 而不是隨機(jī)偶然。
• 改進(jìn)用戶體驗(yàn)權(quán)衡決策。例如, 如果建議的設(shè)計改進(jìn)預(yù)計會花費(fèi)很大的成本來實(shí)現(xiàn), 它值得做嗎？如果你估計了更改將在一定程度上提高可用性，那么量化方法可以幫助你決定是否值得重新設(shè)計。
• 將用戶體驗(yàn)改進(jìn)與組織目標(biāo)和關(guān)鍵績效指標(biāo)聯(lián)系起來?(從而顯示你的投資回報并證明用戶體驗(yàn)研究團(tuán)隊的價值）。

定量研究，首要確定的是到底需要哪種量化研究方法。在此，我們介紹一些目前最流行的量化研究類型：

• 定量可用性測試 (基準(zhǔn)測試)
• 網(wǎng)絡(luò)分析 (或 App Analytics)
• A/B 測試或多變量測試
• 卡片分類
• 樹測試
• 調(diào)查和問卷調(diào)查
• 聚類定型數(shù)據(jù)
• 可取性研究
• 眼動測試

每種方法都產(chǎn)生有價值的數(shù)量數(shù)據(jù), 但這些技術(shù)在所收集的數(shù)據(jù)類型以及所需的資源和工作量方面差別很大。

本文列出了這些方法的最常見用例,并估計了每個實(shí)例的成本和難度。此外,應(yīng)該知道,這些方法中都需要不同的最小樣本量來確定統(tǒng)計意義。

一、定量可用性測試（基準(zhǔn)測試）

• 用途：隨時跟蹤可用性；與競爭對手比較
• 費(fèi)用：中等
• 收集難度：中等
• 分析難度：中等
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)

雖然不經(jīng)常使用，但定量可用性測試（有時稱為可用性基準(zhǔn)測試）很像定性可用性測試——用戶被要求使用產(chǎn)品執(zhí)行實(shí)際任務(wù)。

兩者之間的主要區(qū)別在于，可用性測試優(yōu)先考慮觀察，例如識別可用性問題。相比之下，量化可用性測試側(cè)重于收集任務(wù)或成功時間等指標(biāo)。

一旦你收集了具有相對較大樣本量（大約 35 個參與者或更多）的指標(biāo)，你就可以使用它們跟蹤產(chǎn)品的可用性隨時間推移的進(jìn)度，或者將其與競爭對手產(chǎn)品的可用性進(jìn)行比較。

你選擇的可用性測試類型（面對面，遠(yuǎn)程主持或遠(yuǎn)程未經(jīng)調(diào)度）將影響成本，由于定量和定性可用性研究的目標(biāo)不同，測試的結(jié)構(gòu)和使用的任務(wù)也需要不同。

二、網(wǎng)絡(luò)分析（或 App Analytics）

• 用途：檢測或優(yōu)先排序問題；監(jiān)控性能
• 成本：低
• 收集難度：低
• 分析難度：高
• 方法類型：行為
• 使用環(huán)境：live

分析數(shù)據(jù)描述了人們對你的實(shí)時產(chǎn)品做了什么：他們?nèi)ツ睦铩⑺麄凕c(diǎn)擊了什么、他們使用了什么功能、他們來自哪里，以及他們決定離開網(wǎng)站或應(yīng)用程序的頁面。

此信息可以支持各種用戶體驗(yàn)活動。特別是它可以幫助你監(jiān)控產(chǎn)品中各種內(nèi)容：UI 或功能的性能，并確定哪些是真的不起作用。

三、A / B 測試或多變量測試

• 用途：比較兩個設(shè)計選項
• 成本：低
• 收集困難：低
• 分析困難：低
• 方法類型：行為
• 使用情況：live

雖然你可以使用分析指標(biāo)來監(jiān)控產(chǎn)品的性能，但你也可以創(chuàng)建實(shí)驗(yàn)來檢測不同的 UI 設(shè)計如何通過 A / B 測試或多變量測試來更改這些指標(biāo)。

在 A / B 測試中，團(tuán)隊創(chuàng)建同一 UI 的兩個不同的實(shí)時版本，然后將每個版本顯示給不同的用戶，以查看哪個版本的性能最佳。

例如，你可以創(chuàng)建相同號召性用語按鈕標(biāo)簽的兩個版本：“獲取定價”與“了解更多信息”，然后，你可以跟蹤按鈕在兩個版本中收到的點(diǎn)擊次數(shù)。

多變量測試類似，但涉及一次測試多個設(shè)計元素（例如，測試可能涉及不同的按鈕標(biāo)簽，排版和頁面上的位置）。

這兩個基于分析的實(shí)驗(yàn)都非常適合決定同一設(shè)計的不同變體，并且可以結(jié)束團(tuán)隊關(guān)于哪個版本最佳的爭議，但這種方法的一個主要缺點(diǎn)是它經(jīng)常被濫用。

四、卡片分類

• 用途：確定信息架構(gòu)標(biāo)簽和結(jié)構(gòu)
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：態(tài)度（人們怎么說）
• 使用環(huán)境：不使用產(chǎn)品

在卡片分類研究中，參與者被給予內(nèi)容項目（有時字面上寫在索引卡片上），并要求以對他們有意義的方式對這些項目進(jìn)行分組和標(biāo)記。

該測試既可以親自進(jìn)行，也可以使用實(shí)體卡進(jìn)行，也可以使用卡片分類平臺進(jìn)行遠(yuǎn)程測試。

這種方法為你提供了進(jìn)入用戶信息空間的心理模型的機(jī)會。他們使用什么術(shù)語？他們?nèi)绾卧谶壿嬌蠈⑦@些概念組合在一起？

對創(chuàng)建類似分組的參與者的百分比進(jìn)行定量分析可以幫助確定大多數(shù)用戶可以理解哪種分類方法。

五、樹測試

• 用途：評估信息架構(gòu)層次結(jié)構(gòu)
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)，不使用產(chǎn)品

在樹測試中，參與者嘗試僅使用你站點(diǎn)的類別結(jié)構(gòu)來完成任務(wù)。它本質(zhì)上是一種評估你的信息架構(gòu)的方法，通過將其與 UI 的所有其他方面隔離開來。

假設(shè)你的產(chǎn)品是寵物用品網(wǎng)站，這是你的頂級層次結(jié)構(gòu)，你可能會要求參與者完成一項任務(wù)——找到狗項圈。

樹測試結(jié)果的定量分析將顯示人們是否能夠在信息層次結(jié)構(gòu)中找到該項目的正確路徑，以及有多少參與者選擇了錯誤的類別。

此方法可用于識別 IA 結(jié)構(gòu)，標(biāo)簽和展示位置是否符合人們的期望。

六、調(diào)查和問卷調(diào)查

• 用途：收集有關(guān)您的用戶的態(tài)度和行為的信息
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態(tài)度
• 使用環(huán)境：任何

調(diào)查是一種靈活的用戶研究工具。你可以在各種環(huán)境中管理它們：在實(shí)時網(wǎng)站、電子郵件或可用性測試之后進(jìn)行短暫攔截調(diào)查等。

它們可以產(chǎn)生定量和定性數(shù)據(jù)的組合——評級，多項選擇題中每個選項的答案比例，以及開放式答案。你甚至可以將對調(diào)查的定性響應(yīng)轉(zhuǎn)換為數(shù)值數(shù)據(jù)。

你可以創(chuàng)建自己的自定義調(diào)查，也可以使用許多已建立的問卷中的一個（例如，系統(tǒng)可用性量表或凈推薦值得分）。

調(diào)查問卷的一個優(yōu)點(diǎn)是，你通常可以將結(jié)果與行業(yè)或競爭對手的分?jǐn)?shù)進(jìn)行比較，以了解你的工作情況。

即使你創(chuàng)建自己的自定義調(diào)查問卷，也仍然可以跟蹤你的平均分?jǐn)?shù)以監(jiān)控產(chǎn)品改進(jìn)。

七、聚類定性數(shù)據(jù)

• 用途：識別定性數(shù)據(jù)中的重要主題
• 成本：低
• 收集難度：中等
• 分析難度：中等
• 方法類型：態(tài)度（人們怎么說）
• 使用環(huán)境：任何

這種技術(shù)不是數(shù)據(jù)收集方法，而是更多的定性數(shù)據(jù)分析方法。

它涉及根據(jù)共同主題對來自定性研究（例如日記研究、調(diào)查、焦點(diǎn)小組或訪談）的觀察進(jìn)行分組。如果你有大量觀察結(jié)果，則可以計算提及特定主題時的實(shí)例數(shù)。

例如，假設(shè)你進(jìn)行日記研究，要求參與者每次在日常生活中使用你的產(chǎn)品并進(jìn)行一周報告，目的是了解他們在何種環(huán)境中使用你的產(chǎn)品。

此方法可以識別特定主題或情況的普遍性或頻率，例如，用戶投訴的頻率或 UI 問題。這種方法是從大量定性信息中挖掘數(shù)值數(shù)據(jù)的好方法，但它可能非常耗時。

八、可取性研究

• 用途：識別與您的產(chǎn)品或品牌相關(guān)的屬性
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態(tài)度
• 使用環(huán)境：基于任務(wù)

定量可取性研究試圖量化和衡量產(chǎn)品的某些質(zhì)量，例如美學(xué)吸引力、品牌強(qiáng)度、語調(diào)。

這些研究可以根據(jù)你的研究問題進(jìn)行定制，但通常包括首先將參與者暴露給你的產(chǎn)品（通過向他們展示靜止圖像或要求他們使用實(shí)時產(chǎn)品或原型）。

然后，你將要求他們通過從描述性詞匯列表中選擇選項來描述設(shè)計。隨著樣本量越來越多，一些趨勢則開始出現(xiàn)。 例如，你可能有84％ 的受訪者將設(shè)計描述為“新鮮”。

九、眼動測試

• 使用：確定哪些 UI 元素分散注意力，可查找或可發(fā)現(xiàn)
• 成本：高
• 收集難度：高
• 分析難度：高
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)

眼球跟蹤研究需要特殊的設(shè)備來跟蹤用戶在界面上移動時的眼睛。 當(dāng)許多參與者（30 個或更多）在同一界面上執(zhí)行相同的任務(wù)時，有意義的趨勢開始出現(xiàn)，你可以通過一些可靠性告訴頁面的哪些元素會吸引人們的注意力。

眼動測試可以幫助你確定需要強(qiáng)調(diào)或強(qiáng)調(diào)哪些界面和內(nèi)容元素，以使用戶能夠?qū)崿F(xiàn)其目標(biāo)。

運(yùn)行眼球跟蹤研究的一個主要障礙是高度專業(yè)化、極其昂貴且有些不穩(wěn)定的設(shè)備以及需要大量的培訓(xùn)才能使用。

在嘗試確定使用哪種定量方法引導(dǎo)你的研究問題時，你需要了解什么？

例如：

• 我們的產(chǎn)品可用性如何隨時間而變化？
• 與競爭對手相比，我們的表現(xiàn)如何？
• 我們哪個問題影響最大？我們應(yīng)該如何優(yōu)先排序？

對于這些類型的問題你可能希望使用定量可用性測試、網(wǎng)站分析或調(diào)查。

當(dāng)你想要回答更具體的問題時，或許其他方法更佳。 例如：

• 我們應(yīng)該如何修復(fù)我們的全球?qū)Ш筋悇e？
• 我們的大多數(shù)用戶對我們的視覺設(shè)計有何看法？
• 我們應(yīng)該在儀表板中使用這兩種設(shè)計方案中的哪一種？

對于這些研究問題，你可能希望使用 A / B 測試、卡片分類、樹木測試、編碼定性評論，可取性研究或眼球跟蹤。

但是，這些建議中有一些灰色地帶。例如，出于安全或技術(shù)原因，A / B 測試可能不是貴公司的選項。

如果是這種情況，你可以進(jìn)行面對面的量化可用性研究來比較兩個原型。但是，這不是定量可用性測試的典型用法，所以沒有在這里討論它。

在研究問題之后，選擇方法的第二個最有影響力的因素是成本。

這些方法的成本會有很大差異，具體取決于你實(shí)施研究的方式。你使用的工具、你擁有的參與者數(shù)量以及研究人員花費(fèi)的時間都將影響最終成本。

低預(yù)算團(tuán)隊將依賴數(shù)字方法——遠(yuǎn)程可用性測試、在線卡片分類平臺、如 OptimalSort、A / B 測試以及 Web 或應(yīng)用程序分析。

根據(jù)經(jīng)驗(yàn)，現(xiàn)場方法（例如面對面的可用性測試，面對面的卡片種類）往往更昂貴，因?yàn)樗鼈冃枰嘞难芯咳藛T更多的時間。

此外，他們可能需要旅行和設(shè)備租賃。眼動測試是這里列出的最昂貴的方法，應(yīng)該只有具有大預(yù)算和研究問題的團(tuán)隊才能使用它。

一旦選擇了方法，就要了解它，并確保你獲得有用的成果。

警告：不能只收集指標(biāo)并開始做出決策而不進(jìn)行任何統(tǒng)計分析。僅收集來自 5 個用戶的評級規(guī)模響應(yīng)，取平均值并繼續(xù)前進(jìn)是不夠的。

對于此處討論的每種方法，都建議最小樣本量以獲得可靠的數(shù)據(jù)并確定統(tǒng)計顯著性。如果你不這樣做，你無法保證你的發(fā)現(xiàn)不只是僥幸。

無論你選擇哪種方法，一定要考慮研究相關(guān)統(tǒng)計概念所需的時間。我保證，定量研究不像它看起來那么難，對于你的定量數(shù)據(jù)來說非常值得。

本文作者：Kate Moran

文章來源：Nielsen Norman Group

本文由 @研如玉?翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Pexels ，基于 CC0 協(xié)議