定量研究其實(shí)沒那么難，本文筆者通過對量化研究方法的一些最常見用例的介紹，以及對每個(gè)實(shí)例的成本和難度進(jìn)行估計(jì)，來幫大家更好地去找我定量研究的方法。

你是否需要有關(guān)產(chǎn)品用戶體驗(yàn)的數(shù)字?jǐn)?shù)據(jù), 但卻不確定應(yīng)該如何做？

許多從事用戶體驗(yàn)及研究的專業(yè)人士傾向于定性方法論, 而這也這被廣泛認(rèn)為比定量 (量化) 研究更容易。但不得不承認(rèn)，定性研究可能回避了較大的樣本規(guī)模和量化相關(guān)的統(tǒng)計(jì)數(shù)據(jù)問題。

而量化方法卻是經(jīng)驗(yàn)豐富的用戶體驗(yàn)研究員的工具包中應(yīng)當(dāng)包含的重要組成部分。

量化方法允許你：

1. 用數(shù)字為產(chǎn)品的可用性打上一個(gè)標(biāo)簽；
2. 數(shù)字有時(shí)比質(zhì)量測試的結(jié)果更有說服力 (特別是當(dāng)你試圖說服像 CEO 這樣的高管時(shí))；
3. 比較不同的設(shè)計(jì) (例如, 產(chǎn)品的新版本與舊版本, 或你的產(chǎn)品與競爭對手的產(chǎn)品)， 并確定你所觀察的差異是否具有統(tǒng)計(jì)學(xué)意義, 而不是隨機(jī)偶然；
4. 改進(jìn)用戶體驗(yàn)權(quán)衡決策。例如, 如果建議的設(shè)計(jì)改進(jìn)預(yù)計(jì)會(huì)花費(fèi)很大的成本來實(shí)現(xiàn), 它值得做嗎？如果你估計(jì)了更改將在一定程度上提高可用性，那么量化方法可以幫助你決定是否值得重新設(shè)計(jì)；
5. 將用戶體驗(yàn)改進(jìn)與組織目標(biāo)和關(guān)鍵績效指標(biāo)聯(lián)系起來 (從而顯示你的投資回報(bào)并證明用戶體驗(yàn)研究團(tuán)隊(duì)的價(jià)值）。

定量研究，首要確定的是：到底需要哪種量化研究方法？

在此，我們介紹一些目前最流行的量化研究類型：

1. 定量可用性測試 (基準(zhǔn)測試)
2. 網(wǎng)絡(luò)分析 (或 App Analytics)
3. A/B 測試或多變量測試
4. 卡片分類
5. 樹測試
6. 調(diào)查和問卷調(diào)查
7. 聚類定型數(shù)據(jù)
8. 可取性研究
9. 眼動(dòng)測試

每種方法都產(chǎn)生有價(jià)值的數(shù)量數(shù)據(jù), 但這些技術(shù)在所收集的數(shù)據(jù)類型，以及所需的資源和工作量方面差別很大。

本文列出了這些方法的最常見用例，并估計(jì)了每個(gè)實(shí)例的成本和難度。此外，應(yīng)該知道，這些方法中都需要不同的最小樣本量來確定統(tǒng)計(jì)意義。

一、定量可用性測試（基準(zhǔn)測試）

• 用途：隨時(shí)跟蹤可用性、與競爭對手比較
• 費(fèi)用：中等
• 收集難度：中等
• 分析難度：中等
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)

雖然不經(jīng)常使用，但定量可用性測試（有時(shí)稱為可用性基準(zhǔn)測試）很像定性可用性測試——用戶被要求使用產(chǎn)品執(zhí)行實(shí)際任務(wù)。

兩者之間的主要區(qū)別在于，可用性測試優(yōu)先考慮觀察，例如識別可用性問題。相比之下，量化可用性測試側(cè)重于收集任務(wù)或成功時(shí)間等指標(biāo)。

一旦你收集了具有相對較大樣本量（大約 35 個(gè)參與者或更多）的指標(biāo)，你就可以使用它們跟蹤產(chǎn)品的可用性隨時(shí)間推移的進(jìn)度，或者將其與競爭對手產(chǎn)品的可用性進(jìn)行比較。

你選擇的可用性測試類型（面對面，遠(yuǎn)程主持或遠(yuǎn)程未經(jīng)調(diào)度）將影響成本，由于定量和定性可用性研究的目標(biāo)不同，測試的結(jié)構(gòu)和使用的任務(wù)也需要不同。

二、網(wǎng)絡(luò)分析（或 App Analytics）

• 用途：檢測或優(yōu)先排序問題、監(jiān)控性能。
• 成本：低
• 收集難度：低
• 分析難度：高
• 方法類型：行為
• 使用環(huán)境：live

分析數(shù)據(jù)描述了人們對你的實(shí)時(shí)產(chǎn)品做了什么：他們?nèi)ツ睦?、他們點(diǎn)擊了什么、他們使用了什么功能、他們來自哪里，以及他們決定離開網(wǎng)站或應(yīng)用程序的頁面。

此信息可以支持各種用戶體驗(yàn)活動(dòng)。特別是它可以幫助你監(jiān)控產(chǎn)品中各種內(nèi)容：UI 或功能的性能，并確定哪些是真的不起作用。

三、A / B 測試或多變量測試

• 用途：比較兩個(gè)設(shè)計(jì)選項(xiàng)
• 成本：低
• 收集困難：低
• 分析困難：低
• 方法類型：行為
• 使用情況：live

雖然你可以使用分析指標(biāo)來監(jiān)控產(chǎn)品的性能，但你也可以創(chuàng)建實(shí)驗(yàn)來檢測不同的 UI 設(shè)計(jì)如何通過 A / B 測試或多變量測試來更改這些指標(biāo)。

在 A / B 測試中，團(tuán)隊(duì)創(chuàng)建同一 UI 的兩個(gè)不同的實(shí)時(shí)版本，然后將每個(gè)版本顯示給不同的用戶，以查看哪個(gè)版本的性能最佳。

例如，你可以創(chuàng)建相同號召性用語按鈕標(biāo)簽的兩個(gè)版本：“獲取定價(jià)”與“了解更多信息”，然后，你可以跟蹤按鈕在兩個(gè)版本中收到的點(diǎn)擊次數(shù)。

多變量測試類似，但涉及一次測試多個(gè)設(shè)計(jì)元素（例如，測試可能涉及不同的按鈕標(biāo)簽，排版和頁面上的位置。）

這兩個(gè)基于分析的實(shí)驗(yàn)都非常適合決定同一設(shè)計(jì)的不同變體，并且可以結(jié)束團(tuán)隊(duì)關(guān)于哪個(gè)版本最佳的爭議，但這種方法的一個(gè)主要缺點(diǎn)是它經(jīng)常被濫用。

四、卡片分類

• 用途：確定信息架構(gòu)標(biāo)簽和結(jié)構(gòu)
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：態(tài)度（人們怎么說）
• 使用環(huán)境：不使用產(chǎn)品

在卡片分類研究中，參與者被給予內(nèi)容項(xiàng)目（有時(shí)字面上寫在索引卡片上），并要求以對他們有意義的方式對這些項(xiàng)目進(jìn)行分組和標(biāo)記。

該測試既可以親自進(jìn)行，也可以使用實(shí)體卡進(jìn)行，也可以使用卡片分類平臺進(jìn)行遠(yuǎn)程測試。

這種方法為你提供了進(jìn)入用戶信息空間的心理模型的機(jī)會(huì)。他們使用什么術(shù)語？他們?nèi)绾卧谶壿嬌蠈⑦@些概念組合在一起？對創(chuàng)建類似分組的參與者的百分比進(jìn)行定量分析可以幫助確定大多數(shù)用戶可以理解哪種分類方法。

五、樹測試

• 用途：評估信息架構(gòu)層次結(jié)構(gòu)
• 成本：低
• 收集難度：低
• 分析難度：中等
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)，不使用產(chǎn)品

在樹測試中，參與者嘗試僅使用你站點(diǎn)的類別結(jié)構(gòu)來完成任務(wù)。它本質(zhì)上是一種評估你的信息架構(gòu)的方法，通過將其與 UI 的所有其他方面隔離開來。

假設(shè)你的產(chǎn)品是寵物用品網(wǎng)站，這是你的頂級層次結(jié)構(gòu)，你可能會(huì)要求參與者完成一項(xiàng)任務(wù)——找到狗項(xiàng)圈。

樹測試結(jié)果的定量分析將顯示人們是否能夠在信息層次結(jié)構(gòu)中找到該項(xiàng)目的正確路徑，以及有多少參與者選擇了錯(cuò)誤的類別。此方法可用于識別 IA 結(jié)構(gòu)，標(biāo)簽和展示位置是否符合人們的期望。

六、調(diào)查和問卷調(diào)查

• 用途：收集有關(guān)您的用戶他們的態(tài)度和行為的信息
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態(tài)度
• 使用環(huán)境：任何

調(diào)查是一種靈活的用戶研究工具。你可以在各種環(huán)境中管理它們：在實(shí)時(shí)網(wǎng)站、電子郵件或可用性測試之后進(jìn)行短暫攔截調(diào)查等。

它們可以產(chǎn)生定量和定性數(shù)據(jù)的組合——評級，多項(xiàng)選擇題中每個(gè)選項(xiàng)的答案比例，以及開放式答案。你甚至可以將對調(diào)查的定性響應(yīng)轉(zhuǎn)換為數(shù)值數(shù)據(jù)。

你可以創(chuàng)建自己的自定義調(diào)查，也可以使用許多已建立的問卷中的一個(gè)（例如，系統(tǒng)可用性量表或凈推薦值得分）。調(diào)查問卷的一個(gè)優(yōu)點(diǎn)是，你通常可以將結(jié)果與行業(yè)或競爭對手的分?jǐn)?shù)進(jìn)行比較，以了解你的工作情況。

即使你創(chuàng)建自己的自定義調(diào)查問卷，也仍然可以跟蹤你的平均分?jǐn)?shù)以監(jiān)控產(chǎn)品改進(jìn)。

七、聚類定性數(shù)據(jù)

• 用途：識別定性數(shù)據(jù)中的重要主題
• 成本：低
• 收集難度：中等
• 分析難度：中等
• 方法類型：態(tài)度（人們怎么說）
• 使用環(huán)境：任何

這種技術(shù)不是數(shù)據(jù)收集方法，而是更多的定性數(shù)據(jù)分析方法。

它涉及根據(jù)共同主題對來自定性研究（例如日記研究、調(diào)查、焦點(diǎn)小組或訪談）的觀察進(jìn)行分組。如果你有大量觀察結(jié)果，則可以計(jì)算提及特定主題時(shí)的實(shí)例數(shù)。

例如，假設(shè)你進(jìn)行日記研究，要求參與者每次在日常生活中使用你的產(chǎn)品并進(jìn)行一周報(bào)告，目的是了解他們在何種環(huán)境中使用你的產(chǎn)品。

此方法可以識別特定主題或情況的普遍性或頻率，例如，用戶投訴的頻率或 UI 問題。這種方法是從大量定性信息中挖掘數(shù)值數(shù)據(jù)的好方法，但它可能非常耗時(shí)。

八、可取性研究

• 用途：識別與您的產(chǎn)品或品牌相關(guān)的屬性。
• 成本：低
• 收集難度：低
• 分析難度：低
• 方法類型：態(tài)度
• 使用環(huán)境：基于任務(wù)

定量可取性研究試圖量化和衡量產(chǎn)品的某些質(zhì)量，例如美學(xué)吸引力、品牌強(qiáng)度、語調(diào)。

這些研究可以根據(jù)你的研究問題進(jìn)行定制，但通常包括首先將參與者暴露給你的產(chǎn)品（通過向他們展示靜止圖像或要求他們使用實(shí)時(shí)產(chǎn)品或原型）。

然后，你將要求他們通過從描述性詞匯列表中選擇選項(xiàng)來描述設(shè)計(jì)。隨著樣本量越來越多，一些趨勢則開始出現(xiàn)。 例如：你可能有 84％ 的受訪者將設(shè)計(jì)描述為“新鮮”。

九、眼動(dòng)測試

• 使用：確定哪些 UI 元素分散注意力，可查找或可發(fā)現(xiàn)。
• 成本：高
• 收集難度：高
• 分析難度：高
• 方法類型：行為
• 使用環(huán)境：基于任務(wù)

眼球跟蹤研究需要特殊的設(shè)備，來跟蹤用戶在界面上移動(dòng)時(shí)的眼睛。 當(dāng)許多參與者（30 個(gè)或更多）在同一界面上執(zhí)行相同的任務(wù)時(shí)，有意義的趨勢開始出現(xiàn)，你可以通過一些可靠性告訴頁面的哪些元素會(huì)吸引人們的注意力。

眼動(dòng)測試可以幫助你確定需要強(qiáng)調(diào)或強(qiáng)調(diào)哪些界面和內(nèi)容元素，以使用戶能夠?qū)崿F(xiàn)其目標(biāo)。

運(yùn)行眼球跟蹤研究的一個(gè)主要障礙是高度專業(yè)化、極其昂貴且有些不穩(wěn)定的設(shè)備以及需要大量的培訓(xùn)才能使用。在嘗試確定使用哪種定量方法引導(dǎo)你的研究問題時(shí)，你需要了解什么？

例如：

• 我們的產(chǎn)品可用性如何隨時(shí)間而變化？
• 與競爭對手相比，我們的表現(xiàn)如何？
• 我們哪個(gè)問題影響最大？我們應(yīng)該如何優(yōu)先排序？

對于這些類型的問題你可能希望使用定量可用性測試、網(wǎng)站分析或調(diào)查。

當(dāng)你想要回答更具體的問題時(shí)，或許其他方法更佳。 例如：

• 我們應(yīng)該如何修復(fù)我們的全球?qū)Ш筋悇e？
• 我們的大多數(shù)用戶對我們的視覺設(shè)計(jì)有何看法？
• 我們應(yīng)該在儀表板中使用這兩種設(shè)計(jì)方案中的哪一種？

對于這些研究問題，你可能希望使用 A / B 測試、卡片分類、樹木測試、編碼定性評論，可取性研究或眼球跟蹤。

但是，這些建議中有一些灰色地帶。 例如：出于安全或技術(shù)原因，A / B 測試可能不是貴公司的選項(xiàng)。

如果是這種情況，你可以進(jìn)行面對面的量化可用性研究來比較兩個(gè)原型。但是，這不是定量可用性測試的典型用法，所以沒有在這里討論它。

在研究問題之后，選擇方法的第二個(gè)最有影響力的因素是成本。

這些方法的成本會(huì)有很大差異，具體取決于你實(shí)施研究的方式。你使用的工具、你擁有的參與者數(shù)量以及研究人員花費(fèi)的時(shí)間都將影響最終成本。

低預(yù)算團(tuán)隊(duì)將依賴數(shù)字方法——遠(yuǎn)程可用性測試、在線卡片分類平臺、如 OptimalSort、A / B 測試以及 Web 或應(yīng)用程序分析。

根據(jù)經(jīng)驗(yàn)，現(xiàn)場方法（例如：面對面的可用性測試，面對面的卡片種類）往往更昂貴，因?yàn)樗鼈冃枰嘞难芯咳藛T更多的時(shí)間。

此外，他們可能需要旅行和設(shè)備租賃。眼動(dòng)測試是這里列出的最昂貴的方法，應(yīng)該只有具有大預(yù)算和研究問題的團(tuán)隊(duì)才能使用它。

一旦選擇了方法，就要了解它，并確保你獲得有用的成果。

警告：不能只收集指標(biāo)并開始做出決策而不進(jìn)行任何統(tǒng)計(jì)分析。僅收集來自 5 個(gè)用戶的評級規(guī)模響應(yīng)，取平均值并繼續(xù)前進(jìn)是不夠的。

對于此處討論的每種方法，都建議最小樣本量以獲得可靠的數(shù)據(jù)并確定統(tǒng)計(jì)顯著性。如果你不這樣做，你無法保證你的發(fā)現(xiàn)不只是僥幸。

無論你選擇哪種方法，一定要考慮研究相關(guān)統(tǒng)計(jì)概念所需的時(shí)間。我保證，定量研究不像它看起來那么難，對于你的定量數(shù)據(jù)來說非常值得。

作者：研如玉，神策數(shù)據(jù)·用戶行為洞察研究院 公眾號（ID：SDResearch）

本文作者：Kate Moran

文章來源：Nielsen Norman Group

本文由 @研如玉 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議