前段時(shí)間做過(guò)了一次比較系統(tǒng)的可用性測(cè)試。因此寫(xiě)了這篇文章作為個(gè)人對(duì)可用性測(cè)試的梳理和反思。

可用性測(cè)試是一個(gè)體量很大的學(xué)科，僅僅從形式和平臺(tái)兩個(gè)維度去分，就可以細(xì)分出十幾種不同的可用性測(cè)試，而每種不同的測(cè)試其研究方法還有相當(dāng)大的不同。

而且我相信，即使是同樣的一個(gè)目標(biāo)，由不同的角色去設(shè)計(jì)和執(zhí)行（比如咨詢(xún)公司的用研人員，某些公司專(zhuān)門(mén)的用研部門(mén)，或者業(yè)務(wù)線(xiàn)上的產(chǎn)品經(jīng)理）也會(huì)有不同的方法和側(cè)重點(diǎn)，因此本文數(shù)千字的篇幅是不可能涵蓋可用性測(cè)試的方方面面的，甚至連作為某一種特定的可用性測(cè)試的工具書(shū)都不夠詳盡。

這里只是我作為一個(gè)業(yè)務(wù)部門(mén)里的交互設(shè)計(jì)師，就我們采用的實(shí)驗(yàn)室的可用性分析（usability lab studies）來(lái)談一談進(jìn)行可用性測(cè)試的一些技巧和需要注意的點(diǎn)——總的來(lái)說(shuō)，站在測(cè)試的大目標(biāo)下，我們的每一個(gè)決定和方法都需要緊貼在目標(biāo)上，每一個(gè)步驟都需要有合理的前因后果和清晰地邏輯。

本文分為“可用性測(cè)試的時(shí)機(jī)”，“可用性測(cè)試的目標(biāo)”，“以目標(biāo)為導(dǎo)向的方案設(shè)計(jì)”和“測(cè)試的過(guò)程”四個(gè)部分。

可用性測(cè)試的時(shí)機(jī)

廣義的可用性分析是指讓用戶(hù)使用真實(shí)材料（包括真實(shí)的產(chǎn)品，模塊，頁(yè)面，原型，概念等）來(lái)探索其可用性的研究。包括了概念測(cè)試（concept testing），實(shí)驗(yàn)室的可用性分析（usability lab studies），遠(yuǎn)程的有指引可用性測(cè)試（moderated remote usability studies），快速迭代的測(cè)試和評(píng)估（rapid iterative testing and evaluation），眼動(dòng)分析（eyetracking）等。

我們將這些可用性測(cè)試的方法放到用戶(hù)研究方法的“定性—定量／態(tài)度-行為”坐標(biāo)系中，我們發(fā)現(xiàn)各種可用性測(cè)試方法涵蓋了定性到定量的整個(gè)坐標(biāo)軸，而在縱坐標(biāo)軸上，可以看到可用性測(cè)試是偏向行為的。

因此，不論是要對(duì)系統(tǒng)的可用性得到一個(gè)概括性的結(jié)論，還是要針對(duì)一個(gè)模塊的可用性進(jìn)行精確的數(shù)據(jù)分析，我們都可以通過(guò)不同的測(cè)試方法來(lái)完成。然而不論是哪一種方法，可用性測(cè)試的核心都是建立在觀(guān)察上的。

那么，我們應(yīng)該在什么時(shí)候去發(fā)起一次可用性測(cè)試？NNG的聯(lián)合創(chuàng)始人Jacob Nielsen列出了以下三個(gè)場(chǎng)景：

1. 在迭代的過(guò)程中，特別是兩個(gè)迭代之間的時(shí)候。我們需要知道我們本期的設(shè)計(jì)是否解決了之前的問(wèn)題，或者我們還需要繼續(xù)改進(jìn)我們的設(shè)計(jì)方案。
2. 數(shù)據(jù)不會(huì)騙人——對(duì)于競(jìng)品的可用性分析，可用性測(cè)試得到的指標(biāo)是非常有用的。
3. 在每一次新的發(fā)布之前，我們需要在腦海中有一個(gè)清晰的目標(biāo)。當(dāng)我們對(duì)現(xiàn)在的設(shè)計(jì)方案沒(méi)有很大的把握的時(shí)候，一次可用性測(cè)試可以告訴我們，新的版本是不是已經(jīng)準(zhǔn)備好發(fā)布了。

總的來(lái)說(shuō)，可用性測(cè)試最好是發(fā)生在整個(gè)設(shè)計(jì)周期里的研究階段（在連續(xù)迭代的過(guò)程中，研究可以被看作是一個(gè)設(shè)計(jì)周期的第一環(huán)，也可以是發(fā)布后的最后一環(huán)）在我們擁有一個(gè)真正的產(chǎn)品之前，我們需要知道一個(gè)方案是否可行，此時(shí)需要注意的是，我們需要平衡可用性測(cè)試材料的保真度。

我們可以用一個(gè)盡量輕量級(jí)的原型來(lái)進(jìn)行，這樣就可以盡快的對(duì)設(shè)計(jì)方案進(jìn)行迭代；當(dāng)然，它也要有足夠的細(xì)節(jié)來(lái)讓用戶(hù)明白我們到底做了一個(gè)什么東西，并且能夠被帶入到我們預(yù)設(shè)的場(chǎng)景里。再就是在我們發(fā)布產(chǎn)品之后對(duì)于設(shè)計(jì)的評(píng)估和梳理，這個(gè)時(shí)候的可用性測(cè)試相當(dāng)于一次低配版的田野觀(guān)察。

可用性測(cè)試的目標(biāo)

這一部分我分兩點(diǎn)來(lái)說(shuō)，第一是什么是可用性以及我們是怎么用可用性測(cè)試來(lái)衡量它的，第二是可用性測(cè)試是用來(lái)做什么。

usability.gov為可用性給出的定義是“用戶(hù)與一個(gè)系統(tǒng)交互時(shí)體驗(yàn)的質(zhì)量”，而構(gòu)成可用性的三個(gè)因素包括效度，效率和主觀(guān)滿(mǎn)意度。一般來(lái)說(shuō)，我們通過(guò)以下的幾個(gè)維度來(lái)衡量系統(tǒng)的可用性：

1. 設(shè)計(jì)的直觀(guān)性：產(chǎn)品的整體架構(gòu)符合用戶(hù)的心智模型，換句話(huà)說(shuō)，用戶(hù)可以輕松直觀(guān)的了解產(chǎn)品的結(jié)構(gòu)，并利用導(dǎo)航系統(tǒng)在界面間清晰的移動(dòng)
2. 清晰性：界面元素表意清晰，交互方式和結(jié)果符合用戶(hù)的預(yù)期
3. 可尋性：用戶(hù)可以快速準(zhǔn)確的找到界面的關(guān)鍵信息
4. 易學(xué)性：一個(gè)新用戶(hù)可以輕松的完成一個(gè)任務(wù)
5. 使用的高效性：一個(gè)老用戶(hù)可以用系統(tǒng)高效的解決問(wèn)題
6. 可記憶性：在第一次訪(fǎng)問(wèn)這個(gè)系統(tǒng)后，用戶(hù)可以記住足夠的內(nèi)容來(lái)幫助他在以后使用的時(shí)候可以高效的使用
7. 發(fā)生錯(cuò)誤的頻率和嚴(yán)重性：用戶(hù)在使用系統(tǒng)時(shí)發(fā)生錯(cuò)誤的頻率，這些錯(cuò)誤的嚴(yán)重性，以及用戶(hù)能否修正這些錯(cuò)誤
8. 主觀(guān)滿(mǎn)意度：用戶(hù)在使用時(shí)的總體體驗(yàn)，以及他們有多喜愛(ài)這個(gè)系統(tǒng)

……

那么問(wèn)題來(lái)了：我們是怎么來(lái)衡量這些可用性指標(biāo)的呢？我反思了我們之前做過(guò)的可用性測(cè)試，在所有的這些測(cè)試?yán)?，我們招募的都是從未使用過(guò)系統(tǒng)的目標(biāo)用戶(hù)。

這樣做的好處在于：上述的1-4點(diǎn)可以得到優(yōu)質(zhì)的結(jié)果。這樣的做法更適用于對(duì)設(shè)計(jì)概念和新功能的驗(yàn)證，但是我們經(jīng)常忽略的是——其實(shí)也是更難做的是——對(duì)舊功能的可用性測(cè)試。因?yàn)樵谄綍r(shí)的設(shè)計(jì)過(guò)程中，我意識(shí)到有的功能，即使是可用性很差，但是用戶(hù)在一段時(shí)間的使用后也可以正確的完成任務(wù)?；蛘呤钦f(shuō)，有的功能是為多次使用而設(shè)計(jì)的，這些功能模塊可能相當(dāng)復(fù)雜或者有很長(zhǎng)的操作路徑，特別是一些B端的產(chǎn)品，頁(yè)面的信息密度還相當(dāng)?shù)拇?，此時(shí)采用新用戶(hù)來(lái)進(jìn)行可用性測(cè)試，不一定會(huì)得到準(zhǔn)確的結(jié)論。

然而對(duì)于已有功能的可用性測(cè)試是必須而且重要的。

舉例來(lái)說(shuō)，我們有一個(gè)對(duì)對(duì)象進(jìn)行批量操作的模塊，用戶(hù)需要對(duì)相似的對(duì)象進(jìn)行多次的重復(fù)操作，此時(shí)的可用性就和上述的1-4點(diǎn)沒(méi)有多大關(guān)系了，而需要度量的是系統(tǒng)的效率和容錯(cuò)性。此時(shí)就需要對(duì)可用性測(cè)試的思路進(jìn)行一定的調(diào)整了，比如說(shuō)，我們可以為我們的設(shè)計(jì)設(shè)定一個(gè)指標(biāo)，來(lái)觀(guān)察我們的設(shè)計(jì)能否達(dá)到這個(gè)指標(biāo)。

比如：我們的目標(biāo)是一個(gè)熟練的用戶(hù)可以在1分鐘內(nèi)處理10個(gè)對(duì)象；在沒(méi)有辦法制定指標(biāo)的時(shí)候，我們可以引入兩個(gè)方案的對(duì)比，從而選取更好的一個(gè)。

當(dāng)然，我們還需要隨時(shí)保持這樣一個(gè)意識(shí)，就是在具體的場(chǎng)景下，可用性測(cè)試是否是最好的方式，還是剛才那個(gè)例子，如果我們確定上面的1-4點(diǎn)都沒(méi)有問(wèn)題，并且埋點(diǎn)數(shù)據(jù)的分析就可以回答現(xiàn)有的設(shè)計(jì)下用戶(hù)每分鐘處理對(duì)象的數(shù)量，那么就沒(méi)有必要去進(jìn)行一場(chǎng)可用性測(cè)試了。

所以最后就是關(guān)于可用性測(cè)試的使用場(chǎng)景，可用性測(cè)試主要有以下兩個(gè)作用：

• 衡量產(chǎn)品的可用性
• 定位產(chǎn)品問(wèn)題及產(chǎn)生的原因。總的來(lái)說(shuō)，可用性測(cè)試用于優(yōu)化產(chǎn)品，但是不能告訴我們應(yīng)該去做什么需求，或者是用戶(hù)想要什么。

比如說(shuō)，我正在設(shè)計(jì)一個(gè)幫助用戶(hù)進(jìn)行鍛煉的應(yīng)用，系統(tǒng)里有一張匯總用戶(hù)每日跑步詳情的月匯總表，可用性測(cè)試不會(huì)告訴我們用戶(hù)為什么會(huì)去關(guān)心這張表，或者這張表會(huì)為系統(tǒng)帶來(lái)怎樣的價(jià)值——你需要通過(guò)一本叫做Hooked的書(shū)或者一些深度訪(fǎng)談來(lái)回答這些問(wèn)題。

請(qǐng)注意下面這個(gè)例子：可用性測(cè)試不回答用戶(hù)會(huì)去關(guān)心這張表里的哪些字段，只有在我們預(yù)設(shè)某一個(gè)字段是重要的的時(shí)候，我們可以通過(guò)可用性測(cè)試來(lái)驗(yàn)證我們的設(shè)計(jì)是否能讓用戶(hù)直觀(guān)的接受這個(gè)字段信息。我們用數(shù)據(jù)埋點(diǎn)，點(diǎn)擊分析和問(wèn)卷來(lái)了解產(chǎn)品里發(fā)生了什么，用深度訪(fǎng)談來(lái)了解用戶(hù)的動(dòng)機(jī)，態(tài)度，想法和體驗(yàn)。而可用性測(cè)試的意義在于告訴我們一個(gè)問(wèn)題為什么發(fā)生。

因此，我們不會(huì)去詢(xún)問(wèn)用戶(hù)對(duì)這個(gè)產(chǎn)品的看法，而是將產(chǎn)品交給用戶(hù)，給他們布置一個(gè)任務(wù)，去觀(guān)察他們是如何與系統(tǒng)交互的，再通過(guò)這樣一些行為數(shù)據(jù)去了解系統(tǒng)中存在哪一些問(wèn)題。比如說(shuō)，我們通過(guò)埋點(diǎn)數(shù)據(jù)發(fā)現(xiàn)在一個(gè)復(fù)雜的注冊(cè)流程中的用戶(hù)資料上傳頁(yè)面存在巨大的跳出率，我們就需要可用性測(cè)試來(lái)告訴我們?yōu)槭裁磿?huì)有這樣的跳出發(fā)生，以及如何修正這個(gè)問(wèn)題。

以目標(biāo)為導(dǎo)向的方案設(shè)計(jì)

以目標(biāo)為導(dǎo)向其實(shí)是我一直非常認(rèn)可的一種設(shè)計(jì)思想，這種思想同樣也體現(xiàn)在了我的用戶(hù)研究上。這里也分為兩個(gè)方面：

• 一是和其他所有的用戶(hù)研究方法一樣，我們采用研究學(xué)習(xí)螺旋模型來(lái)規(guī)劃我們的可用性測(cè)試。這種模式的核心在于，研究的每一步都是建立在目標(biāo)之上的；
• 二是，我們方案里的每個(gè)行為都必須是有目的的——在我剛開(kāi)始做用戶(hù)研究的時(shí)候，常犯的一個(gè)錯(cuò)誤就是全套照搬別人的流程，然而在研究結(jié)束后的反思里才意識(shí)到，每一個(gè)行為都應(yīng)該是有意義的，根據(jù)實(shí)際情況的不同，我們也需要對(duì)標(biāo)準(zhǔn)的流程進(jìn)行修改或者補(bǔ)充。

設(shè)計(jì)了一個(gè)好的研究方案，就成功了一大半了。如上文所說(shuō)，可用性測(cè)試的最大目的就是：

1. 研究用戶(hù)是否能順利的通過(guò)系統(tǒng)達(dá)成目的
2. 定位問(wèn)題。第一點(diǎn)比較簡(jiǎn)單，第二點(diǎn)稍微復(fù)雜一些。

先講第一點(diǎn)：在我們開(kāi)始思考任何的方法和擬定任何的方案之前，我們需要先把本次測(cè)試的目標(biāo)定清楚，在制定研究目標(biāo)的時(shí)候，我建議根據(jù)上文列出的8個(gè)維度來(lái)思考（當(dāng)然你也可以列出更多的維度）。

比如，如果需要測(cè)試一個(gè)網(wǎng)站導(dǎo)航系統(tǒng)的可用性，那么我更傾向于去關(guān)注系統(tǒng)的“設(shè)計(jì)的直觀(guān)性”，如果我需要測(cè)試一個(gè)新用戶(hù)是否能順利的預(yù)訂酒店，那么我需要關(guān)注的可能就是系統(tǒng)的“清晰性”，“可尋性”和“易學(xué)性”。

我們需要一個(gè)清晰的框架來(lái)幫助我們梳理我們的研究目的，這樣才能保證我們可以找到一個(gè)研究對(duì)象最關(guān)鍵的點(diǎn)，并且在后續(xù)的步驟中不會(huì)遺漏掉可能出現(xiàn)的問(wèn)題。在這里我們也可以看到，目標(biāo)其實(shí)是和大小無(wú)關(guān)的：測(cè)試一整個(gè)預(yù)訂流程是否流暢是一個(gè)合理的目標(biāo)，測(cè)試一個(gè)按鈕組的呈現(xiàn)方式是否足夠直觀(guān)也是一個(gè)合理的目標(biāo)。

第二點(diǎn)就是定位問(wèn)題，為了精準(zhǔn)的定位到問(wèn)題出現(xiàn)的原因，我的做法是將觀(guān)察的粒度拆得盡量細(xì)。而這樣的細(xì)分其實(shí)是分為兩個(gè)部分的：

1. 通過(guò)關(guān)鍵假設(shè)將目標(biāo)拆分為可以度量的條目
2. ?在完成了任務(wù)的設(shè)計(jì)后，需要在任務(wù)流程里設(shè)置詳細(xì)的觀(guān)察點(diǎn)。

先說(shuō)關(guān)鍵假設(shè)，其實(shí)假設(shè)是我們?cè)谧鲇脩?hù)研究的時(shí)候很容易忽略的一個(gè)步驟。這個(gè)步驟的含義是，我們?cè)谔岢隽四繕?biāo)之后，需要理清關(guān)于目標(biāo)，我們（認(rèn)為自己）已經(jīng)知道的事情，我們預(yù)期用戶(hù)的行為是什么，我們認(rèn)為哪些地方會(huì)出現(xiàn)問(wèn)題，以及我們可能會(huì)怎么去解決這些問(wèn)題。

Frog的一個(gè)設(shè)計(jì)研究負(fù)責(zé)人Jon Freach提出，在研究的早期，假設(shè)可以幫助我們感知和思考我們需要去解決的問(wèn)題，更好的選擇研究方案。

具體到我們的可用性測(cè)試來(lái)說(shuō)，除了上述的作用，關(guān)鍵假設(shè)還可以為我們帶來(lái)這樣的價(jià)值：我們?cè)诘谝徊教岢龅哪繕?biāo)其實(shí)是不能直接和具體的方法聯(lián)系起來(lái)的，這個(gè)時(shí)候，關(guān)鍵假設(shè)可以幫助我們將目標(biāo)拆分為更容易被翻譯成具體任務(wù)的條目。

比如：我的目標(biāo)是“測(cè)試用戶(hù)是否在酒店列表里能找到合適的酒店”，我的關(guān)注點(diǎn)是頁(yè)面信息的“清晰性”，“可尋性”，那么我的關(guān)鍵假設(shè)可能就是：

1. 用戶(hù)可以清晰的理解每條記錄里具體信息的意義
2. 我們提供的按價(jià)格，評(píng)分，星級(jí)的排序機(jī)制可以滿(mǎn)足用戶(hù)需求的
3. 用戶(hù)在尋找左側(cè)邊欄的篩選控件時(shí)會(huì)遇到困難。那么根據(jù)這樣一些假設(shè)，我們只要設(shè)計(jì)出可以全部覆蓋它們的任務(wù)流程，就可以很順利的達(dá)成目標(biāo)了。

至此，我們已經(jīng)走在了正確的道路上，我們的任務(wù)可以覆蓋我們目標(biāo)可能存在的所有問(wèn)題。現(xiàn)在再來(lái)回想一下我們?cè)谝粓?chǎng)可用性測(cè)試?yán)锏哪康模壕珳?zhǔn)的定位問(wèn)題，以及挖掘問(wèn)題發(fā)生的原因。

那么，我們還需要一些方法來(lái)將測(cè)試的過(guò)程更加的精細(xì)化。在這里我采用了設(shè)置觀(guān)察點(diǎn)的方法，這種方法的機(jī)制是：盡量將頁(yè)面上可能的觸點(diǎn)羅列出來(lái)，而所有的觸點(diǎn)分為和任務(wù)主流程有關(guān)的觸點(diǎn)（A）和無(wú)關(guān)的觸點(diǎn)（B）。

在用戶(hù)完成任務(wù)時(shí)，我們需要觀(guān)察所有的觸點(diǎn)，此時(shí)對(duì)A類(lèi)觸點(diǎn)的觀(guān)察可以覆蓋到所有和測(cè)試目標(biāo)有關(guān)的用戶(hù)行為，而對(duì)B類(lèi)觸點(diǎn)的觀(guān)察可以覆蓋到系統(tǒng)里一些其他的可用性問(wèn)題。

在用戶(hù)完成任務(wù)后的復(fù)盤(pán)過(guò)程中，我們需要就關(guān)鍵的，以及剛才出現(xiàn)問(wèn)題的觸點(diǎn)與用戶(hù)進(jìn)行訪(fǎng)談，以便確認(rèn)問(wèn)題發(fā)生的原因。這個(gè)方法的意義在于，在訪(fǎng)談的過(guò)程中，觀(guān)察者可以帶著目的和清晰地條例去觀(guān)察用戶(hù)行為，在之后的復(fù)盤(pán)中，可以更加系統(tǒng)的去還原用戶(hù)的行為，特別是那些通過(guò)直接觀(guān)察沒(méi)有辦法得出結(jié)論的點(diǎn)。

打個(gè)比方：如下圖所示：還是預(yù)訂酒店的例子。

我們的目標(biāo)是測(cè)試酒店搜索結(jié)果頁(yè)對(duì)于一個(gè)新用戶(hù)的的可用性，用戶(hù)任務(wù)是在該頁(yè)面找到一家價(jià)格適中，位置靠近老城，評(píng)價(jià)優(yōu)異，可供全家4人住宿的房間。

在酒店信息頁(yè)，可能的A類(lèi)觀(guān)察點(diǎn)就包括了展示酒店信息的所有卡片；卡片內(nèi)的所有字段，鏈接，標(biāo)簽，圖標(biāo)，按鈕；篩選控件；排序控件；地圖入口；切換瀏覽方式的控件等?？赡艿腂類(lèi)觀(guān)察點(diǎn)就包括了重新搜索的控件，該目的地其他日期的預(yù)定情況等。

在一場(chǎng)真實(shí)的可用性測(cè)試中，我們需要知道完成任務(wù)的所有路徑，以及最高效的那些路徑，而用戶(hù)很有可能會(huì)采用一些更低效的路徑，我們需要去觀(guān)察用戶(hù)是如何做出這樣的選擇的，并且在測(cè)試完成之后的復(fù)盤(pán)中，我們需要去向用戶(hù)了解是如何去認(rèn)知其他的路徑的。

比如在這個(gè)例子中，如果用戶(hù)想要高效的找到合適的住宿，他可能需要采用地圖視圖，價(jià)格篩選器，以及按照用戶(hù)評(píng)分對(duì)列表進(jìn)行排序。而在實(shí)際的操作中，用戶(hù)有可能不會(huì)用到這些組件，他們甚至可能會(huì)不對(duì)列表進(jìn)行任何操作就直接在列表中逐項(xiàng)瀏覽。那么在測(cè)試的過(guò)程中，我們就需要去留意用戶(hù)是怎樣選擇并使用了一個(gè)組件，在過(guò)程中是否有誤操作，猶豫等。

在測(cè)試完成后，需要去詢(xún)問(wèn)用戶(hù)“請(qǐng)問(wèn)你注意到列表上方的排序控件了嗎？”，“我注意到你剛才想要去點(diǎn)擊地圖，但是最后放棄了，這是為什么呢？”，“你有沒(méi)有想過(guò)需要將可以住4人的酒店篩選出來(lái)呢？你覺(jué)得你應(yīng)該怎樣去操作才能完成篩選呢？”等。

在完成了目標(biāo)，關(guān)鍵假設(shè)和觀(guān)察點(diǎn)的梳理后，我們就可以開(kāi)始拿著我們的測(cè)試計(jì)劃開(kāi)始準(zhǔn)備材料，數(shù)據(jù)，腳本以及用戶(hù)招募了。但是在走進(jìn)房間開(kāi)始和用戶(hù)進(jìn)行近距離接觸之前，我通常會(huì)建議團(tuán)隊(duì)再做以下這件事情：對(duì)可用性測(cè)試的計(jì)劃本身進(jìn)行一次測(cè)試。一是為了保證測(cè)試過(guò)程的流暢，二是為了再次檢查我們的測(cè)試方案是否已經(jīng)足夠細(xì)致和全面了。

在這樣一個(gè)非正式的測(cè)試?yán)铮覀兺ǔ?huì)邀請(qǐng)一個(gè)同事（被試者對(duì)系統(tǒng)的熟悉程度需要根據(jù)測(cè)試目的來(lái)定），并嚴(yán)格按照正式測(cè)試的環(huán)境和流程進(jìn)行。

在這個(gè)流程中，我們可以看到準(zhǔn)備的材料和數(shù)據(jù)是否合理，能否覆蓋我們的測(cè)試目的；對(duì)于那些設(shè)計(jì)多平臺(tái)多設(shè)備多端口的任務(wù)，我們需要去保證數(shù)據(jù)和流程的流轉(zhuǎn)可以正常的進(jìn)行。在這樣的測(cè)試?yán)铮玫降年P(guān)于可用性的結(jié)論是沒(méi)有太大參考意義的，但是我們可以通過(guò)走完一個(gè)完整的流程對(duì)之前列出的觀(guān)察點(diǎn)進(jìn)行查漏補(bǔ)缺。

最后就是招募用戶(hù)的數(shù)量。根據(jù)Nielsen和Landauer的研究，可用性測(cè)試發(fā)現(xiàn)系統(tǒng)中問(wèn)題數(shù)量與測(cè)試人數(shù)遵循以下公式：

P=N （1-（1- L ） n ）

其中P為發(fā)現(xiàn)問(wèn)題的數(shù)量，N是系統(tǒng)中存在問(wèn)題的總量，L是通過(guò)研究單個(gè)用戶(hù)可以發(fā)現(xiàn)的用戶(hù)比例，根據(jù)經(jīng)驗(yàn)L的值一般被定義為31%。

此時(shí)我們可以繪制出P關(guān)于n的曲線(xiàn)，如下左圖所示。

此外，Nielsen還給出了以下的一份數(shù)據(jù)：根據(jù)83例NNgroup最近進(jìn)行過(guò)的可用性咨詢(xún)的案例分析可以得出下右圖的可用性問(wèn)題數(shù)量——招募用戶(hù)數(shù)量的關(guān)系。我們可以看到，在招募5-8名用戶(hù)的時(shí)候，就足以暴露出系統(tǒng)中的大部分可用性問(wèn)題了。而此時(shí)再測(cè)試更多的用戶(hù)，并不會(huì)為我們的洞察帶來(lái)明顯的提升。

因此在我們的可用性測(cè)試中，我通常會(huì)遵循以下的原則——這也是其他定性用戶(hù)研究用戶(hù)招募的一個(gè)通用原則——至少對(duì)5名用戶(hù)進(jìn)行測(cè)試，當(dāng)測(cè)試完第五名用戶(hù)的時(shí)候，如果我們發(fā)現(xiàn)問(wèn)題的分布足夠集中，或者是不再出現(xiàn)新的問(wèn)題，那么針對(duì)這個(gè)目標(biāo)的可用性測(cè)試就可以結(jié)束了。如果此時(shí)還在暴露出新的問(wèn)題，那么我們就還需要繼續(xù)進(jìn)行測(cè)試，直到不再暴露明顯的新問(wèn)題為止。

測(cè)試的過(guò)程

關(guān)于測(cè)試的過(guò)程我就不在這里詳細(xì)描寫(xiě)一次可用性測(cè)試所有的步驟了，下面列出幾個(gè)我認(rèn)為可以最大程度上提升研究質(zhì)量的點(diǎn)。

不要試圖去消滅測(cè)試的“人為因素”

一次典型的實(shí)驗(yàn)室環(huán)境的可用性測(cè)試包括了一把椅子，一張桌子，用戶(hù)坐在屏幕前完成任務(wù)，由錄像機(jī)和各種傳感器來(lái)追蹤所有發(fā)生的事情——包括眼動(dòng)，面部表情，身體語(yǔ)言等等。這樣做的目標(biāo)就是試圖消滅掉試驗(yàn)中的一切實(shí)驗(yàn)因素。甚至有一些用研人員建議“不要和用戶(hù)說(shuō)話(huà)”。

雖然我完全同意傾聽(tīng)多于說(shuō)話(huà)的觀(guān)點(diǎn)，但是——即使我完全保持沉默，甚至是躲在另外一個(gè)房間，用戶(hù)總是會(huì)知道他們是正在被觀(guān)察著的，我不用做任何事情，我的身份就是一個(gè)觀(guān)察者，這個(gè)時(shí)候適得其反的事情就發(fā)生了。

• 用戶(hù)會(huì)把我視作一個(gè)標(biāo)桿或者權(quán)威，他們會(huì)用他們的答案和行為來(lái)取悅我
• 因?yàn)樗麄儜峙略谖已壑酗@得愚蠢，因此他們會(huì)懼怕犯錯(cuò)
• 他們的行為模式會(huì)和自然狀態(tài)下截然不同，他們會(huì)使用一些前所未有的方式去和我們的產(chǎn)品交互

我們需要意識(shí)到的是，可用性測(cè)試對(duì)于用戶(hù)來(lái)說(shuō)本來(lái)就是一件不自然的事情——包括馬上我要說(shuō)的Think Out Loud——就像洗澡的時(shí)候突然有人拉開(kāi)浴簾問(wèn)我水溫如何一樣。因此，我認(rèn)為消滅測(cè)試的“人為因素”是一件徒勞的事情，相反，我們應(yīng)該向前一步，去接受實(shí)驗(yàn)環(huán)境和現(xiàn)實(shí)不同的這個(gè)事實(shí)。

去扮演一個(gè)友好的角色，我習(xí)慣于在正式的測(cè)試開(kāi)始之前和用戶(hù)有一個(gè)簡(jiǎn)短的寒暄，講兩個(gè)適當(dāng)?shù)亩巫樱恍┖陀脩?hù)貼近的小問(wèn)題，注意自己的語(yǔ)氣和身體語(yǔ)言——事實(shí)上，這樣的開(kāi)場(chǎng)適合于所有的定性研究。

總之，創(chuàng)造一個(gè)輕松的氛圍，讓自己看上去親和友好，向用戶(hù)傳達(dá)我們是多么高興他可以幫助我們發(fā)現(xiàn)系統(tǒng)的問(wèn)題。當(dāng)用戶(hù)愿意走出他的舒適區(qū)時(shí)，我們就可以得到更多有價(jià)值的信息了。

Think Out Loud&測(cè)試后的復(fù)盤(pán)

測(cè)試的目的之一是挖掘出更多的信息，而用戶(hù)的操作只能展示出測(cè)試時(shí)所發(fā)生的事情的很小一部分，除了仔細(xì)的觀(guān)察之外，我們會(huì)要求用戶(hù)在使用時(shí)將自己的思考/決策過(guò)程說(shuō)出來(lái)，包括

• 當(dāng)進(jìn)入這個(gè)頁(yè)面的時(shí)候，我首先注意到了哪些東西？
• 我認(rèn)為這個(gè)頁(yè)面是做什么用的
• 我下一步想做什么？我覺(jué)得頁(yè)面上哪些元素可以幫助我？
• 當(dāng)我完成某一操作后，我預(yù)期會(huì)有怎樣的反饋？那真實(shí)的反饋是怎樣的？
• 界面上有哪些元素是我不明白的？
• 我進(jìn)行了誤操作，我應(yīng)該怎么消除這個(gè)錯(cuò)誤？

1. ……

這樣，我們就可以保證我們?cè)O(shè)置的觀(guān)察點(diǎn)得到了充分的覆蓋，并且可以幫助我們對(duì)界面以及產(chǎn)品結(jié)構(gòu)進(jìn)行更全面的洞察。當(dāng)然，Think Out Loud是建立在第一條的基礎(chǔ)上的，只有當(dāng)用戶(hù)在一個(gè)足夠放松和信任的狀態(tài)下，他才會(huì)保持一個(gè)說(shuō)話(huà)的狀態(tài)。

在用戶(hù)完成任務(wù)之后，我們已經(jīng)收集到了足夠多的信息，但是如何保證信息的精確性呢？我使用的方法是進(jìn)行一次復(fù)盤(pán)。我們需要回顧用戶(hù)剛才的路徑和所有操作，去確認(rèn)每一個(gè)決定的原因，以及用戶(hù)沒(méi)有說(shuō)出來(lái)的東西，比如：

• 你為什么要點(diǎn)擊多次撤銷(xiāo)，而不去點(diǎn)擊清空按鈕呢？
• 我注意到你將鼠標(biāo)移到了A按鈕上，但是最后又沒(méi)有點(diǎn)擊呢？
• 我注意到你在進(jìn)行B操作的時(shí)候顯得有些焦躁，這是為什么呢？
• ……

保證信息的完整和精確，我們就可以告訴用戶(hù)說(shuō)今天你的測(cè)試已近完成了。

對(duì)測(cè)試方案的迭代

如果我說(shuō)“我需要在研究的過(guò)程中修改我的研究方案”，很多研究者心中的第一反應(yīng)多半是WTF？我理解很多人將中途修改方案視為洪水猛獸，因?yàn)檫@和“得到一個(gè)客觀(guān)的結(jié)論”的目的似乎是相悖的。他們說(shuō)你需要5名用戶(hù)去做一模一樣的任務(wù)，這樣才能得到一個(gè)有意義的結(jié)論。

我當(dāng)然同意要想辦法得到更客觀(guān)的答案，但是這并不意味著我們的研究方案就自始至終一成不變的了。我們應(yīng)該在保證目標(biāo)和關(guān)鍵假設(shè)不變的前提下，在每一次測(cè)試之后，對(duì)我們的觀(guān)察點(diǎn)以及復(fù)盤(pán)時(shí)的問(wèn)題進(jìn)行迭代——這個(gè)習(xí)慣同樣適用于其他的定性用戶(hù)研究方法——因?yàn)槲覀兊挠^(guān)察點(diǎn)和問(wèn)題的擬定都建立在我們對(duì)系統(tǒng)了解的基礎(chǔ)上，但是有的時(shí)候，用戶(hù)和我們?cè)O(shè)計(jì)的體驗(yàn)是兩回事情，曾經(jīng)有同事反饋說(shuō)，自己設(shè)置的觀(guān)察點(diǎn)很多都沒(méi)有用上，而用戶(hù)的很多行為完全出乎了他的意料。

打個(gè)比方，如果前兩個(gè)用戶(hù)在任務(wù)的最開(kāi)始都統(tǒng)統(tǒng)選擇了一條我們預(yù)料之外的路徑，而我們都沒(méi)有在這條路徑上設(shè)置任何的觀(guān)察點(diǎn)與問(wèn)題。那么，如果我們不在后續(xù)的研究上加上“你為什么會(huì)點(diǎn)擊這個(gè)入口”這樣的問(wèn)題，那么我們永遠(yuǎn)也不會(huì)知道用戶(hù)這樣奇怪舉動(dòng)背后的原因。

參考文獻(xiàn)

1. Usability Engineering, 1993, Jakob Nielsen
2. Qualitative Research Design, 1996, Maxwell, https://www.sagepub.com/sites/default/files/upm-binaries/5057_Maxwell_Chapter_5.pdf
3. UX Research Cheat Sheet, 2017, Susan Farrell, https://www.nngroup.com/articles/ux-research-cheat-sheet/
4. How Many Test Users in a Usability Study, 2012, Jakob Nielsen, https://www.nngroup.com/articles/how-many-test-users/
5. Why You Only Need to Test with 5 Users, 2000, Jakob Nielsen, https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
6. How Do I Do User Research, 2014, Katerena Kuksenok, https://medium.com/hci-design-at-uw/how-i-do-user-research-fabc89acc7c9
7. Don’t Listen to Users and 4 Other Myths About Usability Testing, 2016, Icon8, https://uxplanet.org/dont-listen-to-users-and-4-other-myths-about-usability-testing-a061a0b746b8
8. UX Design Process Best Practices, UXPin, https://www.uxpin.com/studio/ebooks/ux-design-process-documentation-best-practices/
9. The Guide to Usability Testing, UXPin, https://www.uxpin.com/studio/ebooks/guide-to-usability-testing/
10. A 5-Step Process For Conducting User Research, David Sherwin, 2013, https://www.smashingmagazine.com/2013/09/5-step-process-conducting-user-research/

本文由 @J.Yang 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自u(píng)nsplash，基于CC0協(xié)議