產(chǎn)品經(jīng)理干貨:可用性測試的那些事
![](http://image.woshipm.com/wp-files/img/45.jpg)
可用性測試是指通過對典型用戶實(shí)施測試來對產(chǎn)品或服務(wù)做出評價(jià)。在一次典型的測試中,用戶要完成一系列典型任務(wù)。與此同時(shí),觀察者會(huì)在一旁觀察、傾聽、做筆記??捎眯詼y試的目的就是為了發(fā)現(xiàn)可用性問題,收集定性和定量的數(shù)據(jù),并評估用戶對產(chǎn)品的滿意度。
可用性測試的好處
可用性測試有助于設(shè)計(jì)和研發(fā)團(tuán)隊(duì)在產(chǎn)品成型之前發(fā)現(xiàn)問題。問題發(fā)現(xiàn)和修正的越早,從工時(shí)和對日程的潛在影響來看,修正的代價(jià)就越小。可用性測試可以幫助你:
- 了解參與者能否順利完成特定任務(wù)
- 了解完成特定任務(wù)的時(shí)間
- 了解參與者對網(wǎng)站和其他產(chǎn)品的滿意度
- 找到為改善用戶表現(xiàn)和滿意度所需的改變
- 通過分析用戶表現(xiàn)來考察其是否滿足你的可用性目標(biāo)
你不需要一個(gè)正式的實(shí)驗(yàn)室
有效的可用性測試并不一定需要正式的實(shí)驗(yàn)室。你可以在這些背景下實(shí)施:
- 由2-3個(gè)相連的房間改裝的實(shí)驗(yàn)室,同時(shí)配備有錄音和視頻設(shè)備
- 配備有可攜帶錄制設(shè)備的房間
- 沒有錄制設(shè)備的房間沒關(guān)系,只要有人在觀察用戶并做筆記
- 遠(yuǎn)程測試,用戶在不同的地方(有主持的或者沒主持的)
影響成本的因素
影響成本的因素有:
- 測試的類型
- 配備給測試的團(tuán)隊(duì)規(guī)模
- 測試參與者的數(shù)量
- 測試的天數(shù)
記住要安排不止一次測試的預(yù)算。網(wǎng)站或其他產(chǎn)品的可用性設(shè)計(jì)是一個(gè)迭代的過程。
為可用性測試安排預(yù)算時(shí)要考慮下面的因素:
- 時(shí)間:你需要時(shí)間來計(jì)劃可用性測試。需要時(shí)間來讓可用性專家和團(tuán)隊(duì)熟悉網(wǎng)站,試驗(yàn)測試場景。確保為測試準(zhǔn)備安排足夠的時(shí)間,當(dāng)然還有實(shí)施測試、分析數(shù)據(jù)、撰寫報(bào)告和呈現(xiàn)結(jié)果的時(shí)間。
- 招募成本:要考慮你要怎樣和在哪里招募參與者。你要考慮到招募的工時(shí)以及讓招募公司按照你的要求招募被試的時(shí)間。
- 參與者報(bào)酬:如果你要為參與者的時(shí)間、旅費(fèi)支付報(bào)償,那就將這些也考慮進(jìn)預(yù)算。
- 租金成本:如果你沒有監(jiān)控或錄制設(shè)備,你需要為實(shí)驗(yàn)室或其他設(shè)備支付租金,這也是預(yù)算的一部分。你可能需要保證一個(gè)測試的地點(diǎn),比如一間會(huì)議室,這也是要考慮的。
制定測試計(jì)劃
計(jì)劃的目的就是記下你要做什么,你要如何實(shí)施測試,你要收集哪些測量數(shù)據(jù),測試多少參與者,以及使用的場景。
通常,可用性專家會(huì)和網(wǎng)站或產(chǎn)品的擁有者以及研發(fā)團(tuán)隊(duì)的成員碰面,討論決定計(jì)劃的主要要素。然后,可用性專家會(huì)制定出計(jì)劃的初步方案,告訴管理者和團(tuán)隊(duì)的其他成員。每個(gè)人發(fā)表自己的意見,并對最后的計(jì)劃達(dá)成一致,可用性專家會(huì)修改計(jì)劃來反映最后的決定。
測試計(jì)劃的要素
可用性計(jì)劃包括如下要素:
- 范圍:你要測試什么:給網(wǎng)站、網(wǎng)站應(yīng)用、或其他產(chǎn)品取個(gè)名字。說明測試覆蓋的產(chǎn)品方面,例如,截止到某個(gè)日期的原型;導(dǎo)航;導(dǎo)航和內(nèi)容。
- 目標(biāo):確定測試的關(guān)注點(diǎn)、問題和目標(biāo)。目標(biāo)可能很寬泛,例如,“用戶從原型主頁的導(dǎo)航能夠定位到重要信息嗎?”也可能很具體,例如,“用戶能夠很容易地找到放在目前位置的搜索框嗎?”在每輪測試中,你肯定會(huì)有一些或?qū)挿夯蚓唧w的關(guān)注點(diǎn)。場景要依據(jù)你的關(guān)注點(diǎn)設(shè)置。
- 日程和地點(diǎn):什么時(shí)候以及在哪測試。日程安排要詳細(xì)說明一天中有多少次的會(huì)談,每次會(huì)談的時(shí)間安排怎樣。
- 測試階段:每個(gè)測試階段的說明、時(shí)長(通常一個(gè)小時(shí)到90分鐘)。在安排參與者時(shí),在測試階段之間通常要預(yù)留30分鐘的時(shí)間來重新布置環(huán)境,與觀察者簡單回顧討論這個(gè)測試階段,或者為測試階段推后或參與者遲到提供緩沖。
- 設(shè)備:說明設(shè)備的類型。臺(tái)式機(jī)、筆記本、手機(jī)或智能手機(jī)。如果與測試相關(guān),也應(yīng)包括顯示器的尺寸和分辨率,操作系統(tǒng),瀏覽器等。也要說明你計(jì)劃錄音或錄像,或使用到某種特殊的可用性測試工具和協(xié)助工具。
- 參與者:說明你計(jì)劃招募的測試參與者的數(shù)量和類型。介紹你要怎樣招募這些參與者??梢钥紤]將篩選標(biāo)準(zhǔn)放在附錄。
- 場景:說明測試中任務(wù)的數(shù)量和類型。通常,對于一個(gè)60分鐘的測試,你可以為臺(tái)式機(jī)或筆記本的測試安排10(+/-2)個(gè)場景,為手機(jī)或智能手機(jī)測試安排8(+/-2)個(gè)場景。你可以在測試計(jì)劃中包含更多的場景,這樣團(tuán)隊(duì)就可以從中選擇合適的任務(wù)。
- 測量數(shù)據(jù):主觀測量數(shù)據(jù):包括你準(zhǔn)備在每個(gè)測試階段前(如背景調(diào)查問卷)和每個(gè)任務(wù)場景完成后(任務(wù)的容易度和滿意度問題)詢問參與者的問題,以及每個(gè)測試階段結(jié)束后整體的容易度、滿意度以及使用和推薦的可能性等問題。
- 定量測量數(shù)據(jù):列出你在測試中要測量哪些定量數(shù)據(jù),例如成功率,錯(cuò)誤率和完成任務(wù)所需時(shí)間。
- 角色:參與可用性測試的員工名單和他們的角色。可用性專家應(yīng)該成為測試的主持人??捎眯詧F(tuán)隊(duì)成員可以是主要的記錄者。其他團(tuán)隊(duì)成員可以作為觀察者或記錄者。
招募參與者
你要招募熟悉網(wǎng)站的用戶做測試的參與者。
根據(jù)網(wǎng)站或產(chǎn)品的不同,你可能有許多不同的潛在用戶群(例如,內(nèi)科醫(yī)生、病人、研究者或青少年、父母和教育者)。每個(gè)用戶群要嘗試著招募一些典型用戶,或者最好的情況是,如果你想收集基于角色的信息或關(guān)注功能,你也可能單獨(dú)對每個(gè)用戶群實(shí)施測試。
如果你的網(wǎng)站是針對外部受眾的,一個(gè)常見的錯(cuò)誤就是使用內(nèi)部員工來做參與者。只有內(nèi)部員工也是網(wǎng)站的目標(biāo)受眾時(shí),他們才能作為參與者。
- 數(shù)量:對于一個(gè)診斷性的可用性測試,6-8個(gè)用戶通常就足以發(fā)現(xiàn)產(chǎn)品的主要問題。
如果你想開展正式的定量測試,你需要從更多的人那里獲得數(shù)據(jù)結(jié)果,但是可用性測試通常不會(huì)這樣做。
如果你計(jì)劃在開發(fā)網(wǎng)站時(shí)做迭代可用性測試,許多用戶會(huì)對網(wǎng)站的好幾個(gè)版本進(jìn)行測試。你需要將這個(gè)考慮進(jìn)你的招募和預(yù)算計(jì)劃。
- 招募:如果你的團(tuán)隊(duì)能夠找到典型用戶,你可以從他們當(dāng)中招募。如果你的團(tuán)隊(duì)找不到,你可以雇用一家商業(yè)招募公司。大部分招募公司需要兩到三周來尋找和安排必須的參與者數(shù)量和類型。一些招募公司也可能幫你管理報(bào)酬費(fèi)。最好和他們討論下你的團(tuán)隊(duì)所需要的額外服務(wù)。
- 篩選問卷:篩選問卷可以很簡單,只有性別和年齡;也可以很復(fù)雜,包括一系列目標(biāo)受眾的規(guī)定。
- 成本:包括尋找參與者的花費(fèi),也包括激勵(lì)參與者的花費(fèi)(如禮物或酬金),某些情況下也包括旅途費(fèi)用和停車費(fèi)。
測試準(zhǔn)備
確保你準(zhǔn)備好了所有材料、知情同意書和需要的文件。在測試前再檢查一遍。讓一個(gè)志愿參與者初步試驗(yàn)一下設(shè)備和材料。初步試驗(yàn)可以幫助你:
- 測試設(shè)備
- 讓主持人和記錄者練習(xí)一遍
- 了解到參與者能否清晰地理解你的問題和場景
- 做最后的調(diào)整
在正式測試前用1-2天做試驗(yàn)性的測試,這樣你就有時(shí)間處理一些技術(shù)問題、或有必要的話調(diào)整場景或其他材料。
實(shí)施可用性測試
以下是一個(gè)測試階段的例子:
1.? 主持人對參與者表示歡迎,并向其說明接下來的測試階段,邀請參與者簽下授權(quán)協(xié)議,詢問測試前的人口統(tǒng)計(jì)學(xué)問題。
2.? 主持人說明出聲思維,并詢問參與者有沒其他問題。主持人告知如何開始。
3.? 參與者大聲閱讀任務(wù)場景,并一邊依據(jù)場景開始工作,一邊出聲思維。
4.? 記錄者記下參與者的行為,評論,錯(cuò)誤以及是否成功完成每個(gè)任務(wù)。
5.? 直到所有任務(wù)場景全部完成,測試階段也就結(jié)束,或分配的時(shí)間已經(jīng)過去
6.? 主持人詢問測試階段結(jié)束后的主觀性問題,或者讓他們完成一個(gè)在線調(diào)查,感謝參與者,給參與者報(bào)酬,護(hù)送他們離開測試環(huán)境。
7.? 主持人隨后重新布置材料和設(shè)備,和觀察者簡單討論,等待下一個(gè)參與者的到來。
測試度量
在測試中可以收集下面幾種測量數(shù)據(jù):
- 任務(wù)成功率:每個(gè)場景都需要用戶獲得特定的數(shù)據(jù)以完成任務(wù)。當(dāng)參與者找到問題的答案或完成任務(wù)目標(biāo)時(shí),場景任務(wù)就算成功完成了。在某些情況下,你可能想要詢問多重選擇的問題。記住,在測試計(jì)劃中要有問題和相應(yīng)的答案,并將這些告訴記錄者和觀察者。
- 關(guān)鍵錯(cuò)誤:關(guān)鍵錯(cuò)誤是指偏離場景目標(biāo)的行為。例如,由于參與者的工作流程而報(bào)告了錯(cuò)誤的數(shù)據(jù)。這種情況下,參與者本質(zhì)上是不能完成任務(wù)的。參與者可能意識(shí)到或沒有意識(shí)到?jīng)]有完成任務(wù)。
- 非關(guān)鍵錯(cuò)誤:是指參與者自己恢復(fù)的錯(cuò)誤,或沒有導(dǎo)致任務(wù)失敗的錯(cuò)誤。這些錯(cuò)誤只是造成完成的效率更低。例如,打開錯(cuò)誤的導(dǎo)航菜單欄目的探索性的行為,或不正確地使用一個(gè)控件。
- 零錯(cuò)誤率:參與者在沒有出現(xiàn)任何錯(cuò)誤(關(guān)鍵和非關(guān)鍵錯(cuò)誤)的情況下完成任務(wù)的百分比。
- 完成任務(wù)時(shí)間:參與者完成任務(wù)所需的時(shí)間。
- 主觀測量:參與者自我報(bào)告的關(guān)于滿意度、易用性、找到信息的容易程度等方面的評價(jià),使用5-7點(diǎn)量表測量。
- 喜歡,不喜歡和建議:參與者最喜歡網(wǎng)站的哪些方面,最不喜歡網(wǎng)站的哪些方面,以及改善網(wǎng)站的建議。
數(shù)據(jù)分析
根據(jù)你使用的測量數(shù)據(jù)的不同,你最后會(huì)得到幾種不同的數(shù)據(jù)類型。這包括定量數(shù)據(jù)(成功率、完成任務(wù)時(shí)間、錯(cuò)誤率、滿意度評價(jià))和定性數(shù)據(jù)(參與者使用流程的觀察、出現(xiàn)的問題、評價(jià)與建議、開放性問題的回答)。
重要結(jié)果報(bào)告
為了保證報(bào)告了重要結(jié)果,當(dāng)你檢視數(shù)據(jù)時(shí)要考慮問題在整個(gè)網(wǎng)站中的普遍性以及問題的嚴(yán)重性。
你的發(fā)現(xiàn)可能對網(wǎng)站的其他頁面也有參考價(jià)值(普遍性)。例如,你可能發(fā)現(xiàn),由于文字太密集,參與者在網(wǎng)頁上找不到想要的東西。你可以說僅僅是這個(gè)頁面需要調(diào)整,但你也需要考慮其他頁面是否也存在這個(gè)問題。
一些問題相比其他問題對于參與者完成任務(wù)更為關(guān)鍵。許多組織會(huì)在3-4點(diǎn)量表評價(jià)問題的嚴(yán)重性。例如:
- 非常重要:如果我們不修正這個(gè)問題,用戶就沒法完成場景任務(wù)。
- 重要:如果不修正這個(gè)問題,用戶會(huì)感到受挫,并最終放棄。
- 次要:用戶有點(diǎn)惱火,但這并不影響他們完成場景任務(wù)。這個(gè)問題有待不久后商榷。
撰寫報(bào)告
一個(gè)好的報(bào)告應(yīng)該包括測試計(jì)劃的相關(guān)信息,并呈現(xiàn)剛好足夠的細(xì)節(jié)以便后續(xù)測試能夠重復(fù)這一方法。每一部分盡量簡潔,用表格呈現(xiàn)測量數(shù)據(jù)。把發(fā)現(xiàn)和建議作為重點(diǎn),并使用可視化的例子來說明問題區(qū)域。
你的報(bào)告要包括:
- 背景總結(jié):對你測試了什么(網(wǎng)站或網(wǎng)站應(yīng)用)、什么時(shí)候在哪里測試、設(shè)備信息、在測試中你做了什么(可以將所有的測試材料放在附錄)、測試團(tuán)隊(duì)和問題的簡單描述做一簡短的總結(jié)。
- 方法:呈現(xiàn)測試方法以便他人可以重復(fù)你的測試。說明你是如何實(shí)施測試的,包括介紹測試階段、測試界面的類型、收集到的測量數(shù)據(jù)、測試場景概述。介紹參與者情況,用一個(gè)總結(jié)性的表格呈現(xiàn)他們的背景/人口統(tǒng)計(jì)學(xué)特征的信息,例如年齡、職業(yè)、網(wǎng)絡(luò)使用情況、訪問的網(wǎng)站等。對人口統(tǒng)計(jì)學(xué)數(shù)據(jù)做簡單的總結(jié),但不要透露參與者的全名。
- 測試結(jié)果:介紹主持人和數(shù)據(jù)記錄設(shè)備的收集的結(jié)果。介紹最高和最低完成率的任務(wù)??偨Y(jié)每個(gè)參與者的成功率、任務(wù)和每個(gè)任務(wù)的平均成功率,并用表格呈現(xiàn)出來。以這種方式呈現(xiàn)所有的測量數(shù)據(jù)。
- 完成每個(gè)場景和所有場景的參與者數(shù)量和百分比,可以用條形圖呈現(xiàn)。
- 完成每個(gè)場景平均所需的時(shí)間
- 滿意度結(jié)果
- 作為例證的參與者的評論
- 發(fā)現(xiàn)和建議:用你的數(shù)據(jù)列出你的發(fā)現(xiàn)和建議(定量的和定性的,筆記和電子表格)。每個(gè)發(fā)現(xiàn)都應(yīng)基于數(shù)據(jù),即你實(shí)際看到和聽到的。你可能只想將所有發(fā)現(xiàn)和建議列成一張總表,或者一個(gè)場景一個(gè)場景的介紹,又或者不僅有一張主要發(fā)現(xiàn)的列表,也有依據(jù)場景任務(wù)劃分的建議,同時(shí)也有一個(gè)場景一個(gè)場景的報(bào)告。記?。?
- 雖然大部分的可用性報(bào)告只關(guān)注問題,但報(bào)告正面的發(fā)現(xiàn)也是有用的。那些工作良好的特性在未來的研發(fā)必須保留。
- 一個(gè)完全負(fù)面的報(bào)告可能會(huì)讓人心灰意冷;它有助于團(tuán)隊(duì)知道一個(gè)工作良好的網(wǎng)站的許多問題。
- 每個(gè)發(fā)現(xiàn)應(yīng)該包括盡可能具體的對情境(situation)的描述。
- 每個(gè)發(fā)現(xiàn)(或每組互相關(guān)聯(lián)的發(fā)現(xiàn))應(yīng)該包括怎么應(yīng)對的建議。
- 嚴(yán)重性評級:如果你將問題區(qū)分為局部性的和整體性的,且有嚴(yán)重性評級,要報(bào)告這些。附上截圖和視頻片段。加入視覺元素能夠報(bào)告更富信息量也更加有趣。截圖能讓讀者看到你在測試什么。它能表現(xiàn)哪些地方工作良好,哪些地方給用戶帶來使用困難。如果你是在電子設(shè)備上呈現(xiàn)報(bào)告,并且能讓讀者看到視頻片段,要附上一些短視頻來說明特定的點(diǎn)。通過觀看相關(guān)的視頻片段,沒有觀察到實(shí)際測試階段的人能夠更加確信問題的所在,并由更強(qiáng)的意愿去修正。
- 執(zhí)行和重新測試:要想實(shí)現(xiàn)可用性測試的價(jià)值,你必須將你所了解的應(yīng)用到網(wǎng)站的改善中去。你可能沒法執(zhí)行所有的建議。開發(fā)任何產(chǎn)品都是一系列權(quán)衡的過程,你要考慮需要的日程安排、預(yù)算、人手和改變。如果你沒法執(zhí)行所有的建議,你可以基于全局性和嚴(yán)重性來判斷優(yōu)先級。做出優(yōu)先級判斷后,推進(jìn)用戶需要的改變。當(dāng)一個(gè)網(wǎng)站還在開放階段時(shí),為一個(gè)設(shè)計(jì)糟糕的網(wǎng)站的用戶提供支持的成本遠(yuǎn)遠(yuǎn)大于修正網(wǎng)站的成本。
最佳實(shí)踐
- 尊重被試,讓他們感覺舒適自然。
- 記住你是在測試網(wǎng)站而不是用戶。讓他們理解他們是在幫助我們測試原型或網(wǎng)站。
- 保持中立。你是在聽和看。如果參與者問你問題,你可以這樣回應(yīng)“你認(rèn)為呢?”,“我好奇你會(huì)怎么做?!?/li>
- 不要突然跳出來幫助參與者,也不要引導(dǎo)參與者。如果參與者放棄了并向你求助,你要決定是否要終止場景、提示還是給到更多的幫助。
- 團(tuán)隊(duì)必須決定當(dāng)參與者明顯去到一個(gè)錯(cuò)誤的路徑時(shí),你要提供多大程度的提示,以及允許參與者完成場景花費(fèi)多少時(shí)間。
- 做好筆記。記錄者要盡可能詳細(xì)地記錄下參與者做了什么和說了什么。筆記做的越好,分析也就越容易。
- 測量行為表現(xiàn)和主觀(偏好)度量。表現(xiàn)測量包括:成功率、時(shí)間、錯(cuò)誤率等。主觀測量包括:用戶自我報(bào)告的滿意度和舒適度評價(jià)。人們的行為表現(xiàn)和主觀偏好并不總是一致的。用戶經(jīng)常在表現(xiàn)糟糕時(shí),主觀評價(jià)卻很高。反之亦然。
- 可用性測試不僅僅是對項(xiàng)目進(jìn)度的檢查。團(tuán)隊(duì)?wèi)?yīng)該知道測試的目的是什么,然后執(zhí)行結(jié)果。
轉(zhuǎn)自:http://article.yeeyan.org/view/200085/384744
感謝!干貨!拿走!
恩,恩,值得學(xué)習(xí)