眼見為實(shí)，觀察是在研究用戶與產(chǎn)品交互中極少數(shù)，比看那些專業(yè)的報(bào)告或者匯報(bào)更有說服力的一種方法。

但是，如果在一項(xiàng)可用性測試中，調(diào)研人員只有觀察一個(gè)或兩個(gè)用戶的時(shí)間，那怎么辦呢？在什么樣的情況下，我們觀察一些用戶比一個(gè)都不觀察更糟糕呢？

只觀察一個(gè)比不觀察更糟糕

試想一下，如果一個(gè)調(diào)研人員，如產(chǎn)品開發(fā)人員或設(shè)計(jì)人員，他們找到5個(gè)用戶來進(jìn)行測試，而這幾個(gè)用戶在使用這個(gè)產(chǎn)品時(shí)沒有感到任何的疑惑和困難，他們便會(huì)錯(cuò)誤地從這5個(gè)用戶中得出結(jié)論：所有的用戶在使用該產(chǎn)品時(shí)都沒有問題，并會(huì)認(rèn)為該產(chǎn)品已經(jīng)很優(yōu)秀了。

兩個(gè)用戶的模式

為了避免這種對單一用戶調(diào)研而產(chǎn)生片面的結(jié)果，一些研究團(tuán)隊(duì)便制定了簡單少數(shù)服從多數(shù)的規(guī)則，他們會(huì)問，或在某些情況下要求觀察多個(gè)用戶的使用階段。如果調(diào)研人員只能觀察一次，那么這比什么都不要觀察糟糕的多。

如果所有可用性測試都是按照計(jì)劃來進(jìn)行，而其努力的結(jié)果與曲解是相一致的，那么你就會(huì)明白為什么要有這樣的一個(gè)規(guī)則。至少有兩個(gè)用戶的話，你會(huì)看到不同的用戶與軟件的交互方式，也能更全面概括出用戶行為是怎么樣的。

三個(gè)用戶打破平局

另一種我所見過的形式是觀察的至少三個(gè)用戶，而不是兩個(gè)。兩個(gè)用戶可能會(huì)導(dǎo)致平局而無法決策，第三個(gè)用戶會(huì)打破這個(gè)局面。至少這樣可以適當(dāng)避免先入為主的想法影響最終結(jié)論。

為什么一個(gè)優(yōu)于無

我很同情那些研究人員，常常被領(lǐng)導(dǎo)用先入為主的觀念而扭曲數(shù)據(jù)。所以不難理解這樣的指導(dǎo)方針。然而,我也不愿意說觀察一兩個(gè)用戶比什么都沒做更糟糕。因?yàn)檫@涉及到一個(gè)概率的問題。

如下圖中的表格，它分別代表可用性測試中的5個(gè)用戶。白色方塊代表那些有相似體驗(yàn)的用戶，紅色方塊則代表一個(gè)曾經(jīng)對產(chǎn)品有不同尋常體驗(yàn)（異常好或者壞）的用戶。

調(diào)研人員會(huì)看到這個(gè)不同尋常的用戶的概率是五分之一或者說20％。因此，在任何只有一個(gè)不同尋常的用戶的研究中，就會(huì)有被誤導(dǎo)的可能產(chǎn)生。

然而，大數(shù)定律告訴我們，隨著時(shí)間的推移，更有可能的是，用研人員看見一個(gè)典型問題勝過非典型問題。下面這五個(gè)研究，每一組研究中都有五個(gè)用戶。每一組研究中都有一個(gè)表示有差異的紅色方塊和四個(gè)一致體驗(yàn)的白色方塊。

使用二項(xiàng)概率公式，一個(gè)調(diào)研人員會(huì)看到在所有五次觀察中僅有的一個(gè)不同尋常用戶的概率是0.03％。用研人員看在三個(gè)不尋常的體驗(yàn)的概率為6％。隨著時(shí)間的推移，觀察次數(shù)越多，更可能看到典型問題。

問題的發(fā)生

我們將討論擴(kuò)展到用戶遇到的問題上。同樣用概率的規(guī)則，讓5個(gè)用戶來揭示最明顯的問題，也意味著只有一個(gè)用戶觀察到的問題，更可能會(huì)比那些不尋常的問題明顯。也就是說，如果你看觀察到有五分之一的用戶有這一個(gè)問題，那么這個(gè)問題可能影響到的會(huì)是8.5倍，而不僅僅是在1％的用戶中進(jìn)行測試的只是在20％的用戶。

唯一的問題

然而當(dāng)涉及到問題的出現(xiàn)時(shí)，任何被測試的用戶都會(huì)遇到許多問題，并且這取決于研究的類型，許多這些問題僅僅只能看到一次——盡管你測試了許多用戶。例如，下面的網(wǎng)格顯示的是有30個(gè)用戶參與的一個(gè)可用性測試的問題矩陣。共有28問題被記錄下來。其中，第9個(gè)問題（32％）只有一個(gè)用戶遇到過。

僅僅觀察一個(gè)用戶的一個(gè)明顯缺點(diǎn)是利益相關(guān)者無法區(qū)分唯一問題和較常見的問題。只有一個(gè)用戶，那么得出的結(jié)論就將會(huì)是這些問題影響到所有用戶。有兩個(gè)或三個(gè)用戶來測試的話，至少我們還能將這些唯一和冗余的問題區(qū)別開來。但是，我們不能過高的相信我們從那一兩個(gè)，甚至三個(gè)用戶中得到對該產(chǎn)品的認(rèn)可。

小樣本的不確定性

讓第三個(gè)人成為制勝的關(guān)鍵是很有吸引力的想法(每個(gè)學(xué)校的孩子都知道)，實(shí)際上，不一定需要很多用戶。例如，如果二分之一的用戶有不好的體驗(yàn)，百分之九十我們可以認(rèn)為可能在所有用戶中有12%至88%都在遭受著這不好的體驗(yàn)。這個(gè)范圍有百分之七十六的精確度。通過添加一個(gè)用戶打破平衡的局面，我們可以有90%的信心認(rèn)為這個(gè)問題將影響所有用戶的25%至93%(68%的精密)。所以當(dāng)我們觀察的用戶從2個(gè)變成3個(gè)時(shí)，我們已經(jīng)提高了8百分點(diǎn)精度。盡管只有8個(gè)百分點(diǎn)，但兩個(gè)范圍仍然是很巨大的。

結(jié)論

當(dāng)我說觀察兩三個(gè)用戶比觀察一個(gè)或者零個(gè)要好時(shí)，不代表觀察兩個(gè)或一個(gè)比一個(gè)都不觀察要糟糕。觀察一個(gè)用戶意味著我們沒有辦法評(píng)估去用戶與產(chǎn)品互動(dòng)的許多不同的方式。觀察更多的用戶很重要，識(shí)別和解決可用性問題通常是同樣重要的。

僅僅只觀察一個(gè)單獨(dú)的用戶也測試出一些影響界面設(shè)計(jì)問題。隨著時(shí)間的推移，如果調(diào)研人員在每個(gè)可用性研究中一直觀察一個(gè)隨機(jī)的用戶，他們將會(huì)更關(guān)注那些不同尋常的問題，而不是那些常見的問題。在任何給定的樣本研究中，他們總會(huì)有很好的概率被一個(gè)不尋常的體驗(yàn)所誤導(dǎo)，隨著時(shí)間的推移，甚至一次單獨(dú)抽樣都會(huì)將他們聚焦到最常見的問題上。

如果一個(gè)研究人員對數(shù)據(jù)的理解非常糟糕，我想，更多的調(diào)研也不過是會(huì)導(dǎo)致更多的對用戶曲解罷了。因此，堅(jiān)信多數(shù)勝過少數(shù)并沒什么不好，我還是相信有一些用戶調(diào)研總比沒有的好。

========================================================

本文由江南大學(xué)設(shè)計(jì)學(xué)院研究生譚伊曼翻譯，作者：Jeff Sauro，查看原文

轉(zhuǎn)載自盒子UI