實際工作中，雖然遠程測試用得更少，但它確實能解決一些現(xiàn)場測試無法解決的問題。比如在當?shù)責o法找到目標用戶時，遠程測試相對出差是更為廉價可行的做法?；蛘弋斝枰罅康臉颖緯r（現(xiàn)場測試因為時間空間的限制，只能做小樣本測試），無主持的遠程測試可以完成大樣本的測試。此外遠程測試相比現(xiàn)場測試，情境還原度更高，更能還原用戶真實場景。

1 遠程測試的類型和選擇

通常來說，遠程可用性測試按是否有主持人分為兩種類型。一種是有主持的遠程測試（Moderated Remote Testing），研究人員需要和被試者通過遠程設備連接起來，使得不在同一地點的兩方能同時處于同一個“真實”的空間中，研究人員可以通過遠程觀察設備完整地觀察到用戶的操作行為，同時能在測試過程中與被試者進行實時的在線交流。另一種是無主持的遠程測試（Unmoderated Remote Testing），被試者根據(jù)研究人員的要求，按照自己的時間計劃完成測試，并對自己的操作全程進行記錄。測試過程中，研究人員并不進行干預與互動，所有的分析工作都在測試完成之后進行。

兩種類型的遠程測試各有千秋，研究人員需要根據(jù)項目具體情況進行謹慎地選擇。可以從以下幾個方面考慮。

• 項目時間安排和樣本量要求

有主持的遠程測試，由于需要主持人的參與，一定程度上限制了同時進行測試的數(shù)量，測試階段需要花費的時間較長。而無主持的遠程測試能夠同時進行多個測試，能在有限的時間內(nèi)用較低的花費收集大量的數(shù)據(jù)。所以當需要大樣本量的時候，應該采用無主持遠程測試。但因測試過程中完全不參與，后期數(shù)據(jù)分析工作量較大，需要花費較長時間。

• 任務設置要求

對于有主持的遠程測試而言，所有的交流都是實時的。在測試過程中研究的人員有不清楚的地方，可以向被試者進一步的追問，了解被試者行為背后的原因，所以這類測試對那些任務更為復雜的測試更有效。而在無主持的遠程測試中，被試者全程獨立完成測試，這就要求測試的任務描述需要清楚直接，有明確的結(jié)束狀態(tài)。被試者獨立完成任務時，注意力的集中程度有限，通常無法保證長時間高質(zhì)量地完成任務，有專家建議無主持的遠程測試應控制在15-30分鐘左右，包含3-5個任務為宜。

• 被測對象的穩(wěn)定性要求

無主持的遠程測試沒有研究人員的干預，被試者過程中過程中遇到任何問題都沒辦法得到及時的解決。因此，這要求被測的原型或產(chǎn)品的穩(wěn)定性非常高。一旦產(chǎn)品出現(xiàn)問題，很可能被試者就無法把測試進行下去。并且原型或產(chǎn)品需要對被測者的操作行為作出反應，讓被試者明確判斷出自己是否完成了任務，是否可以進入下一個階段。

2 遠程移動可用性測試的難點和弊端

做移動可用性測試時，遠程方式雖然可以覆蓋更多樣本類型和樣本量，還原用戶情境。但也存在存在以下難點和弊端。

• 互動減少，信息不足

遠程測試由于研究人員和被試者在不同的空間，兩者無法直接互動。有主持的遠程測試中，研究人員無法直接觀察到被試者的身體語言和場外信息，提高了溝通成本。無主持的遠程測試中，被試者的行為完全是獨立的，研究人員基于測試后分析，對于行為背后的原因難以獲得。

• 測試環(huán)境不可控

遠程測試過程中，我們無法控制被試者的測試環(huán)境，被試者很可能被電話、突然的到訪者等打擾。這既是遠程測試的優(yōu)勢，可以還原被試者的現(xiàn)實情境，但也是劣勢，被試者很可能就此中斷任務甚至放棄任務。

• 被試者網(wǎng)絡環(huán)境影響（有主持）

遠程測試需要通過屏幕的共享以及圖像的錄制來進行數(shù)據(jù)的收集，雖然現(xiàn)在的網(wǎng)絡越來越發(fā)達，但是難免受用戶當?shù)鼐W(wǎng)絡環(huán)境的影響。

• 任務理解偏差（無主持）

無主持的遠程測試中，被試者對任務理解有偏差，可能就會導致大量數(shù)據(jù)失效。建議任務設置明確，同時標明研究人員聯(lián)系方式，以便能夠被聯(lián)系到。

• 被試者態(tài)度難以甄別（無主持）

無主持的遠程測試中，更大的風險在于一些無效數(shù)據(jù)。如用戶敷衍完成任務，我們很難甄別。因此，在招募用戶時，需要確定對方是否配合、對產(chǎn)品感興趣。計劃測試時就需要考慮如何定義數(shù)據(jù)的有效性，以及如何對數(shù)據(jù)進行有效篩選。

• 測試工具限制

遠程可用性測試，對測試工具的要求更高，工具限制會成為很重要的限制因素，下面工具部分會詳細展開。

3 遠程移動測試的原型制作和發(fā)布

項目早期移動測試原型制作，依然可以采用第一篇介紹的工具Prott。原型制作的部分需要強調(diào)的是，因為遠程測試更不可控，所以對原型的保真度要求更高，特別是對功能及跳轉(zhuǎn)的完整性上。

原型制作完成之后，遠程發(fā)布給用戶也非常簡單，不需要用戶安裝任何App。用戶研究員在Prott項目界面點擊分享按鈕，在彈出界面中選擇Send email。用戶收到郵件之后，在瀏覽器中打開鏈接，按照提示把快捷方式添加到首頁，之后就可以類似原生App的方式進行測試了。

對于項目后期的測試來說，一般做法是內(nèi)嵌SDK到代碼到程序中，所以不存在制作原型的問題。

4 移動遠程測試（有主持人）的平臺選擇

做現(xiàn)場測試的時候，我們面臨的平臺選擇是，iOS還是Android。最終會依據(jù)“產(chǎn)品用戶平臺分布”，“測試工具限制”來決定平臺選擇。然而在遠程測試中，因為工具限制太大，所以我們必須優(yōu)先考慮工具的限制，然后再考慮用戶分布情況。比如iOS平臺在遠程測試中，將面臨以下問題：

• iOS的遠程測試，基于QuickTime的解決方案，用戶必須使用OSX操作系統(tǒng)
• iOS的遠程測試，無法看到和記錄用戶手勢

在iOS的遠程測試中，我們需要先讓用戶將手機屏幕投影到PC/Mac上，再通過遠程屏幕共享軟件，將屏幕同步到觀察人員面前。而Mac在桌面操作系統(tǒng)的占比太低，使得我們很難募集到足夠的Mac用戶參與遠程測試。PC平臺的鏡像App延遲都比較嚴重。另外蘋果的安全限制使得手勢無法被觀察和記錄，也讓觀察效率大大降低。

這些限制使得iOS的遠程測試困難重重，所以我們建議iOS平臺產(chǎn)品盡量做現(xiàn)場測試。Android平臺產(chǎn)品或者全平臺覆蓋產(chǎn)品的有主持人的遠程測試，可以通過下面的工具來實現(xiàn)。

5 移動遠程測試（有主持人）的可用性測試工具

有主持的遠程移動可用性測試中，研究人員需要利用工具解決兩個主要問題：

• 實時看到用戶的手機界面（包括手勢）
• 與用戶實時交流

實時看到用戶的手機界面，可以利用上篇中提到的工具AirDroid/Mobizen，通過Wifi同步用戶的屏幕和手勢。以AirDroid舉例，在開始測試前，需要讓用戶預裝AirDroid，登錄指定賬號，并打開系統(tǒng)設置里的“顯示屏幕觸摸”。

遠程與用戶實時交流，國外一般會推薦網(wǎng)絡會議工具，但是這些工具都太復雜了，需要很高的教育用戶成本和預裝成本。推薦使用QQ的免費視頻功能就好。最后用本地的錄屏軟件做記錄QQ視頻和AirDroid的窗口就可以了。下圖是我們的測試結(jié)果，左側(cè)是AirDroid屏幕鏡像窗口，可以看到用戶手勢，右側(cè)是QQ視頻窗口。

雖然AirDroid/Mobizen已經(jīng)是比較好的基于無線網(wǎng)絡的解決方案，但無線網(wǎng)絡環(huán)境太復雜，實際測試中，AirDroid/Mobizen依然會出現(xiàn)卡頓的情況。所以另一種解決方案是，讓用戶通過Mobizen先把手機屏幕同步到用戶PC上，再通過QQ屏幕分享給用戶研究人員。

6 移動遠程測試（無主持人）的工具比較

無主持的遠程移動可用性測試，主要用于收集用戶在移動設備上的定量行為數(shù)據(jù)，以及定性的操作視頻。因為是被試者遠程自主進行，也沒有研究人員進行指引，所以相應的測試指引和數(shù)據(jù)收集都需要依靠工具。這就需要專門的移動測試應用具備以下幾個主要功能：

• 可以預設測試任務指引
• 可以記錄用戶操作數(shù)據(jù)（任務時間、用戶手勢等）
• 可以錄制用戶操作視頻
• 提供測試后問卷以獲取用戶的主觀反饋和信息
• 分析記錄數(shù)據(jù)（如通過事件追蹤視頻相應位置等）

目前已知的可用于移動遠程測試的工具，并沒有完美地兼具以上功能。我們對下表的工具做了簡單的對比測試（Reflector，GoToMeeting，Magitest，UXrecorder，UserZoom，Userlytics，Appsee），發(fā)現(xiàn)大部分工具都有這樣或那樣明顯的局限性，無法運用于實際測試中，現(xiàn)狀令人十分沮喪。最后選擇Appsee作為重點體驗對象，下面詳細分析。

7 Appsee體驗

Appsee提供了數(shù)據(jù)分析功能和用戶操作錄屏。數(shù)據(jù)分析功能幫助設計師了解宏觀層面的整體使用情況；用戶的操作錄屏數(shù)據(jù)，有利于在微觀層面，對用戶使用問題作進一步定性分析。為了能更深入的了解這個工具，我們在Lightalk app里部署了Appsee，以下是我們在真實使用環(huán)境下收集到的數(shù)據(jù)。

Appsee保存了用戶操作錄屏的數(shù)據(jù)，以非常友好的方式將數(shù)據(jù)展示出來。右側(cè)的時間線清晰的標識出用戶的點擊及手勢操作，你能快速定位到某個你感興趣的視頻片段上。下圖展示了其中一個用戶在注冊Lightalk時設置頭像的操作過程，我們在其中發(fā)現(xiàn)了有趣的細節(jié)，用戶首選通過“自拍”的方式來設置頭像，然后又取消了此操作。由此我們推斷出“自拍”功能的設計沒能滿足該用戶的預期，可能是因為缺乏好看的濾鏡效果。通過分析視頻，我們能在細節(jié)上揣摩每個用戶的操作行為，更好的了解他們的預期和心理。 Appsee還對用戶進行了分類，分為新用戶（First Sessions）、回歸用戶（Returning Users）、忠誠用戶（Royal users）、流失用戶（Quick Abandons）、短期停留（Short Sessions）、長期停留（Long Sessions）。

Appsee分析了App的常用頁面，統(tǒng)計了每個頁面的平均停留時間及交互的情況。你能看到用戶在這些頁面里執(zhí)行的主要操作及頻率對比，還給出每個頁面的上下級頁面。如下圖所示，我們能看到在Lightalk的通話tab上，80%的用戶會選擇最近聯(lián)系人發(fā)起通話，20%的用戶通過搜索找到目標對象。

基于預先設定的頁面跳轉(zhuǎn)路徑，Appsee能追蹤用戶在執(zhí)行這些路徑時的具體情況。你能觀察到有多少比例的用戶順利完成了整個流程，有多少比例的用戶在哪個頁面流失。

為了獲取App的使用數(shù)據(jù)，開發(fā)人員需要在App里嵌入Appsee的SDK，花費幾小時完成部署工作。iOS、 Android兩個平臺需要分開部署。Appsee的收費方式是基于App的，針對不用用戶規(guī)模的App，Appsee定價也會有差異。具體的費用需要與他們的團隊通過郵件或Skype溝通。

Appsee也有它的不足。它生成的數(shù)據(jù)無法保存或?qū)С觯荒芡ㄟ^它自己的網(wǎng)站查看，不適用于保密項目。它目前只支持App，不支持Web的可用性測試。Appsee的收費方式有一定的局限性，對于新孵化的項目，要專門為它購買整套服務顯然不現(xiàn)實，成本太高。個人認為Appsee更適用于已積累了一定用戶量的應用，例如QQ、微信這種。

總體來說，Appsee是筆者認為目前做得最完善的移動可用性測試工具。它能保存用戶操作錄屏，真實地還原了用戶的使用場景。提供的頁面分析視圖、路徑分析視圖，非常實用，幫助設計師迅速了解到App關(guān)鍵界面的使用情況。

8 總結(jié)

從流程方法上來說，移動可用性測試繼承了傳統(tǒng)可用性測試的主要框架，但是在具體問題上又有不同。借用張小龍的話來說，“手機是肢體的延伸，和人是一體的，而PC是外物，即外部環(huán)境?！彪m然手機看上去只是屏幕變小了，但實際上意味著手機對用戶來說更私密，會在移動中使用手機，會通過傳感器和手機交互，設備和平臺充滿多樣性…

本文選擇了幾個點來闡述移動可用性測試的不同，包括移動平臺選擇，移動情境，用戶設備還是測試設備等。這里應該有更多可以深入思考和挖掘的差異點，希望不只是我們的產(chǎn)品設計思路，我們的用戶研究思路也需要跟上移動的腳步。

從移動原型和測試工具上來說，移動可用性測試面臨的原型工具轉(zhuǎn)換，觀察困難，記錄困難，這些問題會更突出一些。然而問題也是機遇，比如通過我們對工具的測試研究，發(fā)現(xiàn)通過前置攝像頭拍攝用戶表情的可行性，使得在不借助外部攝像頭的情況下，手機可以完整記錄用戶所有信息。移動原型工具大爆發(fā)，也使得我們有更多選擇，更方便的途徑來制作和生成移動原型。

然而工具使用的限制依然很多。在現(xiàn)場測試的部分，我們給出了4種情況下，對應的最佳選擇；遠程測試部分，通過對大量工具的測試比較，我們認為還沒有針對所有場景的解，甚至某些場景下，目前所有的工具都還不夠理想。但工具也在持續(xù)發(fā)展，希望后續(xù)有更好的工具可以和大家進一步分享。

寫這篇文章的初衷，是因為大家都在做移動可用性測試，但國內(nèi)很少看到全面整體的介紹文章，大量資料都是零散的，缺乏最佳實踐。研究過程比較繁瑣，需要閱讀大量的資料，梳理總結(jié)，并對測試工具做逐一測試，歸納出我們認為最行之有效的做法。希望通過我們的工作，給用研和產(chǎn)品設計同學們一個全面的移動可用性測試的參考資料。

希望對大家有幫助，歡迎討論，并感謝閱讀。

作者：死貓

文章來源：騰訊ISUX (http://isux.tencent.com/mobile-usability-testing-four.html)

同系列其他文章可見下文：

移動可用性測試 (一)：概述

移動可用性測試（二）：問題討論

移動可用性測試（三）：現(xiàn)場測試