1?現(xiàn)場測試還是遠(yuǎn)程測試

現(xiàn)場測試可以面對面接觸用戶，能夠觀察和記錄所有的現(xiàn)場信息。遠(yuǎn)程測試雖然情境還原度較高，但通過攝像頭和麥克風(fēng)得到的信息畢竟有限，很多場外信息包括用戶肢體語言都會有所缺失。此外，現(xiàn)場測試更容易控場，可以保證無干擾的環(huán)境、通暢的網(wǎng)絡(luò)，也可以及時解答用戶的問題，保證用戶能專注在測試本身，而遠(yuǎn)程測試在控場方面有所不足。最后，現(xiàn)場測試對工具的要求更低，不論是制作測試原型，還是測試環(huán)境的搭建。

然而現(xiàn)場測試也有它的局限性。由于時間、空間及成本的限制，現(xiàn)場測試方法只適用于少量、有限制的樣本測試。比如研究人員在一線城市，現(xiàn)場測試可能只能招募本地的被試者，難以觸達(dá)其他地域的用戶。缺少三四線城市的用戶分析，那么最后的研究結(jié)果很可能會產(chǎn)生偏差。這種情況下，低成本的遠(yuǎn)程測試會是一個很好的補(bǔ)充。決定采用現(xiàn)場測試還是遠(yuǎn)程測試，主要取決于以下兩點(diǎn)：

• 用戶分布

如果產(chǎn)品的目標(biāo)用戶在本地?zé)o法招募，如面向海外市場的產(chǎn)品；或者產(chǎn)品的用戶分布在地域上比較分散，如覆蓋全國一二三四線城市的產(chǎn)品，本地招募的被試者不具代表性，那么遠(yuǎn)程測試就很有必要。

• 樣本量

現(xiàn)場測試適合做小樣本測試，當(dāng)需要大樣本結(jié)果時，無主持的遠(yuǎn)程測試可能是更好的方案。

2?何時開始測試

現(xiàn)場測試和遠(yuǎn)程測試的選擇，還要考慮此次可用性測試處在產(chǎn)品研發(fā)的哪個流程階段。下面就“何時開始測試”這個話題，簡單說下我們的看法。

大部分公司的研發(fā)流程，都可以大致歸類為需求階段、設(shè)計階段、開發(fā)階段、測試階段和發(fā)布階段。我們把設(shè)計結(jié)束作為分界線，可以將可用性測試時機(jī)分為早期介入和后期介入。

• 早期介入

這個階段做可用性測試，一般沒有很充裕的準(zhǔn)備和測試時間，測試原型和最終上線的產(chǎn)品也會有出入。然而早期介入的優(yōu)點(diǎn)是，這個階段產(chǎn)品還未定型，測試的結(jié)果可以立即反饋給產(chǎn)品和設(shè)計人員用于敏捷迭代，測試結(jié)果落地和推動的成本相對較低。此外，也可以通過卷入產(chǎn)品設(shè)計人員參與測試，從而分擔(dān)或省略掉一部分可用性測試記錄工作。

• 后期介入

進(jìn)入開發(fā)階段之后，可以拿到更接近成品的原型用于測試（如內(nèi)嵌代碼到程序中），也有更充裕的測試時間。但這個階段，產(chǎn)品的需求變更會更謹(jǐn)慎，測試結(jié)果的推動落地難度成本也會上升，因此需要更多的證據(jù)支持。在騰訊的環(huán)境下，這個階段得到的測試結(jié)論，如果被接受了，一般要到下個版本才能排期。

對于形成性測試來說，我們更推薦在項(xiàng)目早期測試。這時會更多采用現(xiàn)場測試的方法。一般在交互完成后開始測試，測試過程和視覺設(shè)計階段并行?？梢赃\(yùn)用第一篇介紹的原型制作工具快速生成移動測試原型。也可以在產(chǎn)品需求完成階段進(jìn)行測試，和交互設(shè)計并行，但此時的測試原型會更粗糙。

3?現(xiàn)場移動可用性測試的常用App和裝置

在實(shí)驗(yàn)室中進(jìn)行現(xiàn)場測試是目前做移動可用性測試較多的方式。相比PC可用性測試，移動可用性測試對如何有效觀察和記錄用戶行為操作提出了挑戰(zhàn)。

一方面，由于移動設(shè)備屏幕較小，主持人難以直接觀察被試者的移動設(shè)備屏幕，可能會遺漏重要問題。對于記錄員和其他觀察者，能夠直接清楚地觀察到被試者屏幕的可能性更小。另一方面，不同于PC互聯(lián)網(wǎng)時代使用鼠標(biāo)和鍵盤交互，移動互聯(lián)網(wǎng)時代，用戶通過手勢與觸摸屏進(jìn)行交互，測試時不僅要記錄界面行為，還要記錄用戶手勢，最好還要同步記錄用戶表情和語音。因此，進(jìn)行移動可用性測試，我們需要找到新的觀察、記錄方式和工具。

現(xiàn)場移動可用性測試工具需要解決3個問題：

• 擴(kuò)展移動設(shè)備屏幕便于現(xiàn)場觀察
• 記錄屏幕和用戶手勢
• 記錄用戶表情和聲音

通過對主流方法的研究，以及對第三方App的探索，我們整理了以下這些工具：

（注：工具研究主要針對手機(jī)上的App測試，對于移動Web測試和平板設(shè)備測試并未覆蓋）

• QuickTime?(iOS) —?現(xiàn)場觀察，僅記錄屏幕
• Mobizen?(Android) —?現(xiàn)場觀察，記錄屏幕、手勢
• Display Recorder?(iOS) —?記錄屏幕、手勢、聲音
• SCR?(Android) —?記錄屏幕、手勢、表情、聲音
• Magitest?(iOS) —?記錄屏幕、手勢、表情、聲音
• Mobizen?+ AirDroid?(Android) —?現(xiàn)場觀察并記錄手勢、表情、聲音
• 固定攝像機(jī)/攝像頭解決方案
• 雪橇裝置解決方案

3.1?QuickTime?(iOS) —?現(xiàn)場觀察，僅記錄屏幕

對于現(xiàn)場測試，我們首先要解決的是現(xiàn)場多人觀察的問題。通過鏡像類App，把手機(jī)屏幕同步到PC/Mac屏幕上，可以很方便地進(jìn)行多人現(xiàn)場觀察和錄屏。

之前iOS下的鏡像解決方案主要是reflector + 錄屏App。但蘋果發(fā)布了Yosemite之后，原生的QuickTime可以支持對屏幕或攝像頭進(jìn)行錄屏操作。iPhone需要升級到iOS8，然后通過數(shù)據(jù)線與Mac連接。Mac上打開QuickTime，新建影片錄制，這時QuickTime會先激活攝像頭。再點(diǎn)擊錄制按鈕旁的下拉箭頭，將相機(jī)源改為測試的iPhone，這時屏幕中將出現(xiàn)手機(jī)畫面，就可以進(jìn)行iPhone錄屏了。Quicktime解決方案完全不需要用到第三方App就可以完成鏡像和錄屏，并且因?yàn)槭窍到y(tǒng)級的解決方案，鏡像非常流暢。即使是用戶手機(jī)，只要升級了iOS8，插上數(shù)據(jù)線之后也可以很方便地擴(kuò)展到Mac進(jìn)行觀察和錄屏。

QuickTime作為蘋果原生解決方案，操作非常簡便。無論是使用統(tǒng)一測試設(shè)備，還是用戶自己的設(shè)備，都很方便，只需要一根數(shù)據(jù)線。但因受到蘋果的限制，這個解決方案無法觀察和記錄用戶的手勢，記錄表情和聲音也需要借助其他設(shè)備，所以一般只用作iOS屏幕鏡像和觀察。

3.2?Mobizen?(Android) —?現(xiàn)場觀察，記錄屏幕、手勢

在安卓平臺上，很多手機(jī)助手類的App都支持手機(jī)屏幕鏡像到PC/Mac，如豌豆莢、91手機(jī)助手等。但我們實(shí)際測試下來發(fā)現(xiàn)，手機(jī)助手的屏幕鏡像速度都令人捉急，延遲比較厲害，還會發(fā)生卡頓的情況。

經(jīng)過實(shí)際的測試比較，我們推薦使用Mobizen作為Android平臺上的屏幕鏡像解決方案。這個方案下，需要安裝Android版Mobizen，以及PC/Mac客戶端版Mobizen。然后把手機(jī)和PC/Mac通過數(shù)據(jù)線相連，選擇“USB連接”的方式鏡像屏幕，基本無延遲。下圖是Mobizen的界面和在Mac上的鏡像效果。此外，在切換成橫屏應(yīng)用時，Mobizen的手機(jī)模擬器也會同步旋轉(zhuǎn)，這個細(xì)節(jié)非常友好。（題外話，Mobizen有個Bug，密碼設(shè)得過于復(fù)雜會提示賬戶不存在。）

對比QuickTime解決方案，Mobizen也可用于統(tǒng)一測試設(shè)備或者用戶自己設(shè)備兩種情況。但在用戶自己的設(shè)備做測試時，需要在用戶的手機(jī)里預(yù)裝Mobizen?App。此外，Android平臺有一個iOS平臺不具備的優(yōu)勢，就是可以顯示手勢。在Android的系統(tǒng)設(shè)置-開發(fā)者選項(xiàng)中打開“顯示觸摸操作”即可。

3.3 Display Recorder?(iOS) —?記錄屏幕、手勢、聲音

記錄移動設(shè)備手勢對移動可用性測試來說非常重要，比如用戶在屏幕上嘗試的滑動手勢，或者用戶對著一個按鈕點(diǎn)了10次但是沒有響應(yīng)。通過記錄用戶手勢信息，這些場景都能夠被我們有效地記錄和還原。

由于蘋果的系統(tǒng)限制，任何App都無法記錄用戶手勢。唯一的解決方案只有越獄。越獄后，找到一款叫Display Recorder的插件，裝上它就能夠記錄屏幕和手勢了。雖然是越獄插件，但Display Recorder的體驗(yàn)非常優(yōu)秀，最新的版本已經(jīng)更新到支持iOS8。

錄屏結(jié)束后，視頻會存在手機(jī)上，需要從手機(jī)上導(dǎo)出。如果不希望在iPhone上記錄之后再導(dǎo)出，也可以選擇Display Recorder + QuickTime的解決方案，再配合攝像頭、麥克風(fēng)在PC/Mac上來記錄用戶的表情和聲音。

這個解決方案最大的局限是，必須使用統(tǒng)一的測試設(shè)備，因?yàn)椴惶赡苣弥脩舻膇Phone去越獄。

3.4 SCR?(Android) —?記錄屏幕、手勢、表情、聲音

如果能夠同時記錄屏幕、手勢、表情和聲音，且不依賴于硬件，那該是多么美好的一件事情。所有的手機(jī)都是帶前置攝像頭和麥克風(fēng)的。因此，如果前置攝像頭可以同步記錄用戶表情，是不是就解決這個問題了？帶著這個目的，我們研究了一下Android上的錄屏App。

Android上的錄屏App很多，通過實(shí)際測試和比較之后，我們建議使用SCR。除了常規(guī)的錄屏功能之外，SCR還支持開啟手機(jī)前置攝像頭（如下圖）。這樣，在錄屏的時候，還可以同步記錄用戶表情。在開始記錄之前，前置攝像頭的畫面位置還可以拖放到你希望的位置，但一旦開始記錄之后，就無法再改變它的位置了。

SCR比較全面地解決了記錄用戶屏幕、手勢、表情和聲音的問題，最后輸出的視頻質(zhì)量也很高。但存在一個缺點(diǎn)，前置攝像頭的畫面無法隱藏。雖然可以調(diào)節(jié)透明度，但始終對屏幕有遮擋。因此，用戶會很明顯意識到自己正在被拍攝。

使用SCR時，要解決多人現(xiàn)場觀察的問題，需要結(jié)合Mobizen一起使用。另外，在使用錄屏App的過程中，要注意手機(jī)的電量和剩余內(nèi)存空間。在實(shí)際測試過程中，我們發(fā)現(xiàn)錄屏App比較耗電，且錄制一段30分鐘視頻就會很占空間，一旦空間滿了，App就很容易出錯。

3.5?Magitest?(iOS) —?記錄屏幕、手勢、表情、聲音

SCR是Android上的解決方案，那iOS上是否有類似的解決方案呢？經(jīng)過研究，我們發(fā)現(xiàn)有兩款A(yù)pp：UX Recorder和Magitest。UX Recorder只能用于移動Web測試，這里主要分析下Magitest這款A(yù)pp。

Magitest能夠支持對App的測試，這是它對比競品的一個明顯優(yōu)勢。然而如上文所說，蘋果是不支持第三方App直接獲得手勢信息的。Magitest實(shí)現(xiàn)獲得手勢的方法是內(nèi)嵌代碼到發(fā)布程序中。然而這帶來了一個缺陷，就是無法將Magitest用于項(xiàng)目早期的原型測試，使得這個工具的應(yīng)用場景大大減少。

Magitest最后會把屏幕記錄和前置攝像頭的畫面記錄拼到一個視頻結(jié)果中，這樣可以同步看到用戶表情和界面上的變化。在開始測試前，可以設(shè)置把前置攝像頭的畫面放在界面的4個角落中的哪一個。如下圖，F(xiàn)ront?Camera選擇了Bottom Right的話，前置攝像頭拍到的用戶表情畫面就會出現(xiàn)在視頻中界面的右下角。對比SCR，Magitest是專門為了測試而設(shè)計的App，所以它在測試的時候不會顯示前置攝像頭的畫面，這一點(diǎn)很貼心（然而也帶來了問題，下面會講）。我們從AppStore上扒了介紹截圖下來供大家參考，左側(cè)是起始設(shè)置界面，可以選擇前置攝像頭畫面的位置；右側(cè)是最后錄制的視頻的界面，能看到手勢和用戶表情。

最后吐槽下Magitest的缺點(diǎn)。SCR的實(shí)現(xiàn)邏輯是把前置攝像頭的畫面直接顯示在手機(jī)上，然后一起錄下來；而Matigest并不顯示前置攝像頭畫面，所以它實(shí)現(xiàn)邏輯應(yīng)該是分開記錄兩段視頻，最后再拼起來。這會帶來以下兩個問題，一是會在測試過程中感覺到手機(jī)延遲，二是在測試結(jié)束后會有一個視頻生成的過程（應(yīng)該是在拼合兩段視頻），這個過程很慢，甚至在過程中發(fā)生過無法完成的情況。

另外，如上文所說，Magitest對App做測試時，只能使用統(tǒng)一的測試設(shè)備，且因?yàn)樾枰獌?nèi)嵌代碼，也因此無法用于早期原型測試?？偟膩碚f，將Magitest用于做移動可用性測試的限制還非常多，程序也不太穩(wěn)定。

3.6?Mobizen?+ AirDroid?(Android) —?現(xiàn)場觀察并記錄手勢、表情、聲音

上面介紹的SCR的解決方案，還是有個小缺陷，就是前置攝像頭拍攝的畫面會顯示在手持設(shè)備屏幕上。在Android平臺上，有沒有可能利用Mobizen鏡像屏幕和手勢，再用另一個程序遠(yuǎn)程觀測前置攝像頭，最后在PC/Mac上進(jìn)行錄屏呢？

在監(jiān)控類App里做了很多尋找但無果之后，意外發(fā)現(xiàn)AirDroid這款手機(jī)助手類工具，在它的Web版里竟然可以實(shí)現(xiàn)遠(yuǎn)程調(diào)用手機(jī)攝像頭。

下圖是在Mac上，Nexus5使用Mobizen和AirDroid記錄前置攝像頭和屏幕鏡像的效果。裝有AirDroid的Mac和Nexus5在同一Wifi下的情況下，前置攝像頭幾乎沒有延遲。兩個屏幕在用戶橫屏的時候都會進(jìn)行相應(yīng)的旋轉(zhuǎn)。此時，用戶對于正在被記錄這件事情也是完全沒有感知的。

另外，在測試Mobizen+AirDroid時，我們還錄制了一小段視頻。

點(diǎn)此查看

題外話，AirDroid作為一款手機(jī)助手工具，本身也可以鏡像屏幕和手勢。但是，因?yàn)槟壳鞍姹局恢С只赪ifi的連接，所以鏡像同步速度不如Mobizen。我們在測試時，也嘗試了AirDroid Web版監(jiān)控前置攝像頭+AirDroid客戶端版本鏡像手機(jī)屏幕的方案，但因?yàn)閮烧叨际亲遅ifi連接，所以比較卡，有明顯的延遲，不如AirDroid + Mobizen解決方案來得好。

3.7?使用固定攝像機(jī)/攝像頭記錄

以上App類工具的解決方案，絕大部分都需要對手機(jī)做App預(yù)裝和調(diào)試，更適合統(tǒng)一設(shè)備的測試。如果我們要測試用戶自己的手機(jī)，那可能攝像頭方案更合適。

使用攝像機(jī)/攝像頭，可以同時捕捉移動設(shè)備屏幕和用戶的操作手勢，全面記錄被試者的實(shí)際操作。而且，還可以直接與桌面設(shè)備上的測試、觀察軟件整合使用，比如Morae，它可以同時支持兩個攝像頭輸入，一個記錄用戶的操作行為，一個記錄用戶的表情。這樣，即使是身在觀察室的觀察者們，也能實(shí)時看到全部測試過程。

這里的攝像機(jī)/攝像頭，我們指的是有內(nèi)置軟件可以實(shí)時處理錄制畫面的實(shí)物攝像機(jī)（Document Camera）或是網(wǎng)絡(luò)攝像頭（Webcam）。此時，攝像機(jī)/攝像頭位置相對固定，移動設(shè)備屏幕置于攝像頭的可視范圍內(nèi)進(jìn)行測試。

這種形式的裝置，可直接使用帶有靈活支架的實(shí)物攝像機(jī)，如Ipevo。實(shí)物攝像機(jī)比較輕巧，擁有較高的分辨率，可以和桌面軟件良好地整合，但是實(shí)物攝像機(jī)原本是用于拍攝文檔的，因此每秒的幀數(shù)較低。也可以自制這樣的裝置，我們建議采用可以調(diào)整攝像頭方位的底座，比如帶有云臺的小型三腳架，或者是其他任何帶有搖臂的底座。在我們的實(shí)際工作中，我們還嘗試過使用工作臺燈的底座，將攝像頭固定在原本安裝在燈泡的位置。

但是攝像頭的底座固定，要求被試者在測試過程中也要相對固定移動屏幕位置，一旦移動設(shè)備屏幕位置改變角度、方向，或是不小心超出攝像頭可視范圍，錄制的效果將會受到很大影響。如果調(diào)整了攝像頭位置，還另需花時間調(diào)整相應(yīng)的移動屏幕位置。因此，這種裝置在測試平板設(shè)備上的產(chǎn)品時可能相對有效，用戶本來一般就是將平板設(shè)備放在桌面上進(jìn)行操作。但對于智能手機(jī)，用戶更習(xí)慣手持操作，過程中可能存在移動和晃動的情況，這時下面介紹的雪橇裝置可能更為有效。

3.8?使用雪橇裝置記錄

除了固定鏡頭位置的記錄方式外，另一種是利用將攝像機(jī)/攝像頭支在可手持的支架上，移動設(shè)備放在支架上進(jìn)行測試，這種裝置形似雪橇，因此也通常被俗稱為“雪橇裝置”。

雪橇裝置，市面上有現(xiàn)成可以直接購買的，如MOD1000。其實(shí)，很多研究人員會使用他們自制的雪橇裝置進(jìn)行測試。在自制雪橇裝置時，有幾點(diǎn)需要注意：

• 雪橇必須足夠輕巧，使用戶可以連同移動設(shè)備一起拿在手中進(jìn)行測試。
• 不能讓雪橇遮擋住設(shè)備屏幕，干擾用戶測試。
• 雪橇的尺寸規(guī)格應(yīng)該能夠適應(yīng)多種主流設(shè)備，便于被試者通過自己的設(shè)備進(jìn)行測試。最理想做法的是使雪橇外形和尺寸可調(diào)節(jié)。
• 雪橇的造型應(yīng)該允許用戶調(diào)轉(zhuǎn)設(shè)備的屏幕方向。
• 雪橇整體應(yīng)該足夠穩(wěn)固。

在選取外置攝像頭時，除了考慮攝像頭本身的影像質(zhì)量，還需要考慮攝像頭的重量，以及是否方便安裝在雪橇裝置上。一些研究人員比較推薦Hue的高清網(wǎng)絡(luò)攝像頭，很輕巧，分辨率也不錯，每秒幀數(shù)也足夠，本身帶有一個可調(diào)節(jié)的軟管支架。

雪橇裝置也存在一些缺點(diǎn)。首先，雪橇裝置有一定重量，用戶可能會感到不習(xí)慣、不自然，用戶手持一定時間后，會非常容易疲憊，從而將設(shè)備放置在桌面上進(jìn)行測試。其次，畫面質(zhì)量不如實(shí)物攝像機(jī)。

3.9?現(xiàn)場移動測試工具總結(jié)

回顧一下以上解決方案：

• Display Recorder + QuickTime，iOS上記錄手勢必須要越獄，所以只能用統(tǒng)一測試設(shè)備做測試。利用Display Recorder顯示手勢之后，配合攝像頭和麥克風(fēng)記錄用戶表情和聲音，最后再錄屏。
• Magitest方案看起來很美，但實(shí)際使用中限制和問題都比較多，更像是一個探索性的解決方案。
• Mobizen + SCR，預(yù)裝難度低，視頻質(zhì)量高，缺陷在于前置攝像頭畫面對手機(jī)屏幕有遮擋，用戶對于被拍攝有感知，事后需要導(dǎo)出視頻。
• Mobizen + AirDroid，是比較完美的解決方案，只需要一根數(shù)據(jù)線，用戶對被拍攝也沒有感知。但如果使用用戶自己的設(shè)備做測試，有安裝App和調(diào)試的成本。
• 攝像頭（雪橇）可以適用于所有場景，但缺點(diǎn)就是硬件架設(shè)難度，以及給用戶帶來的心理壓力。

從測試工具的角度來講，使用統(tǒng)一測試設(shè)備的實(shí)現(xiàn)成本最低，尤其是Android平臺。最后，給出我們推薦的移動現(xiàn)場可用性測試的最佳實(shí)踐。

下一篇，我們聊聊遠(yuǎn)程測試。

4?參考

• Eight Lessons in Mobile Usability Testing
• Magitest: A Better Approach to Mobile User Testing（http://uxmastery.com/magitest-a-better-approach-to-mobile-user-testing/）
• Mobile Usability Testing with Reflector & UX Recorder or Magitest（http://www.actualinsights.com/2013/mobile-usability-testing-with-reflector-ux-recorder-or-magitest/）
• Best Way to Mirror Android Screen to Your PC（http://www.alltechflix.com/2014/12/mirror-android-screen-pc.html）

5 查看更多

移動可用性測試（一）：概述

移動可用性測試（二）：問題討論

來源：騰訊ISUX