?為什么要制定測(cè)試計(jì)劃?

合理的做法是：當(dāng)你知道將要進(jìn)行測(cè)試的那一刻起，就該著手準(zhǔn)備測(cè)試計(jì)劃了。之后隨著項(xiàng)目推進(jìn)，不斷完善計(jì)劃，收集反饋，如此往復(fù)。當(dāng)然，靈活也是有限 度的，你在測(cè)試前必須設(shè)定某個(gè)時(shí)間節(jié)點(diǎn)，確保在此之后，計(jì)劃不會(huì)變動(dòng)。同時(shí)，測(cè)試的產(chǎn)品在這個(gè)時(shí)間節(jié)點(diǎn)后，也不允許再有任何改動(dòng)，直到測(cè)試結(jié)束。你可能已 經(jīng)發(fā)現(xiàn)測(cè)試計(jì)劃是產(chǎn)品開發(fā)周期中唯一具有明確時(shí)間點(diǎn)的文檔，因此格外重要。

當(dāng)期限臨近時(shí)，你要竭盡所能不要去變動(dòng)將要進(jìn)行測(cè)試的設(shè)計(jì)產(chǎn)品。額外改動(dòng)會(huì)令之前制定的測(cè)試方案變得不再可靠，譬如需要研究的問(wèn)題甚至是數(shù)據(jù)收集方法 的信度都會(huì)受到影響。如果在計(jì)劃的時(shí)間點(diǎn)之后被迫更改測(cè)試，那要確保每個(gè)人都了解此舉帶來(lái)的風(fēng)險(xiǎn)：測(cè)試可能是無(wú)效的，并且臨近測(cè)試前改動(dòng)的產(chǎn)品有可能無(wú)法 正常使用。

下文列出了為何需要制定詳實(shí)計(jì)劃的原因，以及在開發(fā)團(tuán)隊(duì)中測(cè)試計(jì)劃作為溝通工具的使用方法。

作為測(cè)試的計(jì)劃準(zhǔn)則

正如圖紙精確畫出了所要建造的房子一樣，測(cè)試計(jì)劃也精確描述了將如何去測(cè)試你的產(chǎn)品。你肯定不愿意建筑承包商在建造房屋時(shí)不按計(jì)劃地即興發(fā)揮，可用性測(cè)試同樣遵循這一邏輯。測(cè)試計(jì)劃確保一切有據(jù)可循。在測(cè)試第一位被試時(shí)，你肯定不希望測(cè)試中仍存在尚不清楚的事項(xiàng)。

作為主要溝通工具

測(cè)試計(jì)劃是設(shè)計(jì)師、開發(fā)者、測(cè)試主持人以及團(tuán)隊(duì)其他成員的主要溝通工具。開發(fā)團(tuán)隊(duì)和管理團(tuán)隊(duì)(如果他們感興趣且在團(tuán)隊(duì)中)的相關(guān)人員應(yīng)該仔細(xì)閱讀測(cè)試 計(jì)劃的文檔報(bào)告：了解測(cè)試是如何進(jìn)行的，并確認(rèn)是否已滿足他們的具體需求。你可以利用計(jì)劃從其他成員那兒獲得建議和反饋，以保證每個(gè)人都同意將要進(jìn)行的實(shí) 戰(zhàn)測(cè)試。進(jìn)行的項(xiàng)目每天每周都會(huì)有變化，你也不想在測(cè)試結(jié)束后某人質(zhì)疑他或她的某些需求沒在測(cè)試?yán)锍霈F(xiàn)。另外，如果這是你組織的第一次測(cè)試，更要讓測(cè)試結(jié) 果的相關(guān)負(fù)責(zé)人員審查測(cè)試計(jì)劃。這也保證了計(jì)劃的商業(yè)性和政治性。

計(jì)劃寫明或暗含所需資源

測(cè)試計(jì)劃描述或暗示了測(cè)試所需要的內(nèi)部和外部資源。一旦你準(zhǔn)確列出了何時(shí)將進(jìn)行何事，那預(yù)估測(cè)試所需的資源這一任務(wù)就變得清晰容易了。無(wú)論是直接寫明亦或是間接暗示，測(cè)試計(jì)劃包含了成功測(cè)試所必需的資源。

計(jì)劃是測(cè)試和實(shí)際階段的連接點(diǎn)

沒有測(cè)試計(jì)劃，細(xì)節(jié)就會(huì)變得模糊不清，尤其是在截止時(shí)間的壓力下。測(cè)試計(jì)劃迫使你的測(cè)試方法具有系統(tǒng)性，提醒開發(fā)團(tuán)隊(duì)即將到來(lái)的截止日期。說(shuō)了這么 多，這是完全可以接受的，并且是極有可能發(fā)生的。當(dāng)你逐漸了解更多的測(cè)試目標(biāo)，與參與測(cè)試的被試溝通更多時(shí)，測(cè)試計(jì)劃在這個(gè)階段中也會(huì)逐漸優(yōu)化。項(xiàng)目是動(dòng) 態(tài)的，當(dāng)測(cè)試真正開始時(shí)，即便是看起來(lái)最完美的計(jì)劃也不得不變更。通過(guò)優(yōu)化測(cè)試計(jì)劃，你可以適應(yīng)過(guò)程中遇到的變數(shù)。例如，當(dāng)你的時(shí)間和資源的限制越來(lái)越清 晰的時(shí)候，你可能變得不那么雄心勃勃了，而是想敷衍了事。或者，也許你沒有按照自己的設(shè)想找到足夠多合格的參與者。也許不是文檔中所有模塊或章節(jié)的需求都 將按時(shí)準(zhǔn)備好。也許你的測(cè)試目標(biāo)太不精確，需要簡(jiǎn)化和集中。這些都是來(lái)自真實(shí)世界的例子，他們迫使你修改測(cè)試過(guò)程和測(cè)試計(jì)劃。

注意：當(dāng)你制定計(jì)劃時(shí)要始終將最終用戶牢記心中。隨著項(xiàng)目進(jìn)行，你很有可能忘記你要測(cè)試的內(nèi)容：具有某些特點(diǎn)的用戶與產(chǎn)品的關(guān)系，而不是測(cè)試產(chǎn)品本身。

測(cè)試計(jì)劃的組成部分

測(cè)試類型不同，或是你所在的組織對(duì)測(cè)試規(guī)范度的要求不同，測(cè)試計(jì)劃的格式也是不同的。不過(guò)，通常會(huì)包含以下9部分，下文將對(duì)它們具體地描述。

■ 測(cè)試目的、目標(biāo)和對(duì)象

■ 研究問(wèn)題

■ 被試特征

■ 方法(測(cè)試設(shè)計(jì))

■ 任務(wù)清單

■ 測(cè)試環(huán)境、儀器和后勤準(zhǔn)備

■ 測(cè)試中主持人的作用

■ 收集的數(shù)據(jù)和評(píng)估方法

■ 報(bào)告內(nèi)容和呈現(xiàn)

其中，由于測(cè)試中主持人的作用巨大，在第4章將作為獨(dú)立章節(jié)詳加討論。其余部分則在本章闡述。

回顧測(cè)試目的和目標(biāo)

文檔的這部分描述了進(jìn)行該項(xiàng)測(cè)試的原因。這里不是要你說(shuō)出測(cè)試考察的具體目標(biāo)或問(wèn)題;相反，你的焦點(diǎn)或出發(fā)點(diǎn)應(yīng)該是站在組織的角度，關(guān)注重點(diǎn)的問(wèn)題。例如：

■ 測(cè)試旨在解決的問(wèn)題是：公司的呼叫中心或技術(shù)支持先前上報(bào)過(guò)的問(wèn)題嗎?

■ 服務(wù)器日志或網(wǎng)站使用數(shù)據(jù)是否已表明公司網(wǎng)站的訪客在某個(gè)流程中的某一節(jié)點(diǎn)離開，使得業(yè)務(wù)無(wú)法完成?

■ 公司是否最近公布了新規(guī)范要求所有產(chǎn)品在發(fā)布前進(jìn)行測(cè)試?

■ 管理者是否意識(shí)到開發(fā)團(tuán)隊(duì)在此時(shí)了解真實(shí)用戶是非常重要的?

測(cè)試目的拔高到較高的高度是合適的：因?yàn)楹罄m(xù)的研究問(wèn)題及描述部分可以將大目標(biāo)具體到可測(cè)量水平。測(cè)試與組織的商業(yè)目標(biāo)緊密相關(guān)這點(diǎn)非常重要，這樣測(cè)試才會(huì)成為解決問(wèn)題和探尋機(jī)會(huì)的最佳工具。

什么時(shí)候不進(jìn)行測(cè)試

下面幾條是產(chǎn)品應(yīng)該進(jìn)行可用性測(cè)試的非常模糊和不恰當(dāng)?shù)睦碛伞＿@些理由可能很少會(huì)被書面化，通常是口頭交流。但是，下列的測(cè)試?yán)碛刹⒉缓侠恚炊罱K會(huì)影響整個(gè)項(xiàng)目。

■你可以提升用戶體驗(yàn)(你只能測(cè)試產(chǎn)品部分的用戶體驗(yàn)，而不是產(chǎn)品與用戶的所有接觸點(diǎn))。

■其他人都在做可用性測(cè)試項(xiàng)目(其他人還有很多別的事兒呢)。

■ 用作可用性測(cè)試的會(huì)議室本月的第三周都是空閑的(會(huì)議室每天晚上也空著)。

■ Lou先生剛參加了新一屆計(jì)算機(jī)協(xié)會(huì)人機(jī)交互特別興趣組ACM SIGCHI的會(huì)議，并且學(xué)會(huì)了這種有用的測(cè)試技術(shù)(那先讓Lou先生向公司高層推薦這一有用的技術(shù))。

■ 你想要確認(rèn)是否該類型的產(chǎn)品有市場(chǎng)需求的(這個(gè)邏輯顯然反了，焦點(diǎn)小組和問(wèn)卷才是更為恰當(dāng)?shù)脑诋a(chǎn)品早期階段使用的方法)。

你可能會(huì)說(shuō)服自己，尤其是當(dāng)你非常迫切開展可用性測(cè)試時(shí)，“我只是想做測(cè)試，我并不關(guān)心原因，我們可以后續(xù)再考慮測(cè)試結(jié)果?！倍唐趤?lái)看，前面的任何理 由都可以開始測(cè)試。但從長(zhǎng)遠(yuǎn)角度看，如果你希望測(cè)試是開發(fā)產(chǎn)品中不可或缺的部分，你必須將測(cè)試與產(chǎn)品需求和組織的整體商業(yè)需求結(jié)合起來(lái)。否則，你會(huì)面臨測(cè) 試被當(dāng)成短期流行的新技術(shù)的困境。

進(jìn)行測(cè)試的最佳理由

以下清單列出了進(jìn)行測(cè)試的合理原因，它們幫助得出有效的結(jié)果，并為未來(lái)測(cè)試奠定基礎(chǔ)。

■ 你想確定是否你的兩類主要用戶都能很好地使用產(chǎn)品。

■ 你想了解提供文檔是否可以解決界面中的某些普遍問(wèn)題。

■ 你收到了大量使用產(chǎn)品中的投訴。你想確定這些投訴的本質(zhì)，以及在今年開發(fā)預(yù)算下如何修復(fù)這些問(wèn)題。

圖5-1給出了一個(gè)示例：在線酒店預(yù)訂網(wǎng)站的可用性測(cè)試目標(biāo)。

　　圖5-1 可用性測(cè)試的目的和目標(biāo)示例

溝通研究問(wèn)題

這一章節(jié)是測(cè)試計(jì)劃中最重要的部分，它描述了需要解決的問(wèn)題和研究焦點(diǎn)，以及與測(cè)試計(jì)劃、設(shè)計(jì)和操作相關(guān)的部分。研究問(wèn)題必須盡可能地準(zhǔn)確、精確、清 晰并且可測(cè)量的(或是可觀察的)。就算是產(chǎn)品開發(fā)早期進(jìn)行的探索性測(cè)試——非結(jié)構(gòu)化的測(cè)試，仍需要精確地闡述你希望從中得到什么。

如果沒有清晰簡(jiǎn)潔的研究目標(biāo)，你會(huì)發(fā)現(xiàn)自己陷入了不利境地，執(zhí)行的測(cè)試無(wú)法解答項(xiàng)目團(tuán)隊(duì)成員所關(guān)心的核心問(wèn)題。或者，你會(huì)發(fā)現(xiàn)測(cè)試總是處于無(wú)休止的爭(zhēng) 論中，因?yàn)楦締?wèn)題“測(cè)試的是什么”還未達(dá)成一致。從我自身的經(jīng)歷來(lái)說(shuō)，我們遇到過(guò)準(zhǔn)備工作推進(jìn)著，但測(cè)試本身爭(zhēng)議不斷的情況，這其實(shí)還是測(cè)試目的沒有落 實(shí)成書面報(bào)告的緣故。

以下兩個(gè)例子的研究問(wèn)題就太模糊，太不明確了。

■ 例子1：當(dāng)前的產(chǎn)品是有用的嗎?

■ 例子2：該產(chǎn)品是否可以發(fā)布還是需要更多工作要做?

研究的困難之處并非是說(shuō)這些問(wèn)題毫無(wú)意義。而是說(shuō)這些問(wèn)題是不完整、含糊不清的，沒有說(shuō)明或暗含該如何測(cè)量或量化結(jié)果。依據(jù)此類描述來(lái)進(jìn)行的測(cè)試最終 會(huì)引起結(jié)果偏差。為什么?如果相關(guān)人員就需要解決的問(wèn)題都無(wú)法達(dá)成一致，那你又如何確認(rèn)已經(jīng)找到問(wèn)題的解決之道了呢?當(dāng)然，在這樣的情況下，通常是連研究 問(wèn)題都找不到。

下表列出了幾類不同產(chǎn)品的研究問(wèn)題，這些案例的研究問(wèn)題恰當(dāng)，重點(diǎn)明確。研究問(wèn)題是在和開發(fā)團(tuán)隊(duì)或開發(fā)人員、技術(shù)人員、市場(chǎng)人員的討論中形成的。如果他們很難歸納出測(cè)試目標(biāo)或者僅僅提出了大概的問(wèn)題或目標(biāo)，也無(wú)需沮喪，這可能正說(shuō)明：

■ 他們還沒有做好測(cè)試的準(zhǔn)備。

■ 他們需要更充分地了解測(cè)試目標(biāo)、目的和過(guò)程。

■ 他們?cè)趯⒛繕?biāo)轉(zhuǎn)化為具體的可測(cè)量和可觀察的研究問(wèn)題上需要幫助。你不要猶豫，是時(shí)候介入其中或提供幫助。

如果你發(fā)現(xiàn)自己很難設(shè)計(jì)測(cè)試方案和(或)合適的量表，又或是確定不了合適的終端用戶，甚至是無(wú)法確定數(shù)據(jù)收集的形式，你不妨再回到研究問(wèn)題本身，確認(rèn)它們是否是清晰、需要進(jìn)一步細(xì)化的。

下圖5-2 給出了某個(gè)在線酒店預(yù)訂網(wǎng)站的可用性測(cè)試的研究問(wèn)題。

　　圖5-2 研究問(wèn)題示例

描述被試特征

測(cè)試計(jì)劃的這個(gè)部分是描述測(cè)試產(chǎn)品的終端用戶特征。與組織內(nèi)的其他成員通力合作，從而確定目標(biāo)用戶的特點(diǎn)是非常重要的。有關(guān)如何建立用戶檔案和招募被試的具體過(guò)程可參見第7章。圖5-3舉例某在線酒店預(yù)訂網(wǎng)站可用性測(cè)試中的被試特征。

當(dāng)描述被試特征時(shí)，首先要牢記招募合適數(shù)量的被試。當(dāng)說(shuō)到參與測(cè)試的被試數(shù)量時(shí)，最重要的原則是“你不可能有太多被試”。從結(jié)果在統(tǒng)計(jì)學(xué)上的有效性考 慮，小樣本量缺乏統(tǒng)計(jì)效力，無(wú)法檢驗(yàn)組間的差異顯著性。真實(shí)的實(shí)驗(yàn)設(shè)計(jì)中，你必須確保每個(gè)條件下至少有10-12名被試。但是，對(duì)于非正式的可用性測(cè)試來(lái) 說(shuō)，研究證明，有4-5名具有代表性的用戶就夠了。這群代表目標(biāo)群體的被試將會(huì)發(fā)現(xiàn)產(chǎn)品80%的可用性問(wèn)題，而這80%正是產(chǎn)品的主要問(wèn)題。當(dāng)然，如果你 有時(shí)間或資源去測(cè)試超過(guò)4-5名的被試，你有可能會(huì)發(fā)現(xiàn)另外20%產(chǎn)品的重要問(wèn)題。

我們參與的很多測(cè)試同樣印證了上述原則。在某個(gè)測(cè)試中，Jeff測(cè)試了8名被試，其中80%的問(wèn)題在對(duì)前4名被試的測(cè)試中就已經(jīng)發(fā)現(xiàn)了。但是，第8名 被試，也是最后1名被試，在某個(gè)任務(wù)中出現(xiàn)了嚴(yán)重錯(cuò)誤，不得不尋求產(chǎn)品的呼叫幫助。如果只測(cè)試4名被試，我們將永遠(yuǎn)無(wú)法發(fā)現(xiàn)這個(gè)嚴(yán)重問(wèn)題。如果你的測(cè)試經(jīng) 驗(yàn)還不豐富，那招募盡可能多的被試無(wú)疑會(huì)降低漏掉重要問(wèn)題的可能性，同時(shí)也提供了額外機(jī)會(huì)鍛煉你的測(cè)試技能。

如果你沒有時(shí)間和大筆預(yù)算，你可能會(huì)想要試下“打折”的可用性測(cè)試：在開發(fā)周期內(nèi)進(jìn)行幾次小型的，迭代的可用性測(cè)試。一場(chǎng)測(cè)試招募4-5名目標(biāo)用戶， 進(jìn)行1-2組任務(wù)條件，將結(jié)果應(yīng)用到界面設(shè)計(jì)中。隨后，進(jìn)行另一場(chǎng)規(guī)模和任務(wù)類似的測(cè)試。3-4次測(cè)試后，你已經(jīng)有了相對(duì)較大的樣本量，并且開發(fā)團(tuán)隊(duì)也能 發(fā)現(xiàn)不同測(cè)試間的變化。

　　圖5-3 被試特征及合理人數(shù)示例

描述測(cè)試方法

測(cè)試計(jì)劃的這部分將會(huì)詳細(xì)敘述如何對(duì)被試進(jìn)行研究，以及如何展開測(cè)試。實(shí)質(zhì)上，測(cè)試方法就是你測(cè)試設(shè)計(jì)的大綱：被試到達(dá)至被試離開的整個(gè)測(cè)試過(guò)程中的 每一節(jié)點(diǎn)的細(xì)致闡述，以便測(cè)試觀察者可以大概了解內(nèi)容。為何測(cè)試計(jì)劃中需要包含如此多的細(xì)節(jié)內(nèi)容?下面列出的理由可以解開你的疑惑。

■它幫助其他人員理解測(cè)試的過(guò)程并使之可視化呈現(xiàn)，以便他人可以提出意見或建議。

■ 它有助于你從測(cè)試執(zhí)行者的角度關(guān)注被試到達(dá)前需要準(zhǔn)備的材料和事項(xiàng)。

■它提醒你需要將測(cè)試計(jì)劃與其他資源方溝通協(xié)調(diào)。譬如前臺(tái)，當(dāng)被試到來(lái)時(shí)不至于忘記問(wèn)候。

■它使多個(gè)測(cè)試主持人(如果測(cè)試計(jì)劃需要如此的話)可以遵照相似的流程和規(guī)范執(zhí)行測(cè)試。

設(shè)計(jì)測(cè)試是可用性專家必備的且具有高度專業(yè)性的技能，通常涉及實(shí)驗(yàn)設(shè)計(jì)和方法，以及基礎(chǔ)的統(tǒng)計(jì)分析知識(shí)。設(shè)計(jì)可用性測(cè)試，首先需要明確和理解測(cè)試目 標(biāo)，然后根據(jù)提出的測(cè)試問(wèn)題設(shè)計(jì)出解決問(wèn)題的最有效的測(cè)試計(jì)劃。如果測(cè)試設(shè)計(jì)是有缺陷的，或者執(zhí)行測(cè)試時(shí)沒有嚴(yán)格的實(shí)驗(yàn)控制，那結(jié)果會(huì)是不可信的。這不僅 會(huì)導(dǎo)致錯(cuò)誤的建議，更糟糕的是會(huì)直接損害組織中可用性工程的建設(shè)。因此，在進(jìn)行可用性測(cè)試前，請(qǐng)富有經(jīng)驗(yàn)的同事審閱你的測(cè)試計(jì)劃，聽取他們的建議和反饋是 非常重要的。

測(cè)試設(shè)計(jì)主要以兩類測(cè)試目標(biāo)——產(chǎn)品本身和產(chǎn)品的使用者為基礎(chǔ)。現(xiàn)有的資源、阻礙甚至是你的創(chuàng)造力，都會(huì)極大地影響設(shè)計(jì)成果。時(shí)間、金錢、管理層和開 發(fā)團(tuán)隊(duì)的支持、被試招募的能力，以及其他現(xiàn)實(shí)生活中的問(wèn)題都會(huì)成為限制因素。下文將列出幾個(gè)你可能會(huì)遇到的，常見情形中的測(cè)試設(shè)計(jì)案例。另外，我們給出了 一些確保實(shí)驗(yàn)嚴(yán)格性的指導(dǎo)原則。

最簡(jiǎn)單的測(cè)試設(shè)計(jì)：測(cè)試幾名不同用戶，用戶均屬于同一類型(如老年人)，要求他們完成網(wǎng)站不同部分的某些有代表性的任務(wù)。

獨(dú)立組間設(shè)計(jì)或被試間設(shè)計(jì)

顧名思義，獨(dú)立組間設(shè)計(jì)是指網(wǎng)站的每一部分都是由不同的用戶測(cè)試的。如下表所示，組間設(shè)計(jì)要求15名被試，每名被試僅完成一個(gè)任務(wù)。這樣會(huì)消除任務(wù)的 先后順序造成的潛在的學(xué)習(xí)遷移效應(yīng)。用戶完成任務(wù)A可能會(huì)幫助他們順利完成任務(wù)B，因此與任務(wù)B有關(guān)的可用性問(wèn)題很難被發(fā)現(xiàn)。另外，如果每個(gè)任務(wù)都非常 長(zhǎng)，被試有可能疲憊，你也應(yīng)該使用這種設(shè)計(jì)。

被試內(nèi)設(shè)計(jì)

測(cè)試15名被試有可能是難以實(shí)現(xiàn)的?，F(xiàn)實(shí)是，你只有5名被試，不得不讓他們每人都完成全部的3個(gè)模塊。這就是被試內(nèi)設(shè)計(jì)。但是，你需要考慮學(xué)習(xí)的遷移效應(yīng)。你可以使用平衡抵消的技術(shù)來(lái)消除學(xué)習(xí)效應(yīng)。

為了平衡抵消，如下圖所示，你需要改變?nèi)蝿?wù)的順序，每名被試完成任務(wù)的順序是不同的。任務(wù)順序隨機(jī)化減弱了遷移效應(yīng)，在上述例子中你最少只要4名被試 就夠了。但是，隨機(jī)化順序會(huì)引起其他問(wèn)題。在日常生活中很多流程本身就是有順序的(譬如注冊(cè)后才能進(jìn)行付款)，如此一來(lái)你就不得不做出權(quán)衡：到底是讓用戶 按照正常順序完成任務(wù)，但有可能掩蓋后續(xù)任務(wù)的可用性問(wèn)題(可以測(cè)量被試在任務(wù)過(guò)程中是否有學(xué)習(xí)效應(yīng))呢?還是提供隨機(jī)順序的任務(wù)(一般是在實(shí)驗(yàn)室中)， 但被試有可能迷惑和陌生?大多數(shù)人同意你應(yīng)該保持合理的任務(wù)順序。如果你決定這樣做的話，你需要注意可能的遷移效應(yīng)。你可以在正式任務(wù)前，讓被試預(yù)先進(jìn)行 訓(xùn)練，使被試間的使用經(jīng)驗(yàn)達(dá)到相同水平。另外，在進(jìn)行完每個(gè)部分后被試要有間隔時(shí)間休息。

測(cè)量多個(gè)產(chǎn)品版本

現(xiàn)在讓我們來(lái)看另外一種常規(guī)情況。譬如你想要比較某個(gè)產(chǎn)品的2個(gè)不同版本，版本A和版本B，以便確定最終設(shè)計(jì)采用哪個(gè)版本更好。同時(shí)，你想要比較兩類用戶組，主管和技術(shù)人員，使用產(chǎn)品的差別。這就相當(dāng)于2×2的矩陣設(shè)計(jì)。

如果你采用獨(dú)立組間設(shè)計(jì)，你的測(cè)試計(jì)劃是表中的數(shù)量單元格指不同的被試。該設(shè)計(jì)需要16名被試，分配到4個(gè)不同的條件：4名主管使用版本A，4名技術(shù) 人員使用版本A，以此類推。如果你只有8名被試，那每個(gè)條件的單元格只有2名被試，這樣每個(gè)類別的數(shù)據(jù)過(guò)少，測(cè)試結(jié)果可能是無(wú)意義的。但是，如果你讓兩組 的每名被試，主管和技術(shù)人員，都操作兩個(gè)版本，使用一個(gè)版本后再使用另一版本。和前述例子一樣，后測(cè)試的版本可能會(huì)有優(yōu)勢(shì)，被試在第一個(gè)版本的測(cè)試中可能 學(xué)會(huì)了某些任務(wù)。但是，另一方面，這種效應(yīng)可能會(huì)反過(guò)來(lái)：被試在第一個(gè)版本中形成了某些習(xí)慣，而無(wú)法適應(yīng)第二個(gè)版本，尤其是當(dāng)兩個(gè)版本差異非常大的話。不 管哪種情況，你的結(jié)果都會(huì)有偏差。

考慮到這種潛在的問(wèn)題，你需要平衡兩個(gè)版本的順序。如上表所示，8名被試中，一半被試先測(cè)試版本A，另一本被試先測(cè)試版本B。注意，每個(gè)版本被第一次測(cè)試的次數(shù)和最后一次測(cè)試的次數(shù)是一樣的，這樣可以消除潛在的順序偏差效應(yīng)。

測(cè)試多個(gè)用戶組別

現(xiàn)在讓我們進(jìn)入略微復(fù)雜的實(shí)際場(chǎng)景。假設(shè)你的用戶檔案包括兩類不同的用戶組：經(jīng)理和柜員。你的測(cè)試目標(biāo)之一，是了解兩組或多組用戶(經(jīng)理和柜員)在使 用產(chǎn)品時(shí)是否存在差異;另一目標(biāo)是每個(gè)用戶組內(nèi)的新手和專家用戶的使用差異。因此在使用經(jīng)驗(yàn)和工作類型這兩個(gè)因素上，分別有兩個(gè)水平。你的矩陣設(shè)計(jì)如下：

4類條件的被試都是不同集合的。也就是說(shuō)，如果你想每類條件(也就是上圖單元格)有4名被試，那總共需要16名被試。即使出于預(yù)算或時(shí)間的考慮，16 名被試太多(每個(gè)條件至少要有4名被試才能測(cè)量組間差異)，你也不能簡(jiǎn)單地就采用組間設(shè)計(jì)。你只能減少每個(gè)單元格中的被試數(shù)量或者是簡(jiǎn)化你的研究。要注意 的是，每個(gè)單元格的被試數(shù)量少于4時(shí)將會(huì)嚴(yán)重影響結(jié)論的推廣。你可能需要簡(jiǎn)化研究，不再探索組間差異(圖5.4)。

　　圖5-4 測(cè)試方法舉例

注意：如果你是可用性測(cè)試的新手，還不能信心十足地保證測(cè)試中的實(shí)驗(yàn)嚴(yán)格性，請(qǐng)務(wù)必使你的測(cè)試簡(jiǎn)單。測(cè)試越簡(jiǎn)潔明了，執(zhí)行時(shí)更容易保證流程順利和一 致。從簡(jiǎn)單精悍的研究中獲得了有意義的結(jié)果，遠(yuǎn)比進(jìn)行大型研究得到一堆無(wú)意義的數(shù)據(jù)要好得多。你最好盡早并盡可能多地開展可用性測(cè)試，它可是極為有用和劃 算的。