手把手教你如何進(jìn)行可用性測(cè)試匯報(bào)-產(chǎn)出匯報(bào)篇
編輯導(dǎo)讀:可用性測(cè)試(Usability Testing)作為用戶體驗(yàn)研究中常用的一種方法,其核心在于對(duì)典型用戶執(zhí)行典型任務(wù)的觀察記錄,以發(fā)現(xiàn)產(chǎn)品設(shè)計(jì)中存在的可用性方面的問題。本文作者圍繞可用性測(cè)試進(jìn)行了分析,希望對(duì)你有幫助。
可用性最早來源于人因工程,起源于二戰(zhàn)時(shí)期,設(shè)計(jì)人員研究新式武器時(shí),研究如何使用,人的能力限度和特性。國(guó)際標(biāo)準(zhǔn)ISO 9241-11對(duì)可用性的定義是“特定的用戶在特定的使用情景下,有效、有效率、滿意的使用產(chǎn)品達(dá)到特定的目標(biāo)”。
Web易用大師尼爾森在可用性工程中將其定義為用戶能否很好地使用系統(tǒng)的功能;分為五個(gè)因素:可學(xué)習(xí)性(learnability)、效率(efficiency)、可記憶性(memorability)、出錯(cuò)(errors、滿意度(satisfaction)。我們軟件產(chǎn)品可用性評(píng)估屬于界面視窗的評(píng)估,因此通常采用的是尼爾森的理論。
一、典型用戶與典型任務(wù)
可用性測(cè)試(Usability Testing)作為用戶體驗(yàn)研究中常用的一種方法,其核心在于對(duì)典型用戶執(zhí)行典型任務(wù)的觀察記錄,以發(fā)現(xiàn)產(chǎn)品設(shè)計(jì)中存在的可用性方面的問題。這里的典型用戶,最好就是招募真正使用產(chǎn)品的用戶;其次是產(chǎn)品的潛在用戶或者意向用戶,他們現(xiàn)在可能沒使用我們的產(chǎn)品,但是未來有大概率可能使用;再不濟(jì)就是我們內(nèi)部自己人以認(rèn)知預(yù)演的方式進(jìn)行評(píng)估。但越是接近真實(shí)用戶,效果是越好的。
那這里的典型任務(wù),就是產(chǎn)品關(guān)鍵場(chǎng)景下的任務(wù),是指產(chǎn)品的核心功能、用戶操作頻度最高的功能。作為觀察記錄的研究人員,通常是由UED專家、產(chǎn)品經(jīng)理構(gòu)成,像我們產(chǎn)品的用戶很多都是技術(shù)人員,在可用性測(cè)試的擴(kuò)展性訪談中,難免會(huì)溝通一些技術(shù)性問題,所以最好再有一個(gè)開發(fā)人員的參與。
二、可用性測(cè)試匯報(bào)內(nèi)容
可用性測(cè)試產(chǎn)出匯報(bào)的具體內(nèi)容包括調(diào)研介紹、結(jié)果概述、過程分析、后續(xù)計(jì)劃及附件五個(gè)部分。
1. 調(diào)研介紹
第一部分,首先對(duì)本次可用性測(cè)試的背景與目標(biāo)、人員與流程以及測(cè)試任務(wù)做介紹。
背景:對(duì)當(dāng)前測(cè)試產(chǎn)品所處的階段以及本次可用性測(cè)試需求產(chǎn)生的背景進(jìn)行描述,說明是由于客戶需求呢還是產(chǎn)品部需求還是UED驗(yàn)證或優(yōu)化需求等。
目標(biāo):基于背景前提下,描述本次可用性測(cè)試期望達(dá)成的目標(biāo)。
測(cè)試人員:參與可用性測(cè)試研究的產(chǎn)品方成員,一般由UED、PM、開發(fā)等構(gòu)成。
測(cè)試流程:對(duì)本次測(cè)試的流程進(jìn)行描述,一般采用可用性測(cè)試標(biāo)準(zhǔn)化流程,即資源準(zhǔn)備-任務(wù)設(shè)計(jì)-用戶招募-預(yù)測(cè)試-正式測(cè)試-測(cè)試報(bào)告。
招募用戶:介紹招募到的用戶所屬機(jī)構(gòu)/部門、角色及人數(shù)。
測(cè)試任務(wù):展示本次可用性測(cè)試的任務(wù)單,任務(wù)總數(shù)與涉及功能總數(shù)。任務(wù)單要素包含角色、任務(wù)大類、操作目標(biāo)、場(chǎng)景任務(wù)描述、任務(wù)涉及的功能。其中場(chǎng)景任務(wù)描述最為關(guān)鍵,需要交代任務(wù)的前置場(chǎng)景,讓受眾能夠產(chǎn)生畫面感。
2. 結(jié)果概述
第二部分是整個(gè)可用性測(cè)試的最終結(jié)果,包括體驗(yàn)度量結(jié)果、客戶重點(diǎn)評(píng)價(jià)以及通過用戶反饋和專家分析,梳理出來的可用性問題概況。
體驗(yàn)度量結(jié)果:整體度量指標(biāo)包括SUS可用性評(píng)分與對(duì)應(yīng)的評(píng)級(jí)、百分等級(jí);用戶整體滿意度、問題點(diǎn)統(tǒng)計(jì)以及效率相關(guān)的任務(wù)完成率、錯(cuò)誤次數(shù)、提示次數(shù)、完成時(shí)間等指標(biāo)。我們?cè)诳捎眯詼y(cè)試結(jié)束后,會(huì)發(fā)放問卷給參與用戶,包含SUS評(píng)分與整體滿意度。通過SUS評(píng)分換算可得到SUS可用性評(píng)分、評(píng)級(jí)及百分等級(jí)。如果相同的任務(wù)可用性測(cè)試不是首次,則可與之前的測(cè)試度量結(jié)果做比較,以體現(xiàn)產(chǎn)品優(yōu)化后的效果提升。若沒有,則僅展示本次結(jié)果。需要說明數(shù)據(jù)來源與幾家客戶、幾類角色、幾位用戶、幾份有效問卷。
SUS可用性評(píng)分:通過將用戶打分轉(zhuǎn)換而來,反應(yīng)總體可用性。
評(píng)級(jí):一共為A、B、C、D四個(gè)評(píng)級(jí),低于D則表示產(chǎn)品可用性極為一般,甚至糟糕。
百分等級(jí):是指測(cè)量的產(chǎn)品或系統(tǒng)相對(duì)于總數(shù)據(jù)庫【Jeff Sauro(2011)通過446個(gè)研究,對(duì)于我們目前的產(chǎn)品有一定缺陷,但在沒有更權(quán)威的選擇下,值得應(yīng)用】里其他產(chǎn)品或系統(tǒng)的可用性程度。比如SUS得分是73分,其百分等級(jí)大約為67,意味著比大約67%的產(chǎn)品可用性更好。
SUS可用性評(píng)分、評(píng)級(jí)、百分等級(jí)之間的關(guān)系如下圖(SUS分?jǐn)?shù)等級(jí)(Bangor et al.))所示:
整體滿意度:接受可用性測(cè)試的用戶對(duì)產(chǎn)品的主觀感受,我們通過在SUS量表問卷中額外附帶的滿意度百分制打分獲取。
問題點(diǎn)統(tǒng)計(jì)與分類:來自現(xiàn)場(chǎng)客戶發(fā)生思考吐槽、擴(kuò)展性訪談反饋以及測(cè)試完成后的專家回顧分析評(píng)估得出的可用性問題總數(shù),并對(duì)這些問題進(jìn)行歸類。
任務(wù)完成率:通過可用性測(cè)試過程中的觀察記錄表,記錄用戶對(duì)任務(wù)是否完成、錯(cuò)誤次數(shù)、提示次數(shù)以及完成時(shí)間。而完成率則是將角色維度將所有用戶的數(shù)據(jù)加權(quán)平均計(jì)算得出。由于B端產(chǎn)品的復(fù)雜性,可用性測(cè)試過程中的不可控因素過多,往往無法準(zhǔn)確獲取錯(cuò)誤/提示次數(shù)、完成時(shí)間,因此,我們通過專家討論,僅將完成率作為匯報(bào)中的必須項(xiàng)。
客戶重點(diǎn)評(píng)價(jià):包括客戶差評(píng)與好評(píng),是最為直觀的以客戶發(fā)聲方式體現(xiàn)對(duì)產(chǎn)品的評(píng)價(jià),相信也是報(bào)告受眾非常關(guān)注的點(diǎn)。此項(xiàng)往往在擴(kuò)展性訪談中獲取,且未必能夠獲取到,因此作為匯報(bào)內(nèi)容的可選項(xiàng)。
問題及分類:得出可用性問題匯總數(shù)量、計(jì)劃落地?cái)?shù)量,并從中得出體驗(yàn)優(yōu)化建議的采納率。圖形化展示問題分布及優(yōu)先級(jí)。
3. 過程分析
對(duì)可用性整個(gè)過程進(jìn)行詳細(xì)的闡述。包括準(zhǔn)備工作介紹、用戶角色建立、場(chǎng)景化任務(wù)具體分析及問題總表與評(píng)估結(jié)果。
準(zhǔn)備工作:說明對(duì)招募的用戶及約定的可用性測(cè)試的時(shí)間安排;所使用的測(cè)試環(huán)及環(huán)境數(shù)據(jù)的準(zhǔn)備;文檔的準(zhǔn)備包括場(chǎng)景化任務(wù)表、SUS體驗(yàn)度量與滿意度調(diào)研問卷、用戶行為記錄表;測(cè)試過程影像保存的方式說明,比如是通過手機(jī)拍攝的還是錄屏的、可用性測(cè)試執(zhí)行的場(chǎng)所說明,比如真實(shí)客戶測(cè)試的話一般都會(huì)在客戶現(xiàn)場(chǎng)進(jìn)行,如果是內(nèi)部用戶的話一般都會(huì)在公司的辦公場(chǎng)所。
場(chǎng)景化分析:場(chǎng)景化分析是通過描述什么人在什么情況下做什么,存在什么問題,建議如何解決的方式,描述可用性可用性問題及建議。首先對(duì)場(chǎng)景化分析做簡(jiǎn)單的說明,然后交代場(chǎng)景化分析中的用戶痛點(diǎn)具體來源??捎眯詼y(cè)試中,問題通常來源于任務(wù)測(cè)試過程中的用戶發(fā)生思考、請(qǐng)求幫助;任務(wù)結(jié)束后的擴(kuò)展性訪談;整個(gè)測(cè)試結(jié)束后的專家分析與評(píng)估。
角色建立:通過用戶角色模型的建立,讓受眾了解測(cè)試用戶的基本特征,包括姓名、崗位、崗位工齡、使用系統(tǒng)的目標(biāo)、日常系統(tǒng)使用情況。并在后續(xù)具體場(chǎng)景中進(jìn)行角色代入,以便于與受眾之間形成共鳴。有幾類角色就應(yīng)展示幾個(gè)。
場(chǎng)景化分析:包括場(chǎng)景任務(wù)描述、操作角色與涉及功能、體驗(yàn)度量結(jié)果、問題描述與方案建議。如果測(cè)試的任務(wù)之間在線性關(guān)系,則可以以任務(wù)流的形式進(jìn)行串聯(lián),便于受眾對(duì)整體流程的理解,如果沒有則直接以角色或任務(wù)維度展開。這里的體驗(yàn)度量結(jié)果,是對(duì)單任務(wù)的記錄與分析,包括任務(wù)完成率、出錯(cuò)/提示的次數(shù)、任務(wù)完成時(shí)長(zhǎng)、問題點(diǎn)統(tǒng)計(jì)與分類。我們還需要羅列場(chǎng)景化測(cè)試中的問題/痛點(diǎn),并一一給出建議,對(duì)于問題通過外鏈來對(duì)標(biāo)到拍攝的視頻或圖片,以便于聚焦問題的真實(shí)發(fā)生場(chǎng)景。有幾個(gè)測(cè)試任務(wù),就需要展示幾個(gè)場(chǎng)景化任務(wù)分析。
問題總表及評(píng)估結(jié)果:過程分析的最后,我們將得出一張問題總表,也就是通過場(chǎng)景化分析最終得出的可用性問題列表。以角色維度,說明任務(wù)大類、操作目標(biāo)、涉及功能、問題描述、建議方案、問題類別、優(yōu)先級(jí),并對(duì)標(biāo)視頻時(shí)段/截圖,便于問題定位追溯。這部分內(nèi)容可根據(jù)量級(jí)決定放在PPT內(nèi)還是以附件形式展示。
4. 后續(xù)計(jì)劃
后續(xù)計(jì)劃包括方案落地及驗(yàn)收計(jì)劃、方案驗(yàn)證計(jì)劃。方案落地及驗(yàn)收計(jì)劃:主要介紹可用性完成后的后續(xù)問題評(píng)估結(jié)果、執(zhí)行人等,也即方案落地及驗(yàn)收計(jì)劃。
方案驗(yàn)證計(jì)劃:是對(duì)優(yōu)化后的產(chǎn)品再次進(jìn)行可用性測(cè)試的計(jì)劃說明,或?qū)φ心加脩粼趦?yōu)化落地后進(jìn)行回訪計(jì)劃的說明。
5. 附件
在產(chǎn)出物的最后,我們附上相關(guān)的附件,提升本次可用性測(cè)試的信度。大家可以根據(jù)實(shí)際情況,展示測(cè)試中用到的文檔如可用性測(cè)試任務(wù)、測(cè)試現(xiàn)場(chǎng)影像、SUS體驗(yàn)度量與滿意度問卷收集情況、任務(wù)測(cè)試記錄表等。
本文由@janinejly 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
感謝作者分享?。?!對(duì)我個(gè)人來說很有用,先碼住后面再仔細(xì)看看
看懂了好像又不太明白的樣子,先收藏著,待我日后慢慢研究!
介紹的測(cè)試匯報(bào)內(nèi)容特別實(shí)用,能讓我們的工作有好的結(jié)果。