編輯導(dǎo)語：在產(chǎn)品正式發(fā)布之前，產(chǎn)品團隊和開發(fā)人員往往需要進行產(chǎn)品測試，以便及時發(fā)現(xiàn)漏洞、完善用戶體驗。那么，產(chǎn)品團隊要如何才能成功地進行一次產(chǎn)品測試？本篇文章里，作者總結(jié)了十個關(guān)鍵步驟，一起來看。

在 iPad 發(fā)布 Illustrator 的當(dāng)天，它立即在美國和日本的應(yīng)用商店中排名第一，獲得了4.6 星級的評價，并得到了許多刊物的好評。

這個應(yīng)用程序最初的成功是出于設(shè)計，而不是偶然的。一個有用的 Beta 程序可以幫助團隊成功地進行設(shè)計和實踐，也許最重要的是，讓我們的用戶感覺到了付出、包含和參與到創(chuàng)造 Illustrator 生態(tài)系統(tǒng)的未來中。

用一位 Beta 參與者的話說：“我參加了不少測試版程序，這里的 Slack 頻道社區(qū)很棒，我很高興成為社區(qū)的一員，我很喜歡 Illustrator 推出 iPad 版本的極致體驗，這讓體驗更加直觀。太感謝了！

Beta（測試版）程序用于在開發(fā)周期收集有關(guān)產(chǎn)品或服務(wù)的反饋，以便在版本發(fā)布之前進行改進。一旦產(chǎn)品開發(fā)完成，目標(biāo)用戶就可以從一個端口到了另一個端口，來完成一個或多個關(guān)鍵工作流，以收集真實世界的用戶的體驗。

在軟件開發(fā)世界中，Beta測試是常見的，但在焦點和形式上差異很大。Adobe 近年來，我們一直在通過反復(fù)試驗，來開發(fā)一套測試版最佳實踐流程。我們相信，我們已經(jīng)找到了成功的 10 個關(guān)鍵主題，這些主題步驟可以成為強大的工具，來幫助任何團隊推出成功產(chǎn)品的。

下面，我們將深入研究這些主題，并提供一些有關(guān)如何在你自己的測試版程序中實現(xiàn)它們的信息。

一、選一個目標(biāo)?Pick a goal

這似乎看起來很明顯，但作為一個團隊，你需要為 beta 測試程序設(shè)定一個目標(biāo)。這一目標(biāo)在作出較小規(guī)模的決定時候，將會提供一個明確定義的優(yōu)先級，比如邀請誰參加程序，或舉辦何種類型的虛擬活動。

如果你的團隊的主要目標(biāo)是營銷和參與，那么收集反饋以改善體驗和產(chǎn)品開發(fā)策略將更加困難。例如，將市場營銷放在首位的測試計劃可能會影響社交媒體大V 參與者數(shù)量，因為這會導(dǎo)致這些影響力者將產(chǎn)品推廣給他們的追隨者，在這種情況下，產(chǎn)品團隊和測試團隊之間可能更傾向于取悅用戶，而不是獲得可操作的產(chǎn)品反饋。

由于項目中有社會影響者，團隊將不太可能調(diào)查挑戰(zhàn)領(lǐng)域，分享他們正在尋找反饋的領(lǐng)域，或者包容負面反饋。同樣，如果測試版的重點放在強調(diào)這項技術(shù)有多神奇的教程上，用戶將無法提供最初的、公正的反饋——這將更能代表用戶在應(yīng)用發(fā)布時的反應(yīng)。

如果你的團隊的目標(biāo)是收集可操作的反饋以幫助改進用戶體驗，那么本文非常適合您。獲取有用的產(chǎn)品反饋將使整個團隊受益：設(shè)計師將獲得有關(guān)用戶體驗的有用反饋；工程師將發(fā)現(xiàn)有助于改進代碼的相關(guān)缺陷；營銷人員將開發(fā)一個投資社區(qū)，產(chǎn)品經(jīng)理可以根據(jù)用戶需求調(diào)整功能架構(gòu)和未來產(chǎn)品方向。

二、建立社區(qū)?Create a community

用戶更喜歡有被傾聽的感覺。開發(fā)一個社區(qū)，讓它活躍，鼓勵和歡迎用戶參與。通過確保社區(qū)中的每個人都能向合適的跨職能團隊成員提出職責(zé)問題、困惑和管理請求，讓用戶能夠聽到任何給定主題的“專家”的意見。

如果用戶無法解決困擾他們的問題或得到有用的反饋，他們將停止溝通。可以通過設(shè)立有趣的復(fù)活節(jié)彩蛋來鼓勵用戶參與，比如驚喜贈品、參與設(shè)計挑戰(zhàn)和有益的研討會。

從組織管理的角度來看，確保整個跨職能團隊在回答問題和跟進用戶反饋方面承擔(dān)一定的責(zé)任。這樣，參與的負擔(dān)就不會落在一個團隊成員身上，團隊的參與能力才能得到最大化。

至于社區(qū)平臺，我們一直在使用Slack。你公司旗下的在線論壇可能無法獲得持續(xù)的互動和參與，這是因為用戶不習(xí)慣在這種情況下進行交流，因此最重要的是在用戶習(xí)慣的場景下與他們進行互動溝通：我們發(fā)現(xiàn)，每天我們的許多用戶都在使用 Slack 與客戶和合作者進行溝通，因此整合功能對我們很有用。

無論如何，找到你的用戶所聚集的地方，并將這些平臺作為潛在的社區(qū)進行調(diào)查，但同樣重要的是要確信平臺為用戶提供了安全和隱私。

無論你的平臺是什么，如果在你的測試版中有兩個或更多不同的用戶類型，那么尋找不同的社區(qū)是很重要的，這將使你更容易將研究結(jié)果背景化，對你的測試參與者來說，這將是一個更好的體驗。

我們通過一次痛苦經(jīng)歷意識到這一點：在一次測試中，我們既包括了學(xué)生，也包括了專業(yè)人士。我們很快意識到學(xué)生們被專業(yè)人士嚇壞了，他們感到被排除在談話之外。在 Slack 中，這意味著我們需要開發(fā)單獨的工作興趣區(qū)供相同類型的用戶溝通（而不僅僅只是一個渠道）。

三、以用戶為中心?Be user-centered

理想情況下，整個跨職能團隊都能與用戶交談，我們需要確保所有人都準(zhǔn)備就緒。當(dāng)直接與用戶交談時，有一些需要注意最佳實踐方法可以提供給你們（這里我們不會全部介紹）。

舉個例子，你作為評分者，用戶會傾向于取悅你，因此遵循本文中的指導(dǎo)原則將有助于減少這種偏見，并為參與者提供表達自己的空間，并提供關(guān)鍵信息。

請記住，對于參與者來說，有點困難是可以的接受的（這可以讓我們了解需要解決的問題），對于我們來說，也是可以選擇不提供答案的——相反，所有團隊成員都應(yīng)該探究“為什么”。

例如，如果一個用戶說，“嘿，我想要某某功能”，不要回答說，“那不在我們的規(guī)劃內(nèi)?！倍牵瑔査麄?yōu)槭裁聪胍@個功能——他們會用它做什么？他們什么時候用？他們希望在哪里找到它？

這將更具洞察力——它將便于設(shè)計團隊更好地了解預(yù)期的切入點；它將為產(chǎn)品管理層提供關(guān)于特定工作流程需要哪些功能的清晰信息；它甚至可能表明，用戶的問題可以通過實現(xiàn)相同目標(biāo)的不同功能來解決。

四、仔細篩選參與者?Carefully screen the participants

當(dāng)一個團隊開始測試的時候，最大的問題總是：誰會被邀請參加測試？因此，很重要的一點是要清楚地定義你測試對象的的要求。這些用戶將決定應(yīng)用程序的未來，因此確保他們反映目標(biāo)用戶的屬性非常重要。

這可以包括職業(yè)、工具使用、工作流程、需求和目標(biāo)等變量。與研究人員合作，為篩選調(diào)查來設(shè)計問題，以涵蓋你決定的所有標(biāo)準(zhǔn)，并根據(jù)用戶完成的調(diào)查結(jié)果，來只邀請符合這些標(biāo)準(zhǔn)的用戶。

當(dāng)你在做的時候，篩選調(diào)查是一個收集其他有用數(shù)據(jù)的絕好機會，所以不要局限于詢問前面提到的用戶標(biāo)準(zhǔn)。雖然篩選的首要任務(wù)是選擇用戶參與（或不參與）beta測試程序，但它也可以用于其他原因。

例如，可以用來篩選出對你的產(chǎn)品感興趣的人群，并洞察哪些信息是用戶群體在產(chǎn)品上市時最感興趣的。

此外，篩選調(diào)查是一個很好的途徑，可以收集到更多關(guān)于那些最終進入數(shù)據(jù)測試程序的用戶的見解。該用戶信息可以稍后與用戶提供的反饋進行三角剖分；例如，有關(guān)用戶正在運行的設(shè)備、他們對類似產(chǎn)品的經(jīng)驗以及他們使用的其他技術(shù)信息，這些都可以幫助解釋他們的定性反饋。

當(dāng)你確定測試版目標(biāo)受眾時，一定要考慮公平和包容。畢竟，我們生活在一個多元化的社會，而不是一個單一的社會，你產(chǎn)品的最終用戶將反映這一點。

一定要為不同背景、性取向、性別、體型以及身體、心理和感官能力的人創(chuàng)造一個包容的空間。收集不同的觀點可以幫助團隊更好地理解用戶面臨的一系列問題，使他們能夠在產(chǎn)品發(fā)布之前解決這些問題。如果你想了解更多提示，可以查看 Adobe Design Inclusive Worksho 或其他 Adobe Design Inclusive 資源。

我們的團隊將很快分享一份包容性的研究最佳實踐指南，其中是有關(guān)招募用戶、與用戶溝通、適應(yīng)和吸引具有各種能力的用戶的最佳實踐的詳細信息。

五、嚴格跟蹤和分類反饋?Rigorously track and triage feedback

如果團隊忽視了跟蹤和分類，那么我們最初收集的所有有用的產(chǎn)品反饋都將丟失。

出于這些目的，我們選擇使用 Reacji Channeler，這是 Slack 上的一個插件，通過使用預(yù)定義的 emoji 對單個消息進行簡單的回饋，就可以對消息進行有效的標(biāo)記、排序和跟蹤。通過這種方式，我們可以用瓢蟲表情符號標(biāo)記與 bug 相關(guān)的反饋，并將它發(fā)送到工程部，而我們可以用剪貼板標(biāo)記與可用性相關(guān)的反饋，并將它發(fā)送到設(shè)計部。

整個團隊都參與了 “反應(yīng)”——這是一種確保 Beta 版反饋被發(fā)送到正確位置的低成本方式，不必花一整個下午的時間來回答用戶的問題。畢竟，團隊正忙于開發(fā)新產(chǎn)品！

我們還使用了 Instabug，這是一種應(yīng)用內(nèi)服務(wù)，允許用戶快速輕松地共享 bug、崩潰日志，用戶可以選擇直接報告改進的方面。一般來說，Instabug 的反饋會發(fā)送給工程師或用研人員，而可用性請求或功能請求會發(fā)送給研究人員進行分析。

六、切實分析反饋?Actionably analyze the feedback

在使用 Reacji Channeler（應(yīng)用插件）對輸入進行分類之后，反饋可以被傳送到數(shù)據(jù)庫軟件中（我們使用Airtable），在那里，研究人員可以對其進行分類、跟蹤、組織和分析。

整個團隊都應(yīng)該能夠訪問這些數(shù)據(jù)，這樣如果他們想獲取詳細信息，就可以引用這些數(shù)據(jù)。

在分析 Airtable 中的反饋之后，研究人員將結(jié)果與所有跨職能團隊分享，然后他們可以實施反饋。對我們來說，這采取了每周一次的全體會議的形式，研究人員在會上分享了測試版中最重要的幾點見解：一次又一次出現(xiàn)的特性請求或重復(fù)出現(xiàn)的可用性問題（值得注意的是，根據(jù)上述國際觀點，這是針對多個國家的）。

例如，本次周會將分享美國的最高反饋，但日本的反饋也會進行分享。這對整個團隊的文化管理非常有幫助。每一項發(fā)現(xiàn)都與可行的建議和下一步措施相結(jié)合，其中一些建議被輸入Jira，以確保問責(zé)制的實行。

七、所有流程國際化?Internationalize all processes

關(guān)于包容性的建議，最重要的是要考慮到你的潛在受眾的全部范圍。因此，所有做法也應(yīng)在國際上付諸實施。國際化管理，而不僅僅是本地化。

正如我們的同事 Wilson Chan和 Mika Nakamura 所指出的，國際研究已經(jīng)超越了語言，包括文化色彩、符號、美學(xué)、設(shè)備使用、連接水平、技術(shù)標(biāo)準(zhǔn)、工作流程、購買風(fēng)格、學(xué)習(xí)風(fēng)格，甚至法律考慮。對于本文概述的所有最佳實踐，我們建議在其他國家（和語言/文化）也實施它們。

這張圖片是由一位日本測試版的參和者sunsuke Satake在iPad的Illustrator中創(chuàng)作的。

八、找到你的“部落”?Find your village

需要一個“部落”才能提高 beta 的實踐成功性！一個成功的測試版需要專門的跨職能資源。根據(jù)你的團隊結(jié)構(gòu)，這可能包括工程、產(chǎn)品管理、設(shè)計、研究、用研質(zhì)量評估、內(nèi)容策略和社區(qū)管理。

我們發(fā)現(xiàn)，如果有人將測試版本作為他們的主要關(guān)注點，那么測試版本的效果將是最好——沒錯，運行測試版本可以是一項全職工作。我們強烈建議讓用戶體驗研究人員從頭到尾參與這個過程。雖然他們可能不會運行測試版的日常后勤工作，但研究人員可以設(shè)置程序以獲得盡可能好的數(shù)據(jù)，這意味著需要收集可操作和可預(yù)測的數(shù)據(jù)。

用戶體驗研究人員可以幫助進行諸如面向用戶的反饋會議、調(diào)查和數(shù)據(jù)分析等活動。同樣重要的是，測試版用戶通常是你的產(chǎn)品的粉絲（稍后將對此進行詳細介紹）。研究人員會意識到這種積極的偏見，并在他們的分析中加以解釋。

九、縱向評估?Evaluate longitudinally

縱向研究是研究人員工具箱中最強大的工具之一，它允許團隊在相當(dāng)長的一段時間（例如一個月）內(nèi)關(guān)注應(yīng)用程序中的完整工作流，以便更好地了解用戶體驗。

對于我們的縱向研究，我們首先在實踐研究前對每位參與者進行 30 分鐘的人種學(xué)訪談。然后，每周都有任務(wù)要求參與者完成關(guān)鍵的工作流程，來確定風(fēng)險領(lǐng)域。

參與者需要在每周末提供結(jié)構(gòu)化的書面反饋。最后，我們對每位參與者進行 30 分鐘的研究后匯報和反饋訪談。

在整個過程中，參與者與主持人有一個開放的渠道，并鼓勵參與者隨時與主持人聯(lián)系，提出受挫的情況、bug、問題或疑惑。同樣，重要的是要 參與者 包括殘疾人和具有國際視野的人。

縱向研究的結(jié)果可以揭示什么有助于或阻礙用戶成功使用產(chǎn)品，他們也可以提供一種方法來衡量隨著時間的推移，熟練程度的提高程度。

例如，我們尋找的關(guān)鍵指標(biāo)之一是用戶的感知能力隨著時間的推移而增加；同時，他們完成任務(wù)的時間（或完成任務(wù)所需的時間）應(yīng)該隨著熟練程度的提高而減少?；旧?，你的目標(biāo)是這樣的：

十、對結(jié)果進行基準(zhǔn)測試?Benchmark the results

基準(zhǔn)測試提供了一致的度量標(biāo)準(zhǔn)，用來衡量用戶對應(yīng)用程序的感知。特別是，基準(zhǔn)測試提供了基線度量，以便隨著新版本的發(fā)布時間進行監(jiān)視和跟蹤，從而測量錯誤修復(fù)、性能更新和每個版本附帶的新特性的影響。

在應(yīng)用程序不斷發(fā)展的過程中，他們通過識別任何可能解決的成功和滿意度障礙（心智模型不匹配、復(fù)制不清晰、使用質(zhì)量等）來通知團隊。它們還允許研究人員收集對用戶體驗更深入的見解，為此，我們將在每次發(fā)布實質(zhì)性更新時推送的應(yīng)用內(nèi)調(diào)查。

選擇您最感興趣的度量標(biāo)準(zhǔn)，我的建議是：易用性、性能、滿意度，并使用 Likert 量進行調(diào)查反映問題。

測試版本的一個重要指標(biāo)是用戶整合產(chǎn)品的意圖。也就是說，如果這個應(yīng)用程序明天推出，他們真的會使用它嗎？我們還建議將每個定量問題與定性開放式問題配對；也就是說，對每個李克特量表問題都要問 “為什么”，數(shù)字本身并不能說明全部情況！

盡管 Beta測試版 程序需要預(yù)先投入時間和資源，但它要比在發(fā)布錯誤應(yīng)用程序后對其進行改進要簡單得多，成本也要低得多。通過我們的測試程序收集到的豐富信息使 iPad團隊中能夠在 Illustrator 開發(fā)過程中做出關(guān)鍵的作用，評估產(chǎn)品準(zhǔn)備情況，完善營銷材料，并發(fā)布一款獲得成功和用戶贊賞的產(chǎn)品。

本文翻譯已獲得作者的正式授權(quán)（授權(quán)截圖如下）

作者：Laura Herman；譯者：李玥琪；審校：蔡林燕、李澤慧、張聿彤；編輯：李莉好

原文鏈接：https://medium.com/thinking-design/10-key-steps-to-a-successful-product-beta-program-868a4d3fd9ca

本文由@TCC翻譯情報局 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Unsplash，基于CC0協(xié)議。