如果你的產(chǎn)品從一個角度看起來很好，而另一個角度看起來很糟糕，那該怎么辦？

在最近的關于用戶體驗定量研究的培訓研討會時，我被問到一個有趣的問題：

“我領導的團隊負責改造復雜的企業(yè)產(chǎn)品，我們一直在進行廣泛的研究，以便為發(fā)布做好準備。但前提是風險很高 ，即使是微小的改進也可能帶來巨大的生產(chǎn)力提升，相反，設計中的小問題也可能會給我們的用戶帶來很大的問題。

在我們的定量可用性測試中，與舊產(chǎn)品相比，我們已經(jīng)看到人們在原型中執(zhí)行重要任務所需的時間大幅減少。但問題在于，在定性訪談中，我們的用戶非常討厭這個原型，反饋非常消極。請問我們?nèi)绾握{(diào)和這一矛盾？我們應該做什么？”

這位負責人描述的情況，對許多以研究為重點的數(shù)字產(chǎn)品團隊來說是一個常見的情況。

進行用戶研究的理想方法是使用多種方法，混合定量和定性研究。但是，當那些不同的研究方法講述不同甚至相互矛盾的故事時會發(fā)生什么呢？

在本文中，我將考慮針對此情況的一些可能的問題，給出解釋和解決方案。不過，我關于提出問題的負責人的產(chǎn)品和研究的細節(jié)很少，但我會根據(jù)我被問到的其他問題給出一些理論。

檢查方法

在如上所述的情況下，第一步是檢查每項研究的進行方式。用戶研究面對的是“人”，因此存在大量可能導致錯誤或誤導性的事情發(fā)生。

在我們考慮這些矛盾的結(jié)果可能意味著什么之前，我們需要檢查每項研究中的一些關鍵組成部分，我們應該在四個方面尋找潛在的問題：參與者、任務、過程、分析。

1. 參與者

誰參與了每一項研究？有多少人參加了每一項研究？有沒有異常值 （那些表現(xiàn)得與其他人不同的人）？

同一用戶群是否參與定量研究和定性研究？這兩項研究的參與者是如何招募的？回答這些問題可能發(fā)現(xiàn)結(jié)論相互矛盾背后的原因。

例如，研究人員可能決定招募具有不同專業(yè)水平的用戶使用該產(chǎn)品。如果新手參與定量研究，但有經(jīng)驗的用戶提供了定性反饋，那么參與者群體之間的差異可能會影響結(jié)果。

2. 任務

定量研究包括哪些任務？

在執(zhí)行公司的一些核心任務時，用戶可能更有效率。但是，如果用戶經(jīng)常參與一系列廣泛的任務，那么在整個系統(tǒng)中可能不會存在其在產(chǎn)品某個區(qū)域的效率提高。

定性訪談之前有多少曝光？

如果研究人員只是在筆記本電腦上拉出新版本，指出它，并詢問參與者他們的想法，而不給他們實際完成任何任務的機會，這可以解釋一些負面的反應。

如果 UI 沒有足夠的時間來探索其功能，那么用戶可能只是對 UI 看起來新穎且不同的事實做出了反應。

定量研究之前有多少曝光？

用戶在測試系統(tǒng)之前是否給出了任何練習任務？他們是否接受過研究人員的任何培訓？如果定量參與者比定性參與者更多地接觸新系統(tǒng)，他們就有時間克服他們最初的負面反應并學會使用新產(chǎn)品。

3. 過程

這些研究是如何進行的？

我們需要驗證研究是否以合理的現(xiàn)實方式進行——研究具有外部有效性。

例如：假設該產(chǎn)品總是在工廠車間使用，用戶會受到很多環(huán)境噪音和干擾。如果研究是在安靜的會議室進行的，那么用戶可能會在新版本中表現(xiàn)更好，但是設計的某些方面可能會使其在現(xiàn)實條件下表現(xiàn)更差。

此外，我們還需要檢查是否存在一些意外問題，因為如何進行定量研究可能會對結(jié)果產(chǎn)生偏差，我們可以問：誰在審核這些測試？主持人有多少經(jīng)驗？

即使很小的混雜變量也可能產(chǎn)生無效結(jié)果，例如：想象一下，如果測試新版本產(chǎn)品的所有參與者都是在星期一早上參與測試，測試舊版本的所有參與者在星期五的晚上參與測試。這就可能很容易出現(xiàn)關于測試時間的問題，這些測試會影響參與者的表現(xiàn)。

4. 分析

我們有統(tǒng)計學意義嗎？

對于定量研究，兩種設計之間的差異是否具有統(tǒng)計學意義？換句話說，新版本的任務時間是否更可靠且不太可能產(chǎn)生隨機變化？

如何分析任務的時間？在許多研究中，任務時間僅包括那些成功的嘗試。比如新設計比舊設計更快，但成功率是否可比？如果平均任務時間增加 2 分鐘，但成功完成任務的用戶比例下降了 40％，那對公司和用戶來說仍然是壞事。

人們遇到了哪些類型的錯誤？我們不僅應關注任務，還應關注定量研究期間收集的其他指標，看看它們是否都表明新產(chǎn)品更好。即使新設計的錯誤較少，但它們可能比舊系統(tǒng)的錯誤更嚴重，并且影響了用戶在定性研究中的態(tài)度。

解釋結(jié)果

如果我們發(fā)現(xiàn)方法中沒有實質(zhì)性的錯誤或解釋，那么就該考慮這兩種質(zhì)量標準（定量效率和定性滿意度）之間的沖突可能意味著什么。

作為專業(yè)人士，我們的工作就是傾聽用戶的意見。正如任何經(jīng)驗豐富的用戶體驗專家都會告訴你的那樣，雖然這聽起來比實際更容易。因為我們不能只聽取用戶的意見，并遵循他們逐字記錄的請求。

人們通常不知道他們真正想要什么，而且你的用戶不是系統(tǒng)的設計者，他們無法以你的方式看到大局。更糟糕的是，他們的反饋往往受到其他因素的影響（錯誤的記憶，社會壓力，心理偏見等）。

我們不能只是問人們他們想要什么，做他們告訴我們的事情。我們必須收集混合數(shù)據(jù)（定量，定性，自我報告和觀察）才能真正了解正在發(fā)生的事情，然后我們可以使用該信息來解釋用戶所說的內(nèi)容。

那么，在文章開始的例子中，我們應該如何理解用戶反饋？這似乎與定量數(shù)據(jù)相矛盾嗎？我們需要看看為什么這些人可能對客觀上更好的產(chǎn)品做出如此負面的反應，而定量研究中的任務時間似乎能更好地反應。

感知的可用性可能與客觀可用性不同

不幸的是，我們并不確切地知道這個特定團隊在定量研究中減少了多少時間，這可能意味著幾秒鐘或幾分鐘。從公司的角度來看，即使減少秒數(shù)也可能是非常有益的。

想象一下，成千上萬的員工每年要執(zhí)行這項任務數(shù)千次 ，作為公司層面，這些效率提升很快就會增加，并可以節(jié)省成本。

但是，從個人用戶的角度來看，這些收益可能并不重要。如果這是幾秒鐘的改進，個別用戶可能甚至沒有意識到新系統(tǒng)實際上更快，因為她沒有看到自己的任務時間或其他參與者的時間。

人們不喜歡變化

上述這個復雜的企業(yè)產(chǎn)品的用戶幾乎每天都在使用它工作，他們中的一些人多年來一直使用相同版本的應用程序。即使它不是最有效的，他們也已經(jīng)習慣了，他們知道它是如何運作的。

通過改變事物，研究團隊要求用戶投入精力來熟練掌握新版本（用戶討厭改變這是一個常見的發(fā)現(xiàn)，這也是在發(fā)布之前進行研究的原因，以便可以最大限度地減少后續(xù)更改）。

如果定量研究中的用戶在測試之前接受了新系統(tǒng)的培訓或?qū)嵺`，則可能存在一些初始滯后，引入新界面時，復雜的任務學習新界面需要花費相當多的時間，效率低于僅使用舊的熟悉界面執(zhí)行任務的人。

下一步

我對這個團隊領導的建議是，首先考慮用戶反饋背后的這些原因，然后退一步看看更具體的問題。當然，在用戶體驗中，定量數(shù)據(jù)不應該自動否決定性信息或設計者的直覺（采用這種方法會導致滑稽的設計錯誤）。

在權衡相互矛盾的結(jié)果時，我們必須意識到——我們始終希望用戶能夠高效，高效地使用我們的產(chǎn)品。

由于賭注很高，并且團隊的研究預算也并不寬泛，我的建議是做出更多的調(diào)查，看看這個假設是否正確。團隊可以嘗試與新用戶進行定性測試，選擇與之前的系統(tǒng)接觸程度最小的人，看看他們的反饋是否有所不同。

或者，團隊可以進行系統(tǒng)的可學習性研究，通過多輪定量可用性測試來跟蹤任務時間、任務完成情況和長期滿意度，之后準確完整地描述用戶表現(xiàn)和滿意度隨著人們獲得新產(chǎn)品體驗而變化的情況。

如果新設計確實比舊設計更好，那么團隊應該期望滿意度和性能測量（任務時間和任務完成）隨著時間的推移而增加，并最終達到與當前設計相當或更好的數(shù)字。該研究也很好地解釋了——到底需要多久才能克服用戶最初的負面反應。

如果這些研究表明最初的負面反應會被長期滿意度和生產(chǎn)率提高所取代，那么團隊可以確信它正朝著正確的方向前進。

于是，他們可以計劃新系統(tǒng)的增量部署，允許當前用戶在準備好時（而不是在緊迫的截止日期之前）選擇使用新產(chǎn)品可以減少短期的挫敗感。

或者，另一個可能的研究結(jié)果是——新設計大多是好的，但舊設計中有一些好的方面應該保留在新版本中。

理解各種結(jié)果的矛盾是進行用戶體驗研究的挑戰(zhàn)（和樂趣）的一部分。每種方法都只是一條信息，從不同的角度看待我們的用戶或我們的產(chǎn)品。數(shù)據(jù)可以告知我們信息和結(jié)果，但最終，我們還是要根據(jù)自己的分析思路做出最佳選擇。

本文編譯部分來源：

https://www.nngroup.com/articles/interpreting-research-findings/

作者：Kate Moran

編譯來源：用戶行為洞察研究院

本文由 @用戶行為洞察研究院 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議