1.UAT概況

在新版本上線前或上線后，通過目標(biāo)用戶完成一定任務(wù)、經(jīng)歷主要使用場景后做出偏好選擇的過程，為用戶接受度測試。對于上線前的UAT，研究者主要想找出相對優(yōu)秀或合適的新版待用方案；對于上線后的UAT，研究者則通過UAT驗證產(chǎn)品方做出的方案決策效果。

1.1 UAT必要準(zhǔn)備

接受度測試必須要開發(fā)完整后交由典型用戶檢驗，之前最好經(jīng)過多種層次的檢驗（單元、整合和系統(tǒng)的測試），確認(rèn)各模塊基本功能的完整和順利運(yùn)行。

1.2 UAT測試內(nèi)容的選擇

根據(jù)具體測試目的來定義UAT的任務(wù)、用戶人群、競品等等。

任務(wù)選擇：基本上，移動互聯(lián)網(wǎng)APP設(shè)計基于用戶使用需求和使用場景，UAT可以覆蓋典型使用場景的主要部分即可，也可以針對測試目的進(jìn)行任務(wù)側(cè)重點(diǎn)調(diào)整。例如，MM移動商場改版測試會包括常用操作下載、管理應(yīng)用等，但因為主要改版重點(diǎn)在首頁UI，所以必須增加首頁自由瀏覽任務(wù)以用來發(fā)現(xiàn)用戶對首頁改版的偏好。

用戶人群：選擇UAT的用戶樣本時需要正視兩個問題：用戶類型和樣本代表性。

用戶樣本的類型取決于測試重點(diǎn)和需求，可以是全體目標(biāo)用戶，也可以是重點(diǎn)關(guān)注用戶，如已有用戶或新增用戶等。

樣本代表性問題在上線前測試顯得十分重要，主要是因為樣本代表性決定UAT結(jié)果的推廣度和代表性，產(chǎn)品方需要參考UAT結(jié)果進(jìn)行決策，從而該結(jié)果的推廣影響整個產(chǎn)品后續(xù)發(fā)展，所以樣本代表性至關(guān)重要。現(xiàn)在的正式研究主要通過增加樣本量的辦法來解決樣本代表性問題，如測試中使用具有統(tǒng)計效力的大樣本（N>=30）。

2. UAT用戶接受度測試的缺陷

第一：
只考慮新舊版本的交互/視覺變化對用戶的選擇影響，忽視了用戶的實際使用需求，即是追求新舊版方案間的最優(yōu)方案。但事實上，即使用戶覺得該方案界面和交互視覺等無法挑剔，沒有實際的使用需要，用戶也不會主動使用該應(yīng)用。

第二：

研究中用戶可能會出于各種因素（比如出于偏向性刻意討好或貶低移動產(chǎn)品）有意或無意地打高分或打低分。

第三：

用戶樣本的代表性問題。接受度測試位于產(chǎn)品設(shè)計-運(yùn)營環(huán)節(jié)的測試階段，除非資源充沛，一般不會花大量金錢和時間來進(jìn)行大規(guī)模的接受度測試，這個現(xiàn)實直接決定用戶樣本量規(guī)模較小。如果樣本量較小且招募不具備代表性，容易導(dǎo)致接受度的結(jié)果受到影響，產(chǎn)品線據(jù)此結(jié)果容易做出錯誤的決定。

3. 對UAT測試缺陷的解決辦法

第一：

為解決這個問題主要從兩個方面把關(guān)，一是抽取具有代表性的目標(biāo)用戶（一般是已有活躍用戶和潛在的新用戶），具有使用該產(chǎn)品的需要；二是從問卷或訪談中強(qiáng)調(diào)“請根據(jù)你自己實際情況來選擇”，而非僅僅去客觀地判斷該產(chǎn)品的改版好不好。

第二：

為了避免用戶偏向性問題，可以增加樣本量，預(yù)期隨機(jī)誤差可以互相抵消。

第三：

解決接受度測試的樣本代表性問題最保險的做法是參考理論樣本量和同行的經(jīng)驗做法。理論上接受度測試有統(tǒng)計學(xué)效力的樣本量至少要30（統(tǒng)計學(xué)上定義的大樣本），而行業(yè)內(nèi)部分電商網(wǎng)站的新版首頁改版時也會選用20-30用戶進(jìn)行接受度測試，其具體做法是把用戶劃分為有限類別（能夠覆蓋整體用戶類型，穩(wěn)定用戶，購物車用戶，瀏覽型用戶，新手用戶等），讓不同類型的用戶按照隨機(jī)順序接受候選方案的經(jīng)典任務(wù)流程，其中的用戶樣本和任務(wù)場景盡量覆蓋產(chǎn)品的整體情況，最后用戶根據(jù)自身實際情況對不同的候選方案進(jìn)行評價。

4.特殊情況下的UAT

4.1同時上線的接受度測試

如果產(chǎn)品方已經(jīng)圈定新版（跳過上線前測試），在糾結(jié)猶豫上線后新老用戶偏好新版還是舊版的時候，我們還可以使用逐步開放新版的灰度上線方法（改良版A/B測試）來觀察和驗證用戶對新版的接受度。舉例來說，電商首頁改版，逐步開放10%/30%/50%/70%的來訪用戶接受新版首頁，此時記錄和分析用戶的跳出率和PV，根據(jù)以往的標(biāo)準(zhǔn)來觀察逐步開放過程的用戶使用行為變化，最好的結(jié)果是10%到100%用戶指標(biāo)表現(xiàn)良好，確定新版首頁為用戶接受；最差的結(jié)果是當(dāng)開放到某個臨界值時，用戶指標(biāo)已經(jīng)遠(yuǎn)遠(yuǎn)差于舊版，可能需要最好回滾/復(fù)用準(zhǔn)備。

?4.2可用性測試中融合接受度評價

上述的接受度測試必要準(zhǔn)備有提到，用戶接受度測試需要產(chǎn)品/應(yīng)用的基本功能完整和順利運(yùn)行，用戶這時接觸產(chǎn)品能夠正常使用，并且根據(jù)自己的使用習(xí)慣和偏好進(jìn)行偏好度評價。但實際情況是產(chǎn)品線開發(fā)周期短，部分產(chǎn)品在為開發(fā)完整時就可能需要做出選擇，用戶接觸產(chǎn)品時會遇到一些可用性問題，因此他們會綜合評價各個候選方案的接受度。這時候的接受度測試和可用性測試融合在一起。

可用性測試中融合接受度評價的做法能夠間接減少用戶樣本量（權(quán)威研究機(jī)構(gòu)Nielsen Group指出可用性測試至少用戶5人或以上，而且會出現(xiàn)理論飽和度問題），但這種做法直接影響接受度評價部分的代表性，需要在測試結(jié)果中明確表明，請產(chǎn)品線謹(jǐn)慎參考和決策。

附錄：