在過去兩年時間里，我們探索了一套適合工具型產(chǎn)品的體驗度量模型理論體系，并在多個工具產(chǎn)品中實踐，獲得了正向的結(jié)果。

本文將從工具產(chǎn)品度量模型搭建和行為度量手段兩個方面，重點闡述設(shè)計思路和具體做法，希望對做工具產(chǎn)品的體驗設(shè)計師有一些幫助。

一、工具體驗度量模型搭建

1. 工具產(chǎn)品特征

使用酷家樂工具有多種類型的設(shè)計師用戶，因其使用目標(biāo)不同會導(dǎo)致使用工具的流程不同。如果是一個定制設(shè)計師，他首先要從戶型開始、然后去定制、再到軟裝最后去渲染，才能完成一個定制柜的方案設(shè)計。

在整個使用流程中有多個設(shè)計任務(wù)，如果到了一個設(shè)計衣柜的階段，他的設(shè)計行為從置入框架開始，再添加隔板、配件、抽屜、門板最后進行全局替換才能完成一個衣柜的設(shè)計。然而不同的用戶設(shè)計習(xí)慣不同，設(shè)計行為的順序也不同。

為此工具產(chǎn)品呈現(xiàn)兩個特征：一、用戶類型多樣、用戶目標(biāo)差異大；二、用戶使用流程長，設(shè)計任務(wù)多，設(shè)計行為自由且無序。

在工具產(chǎn)品設(shè)計開發(fā)階段，經(jīng)常需要足夠了解用戶的意圖和行為，才能輔助體驗設(shè)計師做判斷和決策。為此我們成立了項目組，開啟了工具產(chǎn)品體驗度量模型的探索。

2. 項目定位

項目初衷

• 希望建立一套更加嚴謹?shù)捏w系和方法來洞察用戶意圖和行為，同時還能監(jiān)測工具產(chǎn)品體驗變化及趨勢
• 其次更希望從發(fā)現(xiàn)問題到優(yōu)化問題后不斷迭代，最后通過產(chǎn)品體驗的提升，提高產(chǎn)品的競爭力或達成產(chǎn)品目標(biāo)、商業(yè)目標(biāo)

再結(jié)合公司的現(xiàn)狀（以業(yè)務(wù)目標(biāo)為導(dǎo)向劃分資源）沒辦法通過管理手段解決產(chǎn)品體驗問題，導(dǎo)致設(shè)計師在解決體驗問題時，會因為優(yōu)先級不高沒辦法獲取開發(fā)資源。

于是對項目的定位是：工具體驗度量是協(xié)助業(yè)務(wù)解決體驗問題（影響業(yè)務(wù)指標(biāo)的核心問題）的工具，并非通過自上而下的管理手段解決體驗問題，這個定位需要更精準(zhǔn)的找到價值更高的優(yōu)化點。

3. 搭建工具度量模型

我們從用戶感知層、行為層到反思層拆解多維度的指標(biāo)。分別從可用性測試、行為數(shù)據(jù)和態(tài)度數(shù)據(jù)三種手段，采集用戶定量和定性的數(shù)據(jù)，搭建了一套多種度量手段和多維數(shù)據(jù)類型的度量模型。同時也為了更好的執(zhí)行模型定義了度量標(biāo)準(zhǔn)規(guī)范，提供了使用的工具和實踐案例。

多種度量手段

• 態(tài)度度量：主要采集用戶的態(tài)度數(shù)據(jù)，核心指標(biāo)是NPS和NSS，通常會用NSS來評估工具多個模塊用戶滿意度，NPS是整體產(chǎn)品體驗的北極星指標(biāo)
• 可用性測試：通過定義一個用戶大目標(biāo)，拆解多個任務(wù)邀請用戶測試觀摩用戶使用過程發(fā)現(xiàn)問題，會根據(jù)NSS的不同模塊滿意度低的因子，來繼續(xù)做定性的調(diào)研
• 行為度量：對工具進行行為數(shù)據(jù)的埋點采集，用大數(shù)據(jù)分析來了解用戶的行為一起判斷是否存在體驗問題，定義的路徑可以與可用性測試的任務(wù)一致，來結(jié)合做定量的分析

度量手段標(biāo)準(zhǔn)化和工具化

• 度量手段標(biāo)準(zhǔn)規(guī)范：讓執(zhí)行模型的人可以更好的理解和實踐，同時也能保證指標(biāo)口徑的一致性和橫向可對比
• 度量手段工具化：讓體驗問題指標(biāo)化、可視化，也能通過看板看到長期的變化，同時也方便大家理解和使用

4. 尋找機會點和切入點

機會點：通過用戶調(diào)研和用戶數(shù)據(jù)分析手段挖掘產(chǎn)品體驗問題，找到影響產(chǎn)品體驗和業(yè)務(wù)指標(biāo)增長的機會點，再對數(shù)據(jù)指標(biāo)進行監(jiān)控持續(xù)不斷的優(yōu)化達成業(yè)務(wù)目標(biāo)

切入點：從用戶使用路徑角度拆解產(chǎn)品功能，用戶使用產(chǎn)品的路徑作為一個最小度量單元

• 產(chǎn)品由很多個功能組合成的，而用戶的使用路徑串聯(lián)了多個功能
• 工具的體驗是否友好，可以監(jiān)測工具的核心路徑的體驗指標(biāo)，判斷體驗的好壞
• 還可以通過多個核心路徑的體驗指標(biāo)去關(guān)聯(lián)產(chǎn)品指標(biāo)，通過不斷的產(chǎn)品優(yōu)化觀察產(chǎn)品指標(biāo)的變化

基于項目是要達成產(chǎn)品目標(biāo)，切入的方式是對用戶使用路徑的數(shù)據(jù)監(jiān)測，下面重點介紹行為度量的實踐方法

二、行為度量：用戶行為數(shù)據(jù)進行體驗度量

1. 指標(biāo)設(shè)計和定義

有了路徑作度量單元，又如何衡量一條路徑體驗好壞呢？于是我們開始從用戶完成一個任務(wù)的角度思考。這個路徑的入口用戶可以找到嗎？用戶可以完成嗎？使用的過程是否遇到問題，完成的使用效率怎么樣。

定義了兩種和體驗強相關(guān)的指標(biāo)：可用性和使用效率指標(biāo)

• 可用性是衡量用戶是否能完成任務(wù)的基礎(chǔ)指標(biāo)
• 使用效率是在完成任務(wù)的基礎(chǔ)上從時間和步驟的角度看路徑是否高效的高階指標(biāo)

可用性指標(biāo)有三個：觸達率、任務(wù)完成率、跳出率

• 觸達率：表示多少用戶進入了定義路徑的起點，是衡量入口可見的指標(biāo)
• 任務(wù)完成率：表示用戶在預(yù)設(shè)路徑中是否能友好地完成整條路徑，是衡量路徑可用性是否良好的核心指標(biāo)
• 跳出率：是分析定義路徑中所有觸點的指標(biāo)，可以查看定義路徑中任一觸點跳出的用戶數(shù)，用來分析影響路徑完成的問題觸點

效率指標(biāo)有兩個：任務(wù)完成時間、任務(wù)完成步驟

• 任務(wù)完成時間：用戶在任務(wù)完成時，所花費的時間，從進入路徑到最后完成路徑過程中消耗的時間
• 任務(wù)完成步驟：用戶在任務(wù)完成時，所需要的步驟，從進入路徑到最后完成路徑過程中消耗的步驟（有效點擊事件個數(shù)）

2. 指標(biāo)分析緯度和使用場景

全量可交叉分析的維度說明

從指標(biāo)定義角度，拆解了指標(biāo)可交叉分析的緯度，提供使用指標(biāo)的分析思路。全量可以從相似路徑（相同使用目的路徑）、用戶類型、時間角度（優(yōu)化前后）進行交叉對比分析。

基于全量可交叉分析的角度，下面枚舉了日常工作中比較常用到的分析場景

場景一：多條路徑單個指標(biāo)怎么分析

• 對比相似路徑（目標(biāo)相同的路徑）單個指標(biāo)。例如查找模型的路徑有兩種方式：a用搜索找模型；b用類目層級找模型，對比兩條路徑任務(wù)完成率，看哪條路徑是使用量大
• 對比并列路徑（前后依賴的路徑）單個指標(biāo)。例如完成一個模型的擺放有三個前后依賴的路徑：a素材面板找模型；b畫布放置模型；c在參數(shù)面板調(diào)整尺寸，可以對比任務(wù)完成率，看是哪條路徑影響了后續(xù)路徑的使用。

場景二：單條路徑多個指標(biāo)對比分析

• 分析單條路徑多個指標(biāo)，例如可以觀察多少用戶觸達了該路徑起點，多少用戶完成了該路徑，多少用戶從某個觸點跳出了
• 還可以繼續(xù)對完成路徑的使用效率（時間和步驟）進一步分析，判斷路徑的使用步驟影響大還是時間消耗大

場景三：多個路徑多個指標(biāo)的分析

多個路徑和多個指標(biāo)主要用于對路徑更加深入的分析，一般常用的使用案例有以下幾種：

• 觸達率和任務(wù)完成率結(jié)合，對多條路徑不同入口和任務(wù)完成情況的對比
• 任務(wù)完成率和跳出率結(jié)合，在多條路徑中找到影響任務(wù)完成的問題觸點分析
• 使用效率對比，多條路徑的任務(wù)完成率和任務(wù)完成步驟或時間進行分析

有了指標(biāo)的定義和分析思路，如果需要大家用起來，還需要降低指標(biāo)的使用難度，于是我們開始了路徑分析的工具建設(shè)。

3. 行為度量工具建設(shè)

1）困難和挑選

以路徑作為切入點，按照之前的設(shè)想，只要對工具進行全埋點的數(shù)據(jù)采集后，再進行數(shù)據(jù)分析找到工具TOPN的路徑，最后通過監(jiān)測TOPN路徑的體驗指標(biāo)來觀察產(chǎn)品體驗的變化。但是在埋點上我們遇到了全埋點實現(xiàn)不了和歷史埋點結(jié)構(gòu)不一致的問題

工具產(chǎn)品全埋點的困難體現(xiàn)在以下幾個方面：

• 埋點成本大：用戶在場景畫布的操作頻繁，觸發(fā)事件數(shù)據(jù)量大，存儲和分析資源消費龐大
• 畫布中埋點不精準(zhǔn)：畫布中是一個三維的海拔，采集埋點時需要識別不同海拔對應(yīng)的對象，尤其3D場景下，模型發(fā)生旋轉(zhuǎn)后海拔會發(fā)生變化會導(dǎo)致埋點不精準(zhǔn)
• 使用效率比較低：對于很多埋點數(shù)據(jù)，需要人工定義事件名稱和事件是否有效。例如在畫布拖動一個模型，需要詳細的定義起點和結(jié)束的行為、時間、位置

埋點結(jié)構(gòu)不一致：

• 不同業(yè)務(wù)歷史埋點都是按照自己需求定義的埋點結(jié)構(gòu)，如果需要跨業(yè)務(wù)分析需要統(tǒng)一埋點和歷史數(shù)據(jù)結(jié)構(gòu)，重新定義埋點采集標(biāo)準(zhǔn)和規(guī)范。

從全埋點到核心路徑埋點

相對中后臺產(chǎn)品工具產(chǎn)品呈現(xiàn)一條路徑多個分叉，使用方式反反復(fù)復(fù)且無序的情況。

因為全埋點的限制，只能人工拆解工具的核心路徑，為了不漏掉用戶更多的使用行為，同時需要梳理核心路徑的多個子路徑。

指標(biāo)模型化、工具化降低使用難度

基于拆解的埋點讓路徑支持自定義拼接和指標(biāo)模型化，降低使用難度

• 路徑自定義：一條路徑由多個觸點組成，在使用的時候可以按需拼接即可
• 指標(biāo)模型化：只要定義路徑就可以快速拉取對應(yīng)的路徑指標(biāo)數(shù)據(jù)

同時還兼容了用戶分群、路徑保存和數(shù)據(jù)下載等用于二次分析的功能

三、業(yè)務(wù)實踐

我們相信任何理論方法，都需要在業(yè)務(wù)實踐中達成產(chǎn)品目標(biāo)和商業(yè)目標(biāo)才能更有說服力

目前行為度量的路徑分析工具在酷家樂多個工具業(yè)務(wù)實踐，實踐案例有以下幾種：

• 在日常開發(fā)過程中監(jiān)測用戶體驗：拆解工具核心行為，監(jiān)測體驗指標(biāo)的數(shù)據(jù)波動，來判斷產(chǎn)品迭代對用戶體驗是否造成損害
• 路徑分析輔助體驗設(shè)計師做決策：拆解核心操作路徑，建立數(shù)據(jù)指標(biāo)監(jiān)控看板，通過不斷迭代優(yōu)化觀察指標(biāo)的變化后調(diào)整優(yōu)化思路，最終達成設(shè)計目標(biāo)
• 通過路徑分析提高新用戶留存：找到新用戶任務(wù)完成率低的多條路徑，再用路徑的任務(wù)完成率關(guān)聯(lián)新用戶次周留存，建立數(shù)據(jù)看板，通過迭代優(yōu)化，觀測新用戶使用哪條或哪幾條路徑后對工具有更強的探索意愿并在次周進入工具

四、最后

作為體驗設(shè)計師的我們深有感觸，在設(shè)計評審階段，評估設(shè)計方案的合理性和設(shè)計優(yōu)化是否有價值上我們會遇到較大的挑戰(zhàn)。尤其是涉及到管理者、研發(fā)、商業(yè)和運營等非設(shè)計崗位的同事，很容易帶入自己的感受去評估設(shè)計的好壞。因為大家沒有統(tǒng)一知識背景，我們需要用數(shù)據(jù)做一層轉(zhuǎn)譯。同時也需要用數(shù)據(jù)傳遞出設(shè)計方案迭代的思路、方向以及當(dāng)前階段的結(jié)果。

工具產(chǎn)品因其復(fù)雜的特性：一方面希望打造一套更嚴謹?shù)脑O(shè)計方法體系，從用戶調(diào)研和用戶行為數(shù)據(jù)分析的方法定位問題，到設(shè)計方案評估階段表達設(shè)計思考的合理，最終拿到正向數(shù)據(jù)結(jié)果；另一方面希望基于業(yè)務(wù)目標(biāo)的角度，通過體驗度量的手段，不斷的發(fā)現(xiàn)問題和解決體驗問題從而達成業(yè)務(wù)目標(biāo)，來證明產(chǎn)品體驗對業(yè)務(wù)結(jié)果的直接價值。

同時我們也堅信工具產(chǎn)品體驗對用戶增長和公司商業(yè)目標(biāo)有著更大價值，后續(xù)我們會在體驗指標(biāo)關(guān)聯(lián)業(yè)務(wù)指標(biāo)上持續(xù)嘗試工具產(chǎn)品增長模型的探索。

非常感謝項目組其他成員：靈雨（用戶研究員）、阿淼（數(shù)據(jù)分析師）、燎原、檸樂（開發(fā)工程師）

注：文中數(shù)據(jù)僅作為演示用途，非業(yè)務(wù)真實數(shù)據(jù)