今時今日，越來越多的產(chǎn)品和服務(wù)被部署在網(wǎng)絡(luò)上，如何大規(guī)模進(jìn)行用戶體驗的衡量成為一個巨大的機遇和挑戰(zhàn)，怎樣設(shè)置以用戶為中心的指標(biāo)來衡量網(wǎng)絡(luò)應(yīng)用中關(guān)鍵目標(biāo)的轉(zhuǎn)化過程，或者推動產(chǎn)品決策成為一個我們想探究的問題。在這篇文章中，Google 給我們帶來了他們目前正在使用的，以用戶為中心度量的HEART指標(biāo)體系，以及把產(chǎn)品目標(biāo)與創(chuàng)建指標(biāo)體系相互關(guān)聯(lián)的過程。本文也包含了應(yīng)用HEART指標(biāo)，同時從數(shù)據(jù)驅(qū)動以及從用戶為中心的角度出發(fā)，幫助產(chǎn)品團(tuán)隊決策的實例。該指標(biāo)體系及其使用過程已經(jīng)被Google內(nèi)部各產(chǎn)品團(tuán)隊廣泛認(rèn)同，我們相信其他組織也能夠在使用它的過程中受益。

作者關(guān)鍵詞（Author Keywords）

指標(biāo),網(wǎng)站分析,網(wǎng)絡(luò)應(yīng)用,日志分析

學(xué)術(shù)分類關(guān)鍵詞（ACM Classification Keywords）

H.5.2 [信息呈現(xiàn)]:評估用戶交互界面的方法

一般關(guān)鍵詞

實驗,人為因素,測量

引言

WEB技術(shù)的進(jìn)步使得越來越多的服務(wù)基于WEB去創(chuàng)建，用戶可以在“云端”完成很多的工作，包括那些以前需要在本地運行的程序，如文字處理、照片編輯等。對于用戶體驗專家來說，需要利用服務(wù)器訪問日志來跟蹤產(chǎn)品的使用情況。依靠外部的工具，比如A/B測試工具來進(jìn)行版本的迭代。但是如何以用戶體驗為中心的準(zhǔn)則進(jìn)行比較？如何挑選試用的指標(biāo)？中間存在哪些機遇呢？

在CHI社區(qū)，不論進(jìn)行小規(guī)模的測試或進(jìn)行大規(guī)模的調(diào)查，都已經(jīng)有了一個測量用戶態(tài)度（例如滿意度）的方法。但在行為數(shù)據(jù)方面，建立的測量大多規(guī)模很小，使用問卷或計時的形式進(jìn)行測試，例如效果（任務(wù)完成度、出錯率）和效率（任務(wù)時間）。

CHI報告中未涉及的一塊重要內(nèi)容是基于大規(guī)模用戶行為的數(shù)據(jù)分析指標(biāo)?，F(xiàn)在網(wǎng)站分析的潮流也已經(jīng)從原來單純的分析頁面點擊，演變?yōu)榉治鲫P(guān)鍵績效指標(biāo)。但是主要還是以商務(wù)為中心進(jìn)行分析的，而不是以用戶體驗為中心。一些網(wǎng)站分析工具提供的指標(biāo)大多太過籠統(tǒng)或只適用于電子商務(wù)網(wǎng)站，并不針對所有網(wǎng)站。

Google創(chuàng)建了一個新的分析用戶態(tài)度和行為的用戶體驗指標(biāo)體系。我們利用百萬用戶數(shù)的基礎(chǔ)以及根據(jù)自身經(jīng)驗打造該體系，使其能適應(yīng)大公司不同類型多種產(chǎn)品（面向用戶/業(yè)務(wù)中心）的需求。我們發(fā)現(xiàn)該體系已能滿足Google自身產(chǎn)品及流程的需求，我們也相信其他公司的團(tuán)隊也能夠使用這一體系。同時我們也期望在大規(guī)模用戶行為數(shù)據(jù)挖掘方面，有更多的研究成果出現(xiàn)。

相關(guān)研究

近年來已然有很多工具來幫助網(wǎng)站應(yīng)用和服務(wù)跟蹤分析：免費或收費的分析工具(Google Analytics/Omniture)；利用現(xiàn)代分布式系統(tǒng)(簡化數(shù)據(jù)處理/Apache Hadoop)或者特化的程序語言(Parallel Analysis)對大量日志數(shù)據(jù)進(jìn)行用戶分析；根據(jù)用戶行為對訪客群體進(jìn)行細(xì)分的網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)(Web User Traffic Composition)；很多供應(yīng)商均提供的用戶調(diào)查與易用性測試（UserZoom）以及可控的A/B測試等。

除開實施與使用過程的因素，如何有效率的使用這些工具仍然存在很大挑戰(zhàn)。標(biāo)準(zhǔn)的網(wǎng)站分析指標(biāo)對于特定的某些產(chǎn)品目標(biāo)或者研究課題顯得太過一般化。在壓迫性的巨量數(shù)據(jù)面前，如何分離出有效的數(shù)據(jù)，如何指導(dǎo)商業(yè)行為與決策是很困難的。很多專家建議關(guān)注少數(shù)關(guān)鍵性業(yè)務(wù)指標(biāo)或者用戶指標(biāo)，利用他們監(jiān)測商業(yè)活動，但我們在實踐中發(fā)現(xiàn)說起來容易做起來難，產(chǎn)品團(tuán)隊不會告訴你，也未必能清晰的定義目標(biāo)是什么，因此讓選擇監(jiān)測指標(biāo)十分困難。(好吧，我想到了Google Wave——ysy.me)

很顯然這些指標(biāo)不能單獨拿來用，它們應(yīng)當(dāng)配合其他信息來源使用，比如配合可用性報告和實地考察來幫助決策。同樣的，它們對于線上的產(chǎn)品也十分有用，對于早期用戶探索的作用是無可替代的。因此，我們想要探索出一個整合大規(guī)模用戶行為和趨向數(shù)據(jù)的體系，用于補充公司現(xiàn)有的用戶體驗研究方法。

1、傳統(tǒng)的網(wǎng)站衡量指標(biāo)PULSE

• Page view/頁面瀏覽量
• Uptime/響應(yīng)時間
• Latency/延遲
• Seven days active user/7天活躍用戶數(shù)
• Earning/收益

PULSE是基于商業(yè)和技術(shù)的產(chǎn)品評估系統(tǒng)，被很多組織和公司廣泛應(yīng)用于跟蹤產(chǎn)品的整體表現(xiàn)。

這些指標(biāo)非常重要，并且和用戶體驗息息相關(guān)，比如一個產(chǎn)品如果經(jīng)常訪問無響應(yīng)或者延遲很高是無法吸引用戶的。一個電子商務(wù)網(wǎng)站的下單流程如果步驟過多就很難賺到錢。一個用戶體驗佳的產(chǎn)品在PV和用戶量上應(yīng)當(dāng)是會不斷增長的。

但是這些指標(biāo)要么太表面化，要么只是間接和用戶體驗相關(guān)，很難用來評估改變交互界面對于用戶的影響。并且他們也經(jīng)常產(chǎn)生負(fù)面的互相影響——比如一個特定功能頁面的PV上升可能是由于這個功能真的很棒，或是界面讓用戶迷惑，而想通過不斷的點擊嘗試離開。改變所帶來短期的價值提升，但糟糕的用戶體驗長期來說會造成用戶的流失。

在一段特定時期內(nèi)的用戶指標(biāo)數(shù)，例如七天活躍用戶數(shù)(Seven days active user)常常被用做用戶體驗指標(biāo)。該指標(biāo)度量了整個用戶群，但沒有反映用戶對于產(chǎn)品的深入程度，比如七天之內(nèi)來訪的頻數(shù)，同樣它也沒有區(qū)分新老用戶群體。在最糟糕的情況下，100%的活躍用戶都是新訪客，但活躍用戶總數(shù)仍在不斷增加，這對于產(chǎn)品來說顯然是失敗的。

2、以用戶為中心的指標(biāo)體系HEART

基于PULSE中存在的不足，結(jié)合用戶體驗質(zhì)量以及讓數(shù)據(jù)更有實際意義的需求，我們提出了一個作為補充的度量體系：HEART。

• Happiness/愉悅度
• Engagement/參與度
• Adoption/接受度
• Retention/留存率
• Task success/任務(wù)完成度

這五項僅僅是指標(biāo)體系的范疇，不同的產(chǎn)品可據(jù)此定義具體的指標(biāo)，用以監(jiān)控完成目標(biāo)的過程。

愉悅感結(jié)合用戶的滿意度來度量，任務(wù)完成度結(jié)合任務(wù)完成的效果和效率來度量。參與度、接受度、留存率是全新的范疇，一般通過廣泛的行為數(shù)據(jù)來制定。通常并不適合在一個指標(biāo)設(shè)定中用到所有維度，但可以參考該體系來決定是包括或排除某個維度。比如用戶是要將使用你的產(chǎn)品作為工作的一部分，在這種企業(yè)環(huán)境下參與度就沒有什么意義了。在這個案例中可以考慮選擇愉悅感或者任務(wù)完成度。

愉悅感
愉悅感是設(shè)計用戶體驗中的主觀感受問題，像滿意度、視覺感受、向別人推薦的意愿、易用性感知。可以通過好好設(shè)計問卷長時間監(jiān)控相同的指標(biāo)來看設(shè)計修改后帶來的變化。

例如，我們有個性化首頁的服務(wù)(iGoogle)。團(tuán)隊利用產(chǎn)品內(nèi)置的檢測手段，跟蹤了一周內(nèi)一系列的指標(biāo)來研究改版和新功能的影響。在一次大改版之后，起初用戶滿意度指標(biāo)是大幅下降的(利用七點雷達(dá)圖)，但是隨著時間推移，這個指標(biāo)逐漸恢復(fù)，這表明大幅下降只是因為剛改版時的不適應(yīng)。漸漸習(xí)慣這次改變之后，用戶實際上是很喜歡的。有了這一信息，團(tuán)隊就可以更有信心的保持這次改版的設(shè)計。

參與度
參與度是用戶在一個產(chǎn)品中的參與深度，在這個維度上，通常用來作為一段時期內(nèi)訪問的頻度、強度或互動深度的綜合。比如單用戶每周的訪問次數(shù)，或者用戶每天上傳的照片數(shù)，這比總量要好——因為總量的增長可能是由更多的用戶的產(chǎn)生，而不是更多的使用產(chǎn)生的。

例如，Gmail團(tuán)隊更想研究用戶的參與度而非PULSE指標(biāo)體系中的七天活躍用戶數(shù)（只是上周使用該產(chǎn)品用戶的簡單計數(shù)之和）。我們有理由去相信，深度用戶會經(jīng)常檢查他們的郵箱，因為他們已經(jīng)形成習(xí)慣。我們選擇的指標(biāo)是一周內(nèi)訪問五天或者更多的百分比，這一指標(biāo)同樣也可以用來預(yù)測用戶長期的留存度。

接受度和留存率
接受度和留存率指標(biāo)通過特定時期內(nèi)大量用戶的統(tǒng)計（比如，7天的活躍用戶數(shù)）提供強大的洞察，來定位新用戶和老用戶的差異問題。接受度監(jiān)控特定時期內(nèi)有多少新用戶開始使用產(chǎn)品（比如，最近7天內(nèi)新創(chuàng)建的賬號），而留存率則監(jiān)控特定時期內(nèi)有多少用戶在下稍后一個時期內(nèi)仍然存在（比如，某一周的7天活躍用戶在3個月后仍然在7天活躍用戶中）。

在此“使用”和“周期”的兩個概念都應(yīng)當(dāng)因事制宜，有時候“使用”就意味著訪問網(wǎng)站，有時候則是到達(dá)了某個特定的頁面或者完成某種互動，例如創(chuàng)建賬戶。留存率和參與度相似，它可以被定義不同周期長度，有的產(chǎn)品也許只需要觀察周數(shù)據(jù)，有的則需要月數(shù)據(jù)或者季度數(shù)據(jù)。

例如，在08年證券市場暴跌的那段時間，谷歌金融在瀏覽量和七日活動用戶指標(biāo)上都有一次井噴，但無法確定數(shù)據(jù)的劇增是來自關(guān)心金融危機的新用戶或是恐慌性不停查看他們的投資信息的老用戶。在不知道是誰增加了這些訪問量之前，決定是否要改版網(wǎng)站以及如何進(jìn)行修改十分困難的。我們利用接受度和留存率這兩個指標(biāo)來區(qū)分用戶群體，同時還關(guān)注了新用戶繼續(xù)使用該服務(wù)的百分比。這類信息被我們團(tuán)隊利用于解讀事件驅(qū)動的數(shù)據(jù)波動以及發(fā)現(xiàn)潛在的機會。

任務(wù)完成率
任務(wù)完成率維度包括一些傳統(tǒng)的用戶體驗行為指標(biāo)，比如效率（如完成任務(wù)的時間），效果（比如任務(wù)完成的百分比）以及錯誤率。

例如，谷歌地圖曾經(jīng)有過兩種不同的搜索框，一種是用戶可以分開輸入“目的”和“地點”的雙重搜索框，另一種是單個搜索框處理所有的類別。有人覺得單個搜索框就可以勝任一切，同時又保持了效率，在之后的A/B測試中，團(tuán)隊測試了僅提供單個搜索框的版本。他們比較了兩個不同版本的錯誤率，發(fā)覺用戶在單個搜索框版本中能夠更加有效的達(dá)成他們的搜索目的。最終，這個結(jié)果讓團(tuán)隊非常有把握的在所有地圖上移除了雙搜索框功能。

3、目標(biāo)——信號——指標(biāo)

不管定義的用戶中心的指標(biāo)是怎樣的，如果不能和目標(biāo)明確的相關(guān)，以及能夠跟蹤達(dá)到目標(biāo)的過程，那么都是白搭。Google提供了一個簡單的流程來完成指標(biāo)的設(shè)定，首先明確產(chǎn)品或者功能的目標(biāo)，然后定義轉(zhuǎn)化的信號，最終建立適用的指標(biāo)。

目標(biāo)
第一步是定義產(chǎn)品或功能的目標(biāo)是什么，特別是在用戶體驗方面。用戶需要完成什么任務(wù)？重新設(shè)計是試圖達(dá)到什么？使用HEART體系來明確相關(guān)的目標(biāo)（比如，是吸引新用戶更重要，還是鼓勵現(xiàn)有用戶更積極參與重要？）一些有用的提示：

• 不同的團(tuán)隊成員可能對于項目的目標(biāo)有不同的意見。這是收集不同的想法并且爭取達(dá)成共識（并且認(rèn)同選擇的指標(biāo)）的良機
• 特定項目或功能的成功可能與產(chǎn)品的整體目標(biāo)不同
• 在這個階段無需太擔(dān)心找不到相關(guān)的信號或指標(biāo)

信號
接下來，想想用戶的行為或態(tài)度如何體現(xiàn)成功或失敗。什么行動會表示目標(biāo)已經(jīng)達(dá)到？什么感受或看法能夠聯(lián)系到成功或失??？在這個階段你應(yīng)該思考你的這些信號的數(shù)據(jù)源可能是什么？比如，基于日志的行為信號，這些相關(guān)的行為目前有記錄或者能夠被記錄嗎？可以收集態(tài)度的信號——能否定期投放問卷嗎？日志和問卷是我們最常使用的兩個信號源，當(dāng)然也有其它的選項（比如，使用一個面板或判斷讓用戶評分）。一些有用的提示：

• 選擇敏感度高以及和目標(biāo)特別相關(guān)的信號——只因用戶體驗的好壞而改變，而非其他不相干的因素。
• 有時失敗比成功更容易定義（比如，放棄任務(wù)、撤銷，挫折）

指標(biāo)
最后，想想這些信號是否可以轉(zhuǎn)換為特定的指標(biāo)，是否可以被方便的持續(xù)跟蹤。一些有用的提示：

• 原始統(tǒng)計數(shù)據(jù)會隨同你的用戶基數(shù)增長而增長，需要轉(zhuǎn)化為常態(tài)；比例、百分率或者每個用戶的平均值更有用一些
• 在確保精度上有很多挑戰(zhàn)，基于web日志的指標(biāo)，如從自動生成的數(shù)據(jù)中過濾流量（如爬蟲、垃圾信息），并且確保所有重要的用戶行為都被日志記錄（默認(rèn)情況下可能不會，尤其是在基于AJAX或基于Flash的應(yīng)用中）
• 如果需要拿你的項目或產(chǎn)品和其他的進(jìn)行對比，你可能需要在標(biāo)準(zhǔn)指標(biāo)外，額外增加監(jiān)控指標(biāo)來進(jìn)一步更準(zhǔn)確得監(jiān)測產(chǎn)品。

4、總結(jié)

Google已經(jīng)花費數(shù)年時間來解決廣泛應(yīng)用的用戶體驗的衡量指標(biāo)體系。HEART體系和目標(biāo)-信號-指標(biāo)的過程，已經(jīng)在Google超過20個產(chǎn)品和項目中進(jìn)行了應(yīng)用。不管是數(shù)據(jù)驅(qū)動的還是用戶中心的產(chǎn)品中，HAERT體系和目標(biāo)-信號-指標(biāo)過程都能幫助產(chǎn)品團(tuán)隊來做出決定。

Translation: Steve

Special thanks to: Biaodianfu

Google原文鏈接《Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications》

部分內(nèi)容參考自?天涯博弈

來源：http://www.ysy.me/2011/07/06/google-metrics-framework/