如何可視化和分析用戶反饋?
從來(lái)沒(méi)有公司像現(xiàn)在這樣收到如此多的用戶反饋。拿手機(jī)應(yīng)用程序來(lái)說(shuō):我們通過(guò)蘋(píng)果應(yīng)用商店獲取數(shù)據(jù),通過(guò)分析系統(tǒng)得到應(yīng)用程序內(nèi)部的運(yùn)轉(zhuǎn)狀態(tài),而且特別是通過(guò)蘋(píng)果應(yīng)用商店的真實(shí)用戶中獲取評(píng)論和評(píng)級(jí),在這個(gè)數(shù)據(jù)海洋里隱藏著許多價(jià)值連城的信息。
每天都有成千上萬(wàn)的用戶在蘋(píng)果應(yīng)用商店評(píng)論里分享他們的想法。他們通過(guò)評(píng)論表達(dá)他們對(duì)于應(yīng)用程序憤怒或者令人激動(dòng)的地方,這樣做通常是希望能夠促進(jìn)應(yīng)用程序的改進(jìn)。
許多設(shè)計(jì)和開(kāi)發(fā)團(tuán)隊(duì)利用這些信息來(lái)查找和修復(fù)bug,有些團(tuán)隊(duì)甚至?xí)貜?fù)用戶且和他們的用戶緊密聯(lián)系。然而,他們卻很少用一種結(jié)構(gòu)式的方法來(lái)分析應(yīng)用程序評(píng)論。
所以,結(jié)構(gòu)式的這種分析方法在用戶體驗(yàn)的設(shè)計(jì)周期中并沒(méi)有一席之地,而且他們也不被認(rèn)為是用戶研究的一部分。
在這篇文章里,我分享了一個(gè)簡(jiǎn)單并且有效的方法,通過(guò)從成千上萬(wàn)的應(yīng)用程序評(píng)論中得到可執(zhí)行的反饋。
首先,我將通過(guò)一個(gè)案例研究:我的公司, flexponsive,做過(guò)一個(gè)航空公司的應(yīng)用程序的評(píng)論的分析,那時(shí)候我就進(jìn)行了深入的挖掘并且為設(shè)計(jì)師和產(chǎn)品所有者,分析他們自己的應(yīng)用程序列出了易于遵循的步驟。
KLM航空公司的應(yīng)用程序的案例研究
flexponsive對(duì)航空公司的電子商務(wù)非常關(guān)注,并且我們可以看到許多航空公司因?yàn)樗麄兊囊苿?dòng)應(yīng)用程序和移動(dòng)網(wǎng)站的質(zhì)量而飽受批評(píng)( mobile website quality)。最近,應(yīng)用程序的質(zhì)量開(kāi)始提高( app quality is starting to improve)。
當(dāng)我們看到荷蘭國(guó)旗的承運(yùn)商荷蘭航空公司推出了一個(gè)全新的、耗資的,但最終不成功的應(yīng)用程序升級(jí)時(shí),我們決定進(jìn)行調(diào)查研究。
我們發(fā)現(xiàn):該航空公司已經(jīng)從一個(gè)行業(yè)的最佳跌到了用戶滿意度排名表的底部!雖然在這個(gè)案例研究中。我們分析的是一個(gè)寵物項(xiàng)目的評(píng)論,但是我們也對(duì)用戶使用了這個(gè)流程,并且發(fā)現(xiàn)它既能有深刻的見(jiàn)解又很有成效。
荷蘭航空公司,以前是航空類應(yīng)用程序質(zhì)量最佳,以一個(gè)糟糕的結(jié)果升級(jí)了他們的應(yīng)用程序。
為了找到KLM的應(yīng)用程序發(fā)生了什么,我們?cè)敿?xì)分析了去年App Store中用英文寫(xiě)的所有的評(píng)論。我們確定了八個(gè)最重要的應(yīng)用程序功能,并根據(jù)評(píng)論分析了用戶對(duì)每個(gè)功能的意見(jiàn)。然后,我們?cè)趦蓚€(gè)圖上總結(jié)出了關(guān)于舊的和新的應(yīng)用程序的用戶意見(jiàn)和用戶評(píng)論的頻率的對(duì)比。
圖表顯示了舊版本KLM應(yīng)用程序的主要缺陷,關(guān)鍵優(yōu)勢(shì),其他缺陷和其他優(yōu)勢(shì)。
在圖標(biāo)中,右邊的位置代表正面評(píng)價(jià),例如:“很好使用,而且掃描你的護(hù)照是個(gè)非常好的選項(xiàng)?。?!”頻率軸上的特征越高,評(píng)論中提到的頻率越高。
從圖表中可以很清楚的看出:KLM舊版本應(yīng)用程序有非常強(qiáng)的設(shè)計(jì),45%的用戶提到了外觀或者導(dǎo)航并給與了充分的肯定,還提到了幾個(gè)關(guān)鍵的特征——預(yù)訂、記錄和航班信息。
這個(gè)應(yīng)用程序最大的問(wèn)題是性能問(wèn)題,超過(guò)30%的用戶抱怨關(guān)于app的速度和不穩(wěn)定。從App的評(píng)價(jià)來(lái)看,看起來(lái)性能應(yīng)該是應(yīng)用更新的重點(diǎn)。
圖表顯示了修改過(guò)的KLM應(yīng)用程序的優(yōu)勢(shì)和缺陷。
不幸的是,根據(jù)應(yīng)用程序升級(jí)后的圖表,幾乎所有的功能都變?cè)愀饬?。升?jí)后,沒(méi)有一個(gè)功能被列為強(qiáng)項(xiàng),盡管性能不再是最大的問(wèn)題,但我們無(wú)法判斷速度和穩(wěn)定性是否有所提高,或者其他功能是否變?cè)愀饬恕?/p>
如果設(shè)計(jì)師們?cè)谠O(shè)計(jì)升級(jí)之前查看過(guò)這些數(shù)百位用戶給出的反饋,他們可能會(huì)保留正面的功能,并且專注于提高性能。
分析數(shù)據(jù)
這個(gè)分析可以應(yīng)用于其他任何應(yīng)用程序。
以下是進(jìn)行類似分析的四個(gè)簡(jiǎn)單步驟:
1. 下載評(píng)論
第一步,顯而易見(jiàn)的是下載評(píng)論,應(yīng)用程序的所有者,可以通過(guò)他們的開(kāi)發(fā)者賬戶獲得該應(yīng)用程序的評(píng)論。這是一個(gè)重要的,容易獲得的,并且不能被過(guò)度使用的信息來(lái)源。
評(píng)論可以從iTunes商店的博客訂閱(RSS feed)和谷歌商店(Google Play)非官方的API下載。示例代碼(sample code)和更多的應(yīng)用程序評(píng)論下載的細(xì)節(jié),可以在rpubs博客(on the rpubs blog.)里找到。? ? ? ?
團(tuán)隊(duì)還可以與競(jìng)爭(zhēng)對(duì)手的應(yīng)用程序的反饋進(jìn)行比對(duì),但是要牢記,很大一部分評(píng)論是由對(duì)新的升級(jí)失望的用戶來(lái)編寫(xiě)的。這是非常難做的,而這恰恰是改進(jìn)我們的應(yīng)用程序所需要的。
在失敗的升級(jí)之后,即便是長(zhǎng)期的用戶評(píng)級(jí)很差,也不意味著負(fù)面反饋比競(jìng)爭(zhēng)對(duì)手的應(yīng)用更糟糕。
2. 確定主要功能
一旦下載了評(píng)論,就要準(zhǔn)備一份已經(jīng)確定好了5~8個(gè)特征的應(yīng)用需求的列表,其中一些將涵蓋行業(yè)或應(yīng)用程序具體的功能(“我想要查到我的航班信息”)和另外一些關(guān)注應(yīng)用程序易用性的(“應(yīng)用程序應(yīng)該快速運(yùn)行”,“應(yīng)用程序不應(yīng)該崩潰”)。
對(duì)于每一個(gè)主要的分類,我建議在分析過(guò)程中分析具體的功能,這樣的好處是清晰可見(jiàn)的。這會(huì)使得未來(lái)的評(píng)估更加容易,而且我們能夠從評(píng)論中獲得更多的信息。
當(dāng)初步清單列好了,現(xiàn)在就是該閱讀前100篇的評(píng)論了,要確保用戶對(duì)于列表中出現(xiàn)的功能進(jìn)行的是真實(shí)的評(píng)論。然后根據(jù)用戶的言論修正清單,添加新的功能以及更新功能的名稱。
根據(jù)荷蘭航空應(yīng)用的案例我們確定了以下功能:
(1)個(gè)性化
- 個(gè)人信息
- 保存就餐或座位的偏好
(2)預(yù)定管理
- 航班選擇
- 付款
- 額外服務(wù)/特殊要求
- 航班更改
- 座位選擇/座位更換
(3)登機(jī)
- QR碼(Quick Response Code 快速響應(yīng)矩陣碼)
- 登機(jī)牌
(4)航班信息和航班跟蹤
最初,我們把這個(gè)功能放在“賬戶管理”中,但是在用戶評(píng)論中特別強(qiáng)調(diào)了航班信息,所以我們將他作為一個(gè)獨(dú)立功能展示出來(lái)。
(5)賬戶管理
常用飛行計(jì)劃
- 狀態(tài)里程
- 網(wǎng)站的兼容性
- 預(yù)訂記錄
(6)兼容性
- 日歷
- Passbook(Passbook是iOS中的一個(gè)應(yīng)用程序,讓用戶可以在手機(jī)中存儲(chǔ)商店優(yōu)惠券、登機(jī)證、活動(dòng)門(mén)票、會(huì)員卡或其他類型的移動(dòng)支付票卡等。
- Apple Watch, etc
(7)性能
- 速度
- 穩(wěn)定
(8)設(shè)計(jì)
- 導(dǎo)航
- 圖形
一旦清單完成,就要召集一組研究人員開(kāi)始進(jìn)行評(píng)估。理想情況下,研究人員應(yīng)該熟悉應(yīng)用程序,但不涉及開(kāi)發(fā)過(guò)程,這樣才不會(huì)帶有偏見(jiàn)。
這是一個(gè)很長(zhǎng)的流程,需要花費(fèi)很多工時(shí)去完成。這使不禁我們產(chǎn)生這樣的疑問(wèn):這個(gè)流程是否能自動(dòng)化進(jìn)行?
因此出現(xiàn)越來(lái)越多提供自動(dòng)化評(píng)論分析的服務(wù)(包括Appplause和AppAnnie)。這些服務(wù)所使用的算法,只對(duì)穩(wěn)定性或?qū)Ш街惖耐ㄓ脩?yīng)用程序特性進(jìn)行評(píng)估。能夠識(shí)別應(yīng)用程序個(gè)性特征的算法還沒(méi)有達(dá)到商業(yè)化的程度,目前還無(wú)法超過(guò)人類專家級(jí)評(píng)估標(biāo)準(zhǔn)的50%。所以,現(xiàn)在我們只能祈禱未來(lái)的計(jì)算機(jī)科學(xué)家們能有所突破,并能人工進(jìn)行評(píng)論分析。
3. 創(chuàng)建電子表格
下一步是獲取每一個(gè)評(píng)論,并把它轉(zhuǎn)化為數(shù)值評(píng)級(jí)。這有許多方法來(lái)完成,但我建議創(chuàng)建一個(gè)電子表格來(lái)記錄分值。如果一個(gè)評(píng)論給產(chǎn)品特性給予肯定評(píng)價(jià),研究者就應(yīng)該給該產(chǎn)品特性一個(gè)肯定的分值+1。
如果是否定的評(píng)價(jià),則給分-1,如果是中立的評(píng)價(jià),則給分0。如果沒(méi)有提到該產(chǎn)品功能,則空著不填分值。電子表格完成后,隨應(yīng)用程序版本和時(shí)間的推移而產(chǎn)生的意見(jiàn)看法的改變情況,將很容易集中展現(xiàn)出來(lái)。
舉個(gè)例子,下面的是在iTunes商店找到的荷蘭皇家航空公司 APP的評(píng)論。
第一位評(píng)論者對(duì)最新的改動(dòng)感到滿意,但她的評(píng)論不是很具體。她提到:“座位變更后的正確信息”,我們不能確定她是指正確的航班信息還是正確的個(gè)人資料。
因此,我們只給包含了座位變更參考的“預(yù)定管理”類目部分判定+1分。同樣,基于評(píng)論標(biāo)題里的“沒(méi)有用??!”和“沒(méi)有航班”,我們給個(gè)性化、預(yù)約、登記和設(shè)計(jì)記下-1分。
找到正確的類目來(lái)記錄用戶的看法感受通常并不容易,為了獲得高準(zhǔn)確的結(jié)果,我們至少有兩位分析師評(píng)定一組評(píng)論。取其平均值來(lái)獲得更高精確度。
4. 可視化&分析
一旦數(shù)據(jù)在電子表格中,我們就可以總結(jié)出結(jié)論,并計(jì)算和量化出關(guān)鍵的統(tǒng)計(jì)數(shù)據(jù)。為了使信息更容易解析,這樣有助于將其呈現(xiàn)在圖表中。
該圖表一目了然地顯示了需要改進(jìn)的功能,以及app是否符合或超過(guò)預(yù)期。如果分析擴(kuò)大到競(jìng)爭(zhēng)對(duì)手的app,該圖表也可以識(shí)別驅(qū)動(dòng)用戶滿意度的特性,這可以作為未來(lái)升級(jí)的靈感來(lái)源。
我建議使用一個(gè)二維矩陣,X軸為“情緒”分?jǐn)?shù),Y軸為在訪問(wèn)中提到該項(xiàng)目的“頻率”。
為了使分析更具有可操作性,將平面分成四個(gè)象限,每個(gè)象限以特定的行為對(duì)齊。需要注意的是:在rpubs博客上可以找到像我們的團(tuán)隊(duì)設(shè)計(jì)一樣創(chuàng)建圖表的代碼。
- 主要優(yōu)勢(shì):這些是用戶喜愛(ài)的功能,并且經(jīng)常被提到,同時(shí)給與了充分的肯定。 我們應(yīng)該為這些功能而自豪,維護(hù)它們,并且提升它們- -只要它們還能滿足商業(yè)目標(biāo)!
- 其他優(yōu)勢(shì):這些是得到積極情緒的功能,但頻率較低。值得調(diào)查一下這個(gè)app的分析,看看這個(gè)功能多久被使用一次。如果它的利用率不足,則這是一個(gè)促進(jìn)極好的功能的機(jī)會(huì)。
- 其他缺陷:這些項(xiàng)目收到的消極情緒,但只有少數(shù)。這些評(píng)論會(huì)有點(diǎn)不尋常- -當(dāng)用戶得到他們所期望的功能時(shí),他們通常會(huì)說(shuō)出一個(gè)隨機(jī)功能,并建議它可以進(jìn)一步改進(jìn)。
- 關(guān)鍵缺陷:這些是問(wèn)題所在區(qū)域,如果一個(gè)功能屬于“關(guān)鍵缺陷”這個(gè)區(qū)域,那就意味著幾乎所有寫(xiě)評(píng)論的人都會(huì)抱怨它,應(yīng)該盡快實(shí)施改進(jìn)。
原文作者:Piotr Spiewanowski
原文鏈接:http://www.uxbooth.com/articles/visualizing-and-analyzing-customer-feedback/
譯文作者:兔子翻譯組
本文由@兔子翻譯組 翻譯發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖作者提供
- 目前還沒(méi)評(píng)論,等你發(fā)揮!