在工作和生活中，有時(shí)說(shuō)話對(duì)象的說(shuō)話順序不同，會(huì)很大程度上影響人們的判斷，這就是“順序效應(yīng)”，這類(lèi)“順序效應(yīng)”也出現(xiàn)在了問(wèn)卷調(diào)查場(chǎng)景中。那么，“順序效應(yīng)”會(huì)影響NPS得分嗎？一起來(lái)看看作者的解讀。

試想一下，當(dāng)你辛辛苦苦排了一個(gè)小時(shí)的隊(duì)進(jìn)到餐廳，坐下正準(zhǔn)備點(diǎn)你最?lèi)?ài)吃的宮保雞丁時(shí)，服務(wù)員跟你說(shuō)：

“我們的招牌菜是蒜蓉粉絲蝦，今天打8折?！?/p>

“宮保雞丁已經(jīng)賣(mài)完了?！?/p>

你會(huì)不會(huì)很失落，甚至有點(diǎn)想換家店吃？

但如果將這兩句話的順序調(diào)換一下，你的情緒和想法會(huì)有所變化嗎？這會(huì)不會(huì)讓你產(chǎn)生“失而復(fù)得”的感覺(jué)，幫助沖淡一些“壞消息”帶來(lái)的沖擊？

研究告訴我們，說(shuō)話順序不同，的確會(huì)影響人們的想法和判斷，也就是順序效應(yīng)（Order Effects）—— 一種事物呈現(xiàn)的順序會(huì)影響人們判斷的現(xiàn)象，它出現(xiàn)在我們生活當(dāng)中的很多方面。

問(wèn)卷調(diào)查中同樣也存在順序效應(yīng)。一些研究發(fā)現(xiàn)，問(wèn)卷中某些題目或選項(xiàng)的排列順序會(huì)對(duì)受訪者的答案產(chǎn)生影響。

那么，具體都有哪些題目會(huì)受到順序效應(yīng)的影響？在測(cè)量經(jīng)典體驗(yàn)指標(biāo)NPS（凈推薦值）時(shí)，NPS題目在問(wèn)卷中出現(xiàn)的先后順序又是否會(huì)影響人們打分的最終結(jié)果？本篇文章讓我們來(lái)共同探討一下。

一、為什么順序效應(yīng)會(huì)出現(xiàn)在問(wèn)卷調(diào)查當(dāng)中？

在問(wèn)卷調(diào)查中出現(xiàn)順序效應(yīng)的原因，有以下兩種可能：

1. 在填答問(wèn)卷時(shí)，受訪者受到前面題目的“引導(dǎo)”，繼而對(duì)后面的填答造成了影響；
2. 受訪者希望在問(wèn)卷調(diào)查中保持答案的一致性（至少看起來(lái)一致），并避免“認(rèn)知失調(diào)”。

認(rèn)知失調(diào)（Cognitive Dissonance）闡述了人的態(tài)度變化過(guò)程，認(rèn)為個(gè)體對(duì)事物的態(tài)度和行為間應(yīng)該是一致的，如果不一致就會(huì)產(chǎn)生認(rèn)知失調(diào)，并會(huì)導(dǎo)致心里緊張，人就會(huì)通過(guò)改變認(rèn)知或行為來(lái)重新達(dá)到平衡。

也就是說(shuō)，如果受訪者在填答問(wèn)卷時(shí)，對(duì)某一看法非常認(rèn)同，即使他們本身并不那么認(rèn)同另一個(gè)問(wèn)題，順序效應(yīng)可能也會(huì)促使他們認(rèn)同。更微妙的是，一些負(fù)面或正面的問(wèn)題措辭，也會(huì)使受訪者產(chǎn)生不同的想法，從而影響他們的答案。

美國(guó)社會(huì)學(xué)家霍華德·舒曼和斯坦利·普雷斯特在其著作 Questions and Answers in Attitude Surveys 中指出，順序效應(yīng)在問(wèn)卷中的出現(xiàn)次數(shù)不算普遍，但已經(jīng)有足夠的實(shí)例表明這種現(xiàn)象并不罕見(jiàn)。

二、總體-具體問(wèn)題順序效應(yīng)

為了更深入地了解問(wèn)卷中的順序效應(yīng)，我們可以先了解它的一種表現(xiàn)形式——總體-具體順序效應(yīng)（General-Specific Order Effect），即總體問(wèn)題（如“你對(duì)你生活的總體滿意度如何？”）與具體問(wèn)題（如“你對(duì)你的婚姻/工作滿意度如何？”）之間的先后順序會(huì)對(duì)題目的相關(guān)性和平均得分產(chǎn)生影響。

相關(guān)性是指2道題目之間的關(guān)聯(lián)程度；而平均得分是指該道題目分?jǐn)?shù)的平均值。

2012年，在美國(guó)心理學(xué)教授塞斯·卡普蘭的研究中，通過(guò)在兩組調(diào)查中（分別為美國(guó)6000名軍人的總體滿意度分析和88位普通職工的工作滿意度分析）將總體問(wèn)題和具體問(wèn)題的順序進(jìn)行調(diào)換，他發(fā)現(xiàn)，當(dāng)總體問(wèn)題排在具體問(wèn)題的前面時(shí)，題目的平均得分較低，但相關(guān)性較高。

上述調(diào)查的總體問(wèn)題為“你對(duì)你工作的總體滿意度如何”；具體問(wèn)題為“請(qǐng)給你的工作時(shí)長(zhǎng)進(jìn)行滿意度打分”。

而在另一項(xiàng)由市場(chǎng)研究教授Seigyoung Auh負(fù)責(zé)的研究（針對(duì)191名客戶對(duì)他們理發(fā)師的滿意度調(diào)研）中，他們發(fā)現(xiàn)，當(dāng)把詢問(wèn)總體滿意度的題目放在問(wèn)卷最前面時(shí)，題目的平均得分會(huì)更低（約6%）。

但是，如果把具體題目（如“您在多大程度上同意‘我的理發(fā)師技藝非常高超’這句話？”）放在總體題目（如“您在多大程度上同意‘總體來(lái)說(shuō)我對(duì)我的理發(fā)師很滿意’這句話？”）的前面時(shí)，總體題目的得分會(huì)更高，因?yàn)檫@樣的排序可能會(huì)使題目具備更高的相關(guān)性。如果調(diào)查領(lǐng)域是涉及電腦或者一些昂貴的家用電器，建議先問(wèn)具體題目，再問(wèn)總體題目，這樣的話會(huì)讓答題者感到更自然流暢。

雖然上述兩項(xiàng)研究得出的結(jié)果不盡相同，但都證明了順序效應(yīng)是確實(shí)存在的。

三、NPS問(wèn)題的順序效應(yīng)

現(xiàn)在，針對(duì)“客戶體驗(yàn)的順序效應(yīng)”的研究還不是很多，例如哲學(xué)教授詹姆斯·劉易斯早前研究了順序效應(yīng)對(duì)可用性態(tài)度的影響，但在SUS、UMUX和CSUQ這三類(lèi)問(wèn)卷當(dāng)中并沒(méi)有發(fā)現(xiàn)明顯的順序效應(yīng)。

• SUS ——系統(tǒng)可用性量表
• UMUX ——用戶體驗(yàn)的可用性指標(biāo)
• CSUQ ——電腦系統(tǒng)可用性問(wèn)卷

在NPS方面，至少有CX專(zhuān)家Adam Ramshaw的一份研究報(bào)告可以證明，相較于在問(wèn)卷后期提出NPS的相關(guān)問(wèn)題，當(dāng)NPS問(wèn)題出現(xiàn)在問(wèn)卷前期時(shí)，分?jǐn)?shù)會(huì)更高。但該報(bào)告并沒(méi)有給出具體數(shù)據(jù)表明，會(huì)造成多大程度的影響。

同時(shí)，在包含NPS問(wèn)題的SUPR-Q問(wèn)卷中, UX專(zhuān)家赫弗南發(fā)現(xiàn)，如果在完成其他7道SUPR-Q題目后，再向受訪者提問(wèn)NPS的相關(guān)問(wèn)題，最終得到的NPS分?jǐn)?shù)會(huì)下降。但目前還不清楚，這種影響是一頁(yè)一題的呈現(xiàn)模式導(dǎo)致，還是網(wǎng)絡(luò)調(diào)查的高流失率引起的。

SUPR-Q問(wèn)卷，即Standardized Universal Percentile Rank Questionnaire（標(biāo)準(zhǔn)化用戶體驗(yàn)百分等級(jí)問(wèn)卷），用于評(píng)估網(wǎng)站的感知可用性，考察維度包括可用性、可信度、外觀及忠誠(chéng)度。一般包括以下7道題目：

1. 網(wǎng)站使用起來(lái)很簡(jiǎn)單
2. 網(wǎng)站內(nèi)導(dǎo)航清晰
3. 我感覺(jué)從該網(wǎng)站上購(gòu)買(mǎi)東西很放心
4. 我有信心從該網(wǎng)站發(fā)展自己的業(yè)務(wù)
5. 網(wǎng)站設(shè)計(jì)非常吸引人
6. 網(wǎng)站介紹簡(jiǎn)潔明了
7. 我未來(lái)還會(huì)再次登陸這個(gè)網(wǎng)站

因此，關(guān)于NPS是否會(huì)受到順序效應(yīng)的影響，我們還需要進(jìn)一步探究：

研究1：NPS問(wèn)題的先后位置會(huì)影響其最終得分嗎？

2018年11月，杰夫·索羅博士（以下簡(jiǎn)稱(chēng)博士）對(duì)2674名受訪者進(jìn)行了在線調(diào)查。博士先讓受訪者回想最近推薦過(guò)的產(chǎn)品或服務(wù)，接著又詢問(wèn)了他們向朋友或同事推薦這一產(chǎn)品或服務(wù)的可能性有多大。下面，我們將這類(lèi)與“推薦可能性”相關(guān)的問(wèn)題統(tǒng)稱(chēng)為NPS問(wèn)題。

博士將NPS問(wèn)題出現(xiàn)的位置設(shè)置為研究的自變量，出現(xiàn)的位置分別在問(wèn)卷的前期（在40道題目之后）或后期（在72道題目之后）。為此，博士創(chuàng)建了多組問(wèn)卷，每批受訪者將交替看到在不同位置出現(xiàn)的NPS問(wèn)題。

結(jié)果發(fā)現(xiàn)，調(diào)整NPS問(wèn)題出現(xiàn)的先后位置并不會(huì)產(chǎn)生順序效應(yīng)：

1. 通過(guò)計(jì)算兩組的NPS平均得分，得出兩組的分?jǐn)?shù)分別為8.8和8.9，兩組之間僅有0.1分的差異，且無(wú)統(tǒng)計(jì)學(xué)意義（P=9）。

P值代表概率，反映某一事件發(fā)生的可能性大小。統(tǒng)計(jì)學(xué)根據(jù)顯著性檢驗(yàn)方法得到P值，P值越小，統(tǒng)計(jì)學(xué)差異越顯著，一般認(rèn)為P<0.05 有統(tǒng)計(jì)學(xué)差異。

2. 在統(tǒng)計(jì)受訪者每個(gè)選項(xiàng)得分的數(shù)據(jù)時(shí)，各個(gè)選項(xiàng)的NPS得分的百分比也非常接近（如下圖所示），這表明其他選項(xiàng)的得分也沒(méi)有受到影響。

圖：兩組的NPS選項(xiàng)得分統(tǒng)計(jì)表

為了進(jìn)一步探究，博士還統(tǒng)計(jì)并比較了亞馬遜、沃爾瑪、易貝、塔吉特、Spotify和Hulu這6家企業(yè)的NPS得分，而后發(fā)現(xiàn)，當(dāng)NPS問(wèn)題出現(xiàn)在問(wèn)卷前期時(shí)，一半企業(yè)的NPS值較高；而當(dāng)NPS問(wèn)題出現(xiàn)在問(wèn)卷后期時(shí)，另一半的企業(yè)得分較高。也就是說(shuō)，基于NPS問(wèn)題出現(xiàn)的時(shí)間，沒(méi)有統(tǒng)計(jì)學(xué)差異，甚至沒(méi)有可辨別的模式（如下圖）。

圖：各公司的NPS得分統(tǒng)計(jì)表

研究2：在SUPR-Q問(wèn)卷中，NPS問(wèn)題的先后位置會(huì)影響其得分嗎？

在另一研究中，博士探究了SUPR-Q問(wèn)卷中NPS問(wèn)題的先后位置對(duì)其分?jǐn)?shù)的影響。

研究收集了501名受訪者的數(shù)據(jù)（2018年10-11月），受訪者被要求先在6個(gè)財(cái)經(jīng)網(wǎng)頁(yè)和6個(gè)餐飲網(wǎng)頁(yè)中隨機(jī)瀏覽一個(gè)，然后完成7道SUPR-Q類(lèi)型的問(wèn)題和1道NPS問(wèn)題。

8道問(wèn)題會(huì)同時(shí)出現(xiàn)在同一頁(yè)面上（如下圖），但在12個(gè)網(wǎng)站中，接近一半的受訪者看到的題目順序會(huì)被調(diào)換。也就是說(shuō)，有一半的受訪者看到NPS問(wèn)題出現(xiàn)在問(wèn)卷的前面，另一半的受訪者會(huì)看到NPS問(wèn)題出現(xiàn)在問(wèn)卷的后面。

該圖片由體驗(yàn)家XMPlus翻譯

研究發(fā)現(xiàn)，兩組NPS的平均得分幾乎相同（NPS在前的得分為8.26，NPS在后的得分為8.25）。除此之外，其他7道SUPR-Q題目的平均得分也沒(méi)有差異（SUPR-Q在前的得分為4.25，SUPR-Q在后的得分為4.28，P=641）。

NPS問(wèn)題的順序?qū)ο嚓P(guān)性的影響

在某些情況下，研究人員希望從SUPR-Q題目中預(yù)測(cè)用戶的NPS得分（例如從網(wǎng)站的可用性和可信性分?jǐn)?shù)來(lái)預(yù)測(cè)NPS得分），以此來(lái)觀察相關(guān)性是否會(huì)因?yàn)閱?wèn)卷題目的不同呈現(xiàn)順序而產(chǎn)生不同的影響。在這次研究中，博士得出了一個(gè)新發(fā)現(xiàn)：

當(dāng)NPS問(wèn)題在問(wèn)卷的前面（開(kāi)頭的位置）時(shí)，比它跟在7道SUPR-Q題目的后面具有更高的相關(guān)性。數(shù)據(jù)顯示，在5道題目中，當(dāng)NPS問(wèn)題在其余4道題目的前面時(shí)，調(diào)整后的R方為40.2%；而如果NPS問(wèn)題跟在其余4道題目的后面，調(diào)整后的R方就下降為32.6%。

R方(R-squared)是一種衡量相關(guān)性的指標(biāo)，一般用于回歸模型中來(lái)評(píng)估預(yù)測(cè)值和實(shí)際值的符合程度。調(diào)整后的R方（Adjusted R-squared）同時(shí)考慮了樣本量和回歸中自變量的個(gè)數(shù)的影響，較R方的測(cè)算更為準(zhǔn)確。調(diào)整后的R方越大，表示模型擬合度越好，可解釋程度越高。

這個(gè)數(shù)據(jù)表明，當(dāng)態(tài)度更加寬泛的總體題目首先出現(xiàn)在問(wèn)卷時(shí)，其相關(guān)性更高。

四、研究要點(diǎn)和總結(jié)

在本期文章中，我們回顧了一些問(wèn)卷中的順序效應(yīng)的相關(guān)文獻(xiàn)，還就杰夫·索羅博士的兩項(xiàng)針對(duì)NPS題目順序的在線實(shí)驗(yàn)進(jìn)行了探討，經(jīng)過(guò)總結(jié)，我們發(fā)現(xiàn)：

1. NPS得分不受順序效應(yīng)的影響

在不同的網(wǎng)頁(yè)、產(chǎn)品或服務(wù)的問(wèn)卷調(diào)查中，無(wú)論NPS題目是在問(wèn)卷的前面還是后面，它們的NPS平均得分以及分?jǐn)?shù)的分布幾乎是相同的。

2. 順序效應(yīng)使相關(guān)性存在差異

當(dāng)NPS題目放在了SUPR-Q題目的前面時(shí)，調(diào)整后的R方可以增加約7%，即相關(guān)性更高。但博士認(rèn)為，這些SUPR-Q題目并沒(méi)有指明具體的屬性（如定價(jià)或某項(xiàng)具體功能），態(tài)度更加廣泛，因此可以解釋結(jié)果的部分差異性。

3. 順序效應(yīng)真實(shí)存在，但很難預(yù)測(cè)

很多研究已經(jīng)表明，順序效應(yīng)是真實(shí)存在的，但尚未清楚順序效應(yīng)什么時(shí)候會(huì)出現(xiàn)、以及會(huì)造成多大程度的影響。

4. 順序效應(yīng)受到多因素影響

根據(jù)一些已發(fā)表的文獻(xiàn)，問(wèn)卷主題、上下文語(yǔ)境及題目順序的調(diào)整都可能產(chǎn)生不同類(lèi)型的順序效應(yīng)。

在博士的第一項(xiàng)研究中，第一組將40道題目放在了NPS問(wèn)題的前面，第二組更是將72道題目放在了NPS問(wèn)題的前面。這樣一來(lái)，順序效應(yīng)有可能因?yàn)轭}目的數(shù)量較多而被削弱影響，又或者是被其他問(wèn)題所掩蓋，也可能是受訪者對(duì)推薦的態(tài)度不太容易受到題目順序的影響。

未來(lái)在開(kāi)展順序效應(yīng)的研究時(shí)，需要盡量分離出這些影響，同時(shí)也需要更多的研究數(shù)據(jù)去判斷是否存在這些影響。

參考資料：

1. Does Changing the Order of the NPS Item Affect Results?
2. 什么是順序效應(yīng)（order effect）？
3. 順序效應(yīng)（A+醫(yī)學(xué)百科 ）
4. 問(wèn)卷設(shè)計(jì)｜問(wèn)題選項(xiàng)的順序效應(yīng)
5. [科普中國(guó)]認(rèn)知失調(diào)理論
6. Net Promoter Score Benchmarks: Don’t Waste Your Time On External Data
7. 15 種國(guó)際可用性測(cè)試經(jīng)典量表（一）
8. 統(tǒng)計(jì)學(xué)中的“P”值是什么意思
9. R方(R-squared)
10. 【回歸分析】R、R平方與調(diào)整后的R平方