Airbnb的數(shù)據(jù)科學家收集數(shù)據(jù)并使用這些數(shù)據(jù)來優(yōu)化產(chǎn)品，通過數(shù)據(jù)找出問題所在，并且通過數(shù)據(jù)協(xié)助做出業(yè)務(wù)決策。對于大多數(shù)用戶，“Airbnb體驗”最典型的瞬間就發(fā)生在現(xiàn)實世界——當他們根據(jù)自己計劃去旅行時，當酒店主人跟他們打招呼時，當他們住在酒店時，當他們探索目的地時。這些瞬間決定了Airbnb體驗的成敗，不管我們的網(wǎng)站做得多大。這篇文章的目的是展示我們?nèi)绾卫脭?shù)據(jù)去理解用戶旅行體驗的質(zhì)量，特別是如何增加“凈推薦值NPS”的價值。

目前，我們能收集到與線下體驗的最好的相關(guān)信息是在旅客結(jié)束行程后通過Airbnb.com網(wǎng)站上的用戶反饋進行相關(guān)信息反饋。這個反饋是可選的，要求對總體體驗使用文本反饋并進行1-5的評價分數(shù)打分，除了總體體驗還有其他子分類項目，例如準確性(Accuracy)、整潔度(Cleanliness)、入住(Checkin)、溝通(Communication)、地點(Location)和價值(Value)。從2013年年底開始，我們增加了一個問題到我們的反饋表中，這就是NPS問題。

NPS或者稱“凈推薦值”是在2003年由Fred Reicheld引入到客戶忠誠度并得到廣泛的使用，相關(guān)可以參考
[https://hbr.org/2003/12/the-one-number-you-need-to-grow/ar/1] 。我們問用戶“你有多大可能向你的朋友推薦Airbnb？”，這就是所謂的“可能性推薦”或LTR問題。那些對此可能性問題回答9或10的用戶被標記為“推薦者”或忠誠的熱心者，那些只打了0-6分的用戶則被標記為“批評者”或不滿意的用戶，那些打了7或8分的用戶則被認為是“被動的”，他們喜歡公司的產(chǎn)品或服務(wù)，但不會向朋友推薦。。我們公司的NPS（凈推薦值）是通過“推薦者”百分比減去“批評者”百分比去計算的，結(jié)果值是一個-100到+100的一個數(shù)字，-100是最糟糕的情況，即所有的打分的都是批評者，+100則是最好的情況，即所有的打分者都是推薦者。

通過用戶一個簡單的住宿滿意度去衡量一個用戶的忠誠度，NPS調(diào)查的目標是成為一個更有效率的方法論去確定顧客再次回來預訂的可能性、向朋友傳播推薦的可能性，并防止市場壓力使用戶流失到競爭對手中。在這篇博客中，我們期待我們的數(shù)據(jù)去找出事實是否真的如此。我們發(fā)現(xiàn)較高的NPS確實普遍對應著更多的推薦人和重新預訂。

方法論

我們將參考單獨個體對于NPS問題作答作為他們LTR（推薦可能性）分數(shù)的打分，NPS的分數(shù)范圍是-100到+100，LTR是一個范圍從0到10的整數(shù)。在這項研究中，我們看看所有在2014年1月15日和2014年4月1日之間結(jié)束他們旅程的客戶，如果一個顧客在此段時間進行了超過一次的旅程，僅僅以第一次旅程作為參考，然后我們嘗試預測客戶是否會在Airbnb進行下一次的預定，而這下一次的時間范圍是從顧客結(jié)束了他的此次旅程后到未來一年的時間內(nèi)。

有一點需要注意的是，再一次旅程結(jié)束后的反饋是可選擇而非必須的，而且反饋表也是由不同的部分構(gòu)成的。有一小部分用戶并不會填寫反饋表或者選擇性地填寫了反饋表并不回答NPS問題，而NPS通常只能根據(jù)反饋者去做計算。在這個分析中，我們將沒有填寫反饋表的用戶或者填了反饋表但沒有填NPS問題的用戶等因素考慮進去。

為了評估LTR的預測能力，我們控制與重新預定相關(guān)的其他參數(shù)，這些參數(shù)包括：

1. 關(guān)于總體反饋得分和反饋表中子類項的選項，所有反饋項目都分為1-5個等級。
2. 顧客獲取渠道（例如自然加入的顧客或同個營銷活動引入的顧客）。
3. 旅程目的地（例如美國、歐洲、亞洲等）。
4. 顧客來源地。
5. 之前有在Airbnb預定的顧客。
6. 旅程距離遠近程度。
7. 顧客數(shù)量。
8. 每晚價格。
9. 結(jié)賬的月份（考慮季節(jié)性）。
10. 房間類型（整個家庭、包房、公用客房等）。
11. 顧客主人擁有其他物品的數(shù)量。

我們承認我們的方法可能會有以下缺陷：

• 可能還存在其他形式的與忠誠度相關(guān)的因素沒有被獲取到，我們是根據(jù)公司推薦計劃提出來的提議參考的，用戶忠誠度也能從口碑推薦中體現(xiàn)出來，但此研究并沒有獲取到此項。
• 可能有一些顧客重新預定的時間跨度比較長，我們比較關(guān)注一年時間跨度，但有些顧客可能不經(jīng)常去旅行，那他們可能在兩到三年才會重新預定。
• ?一個顧客的LTR可能不能夠作為NPS結(jié)果的直接替代品，但即使基于顧客的LTR可能無法準確預測顧客重新預定的可能性，但我們使用NPS去預測一個完整的群體重新預定的可能性，這將會使我們更好地經(jīng)營。

盡管存在這些不足，我們希望這項研究可以提供一種量化的方式去思考NPS的價值，它能讓我們更好地理解線下的體驗。

數(shù)據(jù)的統(tǒng)計描述

我們的數(shù)據(jù)覆蓋了超過600000的顧客，我們的數(shù)據(jù)顯示，提交了反饋表的顧客中，三分之二的顧客是NPS的推薦者，超過一半顧客給LTR打了10分，我們數(shù)據(jù)集里面的600000用戶中只有百分之二是批評者。

旅程反饋表的總體評價分數(shù)旨在評估此次行程的質(zhì)量，而NPS問題則有助于評估顧客的忠誠度。我們通過查看LTR分數(shù)的分布式與旅程反饋表總體分數(shù)之間的關(guān)系，進而來看看這兩個變量如何互相關(guān)聯(lián)。雖然LTR與反饋表總體得分是相關(guān)的，但它們還是提供了一定差異信息。例如，經(jīng)歷了一個令人失望的體驗后的那些一小部分顧客中，它們反饋表只給了一星評價，但這里面26%的顧客其實是Airbnb的推薦者，這表明他們?nèi)匀粚境址e極態(tài)度。

記住，我們的旅客中NPS批評者只有非常小的一部分，而LTR與反饋總體分數(shù)有很大的關(guān)聯(lián)性，我們研究如何將LTR與重新預定率和推薦率關(guān)聯(lián)起來。

當一個顧客在結(jié)束完旅程的12個月內(nèi)通過我們的推薦系統(tǒng)向至少一個朋友作推薦時，我們認為這些顧客是推薦者。我們看到填寫了NPS問題的那些顧客，更高的LTR對應著更高的重新預訂率和更高的推薦率。

如果不考慮其他變量，比起批評者（0-6分）的顧客，那些給LTR打了10分的顧客高出13%的可能會重新預訂，且高出4%的可能會在未來12個月推薦給好友。有趣的是，我們注意到反饋者中重新預訂率幾乎與LTR呈線性關(guān)系（我們沒有足夠的數(shù)據(jù)去區(qū)分0-6分的反饋者）。這些結(jié)果表明，對于Airbnb，反饋打9分和10分的人作為推薦者。我們還注意到，沒有留下反饋評論的顧客行為與批評者一樣，事實上，比起LTR0-6分的顧客，他們稍微更加不太可能重新預定和推薦給好友。然而，提交了反饋表單但沒有回答NPS問題的顧客（被標記為“no_nps”）的行為與推薦者的行為相似，這些結(jié)果表明，當我們做NPS測定時，保持反饋率也同樣重要。

接下來，我們看看其他因素是如何影響重新預定率的。例如，我們通過10周數(shù)據(jù)發(fā)現(xiàn)重新預訂率是季節(jié)性的，這可能是因為淡季旅客往往是忠誠的顧客和經(jīng)常旅行的人。

我們看到短途旅行的顧客更有可能重新預定，這可能是因為有些顧客使用Airbnb進行了一個長期住宿，而他們不太可能會在明年又進行另外一個長期住宿。

我們還看到，重新預訂率與每晚價格列表有拋物線關(guān)系，住在非常昂貴的酒店的顧客不太可能會重新預定，但住在非常便宜的房源的客人也不太可能會重新預定。

哪些反饋表項目最能預測重新預定？

除了整體星級評分和LTR得分外，顧客可以選擇性地回答他們反饋表中其他子項目，所有項目都分為1-5星級：

• 準確性
• 清潔度
• 入住
• 溝通
• 地點
• 價值

在此部分中，我們將研究根據(jù)反饋率去預測顧客是否會在此次旅程結(jié)束后的未來12個月內(nèi)進行另外一個旅程。同樣我們還將研究哪個子項目選項最能預計重新預定。

為了做到這些，我們比較了一系列的嵌套邏輯回歸模型，我們從一個基礎(chǔ)模型開始，而基礎(chǔ)模型僅僅包含我們在前面部分提到的一些非反饋表的特征做為變量：

然后，我們往這個基礎(chǔ)模型中添加一些列反饋表的項目：

• f1 = f0 + communication
• f2 = f0 + cleanliness
• f3 = f0 + checkin
• f4 = f0 + accuracy
• f5 = f0 + value
• f6 = f0 + location
• f7 = f0 + overall_score
• f8 = f0 + ltr_score

我們通過AIC準則比較匹配度的方法分別將模型“f1”到“f8”與嵌套模型“f0”進行對比，看哪個模型的質(zhì)量比較高，AIC準則在模型擬合度和參數(shù)數(shù)量之間進行權(quán)衡，參數(shù)越多可能會抑制模型擬合度。

如果我們僅僅引入一個反饋表項目，LTR和總體得分吻合度排名并列第一，添加任何一個子項目也能提升模型吻合度，但仍然比不上LTR或總體得分兩項。

接下來，我們通過引入LTR調(diào)整我們的基礎(chǔ)模型，不斷重復執(zhí)行這個過程看我們可以再往模型中添加反饋表的哪一項。

通過引入LTR，下一個能提升我們模型的子項目是反饋表的總得分，添加第二個反饋表項目到模型后僅僅稍微提高了模型的擬合度（注意區(qū)別兩個曲線的標度）。

我們不斷重復上面操作，不斷將反饋表的的某些項目添加到模型，直到模型統(tǒng)計到不再有顯著變化，我們留下了以下一組反饋表項目：

1. LTR
2. 總體得分
3. 六個子項目中任意其中三項

這些研究結(jié)果表明，由于反饋表項目彼此有很強的相關(guān)，一旦我們有了LTR和總體得分兩項后，我們僅僅只需要六個子項目中的其中三項來優(yōu)化我們的模型，加入更多的其余子項目將增加更多的自由度，而不能顯著改善模型預測的準確性。

最后，我們測試了我們模型預測的準確度：

僅僅使用旅客結(jié)束行程后的LTR，我們可以預測他們是否會在未來12個月內(nèi)進行重新預定，準確率達到56%。如果提供旅客的基本信息給我們，例如主人信息和行程信息，我們可以將預測的準確率提升到63.5%。如果添加反饋表項目（不包括LTR），我們可以做到額外0.1%的提升。提供所有這些信息，包括將LTR加入到模型中準確率僅僅只會再提升0.002%。

結(jié)論

旅程反饋表（包括LTR）僅微略提高我們預測旅客結(jié)賬后的12個月內(nèi)旅客是否還會再次預定的能力，在控制了行程和旅客特征等變量后，反饋表星級評級僅僅提升了我們預測準確性的0.1%。在所有反饋表子項目中，LTR對于預測重新預定最有幫助，但如果我們控制了其他項目變量后，它僅僅提升了0.002%準確性。這是因為LTR和反饋表總體得分是高度相關(guān)的。

反饋表的目的不僅僅在于預測重復預定，它們使平臺更加讓人信任，有利于企業(yè)建立自己的聲譽，提高企業(yè)執(zhí)行質(zhì)量。我們發(fā)現(xiàn)LTR分數(shù)更高的旅客更有可能通過我們的推薦系統(tǒng)向其他人推薦Airbnb，他們更可能通過自己好的口碑推薦給別人，批評者實際上會貶低Airbnb以阻止其他人加入Airbnb平臺。這里沒有探討將NPS附加關(guān)聯(lián)到業(yè)務(wù)行為的可能性。但考慮到批評者數(shù)量非常少且只是用LTR進行預測重新預定，我們應該謹慎讓旅客的NPS擁有過多的權(quán)重。

原文：How well does NPS predict rebooking?

譯文由杰微刊兼職譯者汪健翻譯