這篇文章主要面向運(yùn)營(yíng)人員（包括訓(xùn)練師、標(biāo)注人員等），分享一些優(yōu)化機(jī)器人客服效果的方法論，歡迎各位同行交流指正。

客戶的投訴率上升，這是很多大型企業(yè)在進(jìn)行客服中心智能化改造時(shí)顧慮的因素。

機(jī)器人客服，尤其是語(yǔ)音方向，對(duì)應(yīng)答的準(zhǔn)確性、自然程度有較高的要求，否則會(huì)出現(xiàn)機(jī)器人自說自話、轉(zhuǎn)人工率過高等情況，非但沒有減輕人工客服的壓力；反而導(dǎo)致投訴變多，輿論壓力大。如果機(jī)器人效果優(yōu)化不上去，還不如用人工。

語(yǔ)音類比文本類機(jī)器人客服多用了一些技術(shù)，如ASR、TTS。目前市場(chǎng)上擬人度高的TTS音色有很多，如果希望效果更好，就用錄音+TTS方式處理客戶信息等變量。這里和機(jī)器人識(shí)別效果提升無關(guān)，就不多展開了。

一、ASR優(yōu)化

ASR是機(jī)器人應(yīng)答準(zhǔn)確率的第一道門檻。

客戶電話進(jìn)來的語(yǔ)音由ASR轉(zhuǎn)寫成文本，才會(huì)交到語(yǔ)義識(shí)別模塊進(jìn)行分析，如果連耳朵都聽錯(cuò)了，就別怪大腦理解不了。

目前，主流廠商通用模型的語(yǔ)音識(shí)別準(zhǔn)確率雖然很高，但實(shí)際落地后，都會(huì)受到領(lǐng)域、噪聲、口音等問題削弱效果，實(shí)際字準(zhǔn)確率不大于80%。

運(yùn)營(yíng)人員一般是從兩個(gè)方面做優(yōu)化：

1. 語(yǔ)言模型

使用與自己場(chǎng)景相關(guān)的文本數(shù)據(jù)訓(xùn)練模型，如快遞行業(yè)“包裹”VS教育行業(yè)“包過”，或者不易識(shí)別的領(lǐng)域?qū)Ｓ忻~，如“螞蟻借唄”。

這個(gè)方法比較普遍，訓(xùn)練效率較高（分鐘級(jí)），運(yùn)營(yíng)人員可以在機(jī)器人上線前把所有問答話術(shù)提供給算法工程師或者ASR提供商，灌到模型中訓(xùn)練。平時(shí)日常監(jiān)聽也可以及時(shí)糾錯(cuò)，會(huì)提升對(duì)特定詞匯的識(shí)別率。

2. 聲學(xué)模型

根據(jù)統(tǒng)一規(guī)范，在保證標(biāo)注準(zhǔn)確的情況下，可不斷積累訓(xùn)練數(shù)據(jù)。運(yùn)營(yíng)人員提供上百小時(shí)的音頻及對(duì)應(yīng)的正確文本，用來優(yōu)化聲學(xué)模型。

這個(gè)方法訓(xùn)練時(shí)間較長(zhǎng)（按天計(jì)算），且對(duì)模型訓(xùn)練的機(jī)器有較高要求，成本較高。

注：

• 聲學(xué)模型訓(xùn)練集中可以分出一部分?jǐn)?shù)據(jù)生成測(cè)試集使用，這樣可以快速檢測(cè)模型優(yōu)化效果，不用等到上線之后?？咳藶闇y(cè)聽上線之后的效果，沒有數(shù)字支撐、無法保證復(fù)現(xiàn)，效率較低。
• 這兩種方法沒有沖突，運(yùn)營(yíng)人員可結(jié)合實(shí)際情況進(jìn)行選擇。
• 產(chǎn)品層面也可以做一些優(yōu)化功能，方便運(yùn)營(yíng)人員進(jìn)行標(biāo)注及測(cè)試，減少線下工作。

二、語(yǔ)義識(shí)別的優(yōu)化

1. 如何發(fā)現(xiàn)問題？

耳朵聽清楚了，大腦也要聰明。

目前行業(yè)內(nèi)主流的客服機(jī)器人大多用“語(yǔ)義理解+正則匹配”的方式做識(shí)別。

那么，如何發(fā)現(xiàn)機(jī)器人的語(yǔ)義識(shí)別問題？

這里分為兩種情況：機(jī)器人知道自己“錯(cuò)”了，和機(jī)器人覺得自己沒“錯(cuò)”。

1）機(jī)器人知道自己“錯(cuò)”了，表現(xiàn)在拒識(shí)或沒有直出答案的情況，具體指標(biāo)體現(xiàn)在置信度或匹配度沒有到達(dá)規(guī)定的閾值。此時(shí)運(yùn)營(yíng)人員根據(jù)數(shù)值，可以比較有針對(duì)性地進(jìn)行查看及優(yōu)化。

這里的錯(cuò)不完全是匹配問題，拒識(shí)，不一定是壞事。當(dāng)客戶問起和業(yè)務(wù)毫不相關(guān)的問題，機(jī)器人完全可以用拒識(shí)對(duì)應(yīng)的話術(shù)來減少與客戶沒必要的周旋（閑聊機(jī)器人除外），所以一些用戶問我們完全可以當(dāng)做拒識(shí)處理。

2）機(jī)器人覺得自己沒“錯(cuò)”，表現(xiàn)在機(jī)器人可以回答問題，但卻不是客戶想要的答案，具體參考指標(biāo)為點(diǎn)踩率（不帶語(yǔ)音）、轉(zhuǎn)人工率等。

但如果用戶沒有任何滿意度反饋，此時(shí)就要借助人工進(jìn)行檢測(cè)，通過查看對(duì)話記錄，進(jìn)行對(duì)每句問題的質(zhì)檢。一般數(shù)據(jù)量較龐大時(shí)就以抽檢的方式，目的主要是修正錯(cuò)誤答案并拿到精確的統(tǒng)計(jì)數(shù)據(jù)，具體輸出的指標(biāo)有精準(zhǔn)率、召回率等。根據(jù)數(shù)據(jù)，運(yùn)營(yíng)人員可以直觀看到效果好壞。

2. 如何針對(duì)問題優(yōu)化？

關(guān)于優(yōu)化，每家都有各自的方式，需要注意的是，標(biāo)注時(shí)遇到模棱兩可的問題，一定要與團(tuán)隊(duì)進(jìn)行溝通確認(rèn)，保證意圖之間沒有重疊及錯(cuò)誤。不然越到后期，機(jī)器人理解能力也越會(huì)遇到瓶頸，外包標(biāo)注尤其需要規(guī)避這點(diǎn)。

3. 如何測(cè)試優(yōu)化效果？

語(yǔ)義識(shí)別的測(cè)試，可以直接用測(cè)試集進(jìn)行文本測(cè)試，機(jī)器人答對(duì)了代表測(cè)試通過，答錯(cuò)了繼續(xù)補(bǔ)充。這里運(yùn)營(yíng)人員在編寫測(cè)試集的時(shí)候，盡量避免和訓(xùn)練集相似度太高，保證最終模型的泛化能力。

在整體測(cè)試的時(shí)候，是盲測(cè)好，還是提前限定好范圍去問呢？

舉個(gè)例子：

在語(yǔ)音外呼場(chǎng)景中，話題一般不是開放的，可能通篇只圍繞一件事，比如催收。此時(shí)面向的客戶，接聽電話也基本是按照機(jī)器人引導(dǎo)方向去回答。此時(shí)可以按照寫好的“劇本”進(jìn)行呼測(cè)，而不需要特意測(cè)試一些和場(chǎng)景無關(guān)的問題。

總之，測(cè)試方式要按照實(shí)際的應(yīng)用場(chǎng)景選擇，可以起到事半功倍的效果。

除了語(yǔ)義識(shí)別可以優(yōu)化，通過路徑流量分析、對(duì)話輪次、客戶畫像等，我們也能檢測(cè)到對(duì)話的健壯性和話術(shù)設(shè)計(jì)的是否合理。

上線后，可以把優(yōu)化前后的機(jī)器人做個(gè)AB test，根據(jù)幾個(gè)運(yùn)營(yíng)指標(biāo)和質(zhì)檢指標(biāo)，進(jìn)行評(píng)定。

三、結(jié)尾

總結(jié)一下，運(yùn)營(yíng)人員可以通過工具和統(tǒng)計(jì)數(shù)據(jù)，系統(tǒng)地對(duì)機(jī)器人進(jìn)行分析和優(yōu)化。還有一個(gè)好處，就是可以從數(shù)據(jù)中不斷發(fā)現(xiàn)新的運(yùn)營(yíng)方法論。反之，應(yīng)盡量避免像黑盒一樣，純靠測(cè)聽修改。

寫到最后，如果這篇文章對(duì)產(chǎn)品經(jīng)理們也有所啟發(fā)，希望大家可以盡量為運(yùn)營(yíng)人員提供方便好用的優(yōu)化工具。

標(biāo)注測(cè)試是一項(xiàng)枯燥乏味的工作，但卻對(duì)提升機(jī)器人效果有著至關(guān)重要的作用。我們要盡可能地多傾聽運(yùn)營(yíng)同事的需求，結(jié)合AI幫助他們讓自己的工作更加精細(xì)化、專業(yè)化，才會(huì)讓機(jī)器人客服的市場(chǎng)更加蓬勃發(fā)展。

本文由 @PhoebeFeng 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash，基于 CC0 協(xié)議