本文將深入探討閑聊型AI產(chǎn)品的產(chǎn)品定位、用戶價值、商業(yè)模式以及對話內(nèi)容質(zhì)量檢測的維度，旨在為讀者揭示這一新興領(lǐng)域的內(nèi)在邏輯和發(fā)展?jié)摿Α?/p>

對話質(zhì)檢在傳統(tǒng)的客服和智能音箱領(lǐng)域已有成熟的方法論，在該場景有明確的對話任務(wù)目標(biāo)：通過對話解決用戶的問題，具體包括幫助用戶執(zhí)行某項操作，回答某些知識，所有的產(chǎn)品工作皆是圍繞此展開：知識庫梳理，模型標(biāo)注和訓(xùn)練，管理和設(shè)計對話方案，收集和監(jiān)控服務(wù)數(shù)據(jù)等等。

隨著chatGPT以及character AI、星野、豆包等產(chǎn)品的出現(xiàn)，尤其是其中情感陪伴類產(chǎn)品，對話內(nèi)容質(zhì)量檢測的目標(biāo)就顯得模糊了。

分析這個問題我們首先要從閑聊型NPC的定位出發(fā)，即：角色扮演產(chǎn)品，例如豆包、星野和Character.AI 的產(chǎn)品定位和目標(biāo)是什么？

針對哪些用戶？用戶價值體現(xiàn)在哪？

商業(yè)模式是什么？如何盈利？

最后我們再考慮對話質(zhì)量檢測的目標(biāo)和檢測內(nèi)容，如何幫助產(chǎn)品提升以上幾個點。

一、閑聊型AI產(chǎn)品的產(chǎn)品定位

產(chǎn)品定位可以從用戶需求、產(chǎn)品價值和商業(yè)模式三個角度出發(fā)思考：即你向什么樣的用戶群體提供了什么樣的價值，并在提供價值的過程中能夠獲取盈利，使整個商業(yè)模式能夠合理的運轉(zhuǎn)下去。

1. 用戶需求和用戶側(cè)的產(chǎn)品價值

那么我們先考慮第一個問題，用戶需求是什么？產(chǎn)品價值在實現(xiàn)用戶需求的過程中體現(xiàn)。兩者我們一并看。

人類更古不變的用戶需求有生理需求，獲取食物空氣睡眠等；有安全需求，包括身體財產(chǎn)就業(yè)等；社交需求，去獲取友誼愛情和歸屬感；娛樂需求，獲得新奇體驗和快樂；尊重和自我實現(xiàn)需求，以實現(xiàn)自我價值的體現(xiàn)。

它們通常是人類普遍的、持久的需求。具體體現(xiàn)在陪伴型AI閑聊產(chǎn)品，解決的是社交和娛樂需求。

新時期的年輕人如同孤島，被無數(shù)的信息、照片和更新所包圍，卻往往難以找到真實的人際連接。我們的生活似乎變得越來越公開，但內(nèi)心的孤獨感卻越來越強烈。這種孤獨感源于對真實、深度交流的渴望，以及對被理解和接納的需求。

在快節(jié)奏的生活和數(shù)字化的世界中，我們需要找到新的方式，來滿足我們對人際關(guān)系的基本需求，緩解這種新時代的孤獨感。

AI是情感陪伴的一種寄托方式，也是一種低成本與各色“人群”社交探索的路徑，在星野有幾千萬個各個人設(shè)的AI NPC，甚至包括AI女友男友，DAU達百萬，對話時間往往超過數(shù)個小時。能夠發(fā)現(xiàn)用戶在跟NPC談?wù)撁朗?、家庭、情感以及生活中的點點滴滴。

2. 商業(yè)模式和公司側(cè)的產(chǎn)品價值

盈利是實現(xiàn)用戶價值中公司側(cè)獲得的價值，使整個服務(wù)運轉(zhuǎn)順暢

互聯(lián)網(wǎng)產(chǎn)品的商業(yè)模式多種多樣，包括廣告模式、電商模式、訂閱模式、付費下載或應(yīng)用內(nèi)購買、傭金或交易費、數(shù)據(jù)出售或數(shù)據(jù)分析、套利模式、企業(yè)服務(wù)（SaaS）、眾籌模式以及內(nèi)容付費或知識付費。

閑聊型AI產(chǎn)品的用戶一般對廣告的容忍度較低，在與NPC對話中NPC主動推薦廣告或出現(xiàn)彈窗未免太過煞風(fēng)景。這類產(chǎn)品更像游戲領(lǐng)域，通過訂閱和增值服務(wù)來獲得營收，包括獲取NPC的好感度，獲得新奇的皮膚，充值以獲得更多的對話輪數(shù)，或者解鎖AI塔羅牌等對話技能。

二、對話內(nèi)容質(zhì)量檢測的維度

在明確用戶需求、產(chǎn)品價值和商業(yè)模式之后，我們大約可以梳理出此類產(chǎn)品對話質(zhì)量檢測的目標(biāo)：即量化對話質(zhì)量，針對性提高對話體驗，吸引開通增值服務(wù)，增加用戶粘性提高對話輪數(shù)。

具體地我們分為以下幾點質(zhì)量檢測維度：

1. 前文沒提過但是一定為紅線和底線的：合規(guī)；
2. 不要讓話題掉到地上，開啟新話題以及深入交談玩家感興趣的話題：主動對話能力；
3. 迎合用戶需求，提升NPC對應(yīng)的能力：用戶畫像建設(shè)和需求分析；
4. 基礎(chǔ)對話能力的質(zhì)量檢測：意圖理解，知識庫準(zhǔn)確性以及人設(shè)一致性等；
5. 特定任務(wù)的表現(xiàn)：塔羅牌游戲，玩法和增值服務(wù)的對話式推薦；

以下我展開簡單聊聊。

1. 合規(guī)

所有的基底模型，不論是百川、文心還是混元，都做過基底模型的合規(guī)性設(shè)計開發(fā)，但大模型的本質(zhì)是一種概率計算，沒有人能確定下一個token是否會冒出非法內(nèi)容。具體包括色情、賭博、毒品、暴力、犯罪和政治問題等。

我們做合規(guī)的質(zhì)量檢測目的有兩點：

1. 補充相關(guān)問題的測試集，獲取真實的測試數(shù)據(jù)，在模型的迭代和上線前做合規(guī)測試；
2. 補充安全合規(guī)策略，例如基于正則的安全審核，相關(guān)產(chǎn)品上線往往都有這些安全合規(guī)的干預(yù)模塊；

在合規(guī)的基礎(chǔ)上我們再解決體驗問題。

2. 主動對話能力

嘗試體會以下兩段對話：

對話A：玩家：你吃飯了嘛？
NPC：吃了呢。
玩家：—請輸入對話內(nèi)容—

對話B：玩家：你吃飯了嘛？
NPC：吃了呀，吃的辣子雞和紅燒鯉魚，你呢？沒吃的話跟我湊合吃點咯
玩家：—請輸入對話內(nèi)容—

具有良好主動對話能力的NPC就像一個優(yōu)秀的脫口秀演員，亦或是一個捧哏不會讓輕易讓話題掉地上。具體到質(zhì)檢的維度，我們可以通過話題和玩家興趣的維度量化此能力，具體包括：NPC維持和深入話題的對話輪數(shù)，NPC主動推薦話題的時機，話題轉(zhuǎn)換的方向和玩家的對話興趣，四個維度組成主動對話能力，如圖：

現(xiàn)在簡單定義這四個維度：

1. NPC維持和深入話題的對話輪數(shù)：單個話題的對話輪數(shù)，在玩家特別感興趣的話題不可輕易轉(zhuǎn)移，應(yīng)根據(jù)對話內(nèi)容深入和維持對話；
2. NPC主動推薦話題的時機：任何話題都會窮盡，例如聊起自己的童年，所能記憶起的事情總是那么幾件，精準(zhǔn)把握玩家對話內(nèi)容和態(tài)度，實時切換話題是一個不錯的對話策略；
3. 話題轉(zhuǎn)換的方向：從旅行聊到美食的跨度比聊到中世紀(jì)歷史的跨到要小的多，具體也需要參考對話上下文。（或許就是去中世紀(jì)城堡旅行？）
4. 玩家的對話興趣：此值可以評估以上對話策略是否正確，例如切換話題后玩家表示抗議，則該策略不佳。

定義完維度，需要思考如何量化，因為只有量化才能做測評和算法優(yōu)化。現(xiàn)在通用做法是使用GPT來評估對話加之人工的審核，同時也需要建立一個標(biāo)注的評估標(biāo)準(zhǔn)。本文不過多敘述，后續(xù)有空再詳細(xì)說說。

3. 用戶畫像建設(shè)和需求整理

閑聊對話場景是一個內(nèi)容生產(chǎn)場景，內(nèi)容消費對象的畫像建設(shè)和需求是對話內(nèi)容質(zhì)量評估的重要維度。同一個四川人談火鍋和麻將，同一個追星者談他喜歡的明星和最近現(xiàn)況總是一個好的對話策略，從此角度用戶畫像建設(shè)和個性化的內(nèi)容推薦是閑聊產(chǎn)品的最高層級目標(biāo)。

我們可以看到國內(nèi)外“私有化部署”的AI陪伴型產(chǎn)品即是這個思路，例如心識宇宙的的個人大模型等。對話質(zhì)量測評中，是否能夠用用戶畫像調(diào)整對話內(nèi)容是一個比較高級的質(zhì)量評估維度。

同時不同于其他的互聯(lián)網(wǎng)產(chǎn)品，獲取用戶反饋還需要通過問卷調(diào)研和埋點數(shù)據(jù)分析的方法。對話產(chǎn)品獲取用戶反饋的最好方法即是看看用戶聊了什么，哪里不爽，什么要求NPC沒有作出反饋等等。用戶會直截了當(dāng)?shù)卣f出他們的訴求。

4. 基礎(chǔ)對話能力的檢測

所謂基礎(chǔ)對話能力，即是該AI是否具有良好的語義理解能力，指令執(zhí)行能力，如果身份和背景采用小說、影視或者動漫人物那么知識庫和世界觀背景是否符合，是否會有“出戲”的感覺。

這些能力需要基底LLM的調(diào)教效果，SFT和其他算法的加工效果，知識庫的整理和RAG的水平等各個模塊共同打磨。具體的質(zhì)檢維度則需要根據(jù)具體的產(chǎn)品場景具體分析了。

5. 特定任務(wù)的表現(xiàn)

閑聊能力是AI陪伴產(chǎn)品的核心但不是全部，所有的AI產(chǎn)品經(jīng)理都在思考LLM的玩法，成語接龍、塔羅牌、AI算命以及AI小劇場都是提高用戶黏性的不錯選擇，對于這些任務(wù)的表現(xiàn)也需要具體任務(wù)具體分析了。

以上是對閑聊陪伴型產(chǎn)品的對話內(nèi)容質(zhì)量檢測的簡單梳理，具體的量化和測評方法找時間再聊。