在大模型產(chǎn)品化的過(guò)程中，AI產(chǎn)品經(jīng)理需要探索大模型的邊界。其中包含大模型本身無(wú)法被解決的能力邊界、工程化過(guò)程中的限制、以及將來(lái)隨著模型迭代逐漸可能被解決的問(wèn)題。

這次探討第三部分，關(guān)于大模型目前存在，未來(lái)可能被解決的問(wèn)題。

人工智能模型轉(zhuǎn)化為實(shí)際可用產(chǎn)品的過(guò)程中，涉及到多個(gè)方面的挑戰(zhàn)和限制。這些限制是否能夠解決，需要產(chǎn)品經(jīng)理、工程師、設(shè)計(jì)師、各個(gè)廠商間的合作，共同克服這些限制。

一、意圖理解

意圖理解側(cè)重于理解和解釋用戶的指令。

什么是意圖理解？

意圖理解是指系統(tǒng)從用戶的輸入中識(shí)別出其目的或意圖的能力。在人工智能應(yīng)用中，如聊天機(jī)器人和語(yǔ)音助手，這是至關(guān)重要的功能。

例如用戶對(duì)智能助手說(shuō)：“明天提醒我開(kāi)會(huì)?！?意圖理解使得智能助手能夠識(shí)別這是一個(gè)設(shè)置提醒的請(qǐng)求，并據(jù)此創(chuàng)建一個(gè)日程提醒。

再例如用戶對(duì)智能在線客服輸入：“我的訂單什么時(shí)候發(fā)貨？” 客服系統(tǒng)通過(guò)意圖理解識(shí)別出用戶想要查詢訂單狀態(tài)，然后提供相關(guān)的物流信息。

意圖理解的步驟：

• 輸入解析：系統(tǒng)接收并分析用戶的語(yǔ)音或文本輸入。
• 語(yǔ)言處理：對(duì)輸入的文本進(jìn)行語(yǔ)法和語(yǔ)義分析，以確定其含義。
• 意圖識(shí)別：確定用戶輸入的主要目的，如詢問(wèn)信息、尋求幫助或執(zhí)行特定任務(wù)。
• 實(shí)體提取：從用戶的輸入中提取關(guān)鍵信息，如時(shí)間、地點(diǎn)、人名等，這些信息對(duì)于滿足用戶意圖至關(guān)重要。
• 上下文理解：考慮對(duì)話的上下文，以提高意圖識(shí)別的準(zhǔn)確性。

意圖理解的局限性：

• 人類語(yǔ)言極其復(fù)雜且多樣，包括方言、俚語(yǔ)、習(xí)慣用語(yǔ)等，這可能導(dǎo)致系統(tǒng)難以準(zhǔn)確理解用戶的意圖。
• 某些語(yǔ)句可能具有多重含義，意圖理解系統(tǒng)可能難以判斷用戶的真實(shí)意圖，尤其是在沒(méi)有足夠上下文的情況下。
• 用戶的意圖往往依賴于對(duì)話的上下文，系統(tǒng)可能在處理跨越多個(gè)交互回合的復(fù)雜對(duì)話時(shí)遇到困難。
• 盡管技術(shù)不斷進(jìn)步，但目前的算法和模型仍然無(wú)法完全模擬人類的語(yǔ)言理解能力，特別是在處理復(fù)雜推理和情感理解方面。
• 訓(xùn)練數(shù)據(jù)的偏差可能導(dǎo)致意圖理解系統(tǒng)在處理某些特定群體或場(chǎng)景時(shí)表現(xiàn)不佳。
• 人類交流往往是多模態(tài)的，包括語(yǔ)音、文本、肢體語(yǔ)言等，而目前的意圖理解系統(tǒng)大多只能處理單一模態(tài)的輸入。

二、創(chuàng)作能力

創(chuàng)作能力側(cè)重于生成新穎的內(nèi)容。

什么是創(chuàng)造能力？

創(chuàng)作是指生成新穎和原創(chuàng)內(nèi)容的能力。在AI領(lǐng)域，創(chuàng)作可能涉及文本、音樂(lè)、藝術(shù)作品等。

AI創(chuàng)作系統(tǒng)包含什么：

• 創(chuàng)意生成：AI系統(tǒng)基于給定的提示或種子想法生成新的內(nèi)容。
• 模式識(shí)別：識(shí)別和模仿不同風(fēng)格和結(jié)構(gòu)的模式，以創(chuàng)造協(xié)調(diào)且有意義的作品。
• 學(xué)習(xí)與適應(yīng)：通過(guò)機(jī)器學(xué)習(xí)算法，AI系統(tǒng)學(xué)習(xí)大量的數(shù)據(jù)樣本，以提高其創(chuàng)作能力。
• 用戶交互：與用戶交互，根據(jù)用戶的反饋和指導(dǎo)進(jìn)行創(chuàng)作調(diào)整。

創(chuàng)造能力的局限性：

基于Transformer架構(gòu)的模型，雖然在自然語(yǔ)言處理（NLP）領(lǐng)域取得了顯著進(jìn)展，但其創(chuàng)造能力仍存在一些局限性：

數(shù)據(jù)依賴：大模型的創(chuàng)造能力很大程度上依賴訓(xùn)練數(shù)據(jù)，訓(xùn)練的數(shù)據(jù)有限或者不具有代表性，這會(huì)導(dǎo)致模型的輸出缺乏多樣性和創(chuàng)新型

理解深度：大模型在生成文本時(shí)可能只是模仿了語(yǔ)言的表面結(jié)構(gòu)，而沒(méi)有真正理解或推理生成內(nèi)容的深層含義。因此，盡管大模型在許多任務(wù)中表現(xiàn)出色，但在需要深度理解和創(chuàng)新思維的場(chǎng)合，它們的表現(xiàn)仍有待提高。比如用戶詢問(wèn)大模型：“什么是量子糾纏？”大模型可能會(huì)生成一個(gè)看似合理且連貫的解釋，例如：

“量子糾纏是量子力學(xué)中的一個(gè)現(xiàn)象，當(dāng)兩個(gè)或多個(gè)粒子以這樣的方式相互作用時(shí)，它們的狀態(tài)變得不可分割，即使它們相隔很遠(yuǎn)。這意味著對(duì)其中一個(gè)粒子的測(cè)量會(huì)立即影響另一個(gè)粒子的狀態(tài)?！?/p>

盡管這個(gè)解釋在技術(shù)上是正確的，但大模型可能并不真正理解量子糾纏的物理意義和背后的復(fù)雜性。如果用戶進(jìn)一步詢問(wèn)更深入的問(wèn)題，比如量子糾纏如何應(yīng)用于量子計(jì)算或者它與量子隱形傳態(tài)的關(guān)系，大模型可能就無(wú)法提供準(zhǔn)確或深入的答案。

創(chuàng)造性限制：大模型通常在模仿和擴(kuò)展已知模式方面表現(xiàn)出色，但在生成完全新穎和原創(chuàng)的想法方面可能存在局限。假設(shè)大模型“創(chuàng)作一個(gè)全新的科幻故事概念，包含一個(gè)尚未探索的宇宙和獨(dú)特的生命形式?！贝竽Ｐ涂赡軙?huì)生成一個(gè)故事，其中包含一些已知科幻元素的混合，例如：

“在遙遠(yuǎn)的未來(lái)，人類發(fā)現(xiàn)了一個(gè)新的星系，名為‘Noviensis’。這個(gè)星系由一個(gè)巨大的黑洞統(tǒng)治，周圍環(huán)繞著幾個(gè)行星，這些行星上居住著能夠進(jìn)行光合作用的生物，它們通過(guò)吸收宇宙射線來(lái)生長(zhǎng)?！?/p>

盡管這個(gè)故事聽(tīng)起來(lái)很有創(chuàng)意，但大模型生成的概念可能仍然基于已知的科幻主題，如黑洞、外星生命和宇宙探索。這些元素在科幻文學(xué)和電影中已經(jīng)被廣泛探索。大模型可能難以創(chuàng)造出完全新穎的、從未在人類文化中出現(xiàn)過(guò)的概念，如一種基于完全不同物理法則的生命形式或一個(gè)全新的宇宙維度。

解釋性：大模型的決策過(guò)程往往是黑箱，難以解釋和理解，這在需要可解釋性的創(chuàng)造性任務(wù)中可能是一個(gè)缺點(diǎn)。

法律和版權(quán)：大模型生成的內(nèi)容可能會(huì)涉及版權(quán)和知識(shí)產(chǎn)權(quán)問(wèn)題，尤其是在模仿特定風(fēng)格或作品時(shí)。

三、推理能力

推理則側(cè)重于邏輯分析和決策過(guò)程。

推理能力指的是什么？

推理是指系統(tǒng)使用邏輯和已有知識(shí)來(lái)得出結(jié)論的能力。在AI中，推理可以用于解決問(wèn)題、規(guī)劃行動(dòng)或做出決策。

推理過(guò)程包括：

• 邏輯推理：應(yīng)用邏輯規(guī)則和原則來(lái)分析問(wèn)題和得出結(jié)論。
• 因果關(guān)系：理解事件之間的因果聯(lián)系，并據(jù)此進(jìn)行預(yù)測(cè)或解釋。
• 規(guī)劃與決策：使用推理來(lái)制定行動(dòng)計(jì)劃或做出最優(yōu)決策。
• 知識(shí)表示：將知識(shí)以適合推理的形式表示出來(lái)，如語(yǔ)義網(wǎng)絡(luò)、規(guī)則集或本體。
• 推理算法：運(yùn)用各種算法，如基于規(guī)則的推理、基于模型的推理或基于約束的推理。

推理過(guò)程的局限性：

大模型在推理能力方面雖然取得了顯著的進(jìn)步，但仍然存在一些局限性。以下是大模型推理能力的一些限制：

• 邏輯一致性：大模型可能在處理長(zhǎng)邏輯鏈或復(fù)雜推理時(shí)出現(xiàn)錯(cuò)誤，尤其是在需要多步驟推理的情況下
• 因果推理：盡管大模型可以識(shí)別語(yǔ)句中的因果關(guān)系，但它們可能難以理解現(xiàn)實(shí)生活中復(fù)雜的因果網(wǎng)絡(luò)。
• 常識(shí)推理：大模型可能缺乏對(duì)人類常識(shí)的理解，導(dǎo)致在需要常識(shí)推理的任務(wù)中表現(xiàn)不佳。用戶問(wèn)：“我可以穿著溜冰鞋去超市嗎？”大模型可能回答：“可以，只要你覺(jué)得舒服。”然而，這忽略了常識(shí)推理，即穿著溜冰鞋在超市可能不安全，也可能違反超市的規(guī)定。
• 情感和語(yǔ)境理解：情感和語(yǔ)境對(duì)于人類推理至關(guān)重要，但大模型可能難以準(zhǔn)確捕捉和應(yīng)用這些細(xì)微差別。用戶說(shuō)：“我今天在會(huì)議上被老板表?yè)P(yáng)了，但我還是不高興?！贝竽Ｐ涂赡芑卮穑骸肮材惚槐?yè)P(yáng)?！钡牵赡軟](méi)有捕捉到用戶的情感狀態(tài)和語(yǔ)境，沒(méi)有詢問(wèn)用戶為何不高興。
• 專業(yè)領(lǐng)域的知識(shí)，例如用戶問(wèn)：“我的車需要新的火花塞，我應(yīng)該買哪種？”大模型可能回答：“買一個(gè)適合你車型的火花塞?！钡?，它可能無(wú)法提供具體的火花塞型號(hào)或品牌建議，這需要汽車領(lǐng)域的專業(yè)知識(shí)。

四、多模態(tài)的數(shù)據(jù)讀取/生成能力

在跨模態(tài)數(shù)據(jù)處理中，確實(shí)存在信息損失的風(fēng)險(xiǎn)，而且隨著模型的迭代，端到端的解決方案可能會(huì)逐漸取代復(fù)雜的工程手段。因此，專注于解決那些模型可能解決的問(wèn)題，而不是在跨模態(tài)數(shù)據(jù)處理上過(guò)度優(yōu)化，是一個(gè)更有效的策略。

五、模型的提示詞進(jìn)行優(yōu)化是否必要

提示詞優(yōu)化是一個(gè)需要根據(jù)具體情況權(quán)衡的問(wèn)題。在某些情況下，它可能是提高性能和用戶體驗(yàn)的關(guān)鍵；而在其他情況下，隨著模型的自然進(jìn)步，這種優(yōu)化可能變得不那么重要。此外，對(duì)于復(fù)雜的任務(wù)，采用多個(gè)AI Agent的分布式處理方法可能更為有效。

格式和輸出結(jié)果的穩(wěn)定性、一致性

如果產(chǎn)品業(yè)務(wù)需要特定的輸出格式（如JSON），以確保下游系統(tǒng)的兼容性和穩(wěn)定性，那么對(duì)提示詞進(jìn)行優(yōu)化是非常有必要的。這可以確保大模型的輸出符合預(yù)期的格式和標(biāo)準(zhǔn)。吳恩達(dá)的《ChatGPT Prompt Engineering for Developers》值得推薦

提升模型輸出質(zhì)量

隨著模型的迭代和升級(jí)，模型本身的提升將比精心設(shè)計(jì)的提示詞帶來(lái)的提升更為顯著。這在一定程度上是正確的，因?yàn)槟Ｐ图軜?gòu)和算法的改進(jìn)通常會(huì)帶來(lái)更廣泛的性能提升。

長(zhǎng)鏈路SOP、工作流和推理過(guò)程

對(duì)于復(fù)雜的任務(wù)，可以通過(guò)多個(gè)AI Agent來(lái)實(shí)現(xiàn)，而不是試圖在單輪對(duì)話中解決。這種方法可以更有效地分解任務(wù)，利用每個(gè)Agent的專長(zhǎng)，從而提高整體的處理效率和準(zhǔn)確性。