本文將深入探討增強(qiáng)檢索技術(shù)的關(guān)鍵步驟、應(yīng)用領(lǐng)域及其優(yōu)勢(shì)與局限性，揭示如何通過(guò)這項(xiàng)技術(shù)提升模型輸出的可信度和專業(yè)性，同時(shí)確保對(duì)最新數(shù)據(jù)的訪問(wèn)。

一、什么是增強(qiáng)檢索

LLMs 外掛一個(gè)“LLMs 外掛一個(gè)“實(shí)時(shí)更新的知識(shí)庫(kù)”，使用外部數(shù)據(jù)提高LLMs的準(zhǔn)確性專業(yè)性。

二、解決了什么問(wèn)題

模型誤導(dǎo)輸出/知識(shí)缺乏實(shí)效性/垂直領(lǐng)域知識(shí)不足

三、應(yīng)用領(lǐng)域

很通用，問(wèn)答系統(tǒng)/內(nèi)容摘要/對(duì)話系統(tǒng)/文本生成等

四、關(guān)鍵步驟

1. 在接到輸入時(shí)，檢索一組與之相關(guān)的文檔或信息片段

• 對(duì)于于這個(gè)輸入構(gòu)建一個(gè)或多個(gè)查詢。
• 這些查詢從一個(gè)大型的數(shù)據(jù)存儲(chǔ)（如文本數(shù)據(jù)庫(kù)或知識(shí)庫(kù)）中檢索相關(guān)信息。

2. 將這些檢索到的信息與輸入結(jié)合起來(lái)，作為生成模型的輸入

• 模型通過(guò)一個(gè)檢索系統(tǒng)（通常是預(yù)先訓(xùn)練好的檢索模型或者是簡(jiǎn)單的基于關(guān)鍵詞的檢索系統(tǒng)）在數(shù)據(jù)存儲(chǔ)中搜索相關(guān)的文檔/信息片段
• 返回一組與查詢最相關(guān)的文檔/信息片段，隨后被編碼為向量形式。通常使用預(yù)訓(xùn)練的語(yǔ)言模型（如BERT、RoBERTa等）來(lái)完成。
• 融編碼后的文檔向量與原始查詢的表示被融合，作為生成模型的輸入。生成模型（如GPT）然后根據(jù)這些信息生成最終的輸出文本。
• 生成模型不僅考慮了原始輸入的信息，也考慮了檢索到的相關(guān)信息。

3. 生成更加準(zhǔn)確和信息豐富的文本

• 生成模型輸出的文本被呈現(xiàn)給用戶，作為對(duì)原始查詢的回答或補(bǔ)充信息。

五、優(yōu)勢(shì)

1. 成本低，無(wú)需模型訓(xùn)練

通過(guò)檢索現(xiàn)有的知識(shí)庫(kù)，增強(qiáng)模型的回復(fù)質(zhì)量，相比f(wàn)ine-tune的微調(diào)模型而言，成本更低，無(wú)需對(duì)模型進(jìn)行重新訓(xùn)練。

2. 增強(qiáng)模型輸出的可信度

Reg生成的回答可以附帶對(duì)應(yīng)的引用來(lái)源，用戶點(diǎn)擊引用來(lái)源后，可以查看對(duì)應(yīng)的引用內(nèi)容，可以隨時(shí)驗(yàn)證模型回答的準(zhǔn)確性，從而增加對(duì)模型輸出的信任。

3. 增強(qiáng)模型輸出的專業(yè)性

通過(guò)檢索知識(shí)庫(kù)中的信息，可以有效減少模型作出錯(cuò)誤判斷的可能性，并且通過(guò)檢索知識(shí)庫(kù)加上提示詞的優(yōu)化可以滿足不同行業(yè)或者客群的定制話需求

4. 能夠始終訪問(wèn)最新的數(shù)據(jù)

知識(shí)庫(kù)可以實(shí)時(shí)更新便于調(diào)用最新的信息和數(shù)據(jù)，對(duì)于實(shí)時(shí)需要獲取信息的領(lǐng)域尤為重要，比如教育醫(yī)療和金融領(lǐng)域。

六、局限性

不能根治LLM的本質(zhì)局限。

不會(huì)改變推理能力，模型參數(shù)不變，模型固有能力不變，如果模型本身參數(shù)不足，在理解和推理上存在固有的缺陷，單純用Rag技術(shù)，也無(wú)法提高模型的輸出質(zhì)量。