在人工智能的疆域中，大語言模型（LLM）正以其強大的能力改變著我們與機器的互動方式。文章詳細介紹了提示框架、提示工程和反向提示工程這三個關鍵知識板塊，以及它們如何幫助企業(yè)級應用中的LLM克服數據偏差，提升生成結果的一致性和可控性。

在企業(yè)級應用中使用LLM（大語言模型），最重要的便是提示詞的設計。提示詞設計有3個重要的知識版塊，分別是：提示框架、提示工程、反向提示工程。

提示框架：是一種結構化的提示詞描述方式，用于引導模型學習數據的特征和模式，比較常用的提示框架包括CREATE提示框架（即：角色、請求、示例、調整、輸出類型、附加功能）等等。

提示工程：具體來說，提示工程它是一組提示策略的組合，幫助LLM克服數據偏差，以及解決生成結果的一致性和可控性。具體的策略包括：給定樣本、思維鏈、生成知識提示、提示一致性、等其他策略。

反向提示工程：指通過LLM從輸出文本反向獲取提示信息，優(yōu)化了人工撰寫提示詞的不完備性。

在應用LLM的過程中，如果是簡單的業(yè)務，可能只需要一系列簡單的提示詞組合即可實現業(yè)務訴求。但是大部分需要使用LLM的業(yè)務，并非是簡單的業(yè)務，它需要綜合考慮多系統(tǒng)、多角色、多任務的協(xié)同，此時再通過簡單的提示詞，將無法實現復雜的業(yè)務需求。而“提示工程”便是解決復雜業(yè)務過程中的利器。

今天我們主要來介紹一下LLM的高階應用「提示工程」相關的關鍵策略。

一、給定樣本提示

給定樣本提示策略，即可向LLM提問時，為LLM提供正負樣本。具體的策略包括：零樣本提示、單樣本提示、少樣本提示。

1、零樣本提示零樣本提示的關鍵步驟包括詳細描述任務需求和期望的模型響應樣式，并將其構造為提示信息，然后使用該提示信息來引導大語言模型生成相應的結果。

零樣本提示一方面避免了人工數據標記的高成本，另外能夠更好地保留預訓練模型所獲得的知識。但是零樣本提示也存在一些問題，它很大程度上依賴于LLM模型本身的能力，擁有更高的不可控性。

2、單樣本提示單樣本提示，即在輸入的提示詞中，提供一個示例，其目標是在僅有的提示信息下，使模型產生與給定主題或場景相關的連貫、合理和準確的輸出。

單樣本提示的優(yōu)點在于高效的計算效率和強泛化能力。單樣本提示也存在一定的挑戰(zhàn)，如如何確保生成文本的質量和準確性、如何平衡多樣性和連貫性等。

3、少樣本提示少樣本提示在零樣本提示的基礎上提供了極少量的訓練示例來輔助模型完成特定任務。少樣本提示的特點包括使用1～10個訓練示例，結合自然語言描述的提示信息，直接引導模型生成新的響應，無須額外微調。

示例的主要作用是減少提示信息的歧義，提高模型對任務理解的準確度。同時，該方法仍保留了預訓練模型的知識，避免過擬合于少量示例。

二、鏈式思維提示

鏈式思維提示是一種先進的提示工程技術，它通過鼓勵大型語言模型（LLM）生成中間推理步驟來增強模型在復雜推理任務上的性能。這種方法特別適用于需要多步驟邏輯推理的問題，如算術、常識和符號推理等。

相較于其他提示方法，鏈式思維提示具有以下幾個優(yōu)點：

1、鏈式思維提示可以引導模型進行復雜推理，使模型能夠在邏輯鏈的引導下進行多步驟的推理過程，而不僅僅進行簡單的預測。

2、使用鏈式思維提示生成的輸出更符合邏輯，具有更好的連貫性和一致性，使得模型的響應更加合理和可信。

3、鏈式思維提示的過程具有更高的可解釋性和可檢驗性，因為每個步驟都可以被分析和評估，從而增加了模型的可靠性。

4、鏈式思維提示可以融合不同的思維技能，使得模型能夠在多個維度上進行推理和思考，有效提高了模型的綜合能力。

鏈式思維提示，核心應用了思維鏈的邏輯。在具體的指令工程設計過程中，提示詞主要以：思維鏈提示、自我一致性與思維鏈提示、思維樹3種方式來進行設計，具體采用哪一種，可根據業(yè)務的復雜程度來定，如下圖所示：

對比4種模式：

輸入/輸出（IO）：直接提問，然后輸出結果；

思維鏈提示（CoT）：將一個問題拆解為一個個小問題，然后串聯起來；

自我一致性與思維鏈提示（Cot-SC）：

對于一個復雜的推理問題，可以有多種不同的推理路徑，但最終都能得出正確的答案，有點兒類似于條件判斷 + 多條鏈式思維提示；

思維樹(ToT)：通過構建一棵思維樹來分解復雜問題，并逐步推進思考過程，最終達到解決問題的目的，擁有更強的問題處理能力。

三、生成知識提示

“生成知識提示”（Generated Knowledge Prompting）是一種技術，它要求大型語言模型（LLM）在生成響應之前，先生成與問題相關的可能有用的信息。這種方法由兩個中間步驟組成：知識生成和知識集成。

1、知識生成：在這一步驟中，要求LLM生成有關問題的一些事實。這些事實以few-shot的方式進行提示，即模型會生成多個不同的完成，以提供多個可能的知識片段。

2、知識集成：接下來，使用生成的知識來增強問題，并用這些增強的問題來提示LLM，以獲得最終答案。例如，如果問題是關于袋鼠有多少肢體的，那么在知識生成步驟中，模型可能會生成關于袋鼠是有袋動物和它們有5條肢體的知識。然后，這些知識被用來增強問題，模型會根據這些增強的問題給出最終答案

這種方法顯示了對各種常識數據集的改進，并且不需要對知識進行微調（有監(jiān)督訓練）或訪問結構化的知識庫，實驗結果證明，這種提示方法優(yōu)于少樣本提示、向量庫檢索方式、微調方式

在實際應用中，生成知識提示技術可以提高模型在常識推理任務上的性能，尤其是在模型需要更多關于世界知識的任務時。

通過先從語言模型中生成知識，然后在回答問題時提供這些知識作為額外的輸入，可以獲取更優(yōu)的結果。這種技術不僅可以提高模型的推理能力，還可以增加預測結果的穩(wěn)定性和準確性

四、其他策略技巧

提示工程除了之前介紹的一些策略外，還有一些其他的一些策略，例如：結合其他能力、主動學習、強化反饋提示等。

1、結合其他能力

提示工程，可以結合“自動推理和工具使用提示”、“多模態(tài)連續(xù)學習提示”等提示策略來增強模型對提示信息的理解，綜合利用更多信息可以生成更豐富的響應。

另外多模態(tài)連續(xù)學習提示是一種將多模態(tài)信息與鏈式思維提示相結合的技術。其主要思路包括提供包含圖像、音頻、視頻等非文本模態(tài)的信息，構建鏈式多步驟的語言提示來引導思考，并將每步的提示信息與不同模態(tài)的內容相結合，形成多模態(tài)輸入。模型通過學習多模態(tài)信息，完成鏈式推理，并生成最終的言語響應。

2、主動學習

通過讓模型主動請求信息的方式來改進其對提示信息的理解，如主動提示、ReAct提示等，可以使對話更符合真實情況，減少誤解。

3、強化反饋提示

強化反饋提示是一種利用人類用戶的反饋來持續(xù)改進模型對提示信息的理解能力的方法。其核心思想是通過用戶對模型生成響應的正反饋和負反饋，不斷優(yōu)化模型的表現。

用戶的反饋意見被收集，并與相應的提示示例進行標記，形成帶有反饋的提示—響應對作為訓練數據，用于微調模型。通過強化用戶反饋的學習過程，模型對提示信息的理解能力得到持續(xù)增強。