大模型的應(yīng)用，其實在醫(yī)院、銀行這種專業(yè)性非常強、數(shù)據(jù)比較多的行業(yè)會非常使用。本文就通過案例介紹了一個銀行的實施案例，供大家參考。

目前大語言模型（Large language mode，LLM），以下簡稱LLM，非?；鸨?，各種基于LLM的產(chǎn)品如雨后春筍般出現(xiàn)。

以O(shè)penAI推出的GPT4為代表的LLM產(chǎn)品，為大家展示了LLM在對知識整理、歸納、推理、總結(jié)方面強大的能力。LLM借助于思維鏈（Chain Of Thought，CoT）技術(shù)，可以使LLM生成推理路徑，將復(fù)雜問題拆解為多個簡單步驟分別處理，從而模擬人類思考的過程。

OpenAI近期推出的Sora產(chǎn)品，同樣令人震撼，給出一些提示詞，Sora便可以根據(jù)文本生成一段生動的視頻，效果不亞于專業(yè)的視頻工作室耗費幾天做出來的視頻。

例如通過提示詞: 一段廣角視頻，一輛拉力車穿過紅杉林，出現(xiàn)在樹后，在急轉(zhuǎn)彎時向空中噴灑泥土，電影膠片拍攝于35毫米景深 。

Sora會生成一段高清的10秒左右的視頻，非常逼真。

大家有興趣可以使用Sora體驗一下。

由此可見LLM在人機對話、知識推理、歸納總結(jié)、圖片和視頻生成上功能確實非常強大，只要我們給定的提示詞足夠恰當，LLM便能給出我們想要的結(jié)果。

很多垂直領(lǐng)域，已經(jīng)出現(xiàn)了許多LLM產(chǎn)品。

本文收集整理了一些，大家有興趣的可以重點深入了解。一些關(guān)于金融領(lǐng)域的LLM產(chǎn)品主要基于金融知識與問答，金融機構(gòu)可以作為增值服務(wù)提供給客戶，是一個非常不錯的應(yīng)用場景。

一、銀行使用大模型的場景

對于銀行而言，LLM產(chǎn)品的應(yīng)用場景有很多。

任何工具的使用，其主要目標是提升客戶服務(wù)質(zhì)量，節(jié)省企業(yè)運營成本，增加企業(yè)收益以及提升企業(yè)社會效益。概括下來，就是降本增效。

我們知道，銀行的主營業(yè)務(wù)主要是存款業(yè)務(wù)、貸款業(yè)務(wù)、外匯與國際業(yè)務(wù)，支付和結(jié)算、投資理財、托管、電子銀行以及銀行卡業(yè)務(wù)等。

除此之外，還有清算、繳費、代理發(fā)行金融債券、票據(jù)貼現(xiàn)、代收代付等業(yè)務(wù)。很多銀行也推出了銀行業(yè)務(wù)相關(guān)的信息平臺服務(wù)，例如招商銀行的CBS（Cross-bank Solution for Cash Management，跨銀行現(xiàn)金管理平臺）。

如果從銀行服務(wù)的視角來看，針對個人業(yè)務(wù)和企業(yè)業(yè)務(wù)的服務(wù)劃分，可以進行如下劃分。

• 個人業(yè)務(wù)：信用卡、私人銀行、個人貸款、儲蓄業(yè)務(wù)、居家生活、投資理財、跨境金融、個人手機與網(wǎng)上銀行等。
• 企業(yè)業(yè)務(wù)：國內(nèi)業(yè)務(wù)、跨境金融、投資銀行、資產(chǎn)托管、同業(yè)金融、企業(yè)財富管理、融資租賃、企業(yè)手機與網(wǎng)上銀行等。

銀行利潤的主要來源是存貸利差。

因此，如何能最大限度減少獲客成本，識別優(yōu)質(zhì)貸款客戶，提升放貸質(zhì)量，減少銀行壞賬帶來的損失，是大模型產(chǎn)品具有應(yīng)用價值的場景之一。通過對歷史客戶數(shù)據(jù)進行分析，給出相對恰當?shù)氖谛沤Y(jié)果，快速審批，全方位風(fēng)險管理。

對于銀行客戶服務(wù)水平，也是提升客戶滿意度非常關(guān)鍵的指標；利用大模型真實地與客戶進行對話，并且非常精準地解答用戶提出的問題，可以極大降低銀行的客服人工成本。

目前市面上已經(jīng)有類型的產(chǎn)品，機器對話的仿真程度已經(jīng)同真人對話效果相差無幾。大模型也可以為銀行的管理者快速提供需要的信息，對經(jīng)營數(shù)據(jù)進行分析，理解并快速繪制圖表。

相比于通過人工以周報的形式向銀行管理層呈現(xiàn)數(shù)據(jù)圖表，往往需要大量人工操作數(shù)據(jù)分析平臺進行數(shù)據(jù)整理，大模型可以快速動態(tài)提供數(shù)據(jù)，為管理層提供決策依據(jù)，進而提升銀行的管理效率與管理水平。

對于新產(chǎn)品創(chuàng)新，大模型可以通過其超強的計算能力與數(shù)據(jù)分析，能夠快速進行金融計算與建模，根據(jù)當前銀行的歷史產(chǎn)品銷售情況，并結(jié)合客戶畫像，結(jié)合利率計算、風(fēng)險評估。給出最優(yōu)的產(chǎn)品方案。

三、銀行構(gòu)建大模型的方式

根據(jù)我們對銀行使用大在模型場景的梳理后發(fā)現(xiàn)，在大模型還沒有出現(xiàn)之前，其實銀行的業(yè)務(wù)已經(jīng)存在，并且也已經(jīng)通過數(shù)智化的方式對這些業(yè)務(wù)進行賦能。

例如基于大數(shù)據(jù)對信貸用戶的智能評分與授信，根據(jù)用戶的使用習(xí)慣和畫像進行個性化信息或是產(chǎn)品的推薦，客戶服務(wù)呼叫中心使用的NLP（Natural Language Processing，自然語言處理）、STT（Speech To Text，語言轉(zhuǎn)文本）以及TTS（Text To Speech，文本轉(zhuǎn)語言）。

大模型的出現(xiàn)，可以簡單理解為是原有銀行人工智能應(yīng)用的升級，使計算機變得更聰明，產(chǎn)品效果更絲滑，用戶體驗更完善。

由于篇幅有限，本文主要以客戶服務(wù)NLP為場景，來講解銀行構(gòu)建大模型的方式。實現(xiàn)為銀行的每位客戶建立7×24小時隨身專屬顧問，降低銀行人工客服與專屬顧問成本，提升銀行智能客戶服務(wù)水平，增加客戶粘性，提升用戶滿意度與忠誠度。

以消費貸款為例，很多用戶收到銀行的營銷信息時，會遇到這樣的問題，短信提醒告知用戶有獲得了一筆授信額度，利率非常優(yōu)惠，但當用戶實際操作時，卻被告知沒有額度，或是利率非常高，這樣給用戶的體驗非常差，失去用戶信任，當下次用戶再收到這樣的營銷信息時，便很難被吸引，最終導(dǎo)致用戶流失。

構(gòu)建銀行客服場景的NLP大模型產(chǎn)品，可以通過以下方式進行。

3.1 Embedding 初始化

Embedding基本的理念是用一個低維的向量表示一個物體，這個向量可以是一個詞，一個商品，或是一個執(zhí)行的任務(wù)等。

對于銀行智能客服，用戶輸入的一般是一段文本，如果使用大模型，Embedding的過程，也是Token化的過程。

Token是大模型中常見的交互與表示方式，也是一種計費方式。例如在GPT-4模型中，每1000個token的費用為0.03美元。對于銀行客服產(chǎn)品的大模型而言，將內(nèi)容Token化也便于從客觀的視角評價產(chǎn)品價值。

最后可以通過計算實際同用戶互動的Token數(shù)，來評估銀行客戶大模型的產(chǎn)品為銀行實際帶來的價值。

如何將內(nèi)容Token化，可以按字分隔，也可以按詞分隔。例如，用戶在向智能客服咨詢，“本期信用卡賬單應(yīng)還款是多少？”。

• 如果按字Token化，則為：“本｜期｜ 信｜用｜卡｜賬｜單｜應(yīng)｜還｜款｜是｜多｜少｜？”。
• 如果按詞Token化，則為：“本期 ｜信用卡｜賬單｜應(yīng)｜還款｜是｜多少｜？”。

我們知道，其實句子有上下文，通過上下文的關(guān)聯(lián)，實現(xiàn)語義的表達。

如果有足夠多的語料，也可以將句子作為Token。

3.2 Token 標注

將內(nèi)容Token化之后，需要對Token進一步進行標注。

標注的作用是為了增加計算機對于用戶語義甚至是情感的理解，提升機器回答用戶問題的精準度。

通過對用戶內(nèi)容Token標注，我們可以對用戶內(nèi)容進行實體抽取，用戶的情感分析，還可以根據(jù)標注的內(nèi)容，同關(guān)系圖譜或知識圖譜進行關(guān)聯(lián)，發(fā)掘更多信息。

假設(shè)我們有一個標簽集合，集合的內(nèi)容是 {scop,name,action,amount,type,…}。我們根據(jù)標簽的集合，以及字典信息，對用戶提問“本期信用卡賬單應(yīng)還款是多少”的文本內(nèi)容做如下標注。

其中，B代表Begin，意味著標注的開始，E代表標注的結(jié)束。如果一個詞比較長，中間有多個字，可以用多個大寫的I表示。

橫線- 后面的內(nèi)容是對內(nèi)容的標注。例如，信用卡，我們認為是一個名稱，可以標注為 【name】；還款是一個動作，我們可以標注為【action】。

對于傳統(tǒng)的銀行智能客服機器人，其實這一步完成之后，基本就可以搭建起一個簡單的客服機器人，通過對內(nèi)容配置相應(yīng)的執(zhí)行任務(wù)，結(jié)合相似度計算或是簡單的機器學(xué)習(xí)就可以回答用戶問題。但是在大語言模型，我們還需要進一步對內(nèi)容進行訓(xùn)練，擴展客服機器人的服務(wù)邊界，讓用戶感覺更像是同真人在溝通。

同時，在服務(wù)用戶的同時，還可以像真人客服一樣“順便”為用戶推薦些產(chǎn)品。

3.3 Attention機制

Attention機制，出現(xiàn)在2017年的一篇論文《Attention is All You Need》中，在這篇論文中提出了Transformer的模型架構(gòu)，并針對機器翻譯這種場景做了實驗，獲得比較好的效果。

早些時候使用Seq2Seq模型，即序列到序列模型，可用于文本翻譯，主要原理是：接收的輸入是一個（單詞、字母、圖像特征）序列，輸出是另外一個序列。

但是Seq2Seq模型有個不足之處是僅是根據(jù)序列進行映射，不考慮上下文，語義，語法，模型效果不是很好。Transformer模型中提出了Self Attention的結(jié)構(gòu)，取代了以往 NLP任務(wù)中的 RNN 網(wǎng)絡(luò)結(jié)構(gòu)。

用戶輸入在Encoder（編碼器）的文本數(shù)據(jù)，首先會經(jīng)過Self Attention 層，Self Attention層處理詞的時候，不僅會使用這個詞本身的信息，也會使用句子中其他詞的信息。

Attention機制解決了【Encoder（編碼器）-Decoder（解碼器）】結(jié)構(gòu)存在的長輸入序列問題，其功能可以被描述為將查詢和一組鍵值對映射到輸出，其中查詢（Q）、鍵（K）、值（V）和輸出（O）都是向量，輸出可以通過對查詢的值加權(quán)來計算。

簡單理解，就是先用問題輸入Query，檢索Key- Value 的記錄，找到和問題相似的記錄中的Key值，計算相關(guān)性的分數(shù)，然后對Value Embedding進行加權(quán)求和，從而衍生出了Self Attention中的Q、K、V的表示。

主要實現(xiàn)步驟如下圖所示：

3.4 內(nèi)容安全

銀行的大模型產(chǎn)品，在產(chǎn)品形態(tài)上，并不等同于閑聊機器人。因為閑聊機器人，為用戶提供的服務(wù)主要是解決用戶“無聊”的場景，而銀行客服機器人，在同用戶聊天互動的同時，要確?；卮鸾Y(jié)果的精準。必須給出嚴謹?shù)慕Y(jié)果，否則寧愿不回答。因此對于內(nèi)容的安全，需要格外關(guān)注。

確保內(nèi)容安全，主要可以通過三個方面進行內(nèi)容安全控制。

1. 用戶輸入內(nèi)容進行控制：屬于事前控制的一種方式，利用關(guān)鍵詞識別，以及語義識別，對用戶輸入的內(nèi)容進行安全校驗，判斷是否存在內(nèi)容安全風(fēng)險。如果存在風(fēng)險，則給出相應(yīng)的提示，用戶的內(nèi)容不會作為大模型語料庫的輸入信息。
2. 大模型自身內(nèi)容處理：屬于事中控制的一種方式，用戶輸入的內(nèi)容已經(jīng)進入銀行智能客服大模型的引擎當中，大模型可以根據(jù)用戶輸入內(nèi)容是否屬于歷史模型構(gòu)建范圍內(nèi)的知識進行判斷，如果無法處理，則明確返回用戶無法理解用戶內(nèi)容，需要后續(xù)學(xué)習(xí)改進。
3. 大模型輸出結(jié)果控制：屬于事后控制的一種方式，這時大模型已經(jīng)根據(jù)用戶的提問內(nèi)容給出相應(yīng)的答案，即將輸出給用戶，但發(fā)現(xiàn)內(nèi)容存在安全風(fēng)險。則需要對結(jié)果進行過濾，或者重新觸發(fā)大模型的處理機制，告知大模型這個答案存在內(nèi)容安全風(fēng)險，需要重新生成新的結(jié)果。

總之，在銀行智能客服產(chǎn)品使用大模型時，可以引入CGT(Controlable Text Generation，可控文本生成)來確保內(nèi)容質(zhì)量，降低內(nèi)容安全風(fēng)險。

3.5 效果評測

在作者之前出版的《產(chǎn)品經(jīng)理知識?！愤@本書中，我們給出了對于人工智能效果評價的機制。對于軟件工程通用的系統(tǒng)穩(wěn)定效果，可以通過壓力測試獲得相應(yīng)的評測結(jié)論。

對于銀行智能客服大模型的運行效果，我們可以準備測試數(shù)據(jù)集，來進行驗證，一般而言，測試數(shù)據(jù)集占整個數(shù)據(jù)集的20%相對最為合適。

通過準確率、精準率與召回率進行評價。

• 準確率（Accuracy Ratio）：預(yù)測【正確的結(jié)果】占【總樣本】的百分比。即：AR =（TP+TN）÷（TP+FN+FP+TN）
• 精準率（Precision Ratio）：也稱為查準率，針對【預(yù)測結(jié)果】對所有被預(yù)測為正的樣本中實際為正的樣本的概率。即：PR = TP÷（TP+FP）
• 召回率（Recall Ratio）：也稱為查全率，針對【原樣本】在實際為正的樣本中被預(yù)測為正樣本的概率。即：RR = ?TP ÷（TP+FN）

從公式中我們可以看出，精準率和召回率的分子者為TP，但是分母不同，在實際操作中，想要更高的召回率，精準率就會降低。

為了平衡精準率與召回率的關(guān)系，我們使用F1分數(shù)來作為指標。即：

F1 = （2×精準率×召回率）÷（精準率+召回率）

四、銀行大模型產(chǎn)品實踐樣例

4.1 總體架構(gòu)

我們可以通過一個簡單的架構(gòu)，實現(xiàn)銀行大模型產(chǎn)品的MVP（Minimum Viable Product，最小可行）版本。

在銀行大模型產(chǎn)品MVP版本中，我們通過銀行小程序、銀行App或是網(wǎng)上銀行的服務(wù)，為用戶提供智能文本對話服務(wù)。小程序、App和Web作為承載銀行大模型智能客服的渠道，通過統(tǒng)一的應(yīng)用API（Application Programming Interface，應(yīng)用程序編程接口）完成功能接入，實現(xiàn)客服功能。

• 內(nèi)容安全模塊，作為接收用戶輸入內(nèi)容的第一道安全防線，將一些用戶輸入的敏感內(nèi)容或是與銀行客服無關(guān)的內(nèi)容進行過濾；后續(xù)對大模型的內(nèi)容輸出進行再次識別，防止不當或是敏感內(nèi)容傳遞給客戶。
• 銀行客服引擎，是用戶與銀行客服產(chǎn)品的紐帶，負責(zé)識別客戶，連通用戶體系，根據(jù)用戶畫像，對用戶提問進行提煉，結(jié)合用戶歷史服務(wù)數(shù)據(jù)，生成恰當?shù)腜rompt給到大模型，甚至可以利用客服引擎歷史積累的數(shù)據(jù)，作為大模型的學(xué)習(xí)樣本，對大模型進行“蒸餾”以降低部署成本。
• 用戶體系承載著用戶基本信息，對用戶進行身份認證，根據(jù)用戶歷史的數(shù)據(jù)，生成用戶畫像，基于用戶和賬戶體系，建立同銀行核心數(shù)據(jù)的交互。任務(wù)執(zhí)行則是根據(jù)某些場景建立相應(yīng)的規(guī)則和策略，執(zhí)行相應(yīng)的任務(wù)。

例如，用戶在智能客服對話框中輸入“本期信用卡賬單應(yīng)還款是多少？”，大模型識別為用戶意圖是查詢本期信用卡的賬單，則結(jié)構(gòu)化相應(yīng)的執(zhí)行參數(shù)給到任務(wù)執(zhí)行模塊，由任務(wù)執(zhí)行模塊到銀行核心中，執(zhí)行相應(yīng)信息的獲取，并將相關(guān)內(nèi)容返回給大模型，由大模型加工處理后，呈現(xiàn)給用戶。

4.2 案例實踐

接下來我們著重對大模型的構(gòu)建作為產(chǎn)品實踐樣例。

同樣以用戶同客服咨詢“本期信用卡賬單”內(nèi)容為例，我們的基本目標是通過對用戶針對詢問“本期信用卡賬單”不同的提問內(nèi)容，通過大模型學(xué)習(xí)，智能客服均可以識別用戶意圖，給出本期信用卡賬單金額的回答結(jié)果。

1）構(gòu)建學(xué)習(xí)語料

我們根據(jù)用戶歷史的銀行客服問答數(shù)據(jù)作為大模型的語料輸入，在本案例中，我們僅選取了三條數(shù)據(jù)作為實驗數(shù)據(jù)。

以下源代碼給出了如何將用戶輸入的內(nèi)容建立同索引的映射關(guān)系，并給出了輸出結(jié)果樣例。

在實際操作中，語料庫的內(nèi)容非常龐大，打印語料庫的功能需要注釋掉。由于本文實驗數(shù)據(jù)非常少，我們選擇將語料的內(nèi)容進行顯示輸出，便于直觀查看，也有利于后期的模型調(diào)試。

2）模型訓(xùn)練

為了簡化計算，我們根據(jù)收集的主料庫中隨機選取一條語料進行模型訓(xùn)練。同樣我們將機器隨機挑選的語料，張量的形狀，也進行了打印輸出，方便觀測運行過程。

3）定義編碼器和解碼器

由于本案例實踐使用的是非?；A(chǔ)的Seq2Seq模型，編碼器和解碼器也相對比較簡單。包含了嵌入層和RNN（Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)）層。如果語料數(shù)據(jù)特別龐大，我們可以調(diào)整input_size和output_size參數(shù)，以適應(yīng)不同的數(shù)據(jù)量。

另外也可以調(diào)整RNN的相關(guān)參數(shù)，增加模型復(fù)雜度和容易，不過這樣機器運算的代價也會同步增加。

4）整合編輯器和解碼器

大模型中包含了編輯器和解碼器，因此我們需要將兩者進行整合，形成一個總模塊，便于處理用戶輸入的序列，并給出相應(yīng)的結(jié)果輸出。

5）定義訓(xùn)練函數(shù)

在這個訓(xùn)練模型中，每一個Epoch都會隨機選擇一個語料進行訓(xùn)練。本文中由于語料稀少，訓(xùn)練模型的訓(xùn)練輪次設(shè)置的也不是很多。實際銀行部署過程中，銀行的AI服務(wù)器非常強大，可以結(jié)合海量數(shù)據(jù)進行訓(xùn)練，從而提升結(jié)果的精準度。

6）結(jié)果輸出

由于語料數(shù)據(jù)非常少，因此模型的準確度是并不是很高，在輸入一些類似的其他問題，可能會導(dǎo)致回答不準確。我們的目標是希望用戶在輸入信用卡賬單或是理解推薦之類的問題時，銀行智能客服的大模型能給出相應(yīng)的結(jié)果。

在本文實踐案例中，我們結(jié)合上文的“本期 信用卡 賬單 應(yīng) 還款 是 多少”，作為輸入，銀行客服大模型會給去【執(zhí)行賬單應(yīng)還款額查詢】策略，從而觸發(fā)相應(yīng)的任務(wù)機制，從銀行核心系統(tǒng)提取用戶本期信用卡賬單的還款金額數(shù)據(jù)。

當用戶輸入是咨詢“有什么理財產(chǎn)品”相關(guān)，則銀行智能客服會去【執(zhí)行理財產(chǎn)品推薦】，調(diào)用銀行產(chǎn)品推薦系統(tǒng)，獲得相應(yīng)的理財產(chǎn)品推薦數(shù)據(jù)返回給用戶。

五、總結(jié)與展望

本文從當下最流行的大模型應(yīng)用出發(fā)，結(jié)合對銀行使用大模型場景的方式，給出了基礎(chǔ)的銀行構(gòu)建大模型的方式。通過最后銀行大模型產(chǎn)品實踐樣例的搭建，完成了銀行大語言模型產(chǎn)品MVP版本的構(gòu)建。

當然，本文也有不足之處，由于大模型涉及的內(nèi)容非常多，受于篇幅所限，不能面面俱到。

大模型的發(fā)展日新月異，本文的內(nèi)容僅基于已的理論的應(yīng)用，比較陳舊。

另外，在本文的實踐案例中，僅使用了基礎(chǔ)的Seq2Seq模型，沒有使用到Transformer，也沒有用到Attention機制，語料的規(guī)模也不夠，還不足以稱為“大模型”。后期我們會專門針對Transformer進行詳細講解。

由于大模型目前涉及的場景非常多，各種開源的大模型，各種垂直細分領(lǐng)域的大模型產(chǎn)品如雨后春筍般出現(xiàn)。

很顯然，在銀行領(lǐng)域，大模型會成為銀行經(jīng)營新的賦能工具。大模型在圖表理解和金融計算方面能力非常強大，能夠解析和解釋各類金融圖表，包括識別圖表類型、理解數(shù)據(jù)含義、分析趨勢和模式；能夠進行金融計算和建模，包括利率計算、投資組合優(yōu)化、風(fēng)險評估等。

大模型可以對傳統(tǒng)銀行風(fēng)險管理、反欺詐、個性化推薦、貸款審批、經(jīng)營決策等現(xiàn)有的功能進行重構(gòu)，使這些傳統(tǒng)功能煥發(fā)新的生機，降低銀行經(jīng)營成本，提升銀行運營效率，將會帶來質(zhì)的飛躍，成為銀行新的發(fā)展動能。

參考文獻

[1]王佳亮.產(chǎn)品經(jīng)理知識棧[M].出版地:人民郵電出版社,2023

[2]黃佳.GPT圖解 大模型是怎樣構(gòu)建的[M].出版地:人民郵電出版社,2024

[3]蝸牛海膽. (2021). NLP入門系列1：attention和transformer [EB/OL]. https://blog.csdn.net/ahdaizhixu/article/details/119749361

[4]潘小小. (2023). 【經(jīng)典精讀】萬字長文解讀Transformer模型和Attention機制：attention和transformer [EB/OL]. https://zhuanlan.zhihu.com/p/104393915