從提高搜索效率、輔助學習到公文寫作和法律咨詢，AI的應用場景日益廣泛。本文將詳細介紹大模型的基本概念、工作原理及其在2024年的主要應用，幫助讀者全面了解AI大模型的潛力和實際用途。

你是否遇過這種情況？

想搜索一個問題，搜索出來的答案亂七八糟？

特別是防不勝防的廣告！嚴重干擾了我們的判斷？

有了AI之后，你只需要輸入想要搜索的問題，比如搜索“小米蘇7是否值得買？他的配置如何？”這樣一個問題。

AI就能幫你進行全網(wǎng)分析，總結(jié)答案！

這是不是比傳統(tǒng)的搜索方式更加高效方便，同時還避免了廣告的干擾！直擊想要的答案！

今天小俠將用一個視頻，帶你快速認識AI！

這期視頻作為【AI入門科普課】系列視頻的第二期作品，下面我將從：

1. 關(guān)于“大模型”，你必須知道的幾件事；
2. 大模型是如何工作的；
3. 2024年大模型常見應用

三個方面進行講解，看完之后你將收獲：

1. 大模型的特點和重要概念以及工作方式；
2. 了解大模型的基本情況和產(chǎn)品；
3. 3解大模型的應用場景及創(chuàng)業(yè)機會；

廢話不多說，正片馬上開始。

一、關(guān)于“大模型”，你必須知道的幾件事；

從2022年底ChatGPT的一鳴驚人，再到持續(xù)進行的”百模大戰(zhàn)”，”大模型”已經(jīng)逐漸成為了技術(shù)和公眾領(lǐng)域的熱點。

大模型是人工智能領(lǐng)域的一個重要里程碑，有人曾經(jīng)類比，大模型的發(fā)明相當于人類學會使用火的時刻。

這種類比，足以看出大模型在計算機技術(shù)領(lǐng)域的重要性。

在對大模型進行深入了解之前，我們有必要回望一些人工智能的重要概念，這不僅可以讓我們了解大模型是如何被塑造的，更能幫助我們?nèi)娴乩斫獯竽Ｐ偷脑砗蜐撃堋?/p>

人工智能也稱之為AI，是一門使機器模擬人類智能過程的學科，其中具體包括學習、推理、自我修正、感知和處理語言等功能。人工智能涉及計算機科學、數(shù)學、心理學等眾多領(lǐng)域的知識，通過創(chuàng)建能夠?qū)崿F(xiàn)智能行為的算法或軟件系統(tǒng)，來表現(xiàn)出與人類的智能行為相似的特性。

人工智能按照技術(shù)實現(xiàn)的不同可被劃分為多個子領(lǐng)域，各個子領(lǐng)域之間往往相互關(guān)聯(lián)和影響。

關(guān)于這方面的知識小俠之前分享過【AI入門科普第一課，一張圖看懂AI關(guān)系網(wǎng)】的視頻，感興趣的伙伴可以進入主頁翻看學習，這里就不做過多講解。

1. 大模型的到來！

2021年，斯坦福大學的研究員團隊發(fā)表了一篇論文，提出了Foundational Models，中文意思是基礎(chǔ)模型，即大模型的概念。簡單來說，它是一類具有大量參數(shù)，通常在十億以上，能在極為廣泛的數(shù)據(jù)上進行訓練，并適用于多種任務和應用的預訓練深度學習模型。

2022年11月，OpenAI公司發(fā)布了ChatGPT。這是一種先進的人工智能語言模型，專為對話交互而設計，具有強大的自然語言理解和生成能力，可以完成撰寫論文、郵件、腳本、文案、翻譯、代碼等任務。ChatGPT的發(fā)布標志著AI大模型在語言理解與生成能力上的重大突破，對全球AI產(chǎn)業(yè)產(chǎn)生了深遠影響，開啟了人工智能大模型應用的新篇章。

大模型的使用方法非常簡單，我們可以直接向大模型提出需求，并獲得生動翔實的答復，例如：

可能給你會好奇，大模型是如何通過訓練得到的？

我們可以看看下面這張圖：

從圖中可以看到，大模型的訓練整體上分為三個階段：預訓練、SFT以及RLHF，其中SFT是指監(jiān)督微調(diào)，RLHF是指基于人類反饋的強化學習。

下面一起看看三個階段的具體含義：

1.1. 預訓練階段

預訓練階段類似AI從嬰兒成長為中學生的階段。

這個階段，AI就像一個小孩子，它在成長過程中需要學習很多東西。在它還小的時候，就像嬰兒一樣，它需要吸收很多信息，比如學習語言是怎么說的，了解世界是什么樣子的。

在預訓練的時候，AI會接觸到各種各樣的文字材料，就像是小孩子聽大人說話、看書一樣。它會學習語言的規(guī)律，比如哪些詞經(jīng)常一起出現(xiàn)，句子是怎么組織的。但是，這時候的AI還不太懂得怎么真正理解人們的意思，就像小孩子可能還不太明白大人的某些話。

比如，如果你問AI：“埃菲爾鐵塔在哪里？”它可能不會回答“在法國”，而是可能會說一些它之前看到過的東西，比如“東方明珠在上?！保@顯然不是我們想要的答案。

為了讓AI能夠更好地理解我們的問題并給出正確的答案，我們需要進行一個叫做“監(jiān)督微調(diào)”的過程。這個過程就像是老師教小孩子怎么回答問題一樣，我們會告訴AI正確的答案應該是什么，讓它學會如何根據(jù)我們的問題給出合適的回答。

總的來說，AI的預訓練階段就像是小孩子學習語言和知識的階段，而監(jiān)督微調(diào)就像是老師教導小孩子如何更好地理解問題和給出答案。雖然AI的預訓練和人類的成長過程有些相似，但它們還是有一些不同的地方。

1.2. 監(jiān)督微調(diào)階段

監(jiān)督微調(diào)階段類似AI從中學成長為大學生的階段。

這個階段，AI的成長過程就像我們上學一樣。在中學的時候，我們學的是一些基礎(chǔ)的知識，比如語文、數(shù)學、科學等。但是到了大學，我們就會開始學習更專業(yè)的知識，比如醫(yī)學、法律或者金融等。

監(jiān)督微調(diào)的過程就像是AI上大學，學習專業(yè)知識的階段。在這個階段，AI會接觸到很多專業(yè)領(lǐng)域的對話和知識，比如醫(yī)學對話、法律案例等。這樣，當有人問AI一個專業(yè)問題時，它就能夠給出更專業(yè)、更準確的答案。

比如，如果你問一個經(jīng)過監(jiān)督微調(diào)的AI：“埃菲爾鐵塔在哪個國家？”它就會很自信地回答：“在法國。”而不是像之前那樣，可能會給出一些不相關(guān)的答案。

但是，就像人一樣，AI有時候也會說錯話，可能會說出一些不合適的話，比如涉及色情、政治、暴力或者種族歧視的內(nèi)容。這時候，我們就需要用一種叫做RLHF，也就是基于人類反饋的強化學習的方法來進一步訓練AI。

1.3. 基于人類反饋的強化學習階段

RLHF階段類似于從大學生步入職場的階段。

想象一下，你剛剛大學畢業(yè)，開始工作了。在工作中，你做的事情可能會得到老板和客戶的表揚，也可能會遇到批評。根據(jù)這些反饋，你會知道自己哪些地方做得好，哪些地方需要改進。然后，你就會調(diào)整自己的工作方法，盡量讓自己的工作得到更多的好評。

對于AI來說，RLHF的過程也差不多。AI就像是新入職場的你，它需要學會怎么更好地回答人們的問題。在這個過程中，AI會對同一個問題給出多個不同的答案，然后人類會對這些答案進行評價，就像是給AI的答案打分一樣。

AI會根據(jù)這些分數(shù)來學習，它會想：“哦，原來這個答案得到的分數(shù)高，人們更喜歡這樣的回答。那我以后就盡量這么回答?！蓖ㄟ^這種方式，AI會慢慢學會怎么給出更符合人類喜好的答案。

簡單來說，RLHF就是讓AI通過人們的反饋來學習，就像你在工作中根據(jù)老板和客戶的反饋來提高自己的工作表現(xiàn)一樣。這樣，AI就能變得越來越懂得如何與人交流，給出更好的答案。

2. 大模型的特點

對大模型有了基礎(chǔ)的認識，下面我們在看看大模型有哪些特點。

對于基礎(chǔ)大模型來說，主要有以下四個特點，分別是：

2.1. 規(guī)模和參數(shù)量龐大

想象一下，AI模型就像是一個巨大的圖書館，里面存放著數(shù)不清的書。每本書都代表了一種知識或信息。大模型就像是一個超級大的圖書館，它有從幾億到幾千億本這樣的書。這些書也就是參數(shù)，它們幫助AI理解和創(chuàng)造非常復雜和豐富的內(nèi)容，就像圖書館里的書可以幫助我們學習世界上的各種知識一樣。

2.2. 適應性和靈活性強

把大模型想象成一個多才多藝的演員，這個演員可以很快地學會扮演不同的角色，無論是古代的武士還是現(xiàn)代的醫(yī)生。同樣，大模型也可以通過一些簡單的調(diào)整，快速適應不同的任務，比如從寫詩轉(zhuǎn)換到解答數(shù)學題，這種能力讓它在不同的領(lǐng)域都能表現(xiàn)出色。

2.3. 廣泛數(shù)據(jù)集的預訓練

大模型在開始工作之前，會接受一種特殊的訓練，就像是一個學生在正式上課前要閱讀很多書籍來獲得基礎(chǔ)知識。大模型通過閱讀大量的、各種各樣的數(shù)據(jù)，比如文章、圖片等，來學習語言的規(guī)則、圖像的特征等，這樣它就能夠理解和處理各種類型的信息。

2.4. 計算資源需求大

最后，因為大模型就像是一個需要很多資源來運作的工廠。它需要大量的存儲空間來保存所有的數(shù)據(jù)，需要很長時間來“思考”和學習，也需要很多電力來驅(qū)動它的計算過程。同時，它還需要一些特別強大的計算機硬件來支持它的工作，就像工廠需要大型機器一樣。所有這些都需要很多錢和資源來支持。

3.大模型的分類

按照大模型的應用場景，大致可以劃分為以下四類：

3.1. 大語言模型

大語言模型也稱之為LLM：是一類專注于自然語言處理(NLP)的大模型，旨在處理語言、文章、對話等自然語言文本。

這類模型就像是超級學霸，非常善于學習人類的語言，包括說話、寫作和對話。這些學霸們用一種叫做深度學習的方法來學習，就像是一個特別聰明的學生，用一種特別的學習技巧來掌握知識。

它們學習的內(nèi)容非常廣泛，包括：

• 語法：就像學習句子怎么構(gòu)造一樣。
• 語義：理解單詞和句子的意思。
• 語境：知道在不同情況下語言怎么使用。
• 文化和社會知識：了解語言背后的文化背景和社會習慣。

大語言模型可以做很多事情，比如：

• 文本生成：自己寫文章或者故事。
• 問答系統(tǒng)：回答問題，就像你現(xiàn)在問我問題一樣。
• 文本分類：把文本分到不同的類別里，比如新聞、小說等。
• 機器翻譯：把一種語言翻譯成另一種語言。
• 對話系統(tǒng)：和人進行對話，就像聊天機器人。

現(xiàn)在世界上有名的大語言模型，比如：

• GPT系列：這是OpenAI制作的，就像是一個系列的超級學霸，每個都比前一個更厲害，比如GPT-3、GPT-3.5、GPT-4等。
• Bard：這是谷歌推出的，就像是一個特別有創(chuàng)意的作家，能夠?qū)懗龊芏嘤腥さ臇|西。
• 通義千問：這是阿里推出的，就像是一個懂得很多知識的老師，能夠教我們很多東西。

這些大語言模型就像是超級助手，幫助我們更好地理解和使用語言。

3.2.多模態(tài)模型

多模態(tài)模型就像是一個多才多藝的超級AI，它不僅能讀懂文字，還能看圖、聽聲音、看視頻。這個AI能夠把這些不同的線索（模態(tài)）結(jié)合起來，找出它們之間的關(guān)系，就像在破案時把不同的證據(jù)拼湊起來一樣。

這些超級AI能夠做的事情包括：

• 視覺問答（VQA）：就像你給AI一張圖片，然后問他圖片里發(fā)生了什么，他會告訴你答案。
• 圖像描述生成：AI看了一張圖片后，能夠?qū)懗鲆欢蚊枋鰣D片內(nèi)容的話。
• 圖文檢索：如果你告訴AI一些關(guān)鍵詞，他能在一大堆圖片中找到相關(guān)的圖片。
• 文生圖：給AI一段文字，他能夠根據(jù)這段文字創(chuàng)造出一張圖片。

還有幾種特別的AI組合：

• 視覺+文本：這種AI既能看圖也能讀字，能做的事情包括圖像字幕（給圖片加文字說明），圖文檢索等。
• 音頻+文本：這種AI既能聽懂聲音也能讀字，能做的事情包括把語音轉(zhuǎn)換成文字（語音識別），或者根據(jù)文字生成語音（語音生成）。
• 音頻+視覺：這種AI既能聽懂聲音也能看到畫面，比如根據(jù)聲音創(chuàng)造一張圖片（音生圖），或者生成一個正在說話的人臉（演講人臉生成）。

簡單來說，多模態(tài)模型就像是一個能夠同時使用眼睛、耳朵和大腦的超級AI，能夠把看到的、聽到的和讀到的信息綜合起來，解決更復雜的問題。

二、大模型是如何工作的

經(jīng)過上述知識的學習，我們對大模型有了基本的了解，下面我們一起看看大模型是如何工作的！

關(guān)于大模型的工作流程，我們可以將其劃分為兩部分，分別是第一部分分詞化與詞表映射和第二部分生成文本。

下面就具體看看大模型的工作原理。

1. 分詞化（Tokenization）與詞表映射

分詞化就像是我們把一大段話拆成一句一句，然后再把每句話拆成一個一個詞的過程，拆分出來的詞就叫token。這樣做是為了讓計算機能夠更好地理解我們的話。就像我們讀書時，老師會讓我們把課文分成段落，然后學習每個段落的意思一樣。

舉個例子，如果有一個英文句子： “I want to study AI.”

我們用分詞化的方法把它拆成這樣：

• I
• want
• to
• study
• AI
• .

這樣，計算機就可以一個詞一個詞地理解這個句子了。

分詞化有不同的拆法，就像我們有時候按句子拆，有時候按段落拆一樣：

• 詞粒度分詞化：就是把句子拆成一個個單詞，這在英語里很常見。
• 字符粒度分詞化：就是把句子拆成一個個字母，這在中文里比較常見，因為中文每個字都有它自己的意思。
• 子詞粒度分詞化：就是把單詞拆成更小的部分，比如前綴、詞根和后綴。這樣做的好處是，即使是計算機沒見過的新詞，只要它是由計算機認識的部分組成的，計算機也能夠理解。

最后，每個分出來的詞也就是token，每個詞都會對應一個數(shù)字也就是token id，這個數(shù)字就像每個人都有自己的身份證號碼一樣。這樣，計算機就可以用這些數(shù)字來處理和分析句子了。

暫時無法在飛書文檔外展示此內(nèi)容

再比如中文語義下的分詞：

假設我們有這樣一句中文句子： “我愛北京天安門。”

在中文分詞化中，我們通常會遇到以下幾種方法：

1）基于詞典的分詞：這是最常見的分詞方法，就是根據(jù)一個預先定義好的詞典來切分句子。例如：

• “我”（代詞）
• “愛”（動詞）
• “北京”（地名）
• “天安門”（地名）

2）基于統(tǒng)計的分詞：這種方法會考慮詞頻，即某個詞在大量文本中出現(xiàn)的頻率。如果”北京天安門”作為一個詞組出現(xiàn)的頻率很高，那么這種方法可能會把”北京天安門”作為一個整體來分詞。

3）基于規(guī)則的分詞：這種方法會根據(jù)一些特定的規(guī)則來分詞，比如人名、地名、機構(gòu)名等的識別規(guī)則。例如，”北京”和”天安門”都可能是已知的地名，所以可以這樣分：

• “我”（代詞）
• “愛”（動詞）
• “北京天安門”（地名）

4）混合分詞方法：在實際應用中，通常會結(jié)合多種分詞方法來提高分詞的準確性。比如，可能會先用基于詞典的方法分出大部分詞，然后用基于統(tǒng)計的方法來處理一些特殊的情況。

5）子詞粒度分詞：對于新詞或者專有名詞，可能會采用子詞粒度的分詞方法。比如，如果”天安門”不是一個常見的詞，可能會被分解為”天”和”安門”。

分詞化后的句子會被轉(zhuǎn)換成一系列的詞（token），每個詞對應一個詞表中的編號（token id），計算機就可以根據(jù)這些編號來處理和分析文本了。

在實際的分詞系統(tǒng)中，分詞的結(jié)果可能會根據(jù)具體的分詞算法和使用的詞典有所不同。但無論哪種方法，分詞化的目的是為了讓計算機能夠更好地理解中文文本的結(jié)構(gòu)和含義。

2.大語言模型生成文本的過程

想象一下，大語言模型就像是一個非常聰明且經(jīng)驗豐富的作家，它可以根據(jù)你給它的開頭幾句話也就是提示文本內(nèi)容，接著寫出接下來的故事。這個作家不是一下子就寫出整個故事，而是一句一句地寫。

具體來說，這個作家的工作方式是這樣的：

• 給定提示：你給它一些開頭的句子，比如“弼小俠AI課程是”。
• 預測下一個詞：根據(jù)這些開頭的句子，作家會猜測接下來最有可能的詞是什么。比如，它可能會預測下一個詞是“非常實用的”。
• 自回歸過程：然后，作家把這個新預測的詞“非常實用的”加到之前的句子中，變成“弼小俠AI課程是非常實用的”，接著再根據(jù)這個更新后的句子繼續(xù)猜測下一個詞。
• 重復預測：這個過程會一直重復，每次作家都會根據(jù)當前的句子來預測下一個詞，并把它加進去，然后再繼續(xù)預測下一個。
• 結(jié)束標志：直到作家寫出一個特殊的詞，比如“?！保ň涮枺?，表示這句話說完了，或者它寫出了我們告訴它的一個結(jié)束標志，比如“<EOS>”也就是句子結(jié)束的意思。又或者它寫到了我們規(guī)定的長度，比如寫了20個詞。

簡單來說，大語言模型就像是一個根據(jù)開頭句子，一句一句寫出接下來內(nèi)容的作家。它通過不斷地猜測和添加下一個詞，直到寫出一個完整的故事或者達到我們設定的結(jié)束條件。這個過程就是我們說的自回歸。

三、2024年大模型常見應用

自從“百模大戰(zhàn)”之后，大模型的應用就一直被市場所關(guān)注。

大模型的應用非常廣泛，小俠列舉幾個跟日常掛鉤較為緊密的幾個場景。

1. AI學習助理

如果你是學生，老師或者是醫(yī)生，會經(jīng)?？春芏鄷?！

我們?nèi)四X的記憶力是有限的，如何讓看過的書都能記憶下來，并隨時進行查閱？

定制開發(fā)一個Agent學習助理是一個非常好的方法！

借助coze平臺的Agent開發(fā)能力，創(chuàng)建一個AI學習助理幫你完成書籍的整理和記憶。

打開coze開發(fā)平臺，點擊主頁。在主頁對話框中選擇創(chuàng)建Bot，輸入：

幫我創(chuàng)建一個私人AI學習助理，名字叫“弼小俠學習助理”，功能是幫助我整理知識和書籍，便于我隨時進行查找，要求有：1.創(chuàng)建學習知識庫，能夠根據(jù)我的提問幫助我從知識庫的知識進行查找；2.回答嚴格來源于知識庫，回答的內(nèi)容要提供文章原文。

接下來AI就會根據(jù)你的需求幫你自動創(chuàng)建一個學習助理Bot。

點擊創(chuàng)建好的Bot，進入頁面可以看到如下頁面：

先對人設進行優(yōu)化，點擊優(yōu)化按鈕，AI會自動進行人設和回復邏輯優(yōu)化，優(yōu)化完畢后根據(jù)自己的需求進行一些修改，修改完畢就可以進入下一步：

下一步就可以創(chuàng)建知識庫，將我們準備好的文章和知識上傳到知識庫中，可以是文本格式，也可以是表格或者圖片。

根據(jù)要求導入文件，AI會自動進行內(nèi)容的上傳和處理，處理完成的內(nèi)容如圖所示：

點擊添加到Bot中，剛剛創(chuàng)建的學習助理知識庫里面就會顯示你上傳的知識。

下面我就可以用對話的形式詢問Bot相關(guān)知識內(nèi)容，小俠這里例舉一個案例：

通過對話，可以看到AI回復你的方式是調(diào)用知識庫中的內(nèi)容進行回復。當然小俠這里只是例舉例子，并沒有對人設和知識庫進行優(yōu)化，如果想要更好的效果需要針對性優(yōu)化一下，這樣AI會更加聰明。

2. 公文寫作

AI在文本寫作方面尤為擅長。在日常工作中，公文類的寫作或多或少都不可避免，如何利用AI進行公文寫作，方法也非常簡單。

拿kimi來舉例，打開kimi主頁，點開kimi+，選擇公文筆桿子會話：

假設你要撰寫一個公司會議通知，輸入：通知公司全體員工在上午9點開例會的公文，AI就能刷刷刷幫你整理一篇通知文稿，具體效果如下：

3. AI幫你打官司

生活中可能會出現(xiàn)一些法律糾紛，比如遇到老賴欠你一千萬不還，你就可以打開通義法睿這款AI工具，進入后輸入你的問題，比如：你好，2024年有個名字叫老賴的老賴欠我一千萬不還，我該怎么辦？

可以看到，這個AI他非常善于處理法律相關(guān)問題，當然上述只是例舉個案例，大家不要當真。

如果生活中遇到了法律相關(guān)問題，前期可以通過咨詢AI獲得相關(guān)知識，也可以避免上當受騙的風險。

同時AI還提供法律文書的生成，法律條款檢索等功能。

以上是【AI入門科普課】系列視頻的第二期作品，希望大家通過這期作品，掌握AI知識。