ChatGPT的出現(xiàn)，讓人們從科技和人文的角度都開始重新思考人類與機(jī)械、人類與科技、人類與人工智能之間的關(guān)系。作為一個(gè)大型人工智能語言模型，ChatGPT是怎樣理解人類的邏輯的？我們要怎么看它，它又如何觀照這個(gè)世界？一起來看看這篇文章，希望能為你帶來啟發(fā)。

“一些未知的東西正在做我們不知道的事情。”

——阿瑟·愛丁頓??

“為何不嘗試制作一個(gè)模擬兒童思維的程序呢？”?

——艾倫·圖靈

“只要是人腦能提出的問題，它就能夠得到解決?！?

——庫爾特·哥德爾

一

有人說，ChatGPT是個(gè)文科生。

這么說，只因?yàn)镃hatGPT是一種大型語言模型，基于自然語言處理技術(shù)，通過深度學(xué)習(xí)模型對大量文本數(shù)據(jù)進(jìn)行訓(xùn)練，從而學(xué)習(xí)到語言的規(guī)律和語義表達(dá)。

有人說，ChatGPT是個(gè)理科生。

自然語言處理本質(zhì)上仍然是計(jì)算機(jī)語言。其發(fā)展的第二階段是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)，第三階段是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，和人類的語言學(xué)規(guī)則關(guān)系不大。

還有人說，ChatGPT是個(gè)體育生。

創(chuàng)造了阿爾法狗的哈薩比斯認(rèn)為，ChatGPT僅僅是更多的計(jì)算能力和數(shù)據(jù)的蠻力，并對這種“不優(yōu)雅”的方式感到失望。

本文將從一道經(jīng)典的“兩孩難題”開始，引出ChatGPT背后的概率思維，以及19世紀(jì)以來人類面臨的不確定性困境。

自亞里士多德與柏拉圖之間的辯論開始，到休謨和貝葉斯二人隔著歷史的相殺相愛，再到不愿意相信上帝是在扔骰子的因果哲學(xué)堅(jiān)守者愛因斯坦，人類在哲學(xué)和科學(xué)范疇里糾結(jié)于確定性與不確定性，并且越陷越深。

我偏向于用一種介于“樂觀”和“懷疑”之間的態(tài)度來評判ChatGPT引發(fā)的又一輪AI熱潮。

本文將用一種個(gè)人化的方式，從零基礎(chǔ)數(shù)學(xué)計(jì)算的源頭，再推演一遍貝葉斯公式，和概率推理的機(jī)制，以及神經(jīng)網(wǎng)絡(luò)的基本原理。

進(jìn)而，經(jīng)過了簡單但卻可感知的數(shù)學(xué)計(jì)算，我們就可以順著休謨的經(jīng)驗(yàn)主義和懷疑論，一路奔襲到羅素的邏輯原子主義，直至維特根斯坦的立場：

語言的界限，就是世界的界限。

人工智能的變遷，幾乎對應(yīng)著人類認(rèn)知世界的變遷結(jié)構(gòu)。

從確定性到不確定性，從物理定律到統(tǒng)計(jì)概率，物理和信息交匯于“熵”，并以類似的達(dá)爾文觀念，進(jìn)化出有生命的熵減系統(tǒng)。???

在這個(gè)愈發(fā)茫然的世界里，AI在疫情后時(shí)代獲得了世人額外的關(guān)切；

諸神已被人類背棄，算法用強(qiáng)大而未知的相關(guān)性替代了神秘主義和因果霸權(quán)，仿佛成為新神。

真實(shí)與信念，確定與隨機(jī)，意識與虛無，再次于大眾的狂歡之中，對峙在時(shí)代的斷崖邊緣。

二

問題：一個(gè)家庭里有兩個(gè)孩子，其中一個(gè)是男孩，假設(shè)每個(gè)孩子是男孩女孩的概率一樣，那么另一個(gè)孩子也是男孩的概率是多少？

直覺上，生男生女絕大多數(shù)時(shí)候是獨(dú)立事件，其中一個(gè)是男孩，并不會影響另外一個(gè)孩子性別的概率，所以答案難道不是50%嗎？

有些聰明人說：不對。正確的答案應(yīng)該是1/3。

用古典概率的計(jì)算方法如下：

兩個(gè)孩子的性別共有4種情況：

(男，男)、(女，女)、(男，女)、(女，男)

請注意，上述第三種和第四種情況，特別強(qiáng)調(diào)了老大和老二的區(qū)別。

如上四種情況中，其中一個(gè)是男孩共有3種情況：

(男，男)、(男，女)、(女，男)

另一個(gè)也是男孩只有1種情況：(男，男)，所以概率是1/3。

麻煩來了：這是不是說，一個(gè)家庭假如有了一個(gè)男孩，再生一個(gè)男孩的概率就變成1/3了？??

這不科學(xué)啊。????

聰明如你，應(yīng)當(dāng)能從這看似嚴(yán)謹(jǐn)?shù)鋵?shí)含混的表述中發(fā)現(xiàn)秘密：

上面的計(jì)算，考慮了“有一個(gè)男孩家庭”里男孩是老大或老二的兩種可能，但是卻忽略了問題里“一個(gè)男孩”在“兩個(gè)孩子都是男孩的家庭”里也有老大和老二兩種可能。??????

僅就本文開頭題目的表述而言，樣本空間的概率仍然應(yīng)該是1/3。?

讓我們在這個(gè)經(jīng)典的“兩孩難題”上再前進(jìn)一步。????

堅(jiān)持認(rèn)為正確答案是1/3的聰明人，會拿出貝葉斯公式。???

他們認(rèn)為，本文開頭的題目，不是古典概率問題，而是條件概率問題。

所謂“條件概率”，是指：事件A在另外一個(gè)事件B已經(jīng)發(fā)生條件下的發(fā)生概率。

條件概率表示為：P(A|B)，讀作“在B條件下A的概率”。

根據(jù)該公式，計(jì)算如下：

條件B：兩個(gè)孩子其中一個(gè)是男孩。

考慮其對立事件：兩個(gè)孩子都不是男孩，或者說兩個(gè)孩子都是女孩。

P(B)=1-(1/2)×(1/2)=1-1/4=3/4

事件A：另一個(gè)也是男孩。

事件A、B同時(shí)發(fā)生：兩個(gè)孩子都是男孩

P(AB)=(1/2)×(1/2)=1/4

P(A|B)=P(AB)/P(B)=(1/4)/(3/4)=1/3

所以，P(A|B)=1/3。

慢著，這是語言游戲嗎？

答案到底是1/2，還是1/3？?????

難道貝葉斯公式也錯(cuò)了嗎？?

這一節(jié)的計(jì)算是“對”的，但另一種計(jì)算得出的結(jié)論可以是：????

你觀察到的這個(gè)男孩，來自兩男孩家庭的概率是1/2。???

我不止一次地看到，即使是很聰明的人，以及專業(yè)人士，都在如上這一問題上繞不出來。

為什么呢？

因?yàn)檎Z言的世界，不同語言的世界，個(gè)體觀察的世界，不同個(gè)體觀察的世界，以及上帝視野的世界，和所謂“真實(shí)“的世界，似乎都不是同一個(gè)世界。???

三

在微軟的報(bào)告里，研究者用GPT-4模擬了一段對話：

蘇格拉底：我的朋友，我對最近這些所謂自回歸語言模型的興起感到不安。

亞里士多德：你是什么意思，蘇格拉底？

蘇格拉底：我的意思是，這些模型被用來生成看起來是人類寫的文本，但實(shí)際上是由機(jī)器產(chǎn)生的。

亞里士多德：那有什么問題呢？

蘇格拉底：問題是，這些模型被用來欺騙人們，操縱他們，控制他們。

亞里士多德：但這些模式肯定也有一些積極的應(yīng)用？

蘇格拉底：可能是這樣，但我仍然對濫用的可能性感到不安。畢竟，一個(gè)能夠生成與人類所寫的文字無法區(qū)分的模型可以被用來傳播假新聞，冒充他人，并制造宣傳。

亞里士多德：但這不只是一個(gè)如何使用這些模型的問題，而不是模型本身的問題嗎？

蘇格拉底：我不同意。我認(rèn)為這些模型本身就有問題。它們是一種偽裝的形式，一種創(chuàng)造幻覺的方式，是人類思想和互動的一部分。因此，它們可以被用來以難以察覺的方式進(jìn)行欺騙和操縱。

亞里士多德：但這不正是你反對修辭和演說的理由嗎？

蘇格拉底：是的，我也堅(jiān)持這個(gè)觀點(diǎn)。我相信，任何旨在欺騙或操縱的藝術(shù)或交流形式都是內(nèi)在的危險(xiǎn)。

亞里士多德：我明白了。謝謝你分享你的想法，蘇格拉底。

喬布斯曾經(jīng)設(shè)想過如上的對話，他預(yù)測有一天可以用計(jì)算機(jī)捕捉亞里士多德的底層世界觀，如此一來人們就可以和他親自對話了。

反對修辭和演說的蘇格拉底認(rèn)為：感覺是不可靠的，感性認(rèn)識是不確定的，只有理性才能夠認(rèn)識事物本身。??

而在亞里士多德的方法里，他將修辭確定為哲學(xué)的三個(gè)關(guān)鍵要素之一。另外兩個(gè)則是邏輯和辯證法。

亞里士多德認(rèn)為，邏輯關(guān)注的是用推理達(dá)到科學(xué)確定性，而辯證法和修辭則關(guān)注概率。后者適用于人類事務(wù)。

上面兩段文字我摘自網(wǎng)絡(luò)百科，雖無法確認(rèn)其原文與出處（尤其是概率那部分），卻令人叫好。

然而，在隨后的年代里，亞里士多德的邏輯和確定性知識體系更大程度地影響了人類。

人們信奉因果論和決定論，在牛頓的推動下，世界仿佛是一個(gè)由無數(shù)個(gè)精密齒輪構(gòu)成的機(jī)器，在上帝的首次推動下，持續(xù)有條不紊地運(yùn)轉(zhuǎn)著。

而另外一條線索亦在孕育之中。休謨的懷疑論和經(jīng)驗(yàn)主義徹底改變了人們的思想世界，他認(rèn)為感性知覺是認(rèn)識的唯一對象，人不可能超出知覺去解決知覺的來源問題。

在休謨看來，客觀因果并不存在。????????

隨后康德試圖對理性主義和經(jīng)驗(yàn)主義進(jìn)行調(diào)和，他否認(rèn)客觀因果聯(lián)系，但主張用先天的理智范疇對雜亂的經(jīng)驗(yàn)進(jìn)行整理。??

馬赫則開創(chuàng)了經(jīng)驗(yàn)批判主義，他強(qiáng)調(diào)直接討論觀測數(shù)據(jù)，科學(xué)定律只是被視為以最經(jīng)濟(jì)的方式對數(shù)據(jù)進(jìn)行描述的手段而已。

《科學(xué)推斷》一書認(rèn)為，他開啟了現(xiàn)代方法論的主要進(jìn)展。

曾經(jīng)深受馬赫影響的愛因斯坦，無法接受這種對科學(xué)信仰的破壞性，以及對法則、公式、定律的輕視，后來與其分道揚(yáng)鑣。

愛因斯坦用探索性的演繹法建構(gòu)了邏輯嚴(yán)謹(jǐn)?shù)脑?，他相信宇宙有解，不相信鬼魅之力?/p>

某種意義上，愛因斯坦是最后的牛頓（除了用斯賓諾莎的“神”替代了上帝），是科學(xué)因果決定論的捍衛(wèi)者。??

1967年，波普爾對如上交織而漫長的哲學(xué)歷程做了一個(gè)了結(jié)，他提出了三元世界的觀點(diǎn)，布爾金將其繪制如下：

這似乎是柏拉圖洞穴理論的現(xiàn)代版。

看看，人是多么無知，又是多么分裂??！

基于這樣的結(jié)構(gòu)，波普爾提出：我們無法證實(shí)這個(gè)世界，無法證實(shí)規(guī)律和定理，只能去證偽。

四

也許你還記得上一代的老實(shí)人工智能–深藍(lán)。龐大的機(jī)器，手工制作無盡的代碼，多名參與其中的職業(yè)棋手，以及暴力算法，雖然打敗了卡斯帕羅夫，卻如流星般閃過。

《麻省理工科技評論》將深藍(lán)形容為恐龍，而這一代的神經(jīng)網(wǎng)絡(luò)（尤其是深度學(xué)習(xí)）則是生存且改變地球的小哺乳動物。

上世紀(jì)50年代，香農(nóng)曾經(jīng)樂觀地預(yù)測AI將很快出現(xiàn)，事實(shí)并非如此。失敗的主要原因是：

人工智能的創(chuàng)造者們試圖用純粹的邏輯來處理日常生活中的混亂，他們會耐心地為人工智能需要做的每一個(gè)決定都制定一條規(guī)則。但是，由于現(xiàn)實(shí)世界過于模糊和微妙，無法以刻板的方式進(jìn)行管理。

我們無法像是依照牛頓的原理造車般，用發(fā)條思維和專家系統(tǒng)來打造智能系統(tǒng)。那一類AI不僅狹窄，而且脆弱。

ChatGPT是經(jīng)驗(yàn)主義的進(jìn)化論的“勝利產(chǎn)物”。
經(jīng)驗(yàn)主義亦稱“經(jīng)驗(yàn)論”。作為一種認(rèn)識論學(xué)說，與“理性主義”相對。經(jīng)驗(yàn)主義認(rèn)為感性經(jīng)驗(yàn)是知識的來源，一切知識都通過經(jīng)驗(yàn)而獲得，并在經(jīng)驗(yàn)中得到驗(yàn)證。

這正是ChatGPT的思考和學(xué)習(xí)路徑。

而虛擬進(jìn)化又指數(shù)級放大了基于經(jīng)驗(yàn)的學(xué)習(xí)速度。在波普爾看來，科學(xué)發(fā)展本身就是一種進(jìn)化。

ChatGPT不僅從時(shí)間的角度加速模擬了進(jìn)化，還通過大模型從空間的角度拓展了可能性之廣度，以至于令人們禁不住又驚又喜地探討起涌現(xiàn)。

那么，人工智能是如何思考的？又是如何決策的？??

有別于齒輪般的演繹推理，我們需要借助概率在證據(jù)和結(jié)論之間建立起聯(lián)系。????

AI的任務(wù)是做決策，在不確定性下結(jié)合信念與愿望，選擇動作。

《人工智能：現(xiàn)代方法》如此描述：

由于部分可觀測性、非確定性和對抗者的存在，真實(shí)世界中的智能體需要處理不確定性(uncertainty)。智能體可能永遠(yuǎn)都無法確切地知道它現(xiàn)在所處的狀態(tài)，也無法知道一系列動作之后結(jié)束的位置。

此外，智能體的正確的動作——理性決策，既依賴各種目標(biāo)的相對重要性，也依賴它們實(shí)現(xiàn)的可能性和程度。

為了進(jìn)行不確定推理，我們需要引入信念度，例如牙痛患者有80%的概率存在蛀牙。

???概率論提供了一種概括因我們的惰性與無知而產(chǎn)生的不確定性的方式。

除了概率，智能體在做決策時(shí)還需要一個(gè)概念：效用理論。?

例如，你要去機(jī)場，假如提前90分鐘出發(fā)，趕上飛機(jī)的概率是95%；提早120分鐘出發(fā)，概率提升至97%。??????

那么，是不是應(yīng)該越早越高，追求趕上飛機(jī)的最大概率呢？如此一來，你可能要提前一天或者更早住在機(jī)場了。??????

大多數(shù)時(shí)候不必如此，但假如你有一個(gè)無法錯(cuò)過的會議，或者要趕國際航班，提早一天住到機(jī)場，可能是最佳決策。萬豪酒店最早就是靠洞察到商務(wù)人士的這一需求而崛起的。????

由此，我們得出決策論的通用理論：??

決策論=概率論+效用理論

以上的現(xiàn)代方法，離不開兩個(gè)未曾謀面的古代敵手。

五

在諸多反對休謨的人當(dāng)中，貝葉斯也許是最重要的一位。

當(dāng)休謨斬?cái)嗔艘蚬g的必然聯(lián)系時(shí)，最惱火的莫過于教會，因?yàn)樯系垡恢北灰暈橐蚬牡谝煌苿恿Α??????

一個(gè)人往往要到了一定歲數(shù)，才能夠理解休謨的哲學(xué)。尤其是我們這些從小接受確定性訓(xùn)練的人。

邏輯推理的基本形式是：如果A，則B。

休謨則說，如上這類推理要么是幻覺，要么是胡說八道，要么是自圓其說。

據(jù)說虔誠且又擅長數(shù)學(xué)的牧師貝葉斯是為了反駁休謨，而研究出了貝葉斯公式。???

一個(gè)神奇的結(jié)局出現(xiàn)了，貝葉斯公式反而成為了休謨哲學(xué)的現(xiàn)實(shí)解藥，將其大刀斬?cái)嗟囊蚬?，用逆概率的懸橋連接了起來。?????????

概率，將邏輯推理的形式修正為：如果A，則有x%的可能性導(dǎo)致B。??

而貝葉斯公式，則完成了一個(gè)小小的（卻產(chǎn)生了無法估量的巨大影響）由果推因的顛倒：

如果觀察到B，則有x%的可能性是因?yàn)锳導(dǎo)致。

如此一來，被休謨懷疑的世界，繼續(xù)晃晃悠悠地構(gòu)建出更為龐大繁復(fù)的、以概率關(guān)聯(lián)的因果網(wǎng)絡(luò)。??????????????

假如貝葉斯試圖反擊休謨的動機(jī)是真的，就為“要愛惜你的對手”添加了有力論據(jù)。???

讓我們用一個(gè)簡單的貝葉斯計(jì)算，來看看智能體如何學(xué)習(xí)經(jīng)驗(yàn)。????

題目：黑盒子里有兩個(gè)骰子，一個(gè)是正常骰子，扔出數(shù)字6的概率是1/6；一個(gè)是作弊骰子，扔出數(shù)字6的概率是1/2。????????

這時(shí)，你從中摸出一個(gè)骰子，扔了一次，得到一個(gè)6。??

請問：你再扔一次得到6的概率是多大？

計(jì)算的第一步，是計(jì)算這個(gè)骰子是正常骰子和作弊骰子的概率分別是多大。

請?jiān)试S我跳過貝葉斯公式快速計(jì)算如下。????????

是正常骰子的概率為：1/6÷（1/6+1/2）=1/4??????

是作弊骰子的概率為：1/2÷（1/6+1/2）=3/4

計(jì)算的第二步，更新這個(gè)骰子的信息。原來的概率是各1/4，但現(xiàn)在分別是1/4和3/4。??

那么，再扔一次，得到6的概率就是：1/4×1/6+3/4×1/2=5/12。?

從本質(zhì)層面理解如上這個(gè)簡單的計(jì)算并不是容易的事情：

兩次扔骰子都是獨(dú)立事件，為什么第一次扔骰子得到6的概率和第二次的概率不一樣？

貝葉斯概率的解釋是，第一次扔骰子得到6的這一結(jié)果，作為信息，更新了我們對第二次扔骰子得到6的概率的判斷。

疑惑的人會繼續(xù)問：骰子沒有記憶，為什么第一次的結(jié)果會“改變”第二次結(jié)果呢？?

答案是：沒有改變結(jié)果，只是改變了“信念”。

即使扔了兩次骰子，我們依然不知道這個(gè)骰子是正常的還是作弊的，但我們可以帶著這種不確定性向前走，為此需要“猜”這個(gè)骰子是正常還是作弊的概率。這個(gè)概率，就是信念。???????

根據(jù)信息的變化，快速更新，體現(xiàn)了某種達(dá)爾文式的進(jìn)化。????

從這個(gè)角度看，AI推理起初或許弱小含混，卻有主動適應(yīng)性，從經(jīng)驗(yàn)中不斷學(xué)習(xí)，并快速演化。

以本題為例：第二次扔骰子，從第一次骰子的結(jié)果中學(xué)習(xí)了經(jīng)驗(yàn)，從而令預(yù)測更加精確。

這個(gè)過程還可以不斷重復(fù)，如同發(fā)動機(jī)般，從而產(chǎn)生了決策和智能的杠桿效應(yīng)。

如前所述，亞里士多德曾經(jīng)認(rèn)為，修辭和概率等不確定性元素，應(yīng)該應(yīng)用于人類社會。而在自然科學(xué)和數(shù)學(xué)領(lǐng)域，則是邏輯推理（尤其是數(shù)學(xué)邏輯）的陣地。??

而如今，確定世界已經(jīng)成為不確定世界，絕對真理也被或然真理替代。??

于是，概率不僅成為“真理”的懸梯，甚至成為真理本身。???

《人工智能：現(xiàn)代方法》寫道，世界就是這樣，實(shí)際示范有時(shí)比證明更有說服力?；诟怕收摰耐茢嘞到y(tǒng)的成功要比哲學(xué)論證更容易改變?nèi)说挠^點(diǎn)。

就像兩個(gè)人就不同的觀點(diǎn)爭論，一種辦法是講道理，講邏輯；還有一種辦法是：?????

我們先下個(gè)注，然后試著跑跑看唄。??

六

在《人工通用智能的火花：GPT-4的早期實(shí)驗(yàn)》的報(bào)告里，微軟實(shí)驗(yàn)室如此表述：??
“我們過去幾年，人工智能研究中最顯著的突破是大型語言模型（LLMs）在自然語言處理方面取得的進(jìn)展。

這些神經(jīng)網(wǎng)絡(luò)模型基于Transformer架構(gòu)，并在大規(guī)模的網(wǎng)絡(luò)文本數(shù)據(jù)體上進(jìn)行訓(xùn)練，其核心是使用一個(gè)自我監(jiān)督的目標(biāo)來預(yù)測部分句子中的下一個(gè)單詞。”
ChatGPT，是位“語言游戲”的高手，用的是神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。

這與傳統(tǒng)的語言，以及邏輯語言，都不一樣。

羅素曾經(jīng)試圖構(gòu)建一套邏輯語言，想從少數(shù)的邏輯公理中，推演出數(shù)學(xué)。他提出了自己邏輯原子主義，試圖消除那些形而上語言的混亂，以邏輯語言和我們的現(xiàn)實(shí)世界一一對應(yīng)。

在與羅素的相互影響下，維特根斯坦認(rèn)為哲學(xué)的所有問題其實(shí)就是語言問題，從而推動了哲學(xué)的語言轉(zhuǎn)向。

一種西方哲學(xué)史觀點(diǎn)認(rèn)為：古代哲學(xué)關(guān)注本體論，近代哲學(xué)關(guān)注認(rèn)識論，20世紀(jì)哲學(xué)關(guān)注語言學(xué)問題。

那么，作為“系統(tǒng)地從語言來思考世界的第一人”，維特根斯坦與羅素有何不同？

陳嘉映的論斷是：羅素從本體論來思考語言的本質(zhì)，維特根斯坦則一直從語言的本質(zhì)來構(gòu)想本體論。

也許我們能從羅素給情人奧托林·莫雷爾夫人一封信里，發(fā)現(xiàn)維特根斯坦哲學(xué)上的某些經(jīng)驗(yàn)主義線索：

“我們這位德國工程師啊，我認(rèn)為他是個(gè)傻瓜。他認(rèn)為沒有什么經(jīng)驗(yàn)性的東西是可知的——我讓他承認(rèn)房間里沒有一頭犀牛，但他不肯?！?/p>

和每個(gè)天才一樣，維特根斯坦卓絕，但也疑惑。

再說回ChatGPT，它懂語言嗎？如同《天才與算法》一書的設(shè)問：

機(jī)器可以在不理解語言或不接觸周圍物理世界的情況下，生成有意義的句子，甚至是美的句子嗎？

老派的AI，試圖采用羅素的方法。這類模型認(rèn)為：

“理性和智能是深度的、多步驟的推理，由一個(gè)串行過程指揮，并由一個(gè)或幾個(gè)線程組成，使用少量的信息，由少量的強(qiáng)相關(guān)變量來表達(dá)信息?！?/p>

對比而言，“現(xiàn)代的機(jī)器學(xué)習(xí)模式由淺（少步）推理組成，使用大量信息的大規(guī)模并行處理，并涉及大量弱相關(guān)變量?！?/p>

一個(gè)有趣的來描述二者對比的例子是，電影《模仿游戲》里的圖靈，炒掉了自己的密碼破解小組里的語言學(xué)專家?！度斯ぶ悄埽含F(xiàn)代方法》認(rèn)為，純粹的數(shù)據(jù)驅(qū)動的模型，對比基于“文法、句法分析和語義解釋”的手工構(gòu)建方法，更容易開發(fā)和維護(hù)，并且在標(biāo)準(zhǔn)的基準(zhǔn)測試中得分更高。

該書作者還提及：

可能是Transformer及其相關(guān)模型學(xué)習(xí)到了潛在的表征，這些表征捕捉到與語法和語義信息相同的基本思想，也可能是在這些大規(guī)模模型中發(fā)生了完全不同的事情，但我們根本不知道。

未必那么精確的類比是：AI如孩子般學(xué)習(xí)語言。這正是當(dāng)年圖靈所所設(shè)想的：有一個(gè)孩子般的大腦，然后去學(xué)習(xí)。而非一開始就設(shè)計(jì)一個(gè)成年人的大腦。????
孩子不懂語法構(gòu)建，也沒有成熟的邏輯，也遠(yuǎn)沒有成年人那樣有主動的刻意練習(xí)?？墒窍胂肟?，成年人學(xué)習(xí)語言的效率，與孩子對比，是不是爛到渣？

我不禁聯(lián)想起一個(gè)對教育的嘲諷：天生就是語言學(xué)習(xí)天才的孩子，卻要在一輩子都學(xué)不好一門語言的成年人的指導(dǎo)下學(xué)習(xí)語言。

讓我們來看看，AI如何像一個(gè)孩子般，天才般地學(xué)習(xí)。

七

AI的神經(jīng)網(wǎng)絡(luò)，是對人類大腦和基于社會化網(wǎng)絡(luò)的人類群體智慧的模仿游戲。

人類大腦神經(jīng)元結(jié)構(gòu)和工作原理如下：

圖片來自《深度學(xué)習(xí)的數(shù)學(xué)》一書。

以上原理，用計(jì)算模擬和解釋，就是：神經(jīng)元在信號之和超過閾值時(shí)點(diǎn)火，不超過閾值時(shí)不點(diǎn)火。

20世紀(jì)五六十年代，????奧利弗·塞弗里奇創(chuàng)造了名為“鬼域”的概念。這是一個(gè)圖案識別設(shè)備，其中進(jìn)行特征檢測的“惡魔”通過互相競爭，來爭取代表圖像中對象的權(quán)利。

“鬼域”是生動的關(guān)于深度學(xué)習(xí)的隱喻，如下圖：??

圖片來自《深度學(xué)習(xí)》一書。

上圖是對當(dāng)前多層次深度學(xué)習(xí)網(wǎng)絡(luò)的隱喻：

從左到右，是從低到高的惡魔級別。

如果每個(gè)級別的惡魔與前一個(gè)級別的輸入相匹配，就會興奮（點(diǎn)火）。?

高級別的惡魔負(fù)責(zé)從下一級的輸入中提取更復(fù)雜的特征和抽象概念，從而做出決定。然后傳遞給自己的上級。

最終，由大惡魔做出最終決定。

《深度學(xué)習(xí)的數(shù)學(xué)》一書中，依照如上隱喻，用一個(gè)生動的例子，講解了神經(jīng)網(wǎng)絡(luò)的工作原理。

問題：建立一個(gè)神經(jīng)網(wǎng)絡(luò)，用來識別通過 4×3 像素的圖像讀取的手寫數(shù)字 0 和 1。

第一步：輸入層

12個(gè)格子，相當(dāng)于每個(gè)格子住一個(gè)人，分別編號為1-12。如下圖。

第二步：隱藏層

這一層，負(fù)責(zé)特征提取。假設(shè)有如下三種主要特征，分為為模式A、B、C。如下圖。??

不同的模式對應(yīng)著相應(yīng)的數(shù)字格子的組合。如下圖。模式A對應(yīng)的是數(shù)字4和7，B對應(yīng)5和8，C對應(yīng)6和9。

第三步：輸出層

這一層，從隱藏層那里獲得信息。

如上圖，最下面是AI要識別的圖像。

首先，輸入層的2、5、8、11點(diǎn)火；

然后，隱藏層5和8所對應(yīng)的特征被提取，“模式B”點(diǎn)火；??

最后，輸出層的1被對應(yīng)的“模式B”點(diǎn)火。?

所以，“大惡魔”識別出圖像為數(shù)字1。?

在上面的例子里，AI可以精確地識別出0和1，但它并不懂0和1，它的眼里只有像素。

可這么說，似乎過于擬人化了。人類又如何懂0和1呢？

人類不也是通過雙眼輸入，通過迄今仍是宇宙間最大謎團(tuán)的大腦神經(jīng)元網(wǎng)絡(luò)（更加復(fù)雜、強(qiáng)大且節(jié)能的隱藏層）提取特征，然后通過大腦的某個(gè)部位再進(jìn)行自我解釋的嗎？???????????????

辛頓曾在采訪中提及，認(rèn)知科學(xué)領(lǐng)域兩個(gè)學(xué)派關(guān)于“大腦處理視覺圖像”的不同理念：?????

一派認(rèn)為，當(dāng)大腦處理視覺圖像時(shí)，你擁有的是一組正在移動的像素。如同上面的演示；

另一學(xué)派偏向于老派的人工智能，認(rèn)為是分層、結(jié)構(gòu)性的描述，腦內(nèi)處理的是符號結(jié)構(gòu)。

辛頓自己則認(rèn)為以上兩派都不對，“實(shí)際上大腦內(nèi)部是多個(gè)神經(jīng)活動的大向量?！?/strong>而符號只是存在于外部世界。