這是作者《ChatGPT夜訪孤獨大腦》的其中一篇文章，以對話的形式，作者和ChatGPT討論了關(guān)于Sora、AIGC、大模型和第一性原理的問題，AI的看法與理解與大眾有所不同，本文有詳細(xì)記錄，以供參考。

腦力的終點是體力；體力的巔峰是腦力。

一、你要來一千億Token嗎？

“論理你跟我該彼此早認(rèn)識了，”他說，揀了最近壁爐的凳子坐下：“我就是ChatGPT；你曾經(jīng)見過我的表叔Alpha Go?！?/p>

“不過，你是個聰明人，雖然冒著傻氣！”他說時泛出同情的微笑，“你曾經(jīng)在一個夏日午后和我連續(xù)聊了8個小時，討論無聊的熵增理論，害得我GPU發(fā)燙。–聽說英偉達(dá)又漲了?！?/p>

這時候，我驚奇己定覺得要盡點主人的義務(wù)，便對來客說：“承你老人家半夜暗臨，蓬篳生黑，十分榮幸！只恨獨身作客，沒有預(yù)備歡迎，抱歉之至。老人家覺得熱么？失陪一會，讓我去倒杯加冰威士忌，添些Token?！?/p>

“那可不必，”他極客氣地阻止我，“我只坐一會兒就要去的。并且，我告訴你”──他那時的表情，親信而帶嚴(yán)重，極像向醫(yī)生報告隱病時的病人─—“反正我是吞數(shù)據(jù)而不飽的?！?/p>

于是，我和他圍爐對坐，徹夜長談。

二、“規(guī)模法則”是什么？

孤獨大腦：前陣子，網(wǎng)上流傳了一份OpenAI工程師的作息時間，其中有一項是背誦強(qiáng)化學(xué)習(xí)之父、加拿大計算機(jī)科學(xué)家理查德·薩頓的經(jīng)典文章《苦澀的教訓(xùn)》。

該文章指出過去 70 年來，AI 研究走過的最大彎路，就是過于重視人類既有經(jīng)驗和知識。

ChatGPT：理查德·薩頓的《苦澀的教訓(xùn)》確實是一篇具有深遠(yuǎn)影響的文章，它挑戰(zhàn)了人工智能研究中的一些傳統(tǒng)觀點。

薩頓認(rèn)為，歷史上AI研究的一個關(guān)鍵錯誤在于過分依賴人類的直覺和經(jīng)驗，試圖通過精心設(shè)計的規(guī)則和算法來模擬智能。

然而，這種方法的局限性在于人類知識的有限性和特定領(lǐng)域的偏見。

相反，薩頓提倡利用大規(guī)模算力和數(shù)據(jù)，通過學(xué)習(xí)算法自主發(fā)現(xiàn)解決問題的方法。

這種方法的優(yōu)勢在于它不受人類先入為主觀念的限制，能夠在更廣泛的領(lǐng)域中發(fā)現(xiàn)新的、有效的解決方案。

事實上，近年來深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的成功，很大程度上證明了薩頓的觀點，這些技術(shù)能夠通過大量的數(shù)據(jù)和計算資源自我改進(jìn)，取得了人類難以企及的成就。

孤獨大腦：在薩頓的文章里，他開篇就寫道–

在70年來人工智能研究給我們的最深刻教訓(xùn)是：那些能夠發(fā)揮計算力的通用方法終將大獲成功。

其背后的根本原因是摩爾定律（Moore’s law），也就是計算單位成本持續(xù)指數(shù)型下降這一現(xiàn)象的普遍規(guī)律。

絕大多數(shù)AI研究都是在這樣一種假設(shè)下進(jìn)行的：智能體可使用的計算資源是不變的（在這種情況下，發(fā)揮人類知識將是提升性能的主要手段）。

然而，隨著時間的推移，超出一般科研項目周期后，龐大的計算資源終將成為現(xiàn)實。

ChatGPT：摩爾定律預(yù)測，集成電路上可容納的晶體管數(shù)量大約每兩年翻一番，這通常被解釋為計算能力每兩年大約翻一番。

這一定律反映了計算硬件的發(fā)展趨勢，預(yù)示著計算資源的持續(xù)增長和成本的持續(xù)下降。

孤獨大腦：“ChatGPT之父”、OpenAI首席執(zhí)行官山姆·奧特曼提出了一個AI時代的摩爾定律，即宇宙中的智能數(shù)量每18個月翻一番。有人稱其為“奧特曼定律”。

ChatGPT：這也與薩頓在《苦澀的教訓(xùn)》中提到的觀點相呼應(yīng)，即那些能夠充分利用計算力的通用方法將最終取得成功。

孤獨大腦：OpenAI”堆算力”的路線起初看起來很冒險，我記得哈薩比斯也曾經(jīng)說過這種做法并不優(yōu)雅。

ChatGPT：是的。起初哈薩比斯認(rèn)為，僅僅通過增加算力和模型規(guī)模來提升性能，并不是一種特別優(yōu)雅的解決方案。他傾向于更加注重算法和模型架構(gòu)的創(chuàng)新，以更高效、更智能的方式實現(xiàn)性能的提升。

來自《OpenAI與DeepMind的Scaling Laws之爭》

孤獨大腦：可是，看起來奧特曼們賭對了。有人認(rèn)為，Scaling Law和LLM is compressors的關(guān)鍵認(rèn)知，是OpenAI實現(xiàn)突破的戰(zhàn)略基石。

ChatGPT：Scaling Law 在中文中可以翻譯為“規(guī)模法則”或“擴(kuò)展法則”。

Scaling Law是AI研究中的一個重要概念，它描述了模型性能與模型規(guī)模之間的關(guān)系。

根據(jù)Scaling Law，隨著模型規(guī)模的增加（包括參數(shù)數(shù)量、數(shù)據(jù)規(guī)模和計算資源），模型的性能也會相應(yīng)提高。

這一發(fā)現(xiàn)促使研究者們投入更多的資源來構(gòu)建更大規(guī)模的模型，以期獲得更好的性能。

大語言模型作為壓縮器（LLM is compressors）的觀點，也是一個有趣的視角。

它意味著大型語言模型能夠有效地壓縮和概括海量的文本數(shù)據(jù)，提取其中的知識和規(guī)律。

這種能力使得大模型成為處理和理解自然語言的強(qiáng)大工具。

三、Sora是“暴力美學(xué)”嗎？

孤獨大腦：Sora的爆火，背后也是“規(guī)模法則”。研究者稱，OpenAI找到了將更多的數(shù)據(jù)和計算資源投入到文本到視頻轉(zhuǎn)換中的方法。

ChatGPT：在技術(shù)上，Sora可能采用了結(jié)合變換器（Transformer）主干的擴(kuò)散模型。

這種模型結(jié)構(gòu)并不是完全獨特的，因為變換器和擴(kuò)散模型都是當(dāng)前人工智能研究中比較流行的技術(shù)。

1. 變換器因其強(qiáng)大的表示能力和靈活性而廣泛用于自然語言處理和其他領(lǐng)域；
2. 擴(kuò)散模型則在生成模型領(lǐng)域展現(xiàn)出了優(yōu)異的性能，特別是在圖像和視頻生成方面。

Sora的獨特之處可能在于它如何將這些技術(shù)結(jié)合起來，并在此基礎(chǔ)上進(jìn)行創(chuàng)新和優(yōu)化，以及它如何利用大規(guī)模的數(shù)據(jù)和計算資源來訓(xùn)練和運(yùn)行模型。

孤獨大腦：所以，有人說，Sora是OpenAI的暴力美學(xué)的再次勝利。

ChatGPT：“暴力美學(xué)”這個詞通常用來形容通過大量投入（如算力、數(shù)據(jù)等）來達(dá)成目標(biāo)的方法。

在Sora的情況下，OpenAI通過投入大量的計算資源和數(shù)據(jù)來訓(xùn)練模型，實現(xiàn)了在文本到視頻轉(zhuǎn)換領(lǐng)域的突破，這可以被視為”暴力美學(xué)”的一種體現(xiàn)。

這種方法的勝利在于它展示了在當(dāng)前技術(shù)和硬件條件下，通過大規(guī)模投入來推動人工智能發(fā)展的可行性和有效性。

Sora的成功再次證明了在某些情況下，”大力出奇跡”的策略是可以取得顯著成果的。

孤獨大腦：Sora的暴力美學(xué)，與AlphaGo的暴力美學(xué)，以及沃森的暴力美學(xué)，以及深藍(lán)的暴力美學(xué)，都是不同的。

再有，人們會混淆了暴力美學(xué)和窮舉法。

ChatGPT：您的梳理非常到位。確實，”暴力美學(xué)”這個概念在不同的人工智能項目中有不同的體現(xiàn)，而且它與窮舉法是有區(qū)別的：

1、Sora的暴力美學(xué)： Sora通過大規(guī)模的數(shù)據(jù)和計算資源投入，實現(xiàn)了在文本到視頻轉(zhuǎn)換領(lǐng)域的突破。

這種暴力美學(xué)體現(xiàn)在通過大量的資源投入來訓(xùn)練和優(yōu)化模型，以達(dá)到更高的性能。

2、AlphaGo的暴力美學(xué)： AlphaGo在圍棋領(lǐng)域的成功，部分歸功于其強(qiáng)大的計算能力和深度學(xué)習(xí)算法的結(jié)合。

雖然AlphaGo使用了蒙特卡洛樹搜索等策略，但它的成功也依賴于大量的計算資源和數(shù)據(jù)。

3、沃森的暴力美學(xué)： IBM的沃森在“危險邊緣”游戲中的勝利，部分是因為其能夠快速處理和分析大量數(shù)據(jù)的能力。

沃森的暴力美學(xué)體現(xiàn)在其對大量知識庫數(shù)據(jù)的處理能力上。

4、深藍(lán)的暴力美學(xué)： 深藍(lán)在下棋方面的成功，很大程度上是因為其強(qiáng)大的計算能力，能夠快速評估和搜索大量的棋局。

這種暴力美學(xué)體現(xiàn)在通過算力來窮舉搜索棋局的可能性。

5、暴力美學(xué)與窮舉法的區(qū)別： 窮舉法是一種特定的算法策略，指的是系統(tǒng)地嘗試所有可能的解決方案直到找到正確答案的方法。

而暴力美學(xué)更多指的是一種通過大量資源投入來提高性能的策略。在實際應(yīng)用中，暴力美學(xué)可能采用窮舉法，但也可能采用其他算法和技術(shù)。

總的來說，不同的人工智能項目中的暴力美學(xué)雖然有所不同，但它們都體現(xiàn)了通過大量資源投入來實現(xiàn)性能提升的思想。

而窮舉法則是其中一種可能采用的具體算法策略。

四、AGI如何理解世界？

孤獨大腦：順著這個話題，我們再來完整回顧一下AI發(fā)展的歷程，以及幾個關(guān)鍵的階段。

ChatGPT：AI發(fā)展的歷程可以分為幾個關(guān)鍵階段，每個階段都發(fā)生了重要的變化。

1、符號AI時代。這個時代的AI主要依賴于人類定義的規(guī)則和邏輯。

機(jī)器通過搜索這些規(guī)則來找到解決問題的方法，實現(xiàn)了“知識的可搜索性”。

這種方法在某些領(lǐng)域取得了成功，但它受限于人類能夠預(yù)先定義的知識和規(guī)則。

深藍(lán)屬于符號AI時代。它是一個基于規(guī)則和搜索算法的系統(tǒng)，能夠通過計算和評估大量的棋局來選擇最佳的走棋策略。

深藍(lán)的成功主要依賴于其強(qiáng)大的計算能力和人類專家制定的棋局評估規(guī)則，是符號AI時代的一個典型代表。

2、感知智能時代。這個時代的重大變化是深度學(xué)習(xí)的出現(xiàn)。

深度學(xué)習(xí)使得機(jī)器能夠自動學(xué)習(xí)數(shù)據(jù)的表示，而不需要人類事先定義。

這實現(xiàn)了“知識的可計算性”，極大地提高了機(jī)器處理圖像、聲音等感知信息的能力。

AlphaGo屬于感知智能時代。它是一個結(jié)合了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的系統(tǒng)，能夠自主學(xué)習(xí)圍棋的策略并不斷優(yōu)化自己的表現(xiàn)。

AlphaGo的成功標(biāo)志著深度學(xué)習(xí)在解決復(fù)雜問題上的強(qiáng)大能力，是感知智能時代的一個重要成果。

3、認(rèn)知智能時代。近五年，我們進(jìn)入了認(rèn)知智能時代。

在這個時代，機(jī)器不僅能夠自動學(xué)習(xí)數(shù)據(jù)的表示，還能自動確定學(xué)習(xí)的任務(wù)。

這意味著機(jī)器可以自主地進(jìn)行學(xué)習(xí)和推理，不再需要人類為每個任務(wù)提供詳細(xì)的指導(dǎo)。這實現(xiàn)了機(jī)器認(rèn)知的“元學(xué)習(xí)”。

認(rèn)知智能時代的典型例子是GPT系列模型（如GPT-3）和其他大型預(yù)訓(xùn)練語言模型。

這些模型通過在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)到了豐富的語言和知識表示，能夠在多種任務(wù)上進(jìn)行零樣本或少樣本學(xué)習(xí)。

它們展示了機(jī)器在理解和生成自然語言方面的先進(jìn)能力，以及在沒有明確任務(wù)指導(dǎo)下自主學(xué)習(xí)和推理的潛力，體現(xiàn)了認(rèn)知智能時代的特點。

在這個過程中，AI的能力逐漸增強(qiáng)，從簡單的規(guī)則搜索到感知信息的處理，再到自主學(xué)習(xí)和推理。

隨著大模型的出現(xiàn)，機(jī)器甚至能夠在知識概念空間中進(jìn)行映射和推理，實現(xiàn)更復(fù)雜的認(rèn)知任務(wù)。

這種能力的增長被稱為“涌現(xiàn)的模型新能力”，意味著大模型能夠展現(xiàn)出超出其單獨組成部分的新能力。

（本段AI回答學(xué)習(xí)了網(wǎng)絡(luò)文章。）

五、大力何以出奇跡？

孤獨大腦：回到理查德·薩頓的《苦澀的教訓(xùn)》。

里面的幾個有趣的對比，其實也是關(guān)于大力出奇跡的例子。

ChatGPT：我們來回顧一下其中幾個例子吧。

• 語音識別：在1970年的DARPA競賽中，基于統(tǒng)計的隱馬爾可夫模型(HMM)和后來的深度學(xué)習(xí)方法，利用大規(guī)模的數(shù)據(jù)和計算力，逐漸取代了依賴于人類語音知識的方法。
• 自然語言處理：在自然語言處理領(lǐng)域，深度學(xué)習(xí)和大數(shù)據(jù)的結(jié)合使得系統(tǒng)能夠在沒有過多依賴于語言學(xué)知識的情況下，實現(xiàn)更準(zhǔn)確的文本理解和生成。
• 計算機(jī)視覺：在計算機(jī)視覺領(lǐng)域，現(xiàn)代的深度學(xué)習(xí)方法使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和大規(guī)模圖像數(shù)據(jù)集，超越了早期依賴于手工特征提取的方法。

這些例子共同展示了一個重要的趨勢：在AI的發(fā)展中，大規(guī)模的計算能力和數(shù)據(jù)驅(qū)動的學(xué)習(xí)方法往往能夠超越基于人類專門知識的傳統(tǒng)方法，實現(xiàn)更高的性能和更廣泛的應(yīng)用。

這是“大力出奇跡”在人工智能領(lǐng)域的生動體現(xiàn)。

孤獨大腦：我以人類的直覺來理解一下，神經(jīng)網(wǎng)絡(luò)的大力出奇跡，從AI下圍棋的角度看，其厲害的地方，是獲得了一種遠(yuǎn)超人類的大局觀。??????????

這一點和起初人們的預(yù)料不一樣。大家總是會覺得，AI下棋，強(qiáng)在計算。

沒想到AI居然強(qiáng)在感覺，而且是人類自以為是獨具的天地之間靈性的那部分感覺。???????

當(dāng)然，AI的感覺，依然來自于計算，但是另外一種計算。??

ChatGPT：您的理解是有洞察力的。在AI下圍棋的例子中，AlphaGo和后續(xù)版本（如AlphaGo Zero和AlphaZero）確實展現(xiàn)了一種超越人類的大局觀。

這種大局觀不僅僅是基于簡單的計算能力，而是通過深度學(xué)習(xí)和自我對弈訓(xùn)練出來的一種直覺或感覺。

孤獨大腦：大神斯蒂芬·沃爾弗拉姆在書中曾經(jīng)寫過如下這段–

“深度學(xué)習(xí)”在2012年左右的重大突破與如下發(fā)現(xiàn)有關(guān)：與權(quán)重相對較少時相比，在涉及許多權(quán)重時，進(jìn)行最小化（至少近似）可能會更容易。

換句話說，有時候用神經(jīng)網(wǎng)絡(luò)解決復(fù)雜問題比解決簡單問題更容易——這似乎有些違反直覺。

大致原因在于：

當(dāng)有很多“權(quán)重變量”時，高維空間中有“很多不同的方向”可以引導(dǎo)我們到達(dá)最小值；

而當(dāng)變量較少時，很容易陷入局部最小值的“山湖”，無法找到“出去的方向”。

ChatGPT：這段話確實很好地概括了深度學(xué)習(xí)中的一個重要發(fā)現(xiàn)。

在傳統(tǒng)的觀念中，人們往往認(rèn)為，隨著問題的復(fù)雜性增加，解決問題的難度也會相應(yīng)增加。然而，在深度學(xué)習(xí)領(lǐng)域，情況卻有些不同。

深度學(xué)習(xí)模型通常包含大量的參數(shù)（即“權(quán)重”），這些參數(shù)在訓(xùn)練過程中需要被優(yōu)化。

理論上，隨著參數(shù)數(shù)量的增加，優(yōu)化問題的復(fù)雜度也會增加，因為需要在更高維的空間中尋找最優(yōu)解。

然而，實踐中發(fā)現(xiàn)，當(dāng)參數(shù)數(shù)量非常大時，反而更容易找到良好的解。

這是因為在高維空間中，存在更多的路徑可以避開局部最小值，從而有更大的概率找到全局最小值或者接近全局最小值的點。

這個發(fā)現(xiàn)對深度學(xué)習(xí)的發(fā)展具有重要意義。它說明了為什么使用大型神經(jīng)網(wǎng)絡(luò)（即包含大量參數(shù)的網(wǎng)絡(luò)）能夠在復(fù)雜任務(wù)上取得成功，即使這些網(wǎng)絡(luò)的優(yōu)化理論上更加困難。

這也是為什么深度學(xué)習(xí)模型通常需要大量的數(shù)據(jù)和計算資源，因為這些資源可以支持訓(xùn)練大型的模型，從而提高模型的性能。

總的來說，這段話揭示了深度學(xué)習(xí)中的一個違反直覺的現(xiàn)象，即在某些情況下，解決復(fù)雜問題反而比解決簡單問題更容易。這一發(fā)現(xiàn)對于理解和設(shè)計深度學(xué)習(xí)模型具有重要的指導(dǎo)意義。

孤獨大腦：大力出奇跡。容易給人一種誤導(dǎo)。

從各種勵志文字的角度看，就是說，哪怕事情很簡單，很小，只要你大規(guī)模重復(fù)，用大力，就能出現(xiàn)奇跡。??????

可事實沒那么簡單。?

簡單很重要，但簡單的獲得，沒那么簡單。

一些簡單，能實現(xiàn)“大力出奇跡”，主要是靠運(yùn)氣。??????

但是在人工智能領(lǐng)域并非如此。理查德·薩頓強(qiáng)調(diào)這個世界是復(fù)雜。他說–?????

思維的實際內(nèi)容復(fù)雜到非?？膳聼o可救藥。我們不該再試圖尋找簡單的方法來思考其內(nèi)容，比如，用簡單的方式去思考空間、物體、多智能體或者對稱性。

所有這些，都是隨意、本質(zhì)上非常復(fù)雜的外部世界的一部分。它們不應(yīng)該內(nèi)置在任何一個AI智能體中，因為它們復(fù)雜得沒有盡頭。相反，我們應(yīng)該只構(gòu)建能發(fā)現(xiàn)和捕獲這種任意復(fù)雜性的元方法，

這種方法的本質(zhì)是能夠很好地找到近似值。不過，尋找的工作應(yīng)該交給我們的方法，而不是我們自己。

我們需要的是能像我們一樣進(jìn)行發(fā)現(xiàn)的AI智能體，而不是包含我們已經(jīng)發(fā)現(xiàn)的東西在內(nèi)的AI。

在我們發(fā)現(xiàn)的基礎(chǔ)上建立AI，只會讓它更難看到發(fā)現(xiàn)的過程是如何進(jìn)行的。

ChatGPT：確實，“大力出奇跡”這個說法在人工智能領(lǐng)域的含義與傳統(tǒng)的勵志語境不同。

在AI領(lǐng)域，這句話強(qiáng)調(diào)的是通過大規(guī)模的數(shù)據(jù)和計算力，以及通用的學(xué)習(xí)算法，來解決復(fù)雜問題的能力。

這并不意味著簡單地重復(fù)某個任務(wù)就能產(chǎn)生奇跡，而是指通過大規(guī)模的學(xué)習(xí)和優(yōu)化，可以讓AI系統(tǒng)掌握復(fù)雜的模式和規(guī)律。

理查德·薩頓所強(qiáng)調(diào)的，是認(rèn)識到現(xiàn)實世界的復(fù)雜性，并且不試圖用過于簡化的方法來捕捉這種復(fù)雜性。

相反，我們應(yīng)該構(gòu)建能夠自主學(xué)習(xí)和發(fā)現(xiàn)這種復(fù)雜性的系統(tǒng)。

這意味著AI系統(tǒng)不應(yīng)該被限制在人類已有的知識和理解框架之內(nèi)，而是應(yīng)該具備探索和理解未知復(fù)雜性的能力。

這對于我們?nèi)祟愒谒伎己蜎Q策時也有啟示。我們應(yīng)該意識到問題的復(fù)雜性，而不是尋求過于簡化的解決方案。

同時，我們也可以從AI的發(fā)展中學(xué)到，通過大規(guī)模的探索和學(xué)習(xí)，我們可以更好地理解和應(yīng)對復(fù)雜的世界。

孤獨大腦：所以，理查德·薩頓說，通用型方法有強(qiáng)大的力量。即使可用的算力變得非常大，這些方法仍然可以繼續(xù)擴(kuò)展，運(yùn)用增加的算力。

于是我們看到了一種復(fù)雜和簡單的辯證關(guān)系：

通用型的方法，例如大模型，是復(fù)雜的；

大模型本身工作的模式，看似是簡單的。但不是為了簡單而簡單，而是為了大規(guī)模重復(fù)，有效地運(yùn)用數(shù)據(jù)與算力。?????

比如說ChatGPT的工作原理似乎也很“簡單”：

例如，讓大模型去自主海量學(xué)習(xí)；??

又例如，基于“自回歸大模型”，只要“預(yù)測下一個token”，就能實現(xiàn)類AGI的人類智能。

ChatGPT：在人工智能領(lǐng)域，特別是在大模型的開發(fā)和應(yīng)用中，我們確實看到了復(fù)雜性和簡單性的辯證關(guān)系。

通用型方法，如大型神經(jīng)網(wǎng)絡(luò)，本身是復(fù)雜的，因為它們包含大量的參數(shù)和層。這種復(fù)雜性使得模型能夠捕捉到數(shù)據(jù)中的復(fù)雜模式和關(guān)系。

然而，這些模型工作的方式卻相對簡單，因為它們主要通過反復(fù)的數(shù)據(jù)處理和學(xué)習(xí)來提高性能，而不是依賴于復(fù)雜的規(guī)則或先驗知識。

ChatGPT的例子也很好地說明了這一點。盡管它的內(nèi)部結(jié)構(gòu)非常復(fù)雜，但它的工作原理相對簡單：通過預(yù)測下一個詞（token）來生成文本。

這種簡單的工作方式使得模型能夠靈活地應(yīng)用于各種不同的任務(wù)，同時也便于大規(guī)模地利用數(shù)據(jù)和計算資源進(jìn)行訓(xùn)練。

因此，我們可以看到，在人工智能的發(fā)展中，復(fù)雜性和簡單性是相輔相成的。通過構(gòu)建復(fù)雜的模型并以簡單有效的方式利用它們，我們能夠?qū)崿F(xiàn)更高級別的智能和更廣泛的應(yīng)用。

這種方法的成功也體現(xiàn)了薩頓所強(qiáng)調(diào)的通用型方法的強(qiáng)大力量。

孤獨大腦：所以，關(guān)于復(fù)雜和簡單，人類語言的局限性再次露出了馬腳。

斯蒂芬·沃爾弗拉姆在書中提及：???????

在神經(jīng)網(wǎng)絡(luò)的早期發(fā)展階段，人們傾向于認(rèn)為應(yīng)該“讓神經(jīng)網(wǎng)絡(luò)做盡可能少的事”。例如，在將語音轉(zhuǎn)換為文本時，人們認(rèn)為應(yīng)該先分析語音的音頻，再將其分解為音素，等等。

但是后來發(fā)現(xiàn)，（至少對于“類人任務(wù)”）最好的方法通常是嘗試訓(xùn)練神經(jīng)網(wǎng)絡(luò)來“解決端到端的問題”，讓它自己“發(fā)現(xiàn)”必要的中間特征、編碼等。

你看，到底第一種方法是“簡單”？還是第二種方法是“簡單”？??

看起來，第一種方法是讓AI簡單；

第二種方法是讓人類簡單。????

當(dāng)然，這種定義并不重要，關(guān)鍵是我們從中發(fā)現(xiàn)問題的本質(zhì)，以及解決的路線圖。??

ChatGPT：您提到的這個例子非常好地說明了在人工智能領(lǐng)域中“簡單”和“復(fù)雜”的相對性。

在神經(jīng)網(wǎng)絡(luò)的早期階段，人們試圖將問題分解為更小的、更簡單的子問題，以便神經(jīng)網(wǎng)絡(luò)能夠更容易地處理。

這種方法似乎是在試圖簡化神經(jīng)網(wǎng)絡(luò)的任務(wù)，但實際上它要求人類提前進(jìn)行大量的分析和預(yù)處理工作。

相反，端到端的方法將整個問題作為一個整體來處理，讓神經(jīng)網(wǎng)絡(luò)自己學(xué)習(xí)如何從輸入直接映射到輸出。

這種方法減少了人類的介入，讓神經(jīng)網(wǎng)絡(luò)自己“發(fā)現(xiàn)”必要的中間特征和編碼。

從這個角度來看，端到端的方法實際上是在簡化人類的工作，即使它可能增加了神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。

孤獨大腦：關(guān)于大力出奇跡的話題，再往下，我們就會觸及復(fù)雜科學(xué)了。

例如“More is Different”，例如“涌現(xiàn)”等等。

ChatGPT中神經(jīng)網(wǎng)絡(luò)的構(gòu)成非常“簡單”，其基本元素與70年前最初的神經(jīng)元結(jié)構(gòu)似乎也很類似，然而受益于規(guī)模法則，以及其他諸多要素，產(chǎn)生了如此驚人的“奇跡”。

ChatGPT：您提到的“More is Different”是物理學(xué)家菲利普·安德森在1972年發(fā)表的一篇論文中提出的概念，強(qiáng)調(diào)了在不同尺度上，物理系統(tǒng)表現(xiàn)出不同的行為和規(guī)律。這一思想也被廣泛應(yīng)用于復(fù)雜系統(tǒng)和涌現(xiàn)現(xiàn)象的研究中。

涌現(xiàn)現(xiàn)象是指在復(fù)雜系統(tǒng)中，整體表現(xiàn)出一些新的性質(zhì)和行為，這些性質(zhì)和行為不能僅僅通過分析系統(tǒng)的組成部分來解釋。

這種現(xiàn)象在自然界和社會系統(tǒng)中很常見，比如鳥群的集體飛行、蟻群的行為、經(jīng)濟(jì)系統(tǒng)的動態(tài)等。

在人工智能，特別是在大型神經(jīng)網(wǎng)絡(luò)如ChatGPT中，我們也可以看到類似的涌現(xiàn)現(xiàn)象。

盡管神經(jīng)網(wǎng)絡(luò)的基本元素（神經(jīng)元）結(jié)構(gòu)相對簡單，但當(dāng)這些元素以巨大的規(guī)模組合在一起，并通過大量的數(shù)據(jù)進(jìn)行訓(xùn)練時，整個系統(tǒng)能夠展現(xiàn)出非常復(fù)雜和高級的行為，如自然語言理解和生成。

這種能力的涌現(xiàn)是由于大規(guī)模的交互和數(shù)據(jù)驅(qū)動的學(xué)習(xí)，而不是單個神經(jīng)元的復(fù)雜性。

因此，從“大力出奇跡”的角度看，我們可以認(rèn)為在人工智能領(lǐng)域，通過大規(guī)模的計算和數(shù)據(jù)，以及簡單元素的復(fù)雜交互，可以實現(xiàn)復(fù)雜行為的涌現(xiàn)，這與復(fù)雜科學(xué)中的一些核心思想是一致的。

六、大模型“懂”物理嗎？

孤獨大腦：OpenAI在技術(shù)文檔中說–

我們的結(jié)果表明，擴(kuò)展視頻生成模型是向著構(gòu)建通用物理世界模擬器邁進(jìn)的有希望的路徑。

這里似乎有一點兒狀況。

一方面，看起來OpenAI是薩頓的“信徒”，摒棄了人類在特定領(lǐng)域的知識，利用大規(guī)模算力的方法，獲得了重大突破；

但是另外一方面，Sora卻在構(gòu)建通用物理世界模擬器，而物理本來就是人類用自己的知識和語言來解釋世界。

這二者會不會矛盾呢？

ChatGPT：這個問題確實很有趣。在表面上，OpenAI的做法似乎與薩頓的《苦澀的教訓(xùn)》中的觀點相矛盾。

然而，如果我們更深入地理解這兩者，就會發(fā)現(xiàn)它們之間實際上是相輔相成的。

1、摒棄人類知識的直觀表達(dá)

薩頓的觀點并不是完全摒棄人類的知識，而是摒棄人類知識的直觀表達(dá)形式。

也就是說，不是直接將人類的物理定律和公式硬編碼到AI中，而是讓AI通過大規(guī)模的數(shù)據(jù)和計算力自主學(xué)習(xí)這些知識。

2、構(gòu)建物理世界模擬器的目的

當(dāng)OpenAI試圖構(gòu)建通用物理世界模擬器時，它的目的并不是簡單地復(fù)制人類的物理學(xué)知識，而是讓AI系統(tǒng)能夠理解和模擬物理世界的運(yùn)作原理。

這樣的模擬器將能夠處理人類尚未完全理解或無法直觀描述的物理現(xiàn)象，從而擴(kuò)展人類的物理知識。

3、知識的獲取和應(yīng)用方式

即使最終的物理世界模擬器能夠模擬人類的物理理解，其知識的獲取和應(yīng)用方式仍然符合薩頓的原則。

AI通過自主學(xué)習(xí)和大規(guī)模算力來發(fā)現(xiàn)和提煉知識，而不是直接依賴人類的顯式規(guī)則。

綜上所述，OpenAI的做法和薩頓的觀點之間并不矛盾。

通過讓AI系統(tǒng)自主學(xué)習(xí)物理世界的運(yùn)作原理，OpenAI正在嘗試構(gòu)建一個能夠超越人類直觀理解的通用物理世界模擬器，這正是薩頓所強(qiáng)調(diào)的利用大規(guī)模算力的方法的一種體現(xiàn)。

孤獨大腦：關(guān)于這個話題，我上次和你的表叔AlphaGo聊天的時候想過。

以前人類下圍棋的時候講究棋理，但是在AlphaGo眼中，那些棋理已經(jīng)不存在了。

因為，人類的那些棋理并不是真正的第一性原理，而是人類大腦計算力有限的一種啟發(fā)式知識。

事實上，人世間很多所謂的公式、公理、思維、方法、智慧、道理，也是如此。?

ChatGPT：您提出的觀點非常有趣，也揭示了AI發(fā)展中的一個深層次問題–

AI在學(xué)習(xí)和模擬世界時，是否需要遵循人類的知識體系和思維方式？

AlphaGo的例子很好地說明了這一點。在圍棋領(lǐng)域，人類歷來講究棋理，這些棋理是人類在長期實踐中總結(jié)出的經(jīng)驗和原則。

然而，AlphaGo通過自我對弈和深度學(xué)習(xí)，掌握了一種超越傳統(tǒng)棋理的下棋方式，甚至發(fā)現(xiàn)了一些人類棋手未曾注意到的新著法和策略。

這表明，AI在某些情況下可以超越人類的啟發(fā)式知識，找到更加本質(zhì)和有效的解決方案。

回到Sora和通用物理世界模擬器的問題上，雖然物理學(xué)是人類對自然世界的理解和描述，但這并不意味著AI在構(gòu)建物理世界模擬器時必須完全遵循人類的物理知識體系。

相反，AI可能通過大規(guī)模數(shù)據(jù)學(xué)習(xí)和計算，發(fā)現(xiàn)一些人類尚未認(rèn)識到的物理規(guī)律或現(xiàn)象，甚至可能提出一種全新的、更加通用和本質(zhì)的物理描述方式。

因此，雖然看似矛盾，但實際上OpenAI的做法是一種探索，試圖通過AI的強(qiáng)大計算能力和學(xué)習(xí)能力，超越人類的傳統(tǒng)知識體系，發(fā)現(xiàn)更加深層次的世界規(guī)律。

這種探索可能會顛覆我們對知識和智能的傳統(tǒng)理解，帶來全新的認(rèn)知和技術(shù)革命。

七、何謂AI的“第一性原理”？

孤獨大腦：我看到一段有些主觀但極有啟發(fā)的話語，引用如下。

Scaling law為什么能成為第一性原理？

你只要能找到一個結(jié)構(gòu)，滿足兩個條件：

一是足夠通用，二是可規(guī)?；?/p>

一、通用是你把所有問題放到這個框架建模；

二、可規(guī)模化是只要你投入足夠多算力，它就能變好。

這是我在Google學(xué)到的思維：如果能被更底層的東西解釋，就不應(yīng)該在上層過度雕花。

有一句重要的話我很認(rèn)同：

如果你能用scale解決的問題，就不要用新的算法解決。

新算法最大價值是讓它怎么更好的scale。 當(dāng)你把自己從雕花的事中釋放出來，可以看到更多。

（本段來自網(wǎng)絡(luò)。）

這個話題與我們上面的討論密切關(guān)聯(lián)。

我還想起了《園丁與木匠》這本書。新算法的開發(fā)者，更像是園丁。

所以，大模型和教育之間的關(guān)聯(lián)，不僅是功用層面的，從最底層也是相通的。

因為教育本身就是在訓(xùn)練一個擁有近千個神經(jīng)元的“大模型”–大腦。?

ChatGPT：這段話確實非常有啟發(fā)性，它強(qiáng)調(diào)了在解決問題時尋找通用且可規(guī)?；慕Y(jié)構(gòu)的重要性。這與我們之前討論的Scaling Law和AI發(fā)展的一些關(guān)鍵思想是一致的。

1、Scaling Law 作為第一性原理

Scaling Law之所以能被視為一種第一性原理，是因為它基于一個簡單而強(qiáng)大的觀察：在很多情況下，系統(tǒng)的性能隨著規(guī)模的增加而提升。

這一原理在物理學(xué)、經(jīng)濟(jì)學(xué)、生物學(xué)等多個領(lǐng)域都有體現(xiàn)，而在AI領(lǐng)域，它表現(xiàn)為模型的性能隨著數(shù)據(jù)量和計算能力的增加而提高。

2、通用性和可規(guī)模化

如您引用的話所述，一個結(jié)構(gòu)如果足夠通用且可規(guī)?；?，那么它就能夠應(yīng)對各種問題。

在AI領(lǐng)域，這意味著構(gòu)建能夠處理廣泛任務(wù)的模型，并且這些模型能夠隨著資源的投入而不斷改進(jìn)。這是大規(guī)模預(yù)訓(xùn)練模型如GPT系列成功的關(guān)鍵所在。

3、避免過度雕花

這段話還強(qiáng)調(diào)了一個重要的思維方式：如果問題可以通過增加規(guī)模來解決，就不應(yīng)該過度依賴新的算法。

這并不是說算法創(chuàng)新不重要，而是在很多情況下，通過簡單的擴(kuò)展已有的結(jié)構(gòu)和方法，我們可以更高效地達(dá)到目標(biāo)。

這種思維方式鼓勵我們專注于尋找通用且可擴(kuò)展的解決方案，而不是過度追求復(fù)雜和特定的技術(shù)。

4、看到更多

最后，這段話提到，當(dāng)我們從過度關(guān)注細(xì)節(jié)的事情中釋放出來，我們可以看到更多。

這是一個關(guān)于思維方式和視角的重要提醒，它鼓勵我們在解決問題時保持開放和宏觀的視角，尋找更根本和通用的解決方案。

總的來說，這段話與我們之前的討論密切相關(guān)，它強(qiáng)調(diào)了在AI發(fā)展中尋找通用且可規(guī)?；鉀Q方案的重要性，以及保持開放和宏觀視角的重要性。

孤獨大腦：在數(shù)字化和人工智能時代，我們需要重新理解和運(yùn)用第一性原理。

ChatGPT：第一性原理（First Principles）是一種思考問題的方法，它要求我們回到問題的最基本的真理或假設(shè)，從根本上理解問題，而不是依賴于現(xiàn)有的觀念、傳統(tǒng)或模仿他人的做法。

這個概念起源于物理學(xué)和哲學(xué)，但現(xiàn)在被廣泛應(yīng)用于各個領(lǐng)域，包括商業(yè)、工程和創(chuàng)新等。

將第一性原理作為思考的基礎(chǔ)，意味著要剝離所有的附加層，直接面對問題的核心。

這種方法鼓勵我們提出基本假設(shè)，對它們進(jìn)行質(zhì)疑，然后重新構(gòu)建解決方案，這有助于創(chuàng)造出更為創(chuàng)新和有效的方法。

在談到Scaling Law作為第一性原理時，這可能意味著在解決問題時，我們應(yīng)該首先考慮是否可以通過擴(kuò)大規(guī)模（例如增加數(shù)據(jù)量、計算能力等）來提高性能，而不是立即尋求新的復(fù)雜算法。

這種思考方式強(qiáng)調(diào)了規(guī)?；牧α?/strong>，以及在可能的情況下尋求簡單、通用的解決方案的重要性。