正如作者所說的，汽車會是我們通往 AGI 道路的重要 Agent，因此我們需要關注自動駕駛領域的 AI-Native 產(chǎn)品。這篇文章里，作者針對 Ghost Autonomy 這款產(chǎn)品做了點評與分析，一起來看。

Ghost Autonomy 是自動駕駛領域使用多模態(tài)大規(guī)模語言模型（MLLM）的先驅(qū)，這種新模型的引入不僅可能解決現(xiàn)有自動駕駛系統(tǒng)中的長尾問題，還能提高對復雜城市環(huán)境的導航能力。

MLLMs 通過結合文本、圖像、視頻等多種輸入模式，能夠更全面地理解和推理駕駛場景。這種整合性的方法比傳統(tǒng)的基于單一感知系統(tǒng)的方法更為先進和有效，可能會大大提高自動駕駛車輛的安全性和可靠性。

思考：

我們嘗試基于文章內(nèi)容，提出更多發(fā)散性的推演和深思，歡迎交流。

汽車是工業(yè)時代機械電子的集大成者。OpenAI 布局自動駕駛領域，有了具備通用理解能力的多模態(tài)大規(guī)模語言模型（MLLM）加成，汽車會是我們通往 AGI 道路的重要 Agent。

自動駕駛對安全性和可靠性依賴度高，MLLMs 可以在自動駕駛堆棧的各個環(huán)節(jié)中發(fā)揮作用，除了用于數(shù)據(jù)標注和模擬的離線任務訓練， CEO John Hayes 更希望直接用于駕駛?cè)蝿?，值得關注。

AI Native 產(chǎn)品分析——Ghost Autonomy

1. 產(chǎn)品：Ghost Autonomy

2. 創(chuàng)始人：John Hayes

3. 創(chuàng)業(yè)背景：

Ghost Autonomy于2017 年創(chuàng)立。John Hayes 曾與他人共同創(chuàng)立了 Pure Storage 公司，并于 2015 年將該公司上市。

4. 產(chǎn)品簡介：

一個靈活的人工智能軟件平臺，為未來的消費類汽車提供領先的自動駕駛功能。

5. 系統(tǒng)構成：

軟件：Ghost OS、感知、駕駛、安全、人工智能

硬件：傳感器、駕駛計算機、車輛控制器、通信網(wǎng)絡

開發(fā) Studio：駕駛、人工智能、設計

云架構：車輛通信、集中神經(jīng)網(wǎng)絡學習和驗證

6. 產(chǎn)品價值：

Ghost 是在自動駕駛領域使用多模態(tài)大規(guī)模語言模型（MLLM）的先驅(qū)。這種全新的軟件架構將大模型強大的類人推理能力應用于駕駛，使自動駕駛汽車能夠理解復雜的駕駛場景。

作為消費類汽車可擴展自動駕駛軟件的先驅(qū)， Ghost Autonomy 2023 年 11 月 8 日宣布獲得 OpenAI 創(chuàng)業(yè)基金 500 萬美元的投資，用于將大規(guī)模、多模態(tài)大語言模型（MLLM）引入自動駕駛。這筆資金將用于加速目前正在進行的基于 LLM 的復雜場景理解研究和開發(fā)，這正是下階段的城市自動駕駛所需要的。這輪融資之后，該公司的融資總額達到 2.2 億美元。

一、優(yōu)化多模態(tài)大語言模型以實現(xiàn)自動駕駛

OpenAI 首席運營官兼 OpenAI 初創(chuàng)基金經(jīng)理 Brad Lightcap 表示：”多模態(tài)模型有可能將 LLM 的適用性擴展到包括自動駕駛和汽車在內(nèi)的許多新場景，能夠通過結合視頻、圖像和聲音來理解并得出結論，因此可能會創(chuàng)造出一種全新的方式來理解場景并導航于復雜或不尋常的環(huán)境。”

LLM 幾乎每天都在不斷提高自己的能力，并擴展到新的應用領域，顛覆著各行各業(yè)現(xiàn)有的計算架構?；?Ghost Autonomy ，大語言模型也將對自動駕駛軟件堆棧產(chǎn)生深遠影響，而大語言模型新增的多模態(tài)功能（在接受文本輸入的同時接受圖像和視頻輸入）會加速其在自動駕駛用例中的應用。

多模態(tài)大語言模型（MLLM）具有對駕駛場景進行整體推理的潛在能力，可將感知和規(guī)劃結合起來，為自動駕駛汽車提供更深入的場景理解，并通過對場景的整體考慮為正確的駕駛操作提供指導。

MLLMs 有可能成為自動駕駛軟件的新架構，能夠處理長尾的罕見復雜駕駛場景?，F(xiàn)有的單一任務網(wǎng)絡局限于其狹窄的范圍和訓練，而 LLM 允許自動駕駛系統(tǒng)全面推理駕駛場景，利用廣泛的世界知識來駕馭復雜和不尋常的情況，甚至是從未見過的情況。

對商用和開源多模態(tài)大語言模型進行微調(diào)和定制的能力不斷增強，有可能大大加快 MLLM 在自動駕駛領域的發(fā)展。Ghost 目前正在不斷改進 MLLM 在自動駕駛領域的應用，同時在道路上不斷測試和驗證這種能力。Ghost 的開發(fā)車隊會將數(shù)據(jù)發(fā)送到云端進行 MLLM 分析，同時還在積極開發(fā)利用 MLLM 洞察并反饋回汽車的自動駕駛功能。

二、自動駕駛大模型架構

自動駕駛大模型為重新全面思考自動駕駛的技術堆棧提供了機會。

當今的自動駕駛技術存在脆弱性問題。它們往往是 “自下而上 “構建的，即在復雜的傳感器、地圖和計算堆棧之上，由許多拼湊起來的人工智能網(wǎng)絡和駕駛軟件邏輯來執(zhí)行感知、傳感器融合、駕駛規(guī)劃和駕駛執(zhí)行等各種任務。這種方法導致了一個難以解決的 “長尾 “問題——在道路上發(fā)現(xiàn)的每一個角落都會導致越來越多的軟件補丁，以試圖實現(xiàn)安全迭代。當場景變得過于復雜，車載人工智能無法再安全駕駛時，汽車就必須 “后退”。如果是機器人出租車，則由遠程操作中心的遠程人員進行操作；如果是駕駛輔助系統(tǒng)，則提醒駕駛員接管。

MLLM 提供了”自上而下 “解決問題的機會。如果我們能用一個根據(jù)世界知識廣泛訓練的模型來推理駕駛，并優(yōu)化它以執(zhí)行駕駛?cè)蝿?，這樣的模型能夠全面推理場景，從感知到建議的駕駛結果一步到位，自動駕駛堆棧的構建就會變得更簡單，能力也會大大增強。這種堆棧能夠推理復雜多變的城市駕駛場景，超越了傳統(tǒng)的策劃訓練。

實現(xiàn)用于自動駕駛的 MLLMs 需要一種新的架構，因為當今的 MLLMs 過于龐大，無法在嵌入式車載處理器上運行。因此需要一種混合架構，即在云上運行的大規(guī)模 MLLM 與在車內(nèi)運行的經(jīng)過專門訓練的模型進行協(xié)作，在汽車和云之間分擔自主任務以及長期與短期規(guī)劃。

建立、交付和驗證這種大型自動駕駛架構的安全性需要時間，但這并不意味著 MLLM 不能更快地影響自動駕駛堆棧。MLLMs 可以從改進數(shù)據(jù)中心流程入手，通過數(shù)據(jù)中心對自動駕駛訓練數(shù)據(jù)進行整理、標注、模擬，并對車載網(wǎng)絡進行訓練和驗證。MLLMs 還可以與現(xiàn)有的自動駕駛架構相連接，并為現(xiàn)有的自動駕駛架構增添洞察力，通過不斷增強它們的能力，以承擔越來越多的自動駕駛?cè)蝿铡?/p>

Ghost Autonomy 創(chuàng)始人兼首席執(zhí)行官 John Hayes 表示：”長期以來，以可擴展的方式解決復雜的城市駕駛場景一直是這個行業(yè)的圣杯。LLMs 提供了一個突破口，最終將使日常消費車輛能夠在最艱難的場景里推理并導航。 盡管 LLMs 已被證明對數(shù)據(jù)標注和模擬等離線任務很有價值，但我們很高興能將這些強大的模型直接應用于駕駛?cè)蝿眨猿浞职l(fā)揮其潛力。”

Ghost 的平臺幫助領先的汽車制造商將人工智能和先進的自動駕駛軟件引入到下一代汽車中，現(xiàn)在又通過 MLLMs 擴展了功能和應用場景。目前，Ghost 正在通過其開發(fā)車隊積極測試這些功能，并與汽車制造商合作，共同驗證并將新的大模型集成到自動駕駛技術堆棧中。

參考材料：

https://www.ghostautonomy.com/blog/mllms-for-autonomy

https://www.ghostautonomy.com/blog/ghost-autonomy-announces-investment-from-openai-startup-fund-to-bring-multi-modal-llms-to-autonomous-driving