前段時間，Nvidia發(fā)布了類似ChatGPT的工具——Chat with RTX。用戶可以將該工具與文檔、文件和筆記相連接，進(jìn)而進(jìn)行查詢。這個模型有什么特征？我們來看看。

英偉達(dá)Nvidia近期發(fā)布了一款名為“Chat with RTX”的工具，該工具專為GeForce RTX 30系列和40系列顯卡的所有者設(shè)計，讓他們能夠在Windows PC上脫機(jī)運行AI聊天機(jī)器人，類似離線版ChatGPT。

這款Chat with RTX工具允許用戶根據(jù)個人需求定制GenAI模型，其功能類似于OpenAI的ChatGPT。用戶可以將該工具與文檔、文件和筆記相連接，進(jìn)而進(jìn)行查詢。Nvidia在Demo中提到：“用戶無需再費心搜索筆記或保存的內(nèi)容，只需簡單輸入查詢即可。例如，輸入‘我伴侶在拉斯維加斯推薦的餐廳是哪家？’，Chat with RTX便會掃描用戶指定的本地文件，并給出帶有上下文的答案?！?/p>

Chat with RTX默認(rèn)采用的是AI初創(chuàng)公司Mistral的開源模型，但也兼容其他基于文本的模型，包括Meta的Llama 2。不過，Nvidia也提醒用戶，下載所有必要的文件將占用相當(dāng)大的存儲空間，具體大小取決于所選模型，范圍在50GB至100GB之間。

目前，Chat with RTX支持文本、PDF、.doc、.docx和.xml等多種格式。用戶只需將應(yīng)用程序指向包含這些受支持文件的文件夾，這些文件就會被加載到模型的微調(diào)數(shù)據(jù)集中。此外，Chat with RTX還能接收YouTube播放列表的URL，加載播放列表中視頻的轉(zhuǎn)錄內(nèi)容，使所選模型能夠查詢這些視頻內(nèi)容。

但當(dāng)前Chat with RTX這款工具仍有一些限制，比如該工具無法記住上下文，這意味著在回答后續(xù)問題時，它不會考慮任何先前的問題。例如，如果用戶先問“北美普通鳥類是什么？”，然后接著問“它的顏色是什么？”，Chat with RTX將不會理解“它”指的是鳥類。

從趨勢上來看Chat with RTX為用戶在本地運行AI模型提供了一種更便捷的方式。模型離線化這一趨勢正在逐漸增長。能夠離線運行GenAI模型的設(shè)備，包括PC、智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和網(wǎng)絡(luò)設(shè)備正在增長，離線模型不僅更加私密，因為它們處理的數(shù)據(jù)永遠(yuǎn)不會離開運行設(shè)備，而且比云托管模型具有更低的延遲和更具成本效益：

一、離線語音模型

離線AI模型廣泛應(yīng)用于智能設(shè)備，如機(jī)器人、汽車、音箱等，提供即插即用、穩(wěn)定且私密的語音識別服務(wù)。相較于云端模型，離線AI解決了配網(wǎng)、網(wǎng)絡(luò)穩(wěn)定性及隱私泄露等問題。實現(xiàn)離線NLP需整合芯片、算法、軟件及語音處理技術(shù)，以提升用戶體驗，為未來智能設(shè)備標(biāo)配功能奠定基礎(chǔ)。市場上雖有挑戰(zhàn)，但離線AI前景廣闊，值得期待。

二、離線圖片模型

離線圖片生成大模型在多個領(lǐng)域有著廣泛應(yīng)用。在創(chuàng)作和藝術(shù)領(lǐng)域，設(shè)計師和創(chuàng)作者可以利用其進(jìn)行圖像生成和風(fēng)格遷移。在內(nèi)容創(chuàng)作和廣告設(shè)計方面，它能生成高質(zhì)量視覺內(nèi)容。此外，醫(yī)學(xué)、地球觀測和圖像處理領(lǐng)域也能受益。在CES2024上，聯(lián)想展示了新款Windows 11 Yoga筆記本電腦，配備聯(lián)想Yoga Creator Zone軟件，用戶可輕松將文本描述或草圖轉(zhuǎn)為圖像，無需復(fù)雜設(shè)置。這展現(xiàn)了離線模型在實際應(yīng)用中的潛力和價值，為創(chuàng)作者提供簡單、私密的創(chuàng)作體驗。

三、私有云的離線防泄漏解決方案

VMware總部位于美國加州帕洛阿爾托（Palo Alto），是全球云基礎(chǔ)架構(gòu)和移動商務(wù)解決方案廠商。在今年的VMware Explore大會上，VMware積極進(jìn)軍生成式AI新領(lǐng)域，推出了多項創(chuàng)新服務(wù)。其中包括Private AI，這是一項跨云新服務(wù)，支持多云環(huán)境下的企業(yè)生成式AI模型的訓(xùn)練、測試和部署。此外，VMware還與Nvidia合作，共同推出適用于離線環(huán)境的方案，幫助企業(yè)更容易開發(fā)和定制自己的LLM模型，從而降低內(nèi)部數(shù)據(jù)泄露的風(fēng)險。