AI/AR 眼鏡是新興的 AI 硬件明星產(chǎn)品，但如 Ray-Ban Meta 等產(chǎn)品因系統(tǒng)封閉限制了第三方應用開發(fā)。本文介紹了開發(fā)者們?yōu)?AI/AR 眼鏡構建的創(chuàng)新應用，如陌生人信息獲取、利用 ChatGPT 提升體驗等，也提到了開放式 AI 眼鏡平臺的探索，展示了其在內容生態(tài)上的巨大潛力。

AI眼鏡目前可謂是明星AI硬件產(chǎn)品，一眾企業(yè)下場，Ray-Ban Meta銷量爆火并受到了很多矚目。

由于AI眼鏡還屬于一個新興品類，背后仍有很多有待挖掘的需求。本文將聚焦于一些AI眼鏡開發(fā)者以及極客玩家，并從中一窺這些用戶為眼鏡所構建的創(chuàng)新用例。

封閉的Ray-Ban Meta，如何獲得第三方應用體驗？

Ray-Ban Meta無疑是AI眼鏡市場的典型代表，銷量已經(jīng)破兩百萬，產(chǎn)品主打第一視角拍照/錄像、AI以及音樂播客功能，這些功能獲得了普通消費者的眾多好評。但另一邊，Ray-Ban Meta系統(tǒng)偏封閉，直到現(xiàn)在Meta都沒有對外推送相應的SDK，這導致了開發(fā)者無法為這款設備開發(fā)更多第三方應用。

即便如此，市面上還是出現(xiàn)了一些繞過Ray-Ban Meta硬件權限從而實現(xiàn)軟件開發(fā)的案例。去年曾有兩名哈佛學生基于Ray-Ban Meta實現(xiàn)了自動獲取陌生人姓名、家庭住址、電話號碼以及親屬姓名等功能。由于這背后涉及到了與每個人息息相關的隱私安全問題，當時還引起了一陣社會熱議。

前面提到，Ray-Ban Meta并未向開發(fā)者開放眼鏡的攝像頭權限，他們之所以能夠實現(xiàn)這一點，實際上是用了一個討巧的解決方案：Ray-Ban Meta支持通過Facebook、Instagram等社交平臺直播，因而可以設計一款檢測直播流畫面的軟件。當AI識別相應的人臉信息后便可通過眼鏡的藍牙輸出語音反饋。（Ps：Ray-Ban Meta支持單次直播時長為30分鐘）。

圖源：X

除了相機權限外，Ray-Ban Meta第三方大模型的缺失也是很多用戶的一大遺憾。目前該設備運行的是自家的Meta AI，但暫不支持ChatGPT、Gemini等其他主流AI工具。

曾有用戶對比了Meta AI與ChatGPT的AI能力，他認為ChatGPT在分析圖像時很細致，并且回復問題時可以做到更加全面，錯誤率更低。而Meta AI回復內容會相對簡練，這可能對于語音交互會相對友好。在這種情況下，為Ray-Ban Meta引入ChatGPT想必能夠一定程度改善使用體驗并豐富用戶的選擇面。

注：對比方式為記錄Meta AI的后臺圖片反饋，并將相同的圖片傳到ChatGPT進行處理。

圖源：Medium

所幸的是，對于Ray-Ban Meta的第三方AI調用問題，市面上也出現(xiàn)了一些解決方案。

其中最簡單的方式莫過于將Ray-Ban Meta充當為藍牙耳機使用，手機端打開第三方AI大模型的Live模式，然后就可以進行對話了。

如果想要更進一步，我們可以參考來自Medium用戶Gorjan Jovanovski的解決方案：

• 眼鏡可以通過語音指令向WhatsApp等APP聯(lián)系人發(fā)送語音、照片消息；
• 通過第三方程序檢測社交APP的消息動態(tài)，并轉交ChatGPT進行處理；
• 將AI生成內容發(fā)送回聊天界面，眼鏡可以朗讀最新消息。

該方案可以順利實現(xiàn)Ray-Ban Meta對于ChatGPT的調用，但是局限在于整個鏈路較長使得時延會明顯增加。

值得一提的是，對于國內AI眼鏡，它們的AI大模型的選擇面以及豐富性簡直完爆Ray-Ban Meta。很多硬件廠商試圖發(fā)揮中臺一類的角色，并通過接入各類模型以滿足用戶的不同需求。

如果再延伸來看，筆者認為后續(xù)AI眼鏡可能會分為兩類：模型廠商、硬件廠商，它們產(chǎn)品的AI能力將會是封閉與開放的兩個代表。

開放式AI眼鏡嶄露頭角，開發(fā)者構建了哪些內容？

雖說當前AI眼鏡多以封閉為主，但市場上也已經(jīng)出現(xiàn)了一些主打開放的操作系統(tǒng)：

Android XR：這是一個由谷歌打造的AR/MR系統(tǒng)，發(fā)布于去年12月，后續(xù)將會搭載于谷歌、XREAL等眼鏡新品當中。由于該系統(tǒng)仍屬于早期，目前暫未發(fā)現(xiàn)有相應的眼鏡SDK發(fā)布。

Snap OS：Snap曾于去年九月發(fā)布了AR眼鏡新品Spectacles 5，并同步推出了Snap OS以及Lens Studio開發(fā)工具，眼鏡聚焦于部分國家的內容開發(fā)者，設備訂閱價格為99美元/月 （美國）/110歐元/月（歐盟）。

圖源：Snap

Project Aria：這是一個Meta推出的AI眼鏡研究項目，已經(jīng)累計發(fā)布兩代硬件產(chǎn)品，并對外開放了相應的研究套件，根據(jù)官網(wǎng)信息，產(chǎn)品主要面向“探索機器感知技術或其應用的研究人員”。

AugmentOS：這是一個開源操作系統(tǒng)，由去中心化社區(qū)構建而成，該系統(tǒng)已經(jīng)應用于Even Realities G1、Vuzix Z100、Mentra Mach1等產(chǎn)品，開發(fā)者可以購買相應的設備進行內容開發(fā)。

據(jù)介紹，AugmentOS是一個基于云的操作系統(tǒng)，云端會接收并處理眼鏡端的數(shù)據(jù)，第三方APP則可以“外掛”于這個系統(tǒng)之上，這樣能夠有效簡化應用開發(fā)流程。

圖源：AugmentOS

Brilliant Labs：這是一家開源AR眼鏡開發(fā)商，去年2月曾推出了AR眼鏡Frame，產(chǎn)品聚焦于內容開發(fā)者，并相應推出了Frame SDK開發(fā)套件。

Brilliant Labs官網(wǎng)信息指出，“Frame沒有自己的應用啟動器或傳統(tǒng)的應用安裝系統(tǒng)。要與他人分享您的Frame應用，請通過App Store、Google Play或開源代碼庫等常規(guī)分發(fā)渠道發(fā)布您的應用?！?/p>

圖源：Brilliant Labs

除了以上，AR眼鏡廠商雷鳥創(chuàng)新、Rokid、星紀魅族、影目、XREAL等也曾對外推送了AR眼鏡SDK，這里不再進一步贅述。

雖說以上所提到的這些輕量化AI/AR眼鏡以及操作系統(tǒng)仍屬于初期階段，不過即便如此，還是有不少開發(fā)者在此基礎之上構建了不少應用內容。以下是筆者在社區(qū)論壇找到的部分案例。

全天候記憶能力

下圖中，名為@Lucas Builds The Future的YouTuber基于Frame開發(fā)出了一款具有全天候記憶能力的AR眼鏡應用。它的工作原理是眼鏡每十五分鐘拍攝一張照片，而后照片信息將會交由AI處理并形成類似于日記本的數(shù)據(jù)。

后續(xù)如果用戶有需要，則能夠根據(jù)這些信息回溯曾經(jīng)所做過的事情，如快速想起“上周三的下午去了哪些地方”。

在筆者看來，設法補齊AI眼鏡的“記憶”能力，會是一個長期的方向，同時這也是我最為期待的功能之一。@Lucas Builds The Future的低成本解決方案讓我們提前看到了未來。

圖源：YouTube @Lucas Builds The Future

AR眼鏡與機器狗進行聯(lián)動

此前分體式AR眼鏡的一大賣點在于可以連接無人機從而實現(xiàn)FPV飛行，現(xiàn)如今，開發(fā)者David K.更進一步，基于Frame實現(xiàn)了對宇樹機器狗Go 1的控制。

如下圖所示，AR眼鏡屏幕會顯示當前機器狗所看到的畫面，然后玩家可以基于手勢讓機器狗前后左右轉向，并實現(xiàn)擊落紙杯等操作。當然，由于Frame的顯示分辨率不佳（640×400，彩色OLED屏幕），這是阻礙體驗的一環(huán)。

David K.在介紹中指出，Brilliant Frames通過低功耗藍牙 (BLE) 進行通信，每個像素4位，最多可渲染16種顏色。在這種資源受限的環(huán)境中，圖像質量和色彩之間總是需要權衡取舍?！?/p>

圖源：Linkedin @David K.

熱狗檢測器

同樣基于Frame平臺開發(fā)，開發(fā)者CitizenOne開發(fā)了一款讓人有點摸不著頭腦的應用：眼鏡可以檢測眼前的物品并辨別究竟是不是熱狗。

AR濾鏡

提到AR濾鏡，這幾乎已經(jīng)成為了Snap的代名詞。實際上，自從Spectacles 5發(fā)布以來，再配備Snap的一些激勵計劃，平臺已經(jīng)吸引了不少開發(fā)者并為之構建了很多優(yōu)質AR濾鏡內容。

以下是個人比較喜歡的一個投籃AR濾鏡，它可以顯示投籃軌跡以及記錄分數(shù)。

圖源：Snap

引入拍照手勢

今年年初，AugmentOS舉行了一場黑客馬拉松活動，開發(fā)者@Philippe實現(xiàn)了AR眼鏡屏幕實時顯示取景框、基于手勢實現(xiàn)拍攝/畫面縮放等功能。

早些時候，AI/AR眼鏡只能拍攝特定畫面，如果需要調整參數(shù)規(guī)格則需要通過APP進行處理，后續(xù)引入手勢可能會是一個提升體驗的方式。

圖源：X平臺用戶 Philippe

臟話檢測

程序員Roger開發(fā)了一款“臟話罐”APP，它的玩法很簡單，當設備檢測到用戶正在說某些不文明用語時，屏幕會自動彈出警告信息。（AI眼鏡界的手工耿）

圖源：X平臺用戶 Roger

運行小游戲、播放視頻

目前一體式AR眼鏡多會傾向于采用Micro-LED屏幕，而它在畫面色彩以及分辨率等方面還不足以支撐游戲、視頻等體驗，因而這兩項功能會被很多人下意識忽略。即便如此，一些開發(fā)者依舊試圖探索這方面的可能性。

下圖中，開發(fā)者Kevin實現(xiàn)了在單色Micro-LED屏幕的AR眼鏡中播放《Bad Apple》。

圖源：X平臺用戶 Kevin

開發(fā)者Abeer Vaishnav則成功實現(xiàn)了在AR眼鏡運行Chrome瀏覽器經(jīng)典的恐龍小游戲，它需要通過點擊鏡框進行操作。

圖源：X平臺用戶 Abeer Vaishnav

寫在最后

AI/AR眼鏡仍處于早期階段，不過從開發(fā)者的響應來看，產(chǎn)品的硬件并不能局限軟件的想象空間。

眼鏡的性能、續(xù)航、重量不可能三角依然成立，但也希望后續(xù)產(chǎn)品能加速迭代，從而給消費者提供更豐富的內容生態(tài)體驗。