一直以來，VR領(lǐng)域的從業(yè)者都在嘗試追尋與實(shí)現(xiàn)更自然的交互，而蘋果在今年6月發(fā)布的初代MR頭顯，或許可以為后續(xù)的XR交互帶來更多可能性。這篇文章里，作者就梳理了XR交互方式的迭代變化過程與趨勢(shì)，一起來看看吧。

為了讓XR設(shè)備的控制器更加貼近自然，業(yè)內(nèi)做過很多種嘗試，像Meta前幾年曾公布的觸覺手套，索尼近期公布的游戲手套，還有綁在手腕上的控制器，外掛氣味套件等等。

只是由于大多數(shù)交互方式的嘗試很難落地，搞了好幾年仍是概念產(chǎn)品。目前，XR交互仍以頭部和手部的6DoF追蹤定位為主，未來XR的交互的重點(diǎn)仍將以手部以及頭部為主，只是圍繞的中心正在發(fā)生變化。

2023年6月，蘋果發(fā)布其初代MR頭顯，摒棄了手柄，采用了以語(yǔ)音+手勢(shì)+面部/眼睛追蹤為主的更加自然的交互方式。為了更好理解XR交互方式的迭代，本文梳理了XR交互方式的迭代變化過程與趨勢(shì)。

一、VR交互發(fā)展的第一次沖鋒

1995年，任天堂發(fā)布了一款早期VR概念的便攜式游戲機(jī)Virtual Boy，也算是VR交互發(fā)展的首次沖鋒，當(dāng)時(shí)各大媒體的報(bào)道都給予了這款產(chǎn)品很高的評(píng)價(jià)。

山內(nèi)溥更是在1995年Q1的股東大會(huì)上欣然允諾：“Virtual Boy將在發(fā)售的第一財(cái)年里出貨500萬(wàn)臺(tái)，為任天堂帶來800億日元的利潤(rùn)?！比欢鳹irtual Boy發(fā)售不到半年就迅速走向了「死亡」，評(píng)價(jià)也是一落千丈。

任天堂自然是希望Virtual Boy能成為它彎道超車的機(jī)會(huì)，一舉搶占新賽道。但從Virtual Boy的形態(tài)來看，想做到這一點(diǎn)很難。

一款可被消費(fèi)者持續(xù)購(gòu)買的產(chǎn)品，交互方式必然很重要。當(dāng)時(shí)由于技術(shù)的受限，Virtual Boy很難被攜帶使用，同時(shí)采用單色液晶屏的技術(shù)，整個(gè)畫面都是紅色的，像極了驚悚片。

Virtual Boy 游戲《馬力歐網(wǎng)球》的模擬器演示畫面，實(shí)機(jī)畫面表現(xiàn)與此相比還要差得多

而Virtual Boy的交互設(shè)計(jì)則以游戲手柄作為參考對(duì)象，造型看上去很奇怪，與現(xiàn)在的游戲手柄的設(shè)計(jì)相比，當(dāng)時(shí)Virtual Boy沒有X和Y按鈕，有一個(gè)更大的握把，右側(cè)還有一個(gè)額外的方向鍵。

由于頭戴式會(huì)出現(xiàn)讓人頭暈的偏振現(xiàn)象，任天堂的解決方法是取消頭戴式，給頭顯加個(gè)三腳架，讓玩家自己的腦袋去適配游戲機(jī)，用起來大概是下面所展示的畫面。據(jù)大多數(shù)玩家表示在玩游戲過程中會(huì)出現(xiàn)惡心、頭暈以及眼睛非常不舒適的感覺。

雖然Virtual Boy給人帶來了三維視覺的體驗(yàn)，但交互方式還是沿襲了游戲交互的設(shè)計(jì)，與VR設(shè)備的結(jié)合并不是很協(xié)調(diào)，這也是VR硬件早期發(fā)展過程中所體現(xiàn)出來的一個(gè)問題。

在VR硬件發(fā)展的早期階段，交互方式都很單一，而且設(shè)備過重很難攜帶，同時(shí)還容易發(fā)熱，這一系列的不佳體驗(yàn)都導(dǎo)致90年代的VR設(shè)備發(fā)展陷入停滯的局面。各大廠商們紛紛偃旗息鼓，坐等技術(shù)進(jìn)一步發(fā)展。

二、VR交互發(fā)展的多種嘗試

2012年左右，隨著技術(shù)有進(jìn)一步進(jìn)展，VR熱潮開始重啟。

2012年Oculus創(chuàng)始人帕爾默·拉基發(fā)布了Oculus Rift原型機(jī)并籌集了240萬(wàn)美元，用于改進(jìn)頭顯和跟蹤軟件。Oculus Rift的到來，讓廠商們看到了VR的潛力。2014年，F(xiàn)acebook便以20億美元收購(gòu)了Oculus VR。

Oculus Rift本身是一副虛擬現(xiàn)實(shí)護(hù)目鏡，配有耳機(jī)，可連接到游戲PC或筆記本電腦，只是Oculus Rift可以通過紅外傳感器追蹤頭部運(yùn)動(dòng)，并且還可以通過Oculus Touch控制器跟蹤有限的手部動(dòng)作。Oculus Touch控制器具有按鈕和模擬搖桿，能夠與其他支持PC的游戲控制器兼容。

通過Oculus Rift，人們驚訝地發(fā)現(xiàn)VR設(shè)備相比之前已經(jīng)有了很大的改進(jìn)，在交互環(huán)節(jié)上雖然缺失手動(dòng)跟蹤控制器，無法完成復(fù)雜的游戲，但是可以滿足瀏覽視頻，三維觀看的需求，同時(shí)期無手柄設(shè)計(jì)的設(shè)備還有谷歌VR盒子、三星Gear。

Oculus Rift

2014年谷歌發(fā)布VR盒子——Cardboard，一種廉價(jià)的簡(jiǎn)易頭戴式裝置，其圖像質(zhì)量并無法與Oculus Rift相媲美，但造價(jià)與體驗(yàn)成本很低，用戶只需要在手機(jī)上下載好軟件，并將手機(jī)放入Cardboard紙盒即可體驗(yàn)三維視頻，降低了普通人踏入VR的門檻。

谷歌VR盒子——Cardboard

2015年三星發(fā)布Gear，三星Gear也不能獨(dú)立工作，仍需要連接手機(jī)。設(shè)備會(huì)自動(dòng)檢測(cè)，一旦連上手機(jī)，會(huì)自動(dòng)變成VR模式，讓屏幕分屏顯示VR內(nèi)容。但三星Gear VR并不只是一個(gè)和谷歌紙盒一樣的簡(jiǎn)單的設(shè)計(jì)，其自帶加速計(jì)、陀螺儀和重力傳感器，能夠幫助減少屏幕延時(shí)，提供更好的體驗(yàn)。

同時(shí)，雖然三星Gear也無手柄，但三星Gear在眼鏡的右側(cè)設(shè)有內(nèi)凹十字的觸控板和功能性的按鍵，所有的使用操作都通過觸控板和按鍵實(shí)現(xiàn)。中間的圓點(diǎn)為確認(rèn)鍵，觸控板上獨(dú)立設(shè)有一顆返回鍵。

也就是說在操作環(huán)節(jié)上，三星Gear又更進(jìn)了一步，即使不看設(shè)備，滑動(dòng)設(shè)備邊上的觸摸板也可以進(jìn)行盲操作，而在玩一些游戲時(shí)也可連接藍(lán)牙手柄。

2012年-2016年期間VR設(shè)備的交互設(shè)計(jì)已經(jīng)逐步轉(zhuǎn)向人性化的設(shè)計(jì)，雖然這時(shí)候VR還不能作為獨(dú)立的設(shè)備使用，VR設(shè)備的交互也無法完全滿足用戶需求，但卻激發(fā)了人們對(duì)VR前景的期待。

2016年已經(jīng)有不少硬件廠商推出了自己的VR硬件設(shè)備，分別有PC VR頭顯、VR一體機(jī)以及用于生產(chǎn)VR內(nèi)容的全景相機(jī)設(shè)備等。

在交互技術(shù)迭代上，2016年之后的設(shè)備開始圍繞手部與頭部的追蹤，在3DoF追蹤定位的基礎(chǔ)上升級(jí)到6DoF，增加手柄和頭部的追蹤意味著用戶與VR設(shè)備的連接更加自由，體驗(yàn)也會(huì)更自然。具有代表性的產(chǎn)品有HTC Vive、 Valve、Quest系列、PICO Neo 3等。

6DoF即6自由度，在3DoF基礎(chǔ)上再增加“上下、前后、左右”等3個(gè)位置相關(guān)的自由度。頭部從3DoF只能檢測(cè)到頭部轉(zhuǎn)動(dòng)姿態(tài)到6DoF可以檢測(cè)伸頭縮頭等姿態(tài)，而且還可以檢測(cè)身體移動(dòng)上下前后左右位移的變化。6DoF更加符合人體體驗(yàn)，更具沉浸感。

尤其是在VR游戲的體驗(yàn)中，復(fù)雜的VR游戲往往會(huì)需要玩家調(diào)動(dòng)全身互動(dòng)融入，6DoF可以做到360°的移動(dòng)身體，如果是3DoF往往只能待在原地，主打觀看。

如今6DoF+手柄追蹤方案已經(jīng)是VR設(shè)備的標(biāo)配，也有部分廠商的設(shè)備已升級(jí)到裸手識(shí)別交互，但識(shí)別效果欠佳。各大廠商都在極力在6DoF的基礎(chǔ)上不斷增強(qiáng)VR交互能力，如360°環(huán)繞音效、眼動(dòng)追蹤等。整體來看，目前VR交互技術(shù)的成熟度仍有不足，離自然、便捷、擬真的交互體驗(yàn)還有一段距離。

三、XR更自然交互方式的到來

一直以來VR追尋自然交互技術(shù)的腳步一直未停，但由于成本與技術(shù)之間難以平衡，很多好的交互概念便一直停留在設(shè)想環(huán)節(jié)，因此VR手柄便是目前主流的交互方式。

但自蘋果發(fā)布Vision Pro以來，業(yè)內(nèi)看到了VR設(shè)備的創(chuàng)新交互被打開了一個(gè)窗口，VR交互方式可以更加接近自然，在VR手柄交互之外增加了諸多自然的輔助交互方式，如語(yǔ)音、手勢(shì)、面部追蹤以及全彩透視，這些交互方式或有望成為未來新的主流交互方式。

關(guān)于Vision Pro的交互解析可查看VR陀螺之前寫過一篇分析文章《Vision Pro交互設(shè)計(jì)，蘋果的陽(yáng)謀》。

語(yǔ)音+手勢(shì)+面部/眼動(dòng)追蹤，實(shí)現(xiàn)可見即可交互

語(yǔ)音識(shí)別在人工智能發(fā)展的趨勢(shì)下不可或缺，并且是最快發(fā)展的一種交互方式，如語(yǔ)音識(shí)別交互已經(jīng)從最初的語(yǔ)音搜索發(fā)展到智能家居、智能汽車等多領(lǐng)域。

而在蘋果所演示的Vision Pro的應(yīng)用中，語(yǔ)音交互已經(jīng)展現(xiàn)了其輔助交互的潛力，通過語(yǔ)音可以喚醒或關(guān)閉APP以及發(fā)送信息等。在2023CIOE深圳光博會(huì)展覽上，能看到諸多廠商都展示了增加語(yǔ)音識(shí)別技術(shù)的整機(jī)方案，尤其是在B端，語(yǔ)音識(shí)別起到了很大輔助作用。

今年，自ChatGPT爆發(fā)以來，大模型推動(dòng)自然語(yǔ)言處理等后端環(huán)節(jié)更加成熟，為語(yǔ)音識(shí)別的應(yīng)用場(chǎng)景提供了諸多可能性，據(jù)頭豹預(yù)計(jì)2027年市場(chǎng)規(guī)?？赏黄?50億元。未來，語(yǔ)音識(shí)別交互趨勢(shì)將進(jìn)一步加強(qiáng)，推動(dòng)XR交互不斷升級(jí)。

VR手柄作為傳統(tǒng)游戲手柄交互方式的一種延續(xù)，在XR交互過程中很難實(shí)現(xiàn)手勢(shì)動(dòng)作的連貫性，相當(dāng)于用戶只能通過手柄執(zhí)行任務(wù)，雙手自然就被束縛住了。而裸手交互作為有望取代VR手柄的一種交互方式，體驗(yàn)上更加接近人的自然狀態(tài)。

面部/眼動(dòng)追蹤使用內(nèi)部攝像頭來感知用戶眼睛和臉部某些部位的動(dòng)作，再結(jié)合免校準(zhǔn)的機(jī)器學(xué)習(xí)模型，頭顯可以將所看到的內(nèi)容轉(zhuǎn)化為可以驅(qū)動(dòng)任何化身動(dòng)畫的輸入，實(shí)現(xiàn)虛擬化身。

但眼動(dòng)追蹤的實(shí)現(xiàn)更難，2022年以來，能看到諸多XR設(shè)備都搭載了眼動(dòng)追蹤技術(shù)，如PS VR 2、Quest Pro以及PICO 4 Pro，但還是很難達(dá)到絲滑的地步。如果說語(yǔ)音+手勢(shì)+面部/眼動(dòng)追蹤可以將人的身體自然調(diào)動(dòng)，必然會(huì)成為人機(jī)交互最好的解決方案。

至于全彩透視雖然可以提供更加豐富的MR體驗(yàn)，但技術(shù)難度高。目前還無法做到通過人眼直接看到的真實(shí)世界，只能通過機(jī)器拍攝現(xiàn)實(shí)世界場(chǎng)景，經(jīng)過系統(tǒng)處理之后投射在顯示屏上的畫面。只是作為實(shí)現(xiàn)MR的重要技術(shù)，或會(huì)打開基于MR版本的消費(fèi)場(chǎng)景。據(jù)了解，已有內(nèi)容上嗅到潛力，開始開發(fā)MR版本的游戲。

四、結(jié)語(yǔ)

2007年，喬納森·卡普蘭和艾瑞 ·布朗斯坦發(fā)明了一種簡(jiǎn)單的便攜式攝像機(jī)Flip，在美國(guó)便攜式攝像機(jī)市場(chǎng)上掀起了一股狂潮。與此同時(shí)，索尼和松下等公司為了搶占市場(chǎng)，忙著向自己的攝像機(jī)產(chǎn)品中增加一些高級(jí)功能，如添加好萊塢電影式字幕等視頻特效。

但Flip攝像機(jī)卻贏得了市場(chǎng)，出貨直接上升百萬(wàn)臺(tái)，而當(dāng)時(shí)全美國(guó)市場(chǎng)的攝像機(jī)銷量只有600萬(wàn)臺(tái)。根本原因就在于Flip的交互設(shè)計(jì)極為簡(jiǎn)單，甩開了一切不必要的功能。沒有連接線，只有9個(gè)鍵，甚至連軟件驅(qū)動(dòng)CD都沒有——所有必需的軟件都保存在攝像機(jī)內(nèi)，F(xiàn)lip連上電腦就會(huì)自動(dòng)載入。

雖然如今Flip已經(jīng)退出歷史舞臺(tái)，但這個(gè)故事再度表明了人機(jī)的交互方式對(duì)于人的選擇極為重要。反觀XR設(shè)備，操作上的不方便一直被詬病，甚至已成為很多人棄用的一大理由之一。

未來XR的交互方式必然要往更加簡(jiǎn)單的方向發(fā)展，以簡(jiǎn)單的交互方式為重點(diǎn)反向挖掘應(yīng)用場(chǎng)景，如搭載裸手交互的小游戲，只要游戲內(nèi)容足夠有趣，小游戲則更容易風(fēng)靡市場(chǎng)；結(jié)合語(yǔ)音識(shí)別的應(yīng)用工具，如語(yǔ)言學(xué)習(xí)、實(shí)時(shí)翻譯等。