近期，Apple 發(fā)布了關(guān)于 AI 手機(jī)端應(yīng)用的論文，其中一篇是講 Ferret-UI 的研發(fā)成果。蘋果為什么要做 Ferret-UI，它會(huì)顛覆交互設(shè)計(jì)么？

最近，Apple 在一周內(nèi)發(fā)布了兩篇 AI 手機(jī)端應(yīng)用的論文，其中一篇是講 Ferret-UI 的研發(fā)成果。

作為交互設(shè)計(jì)師，我們有必要將該技術(shù)可以看作是 AI 在交互設(shè)計(jì)領(lǐng)域的全新嘗試，會(huì)對(duì)未來(lái)的界面交互體驗(yàn)產(chǎn)生顛覆性的影響。?

一、為什么蘋果要做 Ferret-UI

一直以來(lái)，ChatGPT 等大型語(yǔ)言模型都主要依賴于文本和圖象數(shù)據(jù)進(jìn)行訓(xùn)練，而這些數(shù)據(jù)大多來(lái)源于已存在的網(wǎng)絡(luò)信息和頁(yè)面。但是，移動(dòng)應(yīng)用的界面和交互方式與直觀的網(wǎng)頁(yè)信息不同，最主要的兩個(gè)區(qū)別如下：

一是移動(dòng)界面的寬高比、圖標(biāo)和按鈕的尺寸有各種規(guī)范和設(shè)計(jì)原則；

二是移動(dòng)應(yīng)用的功能語(yǔ)意需要理解，每個(gè)元素都存在不同的交互方式。

正是這兩點(diǎn)導(dǎo)致傳統(tǒng)的大語(yǔ)言模型在處理和設(shè)計(jì)移動(dòng)應(yīng)用界面信息時(shí)往往會(huì)力不從心。而蘋果開(kāi)發(fā) Ferret-UI 想要解決的就是AI 在理解移動(dòng)應(yīng)用界面方面的問(wèn)題。蘋果的研究人員在論文中提到，F(xiàn)erret-UI 采用多模態(tài)大型語(yǔ)言模型的技術(shù)路線，并對(duì)其進(jìn)行了三點(diǎn)針對(duì)性的優(yōu)化：

1. Ferret-UI 能夠識(shí)別和處理不同寬高比的屏幕，可以理解同一個(gè)頁(yè)面不同尺寸的適配方案：???

2. Ferret-UI 增強(qiáng)了識(shí)別小尺寸圖像的能力，比如 icon、按鈕、文本等等，能夠更準(zhǔn)確地識(shí)別和定位屏幕上的各個(gè)元素及其功能：

3. Ferret-UI 在識(shí)別圖像后更進(jìn)一步，能夠理解對(duì)話和推斷任務(wù)，也即理解屏幕內(nèi)容變化與用戶操作結(jié)果之間的關(guān)系，更好地響應(yīng)用戶的指令：

二、Ferret-UI 的應(yīng)用場(chǎng)景

我們可以從蘋果對(duì)于 Ferret-UI 的核心技術(shù)描述推斷出其能夠應(yīng)用的幾類場(chǎng)景：

1. 建立更標(biāo)準(zhǔn)、通用的底層規(guī)范

Ferret-UI 通過(guò)學(xué)習(xí)大量?jī)?yōu)秀的 UI 界面以及交互設(shè)計(jì)規(guī)則，可以建立起更為標(biāo)準(zhǔn)、更為理性的界面設(shè)計(jì)通用準(zhǔn)則和基礎(chǔ)規(guī)范。而 AI 對(duì)于規(guī)則的記憶和掌握也一定比人類開(kāi)發(fā)者和設(shè)計(jì)師更加輕松，能夠最大程度上保證界面設(shè)計(jì)的規(guī)范性。???

2. 快速繪制 UI demo 稿或設(shè)計(jì)稿

通過(guò)對(duì)大量 UI 界面的理解學(xué)習(xí)， Ferret-UI 可以相對(duì)準(zhǔn)確地生產(chǎn)出交互設(shè)計(jì)界面，以滿足產(chǎn)品的基礎(chǔ)版本，提升產(chǎn)品的產(chǎn)研和設(shè)計(jì)效率。

3. 評(píng)估檢驗(yàn) UI 設(shè)計(jì)的問(wèn)題和質(zhì)量

Ferret-UI 可以幫助產(chǎn)品的開(kāi)發(fā)者讓和設(shè)計(jì)師評(píng)估 UI 的有效性和界面設(shè)計(jì)的易用性。你可以將交互界面給 Ferret-UI 進(jìn)行測(cè)試，更快地找出 UI 設(shè)計(jì)中存在的問(wèn)題；也可以將設(shè)計(jì)稿和開(kāi)發(fā)上線后的版本放到 Ferret-UI 進(jìn)行對(duì)比檢測(cè)，更加快速地完成設(shè)計(jì)走查。

4. 改變界面的交互方式和使用體驗(yàn)

Ferret-UI 在頁(yè)面的交互方式上也有著無(wú)限的可提升空間：比如對(duì)整個(gè) UI 界面進(jìn)行語(yǔ)音朗讀或語(yǔ)音操作指引；對(duì)于復(fù)雜功能進(jìn)行講解等等，這也會(huì)為視覺(jué)障礙或是認(rèn)知障礙的用戶提供便利。

5. 推動(dòng) AI 新智能手機(jī)的發(fā)展

Ferret-UI 還可以為 Siri 賦能，未來(lái)的 Siri 不僅僅能夠提供給你想要的信息，還能夠理解你的語(yǔ)音指令，并與你手機(jī)上的應(yīng)用程序進(jìn)行交互，代替你完成相關(guān)的操作。未來(lái)你可以告訴 Siri：“幫我預(yù)訂一晚位于上海靜安區(qū)的酒店，一間雙床房加兩份早餐，價(jià)格不超過(guò) 600 元?！?Siri 便可以通過(guò) Ferret-UI 的能力與酒店應(yīng)用或是旅行應(yīng)用進(jìn)行交互，自動(dòng)完成酒店的預(yù)訂。

這樣的交互方式讓真正的 AI 新智能手機(jī)的概念成為可能，而不再是停留在現(xiàn)階段裝了 AI 應(yīng)用的智能手機(jī)。

三、設(shè)計(jì)師該如何應(yīng)對(duì)？

看到這里，很多交互設(shè)計(jì)師朋友大概又要開(kāi)始焦慮了。然而比起擔(dān)心失業(yè)或被替代，更重要的是認(rèn)清我們自己的優(yōu)勢(shì)所在。

Ferret-UI 會(huì)帶來(lái)的智能設(shè)備的交互變革，是我認(rèn)為它對(duì)交互設(shè)計(jì)影響最核心的方面，但具體如何讓新的 AI 智能設(shè)備更加人性化、擁有更好的使用體驗(yàn)，還得是由人類設(shè)計(jì)師來(lái)定義和判斷。我相信蘋果的設(shè)計(jì)師會(huì)借助 Ferret-UI 讓下一代 iPhone 再次驚艷四方。

一方面，我們可以利用 AI 的技術(shù)優(yōu)勢(shì)，為產(chǎn)研過(guò)程降本增效，將更多的精力用于對(duì)產(chǎn)品和用戶的深入洞察和思考上。

另一方面，我們要不斷發(fā)揮人類特有的主觀能動(dòng)性，時(shí)刻關(guān)注這些技術(shù)和行業(yè)的發(fā)展與變革，將技術(shù)作為我們自身能力的延伸，拓寬自身能力的邊界。

不論 AI 如何強(qiáng)大，人類的未來(lái)都需要由人類自己定義。