虛擬交互的觸覺反應(yīng)，讓使用者在虛擬環(huán)境中進(jìn)行交互時(shí)能夠感受到仿真的觸覺反饋。本文講述相關(guān)內(nèi)容，希望對(duì)你有幫助。

很可能在我們有意識(shí)的心理生活中，感官的相互作用是構(gòu)成觸覺的原因。也許觸覺并不只是肌膚與實(shí)物的接觸，而且還是頭腦中儲(chǔ)存的生命力 —— 麥克盧漢《理解媒介》

一、虛擬交互中缺少的觸覺反饋

在上一篇《瀏覽器中復(fù)刻 visionOS 交互 ｜ 鍵盤》中，我們?cè)跒g覽器中復(fù)現(xiàn)了裸手與虛擬鍵盤直接交互的設(shè)計(jì)，通過(guò)食指關(guān)節(jié)射線觸發(fā) Hover Effect 作為鍵盤按鍵的視覺引導(dǎo)。在實(shí)際體驗(yàn)過(guò)程中，最影響輸入效率和體驗(yàn)的，其實(shí)是因?yàn)槿鄙賹?shí)體鍵盤（按鍵）應(yīng)有的觸覺反饋，導(dǎo)致每一次按鍵的動(dòng)作無(wú)法獲得及時(shí)、明確的反饋。

根據(jù)人機(jī)交互中的信息加工理論（Information Processing Theory），在與界面交互的過(guò)程中，用戶和機(jī)器之間會(huì)不斷進(jìn)行信息的雙向處理，及時(shí)有效的反饋可以幫助用戶確認(rèn)操作是否正確、明確當(dāng)前狀態(tài)、增強(qiáng)操作滿足感，以及維持交互連貫性等。反之，缺少必要的反饋信息將打破這一循環(huán)，影響用戶效率和體驗(yàn)。

現(xiàn)有的交互方案

在裸手交互場(chǎng)景中，由于沒有實(shí)體外設(shè)的輔助，觸覺反饋必然是缺失的，為了彌補(bǔ)這一缺失，最直接的方法就是利用視覺、聽覺信息作為輔助，盡可能為用戶提供及時(shí)有效的反饋。例如 Meta Quest 中，按鍵成功會(huì)輔助以聲音 ??反饋：

不過(guò)這種解決方案更像是手機(jī)從實(shí)體按鍵過(guò)渡到觸屏按鍵時(shí)，為了彌補(bǔ)觸摸屏所欠缺的段落感和紋理起伏而設(shè)計(jì)的視、聽效果反饋（也包括振動(dòng)反饋，只不過(guò)是整個(gè)手機(jī)的振動(dòng)）。

在虛擬交互中，觸覺反饋的缺失更重要的是手和虛擬界面間缺少實(shí)體的阻擋，用戶往往會(huì)穿過(guò)模型而不自知。尤其是在虛實(shí)結(jié)合的場(chǎng)景下，這種虛實(shí)物體呈現(xiàn)出來(lái)的視覺沖突是影響沉浸體驗(yàn)的罪魁禍?zhǔn)字?，不論你的模型渲染的有多么真?shí)，用戶的大腦都會(huì)瞬間「出戲」。

針對(duì)這一問(wèn)題我相信即便是 Apple Vision Pro 也沒有辦法提供完美的解決方案（在不提供額外輔助設(shè)備的前提下），因此在蘋果官方設(shè)計(jì)規(guī)范里，對(duì)于直接交互的場(chǎng)景是非?？酥频模?/p>

Prefer indirect gestures.An indirect gesture tends to be easy for people to make because they don’t have to move their hands to a specific location. Reserve direct gestures for when you want to invite people to manipulate a nearby virtual object.

翻譯：首選間接手勢(shì)。間接手勢(shì)往往很容易做出，因?yàn)樗麄儾槐貙⑹忠苿?dòng)到特定位置。直接手勢(shì)適用于需要邀請(qǐng)用戶操作附近虛擬對(duì)象的情況。

在這些場(chǎng)景中使用直接交互（Direct Interaction/Touch）

二、偽觸覺反饋（Pseudo-Haptic Feedback）

當(dāng)然蘋果的設(shè)計(jì)規(guī)范并沒有解決虛實(shí)交互過(guò)程中觸覺缺失的問(wèn)題，為了真正解決這一問(wèn)題，方法可以大致分為兩大類，一是通過(guò)可穿戴設(shè)備（如手套、手環(huán)、指環(huán)等）或外置設(shè)備，提供真實(shí)的物理刺激（力、溫度、紋理、硬度、超聲波）等，具體可以參考下面這篇論文綜述：

這里舉一個(gè)例子，Meta Reality Labs 的研究團(tuán)隊(duì)嘗試讓用戶在虛擬鍵盤輸入的過(guò)程中，通過(guò)手套、腕帶為用戶提供真實(shí)的振感反饋，結(jié)果顯而易見，基于手指的振動(dòng)反饋可以帶來(lái)更高的用戶滿意度、輸入效率以及更低的認(rèn)知負(fù)荷（mental demand）；同時(shí)研究結(jié)果也證明，集中在腕帶部位的振動(dòng)反饋也能帶來(lái)幾乎類似的效果。

這其實(shí)是一個(gè)更面向市場(chǎng)化用戶需求的研究，大部分用戶不太可能接受時(shí)刻需要額外戴上一雙手套來(lái)使用 XR 設(shè)備，但是對(duì)于腕帶（或者集成到智能手表的表帶），是普通消費(fèi)者已經(jīng)完全能夠接受的。

虛擬鍵盤輸入

穿戴式觸覺反饋設(shè)備

另一類方法稱為偽觸覺反饋（Pseudo Haptic Feedback）技術(shù)，它通過(guò)視覺和聽覺等其他感官模擬出觸覺感受，而不需要實(shí)際的物理接觸或力反饋設(shè)備。正如文章開頭所引用的描述：

觸覺并不只是肌膚與實(shí)物的接觸…感官的相互作用是構(gòu)成觸覺的原因

我們的大腦經(jīng)歷了現(xiàn)實(shí)生活經(jīng)驗(yàn)的訓(xùn)練，知道觸覺不僅僅來(lái)自皮膚的感受，它總是與視覺、聽覺等其他感覺信息相伴而生。例如，按壓不同的鍵盤會(huì)產(chǎn)生不同的聲音反饋；用手推動(dòng)物體時(shí)，要么手被物體阻隔無(wú)法向前，要么物體會(huì)隨手的動(dòng)作一起移動(dòng)。

下面這篇研究中，研究人員設(shè)計(jì)了四種不同的偽觸覺反饋效果，并組合呈現(xiàn)給用戶體驗(yàn)，以評(píng)估不同的反饋方式對(duì)虛擬交互體驗(yàn)的作用。結(jié)果顯示不同的視覺反饋效果都可以有效誘發(fā)「觸幻覺」（Haptic illusion）。

三、總結(jié)

Apple Vision Pro 采用眼手協(xié)同交互替代傳統(tǒng) VR 設(shè)備的手柄控制器，觸覺反饋的缺失在特定的虛實(shí)結(jié)合交互場(chǎng)景必然會(huì)打破用戶的連貫性交互和沉浸感。為了解決這一問(wèn)題：

• 一方面在交互設(shè)計(jì)時(shí)除非必要應(yīng)盡量克制直接的虛實(shí)交互；
• 另一方面充分利用視覺、聽覺線索「欺騙」用戶大腦以產(chǎn)生偽觸覺反饋效果。

此外可以預(yù)見的是，蘋果必將充分利用其「全家桶」等生態(tài)優(yōu)勢(shì)，將 Apple Watch 作為交互控制、反饋的輔助設(shè)備無(wú)縫納入到 Vision Pro 的場(chǎng)景交互里。