前面兩篇文章討論了 visionOS 鍵盤和虛擬鍵盤交互中觸覺缺失的問題，最近 Meta 放出了將任意物理平面變成虛擬鍵盤輸入界面的方法，通過將虛擬鍵盤“投射”到物理桌面上，解決了觸覺反饋的問題，當(dāng)用戶在虛擬鍵盤鍵入文本時(shí)，頭顯可以輔以相應(yīng)的視覺或聽覺提示，進(jìn)而增加用戶按鍵信心。不僅如此，系統(tǒng)可以繼續(xù)利用基于人工智能的輸入法自動(dòng)糾錯(cuò)和自動(dòng)判斷等功能，進(jìn)一步提升輸入效率和精度，可以達(dá)到每分鐘100單詞的成績(jī)，準(zhǔn)確率高達(dá) 98.9%。

本文就來盤點(diǎn)一下那些虛實(shí)結(jié)合場(chǎng)景下文本輸入的（奇奇怪怪的）方案。

與人們已經(jīng)習(xí)慣的實(shí)體鍵盤、觸摸屏相比，VR/AR 中輸入文本的困難，總結(jié)原因要么是“看得見摸不著”，要么是“摸得著看不見”：虛擬鍵盤界面，視覺上看得見，但缺少觸覺反饋（觸覺缺失導(dǎo)致的問題已經(jīng)在上一篇講過了）；實(shí)體鍵盤在觸覺上摸得著，在VR場(chǎng)景中不可見，在AR場(chǎng)景中與便攜屬性不符。

為了提高文字輸入效率，過往研究提出了以下不同類型的方案：

• 優(yōu)化布局（QWERT → 靈活布局）：從傳統(tǒng)的 QWERT 鍵盤布局，到更符合懸空手勢(shì)、控制器輸入的靈活布局，通過交互設(shè)計(jì)的方式提升文字輸入效率；
• 變換控制方式（手柄 → 裸手 → 穿戴）：從傳統(tǒng)的手柄（只有兩個(gè)輸入觸點(diǎn)）到裸手識(shí)別，再到指環(huán)、腕帶等穿戴設(shè)備，充分利用不同的控制方式，同時(shí)可以結(jié)合不同的布局優(yōu)化；
• 多模態(tài)輸入（手眼 → 語音 → 大腦）：從手眼協(xié)同，到語音識(shí)別，再到腦機(jī)接口，充分利用人的不同感知通道

一、優(yōu)化布局

1. Google 敲鼓鍵盤

這是 Google 為其 Daydream 項(xiàng)目（早期將 Android 設(shè)備變成 VR 平臺(tái)的項(xiàng)目）設(shè)計(jì)的虛擬鍵盤布局和控制器輸入方式，配合 Daydream 的長條形狀控制器，呈現(xiàn)一定弧度的鍵盤布局和圓鼓形狀的按鍵設(shè)計(jì)，讓文本輸入像演奏音樂一樣充滿節(jié)奏和樂趣。

Google Daydream drum keyboard

2. HoloLens 混合現(xiàn)實(shí)鍵盤

HoloLens 的混合現(xiàn)實(shí)鍵盤采用的是傳統(tǒng)的 QWERT 布局，事實(shí)上有點(diǎn)“過于傳統(tǒng)”了，第一眼就讓人聯(lián)想到傳統(tǒng)的打字機(jī)，再配上若有若無淡藍(lán)色的熒光，一股濃濃的復(fù)古未來主義（Retro-futurism）風(fēng)，令人印象深刻！

HoloLens keyboard

Typewriter

3. 跟手布局

Apple Vision Pro 發(fā)布的時(shí)候就有網(wǎng)友做了梗圖——更適合中國人的“算命輸入法”。

算命輸入法

事實(shí)上確實(shí)有人在做相關(guān)的設(shè)計(jì)和專利，通過將按鍵布局與用戶手部關(guān)節(jié)點(diǎn)相對(duì)應(yīng)，借助手勢(shì)識(shí)別實(shí)現(xiàn)復(fù)雜的文本輸入，甚至可以在關(guān)節(jié)點(diǎn)上綁定“應(yīng)用快捷鍵”，不止能用于文本輸入：

BlueTap 輸入法專利

BlueTap 輸入法 – 快捷方式

4. 靈活組合布局

另一種布局方式是打破現(xiàn)有的 QWERT 排列方式，例如結(jié)合游戲手柄的搖桿，只通過方向選擇的序列組合實(shí)現(xiàn)不同字母的選擇。這類布局的設(shè)計(jì)思路與手機(jī)“九宮格輸入法”一樣，在有效按鍵數(shù)量受限的情況下，通過步驟組合來獲得更多輸出結(jié)果，即以時(shí)間換空間。

PizzaText

PinchType 手勢(shì)分組

改變輸入按鍵的布局通常需要與特定輸入控制方式相配合，并且需要輔助更好的輸入算法，這類方法最大的問題在于打破用戶的常規(guī)輸入習(xí)慣，學(xué)習(xí)成本過高因而實(shí)用性不足（但對(duì)于熟練掌握功能機(jī)時(shí)代九宮格輸入法的用戶來說，上面的“算命輸入法”很可能是一個(gè)不錯(cuò)的方案??）。

二、變換控制方式

1. 手勢(shì)姿態(tài)追蹤

這一類輸入方式并不需要真的鍵盤存在，主要是利用人們熟練打字之后形成的肌肉記憶，用戶只需要讓自己相信雙手正在敲擊鍵盤打字，它可以通過識(shí)別手指的運(yùn)動(dòng)模式，來推斷對(duì)應(yīng)的文字輸入。

TapID

TapXR

這類方法沒有給用戶帶來額外的學(xué)習(xí)負(fù)擔(dān)，只是需要熟悉一下如何遷移自己在真實(shí)鍵盤上打字的肌肉記憶。

2. 手寫控制

這一類輸入方法，通過指環(huán)直接監(jiān)控手指的活動(dòng)，從而完成更加靈活、精確的手指姿勢(shì)識(shí)別，再輔助輸入算法以實(shí)現(xiàn)文本或指令的輸入。

Apple 智能指環(huán)專利

2014年的智能指環(huán)眾籌項(xiàng)目，已停止

3. 鍵盤追蹤

鍵盤追蹤的方法就比較直接了，要么是把真實(shí)的鍵盤通過定位將1:1模型投射到VR里，要么是通過局部透視（Passthrough）的功能，將鍵盤區(qū)域開放給給虛擬場(chǎng)景。總的來說就是讓鍵盤在 XR 場(chǎng)景中能夠同時(shí)被看得見和摸得著。

羅技鍵盤Bridge

三、多模態(tài)輸入

1. 語音輸入

語音轉(zhuǎn)文字輸入其實(shí)是對(duì)手動(dòng)輸入最便捷、準(zhǔn)確率最高的補(bǔ)充，現(xiàn)有的技術(shù)也足夠成熟。只不過在應(yīng)用場(chǎng)景上，語音輸入更適合較簡(jiǎn)短的指令輸入（如 Siri），或者對(duì)文本精確度要求沒有那么高、可以事后進(jìn)行重新編輯的場(chǎng)景（如會(huì)議記錄、語音聊天等）。

如果是類似辦公的 XR 場(chǎng)景下，那么大段的語音輸入轉(zhuǎn)文字后可能還需要通過其它方法輔助進(jìn)行精確編輯，另外語音交互也對(duì)用戶場(chǎng)景有諸多限制??：

2. 腦機(jī)接口

一般的腦機(jī)接口（BCI）技術(shù)是指通過讀取大腦信號(hào)，加以判斷并反饋給計(jì)算機(jī)進(jìn)行輸入或控制。其本質(zhì)上和前面的手部信號(hào)其實(shí)差別不大，只不過大腦電信號(hào)要比肌肉電復(fù)雜得多，同時(shí)對(duì)大腦決策指令的解讀也可以完成比文本輸入更加復(fù)雜的任務(wù)。

21 年發(fā)表在《Nature》的一篇研究可以讓癱瘓人士通過書寫來交流，他們?cè)谝粋€(gè)四肢癱瘓患者的手部運(yùn)動(dòng)相關(guān)皮層區(qū)域記錄了來自植入電極的神經(jīng)活動(dòng)。即使在癱瘓多年后，他的運(yùn)動(dòng)皮層仍保留了對(duì)不同字母書寫動(dòng)作的強(qiáng)大神經(jīng)表征。這種方式是直接對(duì)大腦信號(hào)的解讀，尤其是把運(yùn)動(dòng)信號(hào)的指令解讀出來，則可以直接在計(jì)算機(jī)中對(duì)書寫或輸入的結(jié)果進(jìn)行翻譯，有可能這才是終極解決方案！

參考資料：

• https://niteeshyadav.com/blog/are-we-ditching-keypads-for-good-in-ar-vr-84902/
• Dube, T.J., Arif, A.S. (2019).Text Entry in Virtual Reality: A Comprehensive Review of the Literature. In: Kurosu, M. (eds) Human-Computer Interaction. Recognition and Interaction Technologies. HCII 2019. Lecture Notes in Computer Science(), vol 11567. Springer, Cham.https://doi.org/10.1007/978-3-030-22643-5_33
• TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing
• Willett, F. R., Avansino, D. T., Hochberg, L. R., Henderson, J. M., & Shenoy, K. V. (2021).High-performance brain-to-text communication via handwriting.Nature,593(7858), 249–254. https://doi.org/10.1038/s41586-021-03506-2