在當今的數字時代，我們越來越多地與技術互動，而這些互動往往是通過多種感官進行的。本文將帶你走進多模態(tài)交互的世界，探索如何通過結合人類的感官能力與設備的技術能力，設計出更自然、更直觀的交互界面。

人類是多感官生物，人類的交互也是多感官的，交互界面也應該是多模態(tài)的。

針對多模態(tài)交互好的書籍不多，想起當年剛工作的時候讀過一本書叫《DesigningAcrossing Senses》，在這本書里讀到很多有趣的案例和觀點，最近又重新拿出來翻看，同時也想把多模態(tài)產品設計寫成一系列文章，結合平時工作里的一些感悟一起沉淀一下，賦能認知，構建知識護城河（??）

??這世界就是一個巨大的「多模態(tài)」

幾乎所有的產品和環(huán)境都是多模態(tài)的。我們看到一扇門，去敲，再等待門打開或聽到里面有人問是誰。我們用手指在鍵盤上打字，看到字符出現在我們眼前的屏幕上。我們向 Siri 提問，然后看到類似示波器的波形。我們接到一個電話，感覺到振動，聽到鈴聲，通過屏幕上的顯示知道來電人的名字。我們玩電子游戲的時候，沉浸在來自屏幕、揚聲器和手中隆隆聲沖擊控制器的感官信息中。

多模態(tài)產品將不同的模態(tài)緊密地融合在一起，它們使我們能夠像體驗日常生活一樣體驗技術：跨越我們的感官。

好的多模態(tài)設計有助于我們專注于我們正在做的事情，而糟糕的多模態(tài)設計會因笨拙或脫節(jié)的交互和不相關的信息而分散我們的注意力，輕則令人惱火，重則讓人陷入危險。

而設計多模態(tài)交互，與了解人類的感官是如何運作的分不開。

????????回歸我們的感官

我們的感官是通往富有的，多樣的，讓人愉悅的，有意義生命體的通道。

視覺起源于數億年前寒武紀大爆發(fā)期間，作為單細胞生物體上基于蛋白質的光感受器斑塊，自羅馬時代以來，追蹤犬就開始使用。警犬已經存在了一百多年。人類大約有 500 萬個氣味腺，而狗有 1.25 億到 3 億個。他們的嗅覺比我們好 100,000 倍。

在過去十余年內開發(fā)的技術可以擴展我們的自然感知能力，使我們能夠看到亞原子粒子，聽到整個城市的聲音，監(jiān)視一個大陸，并觀察我們宇宙最遙遠的地方。它讓我們以前所未有的方式使用我們的感官，但當然也取決于我們最初如何自然地使用它們。

了解我們的感官是如何進化的，以及我們現在如何使用它們，將有助于我們設計未來使用它們的新方法。

想想你的感官一整天的工作方式。陽光可以喚醒你。烹飪的氣味可以提醒您有多餓。雨聲可能會令人高興或失望。

我們的感官收集我們周圍的物理信息。這些信息無法通過 Google 搜索，但我們會一直在使用它。我們可以通過從窗簾滲入的光線來判斷現在是早晨。我們可以通過廚房里散發(fā)出的香氣來判斷晚餐吃什么。當我們聽到雨聲時，我們會抓起雨傘。當我們聽到一個笑話時，我們會笑。

在技術的幫助下，我們可以看出有人剛剛來到我們的前門，我們的電子郵件剛剛發(fā)送，或者我們面前的卡車即將倒車。

David Eagleman 是一位認知神經科學家，研究人類經驗和心靈如何相互塑造。他寫道：被封印在你頭骨黑暗、寂靜的房間里，你的大腦從未直接體驗過外部世界，也永遠不會。相反，來自那里的信息只有一種方式進入大腦。您的感覺器官 — 眼睛、耳朵、鼻子、嘴巴和皮膚 — 充當翻譯。它們檢測各種各樣的信息源（包括光子、空氣壓縮波、分子濃度、壓力、質地、溫度），并將它們轉化為大腦的通用貨幣：電化學信號。

我們所知道、所做的和所說的一切都是通過我們的感官發(fā)生的——包括我們積累的信息以及我們一整天如何根據這些信息采取行動。

??人類的體驗是基于物理世界的

我們的感官始終開啟，通過我們的神經系統(tǒng)向我們的大腦發(fā)送源源不斷的信息流。但很多時候，我們根本沒有意識到我們的感官。

花點時間感受一下您的腳。當他們穿著鞋子時，我們幾乎不會注意到他們。而當我們脫下鞋子赤腳走在草地上時，美妙的感覺可以完全占據上風。

根據當下場景的不同，人類具備從一個感官迅速切換到另一個感官的能力。當我們聽到突然的巨響時，我們會轉身看。當一條黏糊糊的魚在水下碰到我們的腳時，我們會不寒而栗。有時我們會有意識地選擇我們的注意力在哪里，有時我們的反應會接管。

??人類的體驗是基于多模態(tài)的

僅僅感知我們周圍的世界是不夠的。我們需要從這些信息中提取意義，并使用它來做出決策和采取行動。

我們感知到的信息類型、我們解釋該信息的方式以及可以基于這些信息的決策和行動類型都是相互關聯的。在我們的一生中，我們會發(fā)展出專屬于自己的不同感覺通道的模式，這些被稱為模態(tài)。它們也被稱為感覺運動模式。這些模態(tài)通常由它們的焦點感來描述，例如視覺、聽覺或觸覺。視覺依賴于我們的眼睛，聽覺依賴于我們的耳朵，觸覺依賴于我們的觸覺和運動感。將這些感官一起使用稱為多模態(tài)。模態(tài)塑造了我們使用感官信息來告知我們的行為的方式。

??感知 >>> 理解&作出決策 >> 采取行動

我們大多數時候都是多模態(tài)同時運作的，很少有人類行為是單一模態(tài)的。例如，走在街上結合了我們的平衡感、視覺、觸覺和運動。進行對話結合了聽覺和視覺、我們創(chuàng)造語言的能力，如果您傾向于用手說話，也許還可以結合動作和觸覺。

多模態(tài)互動組合使我們的日?；映蔀榭赡?。在紅綠燈處，我們學會了在看到綠燈時踩下油門。黃燈讓我們考慮是否踩剎車。我們聽到水壺的汽笛聲，關掉了燃氣。我們看到路徑對面有一根樹枝，我們決定是跳過它還是繞過它。我們聽到手機鈴聲，掏出手機看看是誰在打電話。我們的感官支持廣泛的行為，使我們對世界、彼此和各種設備具有適應性和響應能力。我們使用每種多模態(tài)組合的次數越多，它們就會變得越強大，從而形成我們一生中使用的核心行為、習慣和技能。

通過閱讀、寫作和唱歌學習字母表，多模態(tài)教學已應用于教育，讓孩子們具有更強的視覺、聽覺或觸覺以及其他感官結合的能力，各種媒介的教材都在往多模態(tài)方向不斷進化。

?????設備的多模態(tài)能力

在很長一段時間里，個人計算機的發(fā)展似乎都很穩(wěn)定：從鍵盤和鼠標，到功能手機，再到智能手機。然后，它似乎突然加快了步伐：平板電腦、Siri、任天堂 Wii、XBox Kinect、谷歌眼鏡、Nest 恒溫器、可穿戴設備、無人駕駛汽車、Oculus Rift、亞馬遜 Echo 和 Google Home再到現在的AI自然語言交互。

為了讓人們能夠更自然的互動，設備的交互方式一直在探索更多模態(tài)的融合。

設備多模態(tài)交互的構建與人類多模態(tài)感知是一種映射關系。

同一種互動場景可以有許多不同的交互方式，或者多模態(tài)同時交互來完成一個互動。當計算變得多模態(tài)（鼠標 / 鍵盤 / GUI / VUI）的那一刻，它才真正開始為每個人所用。

比如，撥打電話，您可以使用按鈕自行撥打電話（左）或讓 Siri 為您撥號（右）

?????人類的多模態(tài)感知 + 設備的多模態(tài)能力 = 自然的交互界面

交互技術現在可以嵌入到任何對象或環(huán)境中，無縫融入我們更廣泛的物理世界體驗中。甚至可以直接融入我們的身體。屏幕、鎖、汽車、眼鏡和許多其他物體現在可以作為交互設備，所有交互設備都在往互聯和數字化發(fā)展。

我們與這些設備進行的交互范圍已經遠遠超出了屏幕點擊、滑動等?？拷b有智能鎖的門可以解鎖它，而走開可以再次鎖上它。許多健身設備可以區(qū)分步行、跑步和騎自行車，從而觸發(fā)它們開始跟蹤活動。（但不幸的是，我們仍然需要自己進行鍛煉，減肥這事兒害得自己來（）。

August 智能鎖，可以在檢測到主人靠近時自動開鎖

??單一模態(tài)的感官也具備不同層面的信息含義

VUI （語音交互界面）就是一個例子。韻律和節(jié)奏是包含在我們的日常口語表達中的。對話中的語調、語氣、重音和節(jié)奏都表達了超越語言的意義和情感。語調和重音的變化可能表明諷刺，還可以將陳述語氣更改為疑問語氣。韻律對于設計語音界面也很重要，尤其是對所有聲音設計。游戲設計師在游戲設計中會使用韻律，比如加快背景音樂的速度，讓玩家知道他們的時間不多了。勝利的音樂往往是音調上升的，而挫折則以下降的音調為標志。

視頻游戲 Vilmonic 使用音調音效和短旋律來加強戲劇感和敘事感

感官之間的相互替換

人們用一種感官來替換另一種感官也是很常見的現象。這種行為被稱為「感官替換」（Substitution），允許我們在一種感官被限制的時候使用另一種感官模式。

• 天黑時，我們把手伸到面前，腳下摸索著走，這樣即使看不到路也能避免路上的障礙。
• 當環(huán)境噪聲很大時，我們可能會更仔細地觀察一個人嘴唇的動作，并使用更多的手勢來交流。
• 許多人行橫道使用聲音來指示信號的變化。
• 字幕起源于幫助聽力障礙者觀看電影和電視，現在也廣泛使用在體育酒吧觀看賽事，因為在那里根本沒有人能聽到電視的聲音。

感官替換（Substitution）是一種非常常見的輔助功能設計策略：盲文、屏幕閱讀器和手語將信息從一種感官模式重新映射到另一種感官模式。當人們無法使用自己的習慣方式來完成一項任務時，依賴另一個感官同樣可以和物理世界繼續(xù)交互。

??感官之間的相互協(xié)同

我們的視覺和聽覺是非常緊密地聯系在一起的，我們在它們之間發(fā)展出許多多模態(tài)行為。在多感官統(tǒng)合中，出現了一種稱為同步性的效果，我們試圖將視覺運動和聽覺節(jié)奏對齊在一起。我們的視覺和聽覺能力相互加強，并增加了我們更好地預測彼此的能力。

音視頻組合對于基于時間或節(jié)奏的用戶活動特別有效。視覺、觸覺和本體感覺能力（運動能力）的結合在創(chuàng)建物體和環(huán)境的空間映射時相互加強。許多基于屏幕的設計都依賴于這種感官整合來創(chuàng)建導航和瀏覽等核心交互。

把人類多感官感知世界的規(guī)律運用在多模態(tài)交互設計中才能用戶的交互更自然更順滑。

人類的多感官和設備的多模態(tài)協(xié)同工作，創(chuàng)建反饋循環(huán)，這對于有效交互至關重要

好啦～ 第一篇就寫到這里了，我相信能閱讀到這里的讀者朋友一定也是從事AI或者多模態(tài)產品的同行朋友，歡迎后臺留言，也可以加微信多多交流想法呀！

下一篇預告：

1. 物理信息與多模態(tài)交互數據
2. 感知、理解、決策和行動：人機交互因素
3. 注意力機制在多模態(tài)交互中的應用
4. 通過多模態(tài)創(chuàng)造產品的可用性
5. 神經適應 – 感官的期望基線
6. 創(chuàng)造充滿喜悅與信任的多模態(tài)交互
7. 鏡像神經元