不僅是Siri，在蘋果產(chǎn)品中被忽略AI能力還有很多，像Apple Pencil的筆觸追蹤，F(xiàn)aceID的面容識別以及新品Vision Pro中的智能輸入等，都呈現(xiàn)了AI的能力，下文會詳談。

另一方面，蘋果的AI戰(zhàn)略更注重兩個點：性能與安全。在性能層面，蘋果會將AI融入到產(chǎn)品中，提高產(chǎn)品的使用效果；而安全則是隱私，隱私是蘋果歷來注重的一個點，如2015年蘋果收購Perceptio，這家公司主要從事人工智能照片分類，但除了圖片自動分類外，Perceptio還可以保護(hù)隱私，無需將用戶數(shù)據(jù)存儲在云端。

2020年，蘋果機器學(xué)習(xí)和人工智能戰(zhàn)略的高級副總裁John Giannandrea以及產(chǎn)品營銷副總裁Bob Borchers在一次訪談中便肯定了蘋果的AI戰(zhàn)略，并表示2018年蘋果就加快了這一進(jìn)程，讓iPhone 中的 ISP 與神經(jīng)引擎緊密合作（中央處理器），只是蘋果不會向外說太多自己的AI能力，強調(diào)的則是Transformer 語言模型、機器學(xué)習(xí)等。

而Giannandrea和Borchers也清楚地表明：如今，機器學(xué)習(xí)在蘋果的產(chǎn)品功能中發(fā)揮了重要作用，機器學(xué)習(xí)在蘋果的應(yīng)用還會繼續(xù)增強。

二、Apple Vision Pro中透露出的AI能力

在生成式AI爆火的今年，很多業(yè)內(nèi)人士都預(yù)測稱今年的WWDC2023大會，蘋果可能也會談及AI，但在近2小時的發(fā)布會上，AI一次都未被提及，只是在其產(chǎn)品中無處不在。陀螺君針對Vision Pro所展現(xiàn)的AI能力進(jìn)行了梳理，不難看出AR/VR若想進(jìn)一步發(fā)展，必然也離不開AI技術(shù)的支持。

1. AI數(shù)字分身

AI的接入使數(shù)字人制作更加逼真，甚至在一些網(wǎng)站上，用戶也可以根據(jù)自己的需求創(chuàng)建符合自己需求的數(shù)字人，而3D虛擬數(shù)字人也是VR頭顯進(jìn)一步發(fā)展避不開的一節(jié)。Meta在去年就發(fā)布了Codec Avatar 2.0版本，比1.0進(jìn)一步完成了逼真的數(shù)字人效果。

圖源：網(wǎng)絡(luò)

Vision Pro則是通過前置攝像頭掃描人的面部信息，再基于機器學(xué)習(xí)技術(shù)，系統(tǒng)會使用先進(jìn)的編碼神經(jīng)網(wǎng)絡(luò)，為用戶生成一個“數(shù)字分身”。并且當(dāng)用戶正通過FaceTime通話時，數(shù)字分身可以動態(tài)模仿用戶的面部和手部的動作，保留數(shù)字分身的體積感和深度。

圖源：網(wǎng)絡(luò)

根據(jù)蘋果表示，目前團隊正在積極優(yōu)化所述功能，在未來的visionOS更新中，數(shù)字人會變得更加逼真。另一方面，從發(fā)布會上的使用效果來看，數(shù)字分身的構(gòu)建確實已經(jīng)很逼真了，而且操作上也更加簡單，僅需用設(shè)備掃一掃面部信息即可，可以說已經(jīng)超越了目前市面上一些數(shù)字分身軟件。

2. AI情緒檢測

蘋果在2016年就收購了一家AI情緒檢測的公司，而今年據(jù)外媒消息顯示，蘋果正在研發(fā)一種名為Quartz的人工智能健康指導(dǎo)服務(wù)與跟蹤情緒的新技術(shù)。

在此次Vision Pro發(fā)布后，蘋果前研究員Sterling Crispin在推特中，透露了不少關(guān)于Vision Pro的黑科技。其中最令人驚嘆的便是Vision Pro可以通過用戶在沉浸式體驗中的身體和腦部數(shù)據(jù)，來檢測用戶的心理狀態(tài)。Sterling Crispin將其稱為“腦機接口”或“讀心術(shù)”。

圖：Sterling Crispin的推特信息

而這項技術(shù)背后的主要原理則是，每個人在做每件事之前，瞳孔會做出反應(yīng)，其中部分原因是你預(yù)計在你點擊之后會發(fā)生一些事情。因此，蘋果可以通過算法來監(jiān)視你的眼睛行為。并實時重新設(shè)計UI，以創(chuàng)建更多這種預(yù)期的瞳孔反應(yīng)，從而創(chuàng)建個人大腦的生物反饋。

3. 更智能的輸入方式

為了進(jìn)一步滿足用戶對指引功能和空間內(nèi)容的交互，Vision Pro引入了全新的輸入系統(tǒng)，即由眼睛、手勢和語音來進(jìn)行交互，通過注視應(yīng)用，“輕敲/輕拂”的手勢進(jìn)行應(yīng)用的選擇，或使用語音指令來瀏覽應(yīng)用。

圖源：網(wǎng)絡(luò)

當(dāng)眼睛注視到瀏覽器搜索框時，搜索框即進(jìn)入聽寫輸入狀態(tài)，此時只需語音說出想要檢索的內(nèi)容，即可自動鍵入文本，進(jìn)而進(jìn)行搜索。使用 Siri 還能快速打開和關(guān)閉 app，播放媒體文件等。

圖源：網(wǎng)絡(luò)

雖然蘋果并沒有在Vision Pro介紹中強調(diào)輸入法，但從iOS 17的介紹中可知，蘋果更新的更加智能的輸入法，不僅可以糾正拼寫錯誤，甚至還可以糾正用戶在輸入過程中的語法錯誤。更為重要的是，基于設(shè)備端的機器學(xué)習(xí)，輸入法還會根據(jù)用戶每一次的鍵入自動改進(jìn)模型，將輸入法的自動糾正功能達(dá)到了前所未有的準(zhǔn)確度。

圖源：網(wǎng)絡(luò)

4. 新的操作系統(tǒng)“visionOS”

據(jù)蘋果表示，建立在macOS、iOS和iPadOS的研發(fā)基礎(chǔ)上，他們從零開始為Vision Pro設(shè)計了新的操作系統(tǒng)VisionOS，以實現(xiàn)對低延遲要求非常高的空間計算能力；分別內(nèi)嵌了iOS框架、空間計算框架、空間音頻引擎、3D空間引擎、注視點渲染引擎、實時驅(qū)動的子系統(tǒng)等。

圖源：網(wǎng)絡(luò)

據(jù)蘋果透露， visionOS將會有全新的 AppStore，未來會有更多專門針對 Vision Pro 開發(fā)的應(yīng)用，例如 3D 解剖圖等。

5. 場景與動作識別

從以上可以看出Vision Pro的創(chuàng)新離不開AI的發(fā)展，在Vision Pro的空間音頻計算、眼球動作以及手部行為的捕捉，這些都是人工智能技術(shù)所發(fā)力的領(lǐng)域，蘋果憑借著M2和R1兩顆芯片提供的算力支撐，順利實現(xiàn)了人工智能的本地化部署。

而除了在Vision Pro隱藏了無處不在的AI能力外，蘋果的所有產(chǎn)品幾乎都能看到AI的技術(shù)，AI幾乎已經(jīng)滲透到了其產(chǎn)品的各個細(xì)節(jié)中，進(jìn)一步表明了“AI+”在AR/VR層面發(fā)展的重要程度。

雖然蘋果只字未提AI，但庫克在一次訪談中表示“他個人正在使用 ChatGPT 并對這個獨特應(yīng)用程序感到興奮，并表示蘋果目前正密切關(guān)注該工具?！睅炜诉€補充說，“大型語言模型顯示出巨大的希望，但也有可能出現(xiàn)諸如偏見、錯誤信息之類的事情，而且在某些情況下可能更糟。”

在筆者看來，AI作為一項技術(shù)本就該用于提升產(chǎn)品的性能，更好地為人類服務(wù)，過多的炒作或宣傳反而失去了這項技術(shù)本該有的樣子。同時，人工智能或者機器學(xué)習(xí)在未來會變得更加普遍，對于生成式AI，蘋果或許并沒有以大眾希望的樣子而展開，但相信蘋果默默將其融于產(chǎn)品后一定可以提升用戶的體驗，讓人眼前一亮。

三、“AI+”，AR/VR發(fā)展關(guān)鍵的一環(huán)

之前陀螺君曾在一篇文章中分析過“AI+”對產(chǎn)業(yè)競爭格局的影響，可點擊閱讀《攪局者GPT-4已來，AR產(chǎn)業(yè)競爭格局邁入新維度》，但拋開產(chǎn)業(yè)競爭格局來看，“AI+”也會為AR/VR設(shè)備的性能帶來更大的提升。

今年，Meta發(fā)布了用于圖像分割的新模型 Segment Anything Model (SAM)，據(jù)Meta博客表示，SAM已經(jīng)學(xué)會了關(guān)于物體的一般概念，并且它可以為任何圖像或視頻中的任何物體生成 mask，甚至包括在訓(xùn)練過程中沒有遇到過的物體和圖像類型。SAM足夠通用，可以涵蓋廣泛的用例，并且可以在新的圖像領(lǐng)域上即開即用，無需額外的訓(xùn)練。

如下圖所示，SAM能很好的自動分割圖像中的所有內(nèi)容：

圖源：網(wǎng)絡(luò)

未來，SAM有望接入AR/VR設(shè)備， 如用于通過AR眼鏡識別日常物品，用戶僅需要使用目光注視物體，SAM便能夠?qū)τ脩艨吹降漠嬅孢M(jìn)行分割；配合AR眼鏡應(yīng)用，為用戶展示所注視物體的提醒和說明。

另一方面，大語言模型的發(fā)展可以為AR/VR設(shè)備的語音交互與物體識別帶來更具沉浸式的交互式體驗。大語言模型能夠理解更為復(fù)雜的自然語言，完成更復(fù)雜的自然語言處理任務(wù)，進(jìn)而能夠聽懂用戶以語音形式給出的復(fù)雜指令并做出響應(yīng)，增強AR/VR設(shè)備語音交互方式的體驗。隨著大模型快速迭代，算力支持不斷堅實，AR/VR的沉浸式體驗的交互方式或更進(jìn)一步豐富。

其次，生成式AI的發(fā)展，也會進(jìn)一步降低AR/VR應(yīng)用中3D創(chuàng)作的成本與門檻，解決AR/VR對3D素材大量的需求。關(guān)于生成式AI對3D創(chuàng)作的影響，陀螺君之前也寫過一篇短文分析，可閱讀《AI 3D創(chuàng)作來了？“搶飯碗”成真》。

圖源：網(wǎng)絡(luò)

最后，“AI+”融合AR/VR的發(fā)展已是產(chǎn)業(yè)發(fā)展的很大趨勢，無論是從蘋果的產(chǎn)品來看，還是Meta最新公布的布局亦或是AI對設(shè)備更新的影響，都表明了充分結(jié)合AI技術(shù)是未來AR/VR產(chǎn)業(yè)發(fā)展重要的一環(huán)。

但值得一提的是，AI的發(fā)展到現(xiàn)在還未看到明確的規(guī)范性文件出來，如果無限制發(fā)展AI給產(chǎn)業(yè)帶來的負(fù)面影響也不可低估，如侵犯用戶隱私、詐騙、數(shù)據(jù)泄露、認(rèn)知偏見等等。

參考文章：

1. https://arstechnica.com/gadgets/2020/08/apple-explains-how-it-uses-machine-learning-across-ios-and-soon-macos/
2. https://blog.roboflow.com/apple-vision-pro-visionos-computer-vision/
3. 蘋果的人工智能應(yīng)用，跟 ChatGPT 不太一樣
4. 蘋果Vision Pro竟暗藏「腦機接口」？
5. Apple Vision Pro“泄漏”了蘋果哪些AI能力？