前段時間的WWDC，蘋果終于如愿以償公布了AI的相關(guān)消息。從iPhone、iPad到Mac，無不被生成式AI覆蓋。與安卓陣營只是簡單地把大模型塞進手機里不一樣，這次蘋果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開方式。

在生成式AI的浪潮下，今年的蘋果開發(fā)者大會WWDC 2024，AI毫不意外的成為了大會絕對的主角。

從iPhone、iPad到Mac，無不被生成式AI覆蓋。大家早已期待的新 Siri 只是蘋果 AI 能力的一小部分，橫空出世的Apple Intelligence才是這次的重頭戲，從圖像到文本，從iPhone、iPad到Mac，Apple Intelligence讓蘋果全系產(chǎn)品有了史詩級升級。

相較于安卓廠商對于大模型的小打小鬧，只是簡單將大模型作為Copilot塞進手機里，除了更新語音助手外，就是找?guī)讉€還算能唬人的場景加上大模型的能力，最后還明目張膽將其定義為AI手機，這次蘋果用他們的做法告訴了大家，什么才是LLMs+OS的正確打開方式。

蘋果，重新定義了AI：Apple Intelligence！

01. Apple Intelligence是什么？

Apple Intelligence定義為iPhone、iPad和Mac的個人智能系統(tǒng)，利用蘋果芯片的能力來理解和創(chuàng)建語言和圖像，以及跨應(yīng)用采取行動。

蘋果 CEO 蒂姆?庫克說：蘋果的目標(biāo)一直是構(gòu)建以人為本，最為易用方便的個人設(shè)備，提升人們的生活效率。

在這個目標(biāo)下，蘋果提出了他們的AI產(chǎn)品理念：體驗足夠強大、直觀易用、完全整合到系統(tǒng)體驗中、個性化且保護隱私，于是他們基于蘋果自研的A 和 M系列芯片，走了一條自研本地大模型加三方云端大模型的策略。

在其他廠商瘋狂砸錢買GPU訓(xùn)練模型的時候，在想方設(shè)法將大模型塞進手機存儲的時候，蘋果卻換了種做法，不卷大模型，不卷本地化，還能給用戶提供更好的使用體驗！

這點就能看出來，蘋果的出發(fā)點一直是為了提升用戶的生活體驗，他們明白自己做的是產(chǎn)品，而不是拿著錘子找釘子，死卷大模型。

庫克表示，Apple Intelligence 是蘋果創(chuàng)新的新篇章，將改變用戶使用產(chǎn)品的方式。蘋果獨特的方法結(jié)合了生成式人工智能和用戶的個人信息，能提供真正有用的智能服務(wù)。此外，Apple Intelligence 能夠以完全私密和安全的方式訪問信息，幫助用戶完成對他們最重要的事情。這是蘋果獨有的 AI 體驗。

先具體看看Apple Intelligence能做什么？

簡單來說，跟錄音、GPS等一樣，蘋果將AI融入IOS系統(tǒng)，為用戶和開發(fā)者系統(tǒng)提供一系列原生AI能力?？梢哉f，這些都是原生的人類 API。

文本工具writing tool

在蘋果的自帶的文本應(yīng)用如郵件、備忘錄、Safari瀏覽器、Pages、Keynote和三方應(yīng)用如微信、小紅書等中，提供文本潤色、重寫，校對，改寫（如語氣變化）、總結(jié)和文本轉(zhuǎn)表格等能力。

在它的幫助下，無論是寫文章、發(fā)帖，為用戶解鎖了提升寫作和更有效溝通的新方式。

圖像工具

Image Playground，只需幾秒鐘即可生成素描、插圖、動畫三種風(fēng)格。這些功能在系統(tǒng)中所有app都可用，包括Notes，F(xiàn)reeform，Keynote，Pages等等。

Image Wand可以將你的素描草圖轉(zhuǎn)換為 Notes 應(yīng)用中的相關(guān)圖像。使用手指或 Apple Pencil 在你的草圖周圍畫一個圓圈，Image Wand 會分析其周圍的內(nèi)容以產(chǎn)生互補的視覺效果。

還可以生成emoj表情等等。

Siri新升級

在Apple Intelligence的加持下，Siri變得更自然、更能理解我們了！

除了更好的自然語言理解和多輪交互外，Apple Intelligence還會為Siri帶來屏幕內(nèi)容感知功能，這樣，它就能理解屏幕上的內(nèi)容，執(zhí)行相應(yīng)的操作。

比如朋友發(fā)消息告訴你ta的新地址，你可以直接在信息對話中說，「把這個地址加入ta的聯(lián)系人名片中」。

最牛的來了，Siri也可以完成跨app操作。

例如“將我起草的電子郵件發(fā)送給 April 和 Lilly”，Siri 知道您引用的是哪封電子郵件以及它在哪個應(yīng)用程序中。當(dāng)然這些增強功能，也并不限于蘋果開發(fā)的APP。

那如果復(fù)雜任務(wù)Siri無法用本地模型執(zhí)行，則會主動詢問是否可以叫ChatGPT處理，同時ChatGPT也被集成到了系統(tǒng)的writing tool中，可以改寫潤色等。

隱私保障

蘋果出了一個“私有云計算”的概念：“不得不上云運作”的AI功能，將在使用蘋果芯片的專用服務(wù)器上啟用云計算模式，確保用戶數(shù)據(jù)的私密性和安全性。

02. Apple Intelligence背后的大模型

Apple Intelligence 由多個功能強大的大模型組成，這些模型專門用于輔助完成用戶的日常任務(wù)，并可以根據(jù)用戶的當(dāng)前活動進行動態(tài)調(diào)整。

這些模型可以分為三類：

本地模型（On-Device Language Model）

這部分包含3B的語言模型、擴散模型DIffusion Model和用于Xcode的編程模型，另外還有用來做 RAG 的 Semantic Index (語義索引)和 App Intents Toolbox（應(yīng)用意圖工具箱）。

這些模型都針對日常的任務(wù)進行了一系列的微調(diào)，幫助用戶完成各種系統(tǒng)級的任務(wù)。

比如前面提到的文本工具的摘要、潤色、改寫、回復(fù)郵件、圖像生成、通知進行優(yōu)先級的排序、跨應(yīng)用的交互等。

此外在這些微調(diào)模型之上有個適配器（Adapters），適配器是覆蓋在通用基礎(chǔ)模型上的一小批模型權(quán)重。它們可以動態(tài)加載和交換，使基礎(chǔ)模型能夠針對手頭的任務(wù)即時進行專門化。

簡單來說就是根據(jù)任務(wù)來給模型選擇合適的權(quán)重，讓模型輕松適應(yīng)不同領(lǐng)域?qū)＜业慕巧?/p>

私有云計算（Server-Based language Model）

這個基于服務(wù)器的大語言模型，對于本地模型滿足不了要求的任務(wù)，蘋果會傳到云端運算。

為了確保數(shù)據(jù)的安全性，蘋果采用了私人云計算技術(shù)。每當(dāng)用戶的設(shè)備發(fā)起請求時，它會通過一個端對端加密的通道與特定的私有云計算集群進行連接。僅限于被指定的集群有權(quán)限解開這些加密的請求數(shù)據(jù)。應(yīng)答數(shù)據(jù)發(fā)送回用戶后，相關(guān)信息不會被存儲，且蘋果公司也不具備訪問這些數(shù)據(jù)的能力。

第三方 LLMs

如果蘋果自己的大模型搞不定的任務(wù)怎么辦？

那就交給現(xiàn)在專門的模型廠商處理，專業(yè)的人做專業(yè)的事情嘛！

目前已經(jīng)接入了 OpenAI 的 GPT-4o，但按照蘋果的說法，后續(xù)還會有更多家的模型接入，比如Gemini 等。

另外，考慮到國家政策，蘋果在不同國家地區(qū)的接入的大模型廠商可能不同，那Open AI和Meta的大模型肯定在國內(nèi)無法使用，沒有通過工信部備案，根據(jù)之前的傳聞，國內(nèi)首先接入的應(yīng)該就是百度的文心一言了！

03. App Intents：給開發(fā)者的Framework

剛才講了，蘋果希望可以跨應(yīng)用完成用戶的需求，比如使用Siri就能直接完成郵件發(fā)送，圖像修改等，不需要進入 app 里面，這個體驗很絲滑流暢。

1. 蘋果允許操作系統(tǒng)和應(yīng)用程序的所有部分通過「函數(shù)調(diào)用」進行互操作；內(nèi)核進程 LLM 可根據(jù)用戶查詢安排和協(xié)調(diào)它們之間的工作
2. 無摩擦。蘋果以一種高度流暢、快速、always on 和上下文的方式全面集成這些功能。無需四處復(fù)制粘貼信息、提示工程等。還對用戶界面進行了相應(yīng)調(diào)整。

但具體要怎么實現(xiàn)呢？那就得用到給開發(fā)者提供的App intents工具，這又是一次操作系統(tǒng)廠商和開發(fā)者的博弈戰(zhàn)。

App Intents 框架提供的功能可將三方的 app 操作、內(nèi)容與跨平臺的系統(tǒng)體驗（包括 Siri、Spotlight、小部件、控件等）深度集成。借助 Apple Intelligence 和 App Intents 增強功能，Siri 會獲得在 app 內(nèi)和跨 app 執(zhí)行操作的能力。

如此，開發(fā)者們可以允許用戶通過以下方式使用自己的產(chǎn)品：

• 與Siri互動，也可以利用Apple Intelligence的個人環(huán)境感知和行動能力
• 通過Spotlight建議和搜索進入產(chǎn)品，比如微信。
• 等等。。

舉個例子，比如郵件應(yīng)用，他們通過App Intents框架向蘋果提供一個操作來表示某個意圖，比如發(fā)郵件或者刪除郵件。然后，用戶可以隨時要求Siri代表他們執(zhí)行這些意圖，無論此時有沒有打開郵件應(yīng)用。

簡單來說，蘋果一方面讓開發(fā)者將意圖理解能力引入App中，方便Siri等調(diào)用App的功能，一方面又可以將Apple提供的文本、圖像等功能集成到App中。

這才應(yīng)該是AI OS真正干的事情！