最近，OpenAI春季更新可以說是如期而至，而在這次更新里出現(xiàn)的GPT-4o，更是引起了多方關(guān)注。那么，GPT-4o究竟有哪些來頭？

“GPT-4o的特別之處，在于它將GPT-4級(jí)別的智能帶給了所有人，包括我們的免費(fèi)用戶。”

北京時(shí)間5月13日凌晨，早有預(yù)告的OpenAI春季更新如期而至。

在這次總時(shí)長不到半個(gè)小時(shí)的發(fā)布會(huì)中，圈內(nèi)最熟悉的公司首席執(zhí)行官山姆 奧特曼（Sam Altman）并未現(xiàn)身，首席技術(shù)官穆里 穆拉蒂（Muri Murati）及兩名研究主管馬克 陳（Mark Chen）和巴雷特 佐夫（Barret Zoph）三人圍坐，共同介紹了這次更新：

推出桌面版ChatGPT & 網(wǎng)頁端UI更新，以及最重要的，發(fā)布GPT-4o。

其中的“o”代表“omni”，意為全能的。根據(jù)OpenAI官網(wǎng)給出的介紹，GPT-4o可以處理文本、音頻和圖像任意組合作的輸入，并生成對(duì)應(yīng)的任意組合輸出。特別是音頻，它可以在短至232毫秒的時(shí)間內(nèi)響應(yīng)用戶的語音輸入，平均320毫秒的用時(shí)已經(jīng)接近人類在日常對(duì)話中的反應(yīng)時(shí)間。

與現(xiàn)有模型相比，GPT-4o在視覺和音頻理解方面尤其出色。

此外，GPT-4o在英語文本和代碼上的性能也與GPT-4 Turbo處于同一水平線，在非英語文本上的性能有著顯著提高，同時(shí)API速度快，速率限制高出5倍，成本則降低了50%。

穆里 穆拉蒂表示，OpenAI使命的一個(gè)非常重要的部分，是讓他們的高級(jí)人工智能工具能夠向所有人免費(fèi)提供，讓人們對(duì)技術(shù)的能力有“直觀的感受”。

關(guān)鍵詞：更快，更強(qiáng)，還免費(fèi)。

當(dāng)然，目前官方給出的免費(fèi)限制在一定的消息數(shù)量上，超過這個(gè)消息量后，免費(fèi)用戶的模型將被切換回ChatGPT，也就是GPT3.5，而付費(fèi)用戶則將擁有五倍的GPT-4o消息量上限。

實(shí)際上，早在去年九月末，OpenAI團(tuán)隊(duì)就已在官網(wǎng)發(fā)布過一片文章，介紹當(dāng)時(shí)的ChatGPT的語音對(duì)話和看圖識(shí)圖功能。

在此前參加播客節(jié)目“All-in Podcast”時(shí)，山姆 奧特曼曾談及了ChatGPT的多模態(tài)交互能力，以及對(duì)包括GPT-5在內(nèi)新一代AI產(chǎn)品更新的態(tài)度。

對(duì)于ChatGPT已有的語音功能，播客主持人表示他和家人很喜歡這個(gè)功能，盡管應(yīng)用時(shí)不時(shí)還會(huì)出現(xiàn)一些延遲問題。

奧特曼當(dāng)時(shí)回應(yīng)稱，OpenAI會(huì)繼續(xù)改進(jìn)并提升語音功能的質(zhì)量：“我相信，語音交互是通向未來交互方式的一個(gè)重要線索。如果能夠?qū)崿F(xiàn)真正優(yōu)質(zhì)的語音互動(dòng)體驗(yàn)，將會(huì)是一種與計(jì)算機(jī)互動(dòng)的全新方式?！?/p>

對(duì)于響應(yīng)速度不夠快、對(duì)話缺乏流暢度和不自然的感覺，奧特曼表示團(tuán)隊(duì)正努力改進(jìn)，致力力于讓這些方面的體驗(yàn)得到顯著提升。

現(xiàn)在，就像他本人在X平臺(tái)上的預(yù)告，新發(fā)布的GPT-4o“像魔法一樣”。

在此前的模型中，用戶使用語音模式與ChatGPT對(duì)話的平均延遲為2.8秒(GPT-3.5)和5.4秒(GPT-4)。造成延遲的原因是：語音模式是由三個(gè)獨(dú)立模型組成的通道，第一個(gè)簡單模型將音頻轉(zhuǎn)錄為文本，GPT-3.5或GPT-4接收并輸出文本，第三個(gè)簡單模型再將該文本轉(zhuǎn)換回音頻。

這個(gè)轉(zhuǎn)錄再轉(zhuǎn)回的過程，導(dǎo)致GPT-4丟失了其中的大量信息，無法直接觀察音調(diào)、多個(gè)說話者（的音色區(qū)別）或背景噪音，也無法輸出笑聲、歌唱或表達(dá)情感。

而借助GPT-4o，OpenAI跨文本、視覺和音頻，端到端地訓(xùn)練了一個(gè)新模型。所有輸入和輸出都在該模型中交由同一神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。

因此，新發(fā)布的GPT-4o模型，可以做到隨時(shí)開始或打斷對(duì)話，識(shí)別說話人的語氣、情緒，根據(jù)場景或指令生成多種音調(diào)、帶有豐富人類情緒特征的音頻回復(fù)（甚至可以要求GPT-4o唱歌）。

圖像處理層面，在傳統(tǒng)意義上識(shí)圖的基礎(chǔ)上，GPT-4o可以識(shí)別手寫體（如解答手寫的方程組）、精準(zhǔn)分析數(shù)據(jù)，并能夠讀懂畫面中人物的面部表情。

數(shù)據(jù)層面，根據(jù)傳統(tǒng)基準(zhǔn)測試，GPT-4o的性能對(duì)比GPT-4 Turbo基本都處于優(yōu)勢，對(duì)比其他模型更是大幅領(lǐng)先。

根據(jù)官網(wǎng)給出的資料，目前GPT-4o已經(jīng)支持包括中文在內(nèi)的20種語言進(jìn)行音頻等多模態(tài)交互。OpenAI表示，這次更新“是朝著實(shí)用性的方向發(fā)展”，此次發(fā)布會(huì)主要聚焦于免費(fèi)用戶，新功能將在未來幾周內(nèi)逐步推送給所有用戶。

多模態(tài)交互的上限再次被拉高，OpenAI仍是那個(gè)擁有頂級(jí)理解，總能先一步給出范式的玩家。

接下來要期待的，或許是第一個(gè)在發(fā)布會(huì)上打出“對(duì)標(biāo)GPT-4o”的大模型廠商，會(huì)何時(shí)出現(xiàn)了。畢竟，這恐怕不只是改個(gè)PPT的事兒。

會(huì)是明天的谷歌嗎？