多模態(tài)大模型的戰(zhàn)場(chǎng)上，已有人聞到風(fēng)聲。據(jù)外媒爆料，OpenAI的全新多模態(tài)模型Gobi似乎已在籌備中。谷歌和OpenAI的這場(chǎng)對(duì)決，似乎已是箭在弦上了。

隨著今年秋天的臨近，谷歌和OpenAI的多模態(tài)模型之戰(zhàn)，也進(jìn)入到白熱化階段。

就在上周，谷歌已經(jīng)對(duì)一些外部公司開放了多模態(tài)大模型Gemini的功能。

而OpenAI，當(dāng)然不會(huì)坐以待斃。他們正在爭(zhēng)分奪秒地把多模態(tài)功能整合進(jìn)GPT-4里，爭(zhēng)取推出功能與Gemini類似的多模態(tài)大模型，一舉擊殺谷歌。

傳說(shuō)中的多模態(tài)功能，在今年3月OpenAI那場(chǎng)震驚全世界的GPT-4發(fā)布會(huì)上，已經(jīng)被展示過(guò)——

在紙上畫個(gè)草圖，拍個(gè)照發(fā)給GPT-4，說(shuō)一聲「給我按照這種布局做個(gè)網(wǎng)站」，它立馬就寫出了網(wǎng)頁(yè)代碼。

老板Greg Brockman親自上線演示

不過(guò)隨后，多模態(tài)仿佛曇花一現(xiàn)，再也沒人見過(guò)產(chǎn)品化的實(shí)體功能。

所以，谷歌和OpenAI的多模態(tài)大戰(zhàn)，終于要來(lái)了嗎？

一、對(duì)戰(zhàn)谷歌，OpenAI搶發(fā)多模態(tài)大模型

面對(duì)傳聞中谷歌要擊殺自己的這款大殺器，OpenAI當(dāng)然不會(huì)無(wú)動(dòng)于衷。

據(jù)外媒The Information爆料，一款名為Gobi的全新多模態(tài)大模型，已經(jīng)在緊鑼密鼓地籌備了。

OpenAI計(jì)劃，在Gemini發(fā)布之前就推出多模態(tài)LLM，徹底擊敗谷歌。

其實(shí)，在3月份推出GPT-4多模態(tài)功能的預(yù)覽后，OpenAI已經(jīng)向一家名為Be My Eyes的公司推出了這項(xiàng)功能，但并沒有向其他公司提供。

從名字就可以看出來(lái)，這家公司在研發(fā)讓盲人或視力不佳人群看得更清楚的技術(shù)。

最近，OpenAI打算更廣泛地推出名為GPT-Vision的功能。

OpenAI為什么花了這么長(zhǎng)時(shí)間？

最主要的原因，是他們擔(dān)心新的視覺功能會(huì)被不法分子利用，比如通過(guò)自動(dòng)破解驗(yàn)證碼來(lái)冒充人類，或者通過(guò)面部識(shí)別來(lái)追蹤人類。

不過(guò)，對(duì)于這些法律上的安全風(fēng)險(xiǎn)，OpenAI的工程師們似乎已經(jīng)解決了。

同樣，一位谷歌發(fā)言人也表示：谷歌已經(jīng)采取了一些措施，防止Gemini被濫用。

在7月做出的承諾中，谷歌保證會(huì)在所有產(chǎn)品中開發(fā)負(fù)責(zé)任的人工智能。

1. Gobi能成為GPT-5嗎？

在GPT-Vision之后，OpenAI有可能會(huì)推出更強(qiáng)大的多模態(tài)大模型，代號(hào)為Gobi。

跟GPT-4不同，Gobi從一開始就是按多模態(tài)模型構(gòu)建的。

所以，Gobi就是傳說(shuō)中的GPT-5嗎？

現(xiàn)在，我們還無(wú)法知曉。Gobi訓(xùn)練到哪一步了，也沒有確切消息。

在9月初，DeepMind聯(lián)合創(chuàng)始人、現(xiàn)Inflection AI的CEO Mustafa Suleyman，在采訪時(shí)曾放出一枚重磅炸彈——據(jù)他猜測(cè)，OpenAI正在秘密訓(xùn)練GPT-5。

Suleyman認(rèn)為，Sam Altman最近說(shuō)過(guò)他們沒有訓(xùn)練 GPT-5，可能沒有說(shuō)實(shí)話。（原話是：Come on. I don’t know. I think it’s better that we’re all just straight about it.）

而在這邊，根據(jù)試用過(guò)Gemini的人士，Gemini產(chǎn)生的幻覺，會(huì)比現(xiàn)有的模型都更少。原因詳見下文。

總之，谷歌和OpenAI的這場(chǎng)多模態(tài)模型大戰(zhàn)，可以說(shuō)是AI版的iPhone和Android對(duì)決。

一個(gè)是稱霸AI領(lǐng)域多年的硅谷巨頭，一個(gè)是風(fēng)頭無(wú)兩的頂流AI初創(chuàng)公司，二者差距有多大，所有人都在屏息等待。

2. 谷歌秘密測(cè)試Gemini

另一邊，谷歌也在開始邀請(qǐng)部分外部開發(fā)者加急測(cè)試，即將推出的下一代多模態(tài)大模型Gemini 。

上周，The Information獨(dú)家報(bào)道稱，Gemini可能很快準(zhǔn)備好進(jìn)行測(cè)試發(fā)布，并會(huì)集成到像Google Cloud Vertex AI等服務(wù)中。

在今年的谷歌I/O開發(fā)者大會(huì)上，劈柴曾公開介紹Gemini，是一個(gè)多模態(tài)模型、高效集成工具、API。

為了合力干大事，谷歌還將谷歌大腦，與DeepMind實(shí)驗(yàn)室進(jìn)行了合并。

據(jù)稱，至少有20多位高管參與了Gemini的研發(fā)，DeepMind的創(chuàng)始人Demis Hassabis領(lǐng)導(dǎo)，谷歌創(chuàng)始人Sergey Brin參與研發(fā)。

還有谷歌DeepMind組成的數(shù)百名員工，其中包括前谷歌大腦主管Jeff Dean等等。

一位測(cè)試過(guò)的人士說(shuō)，Gemini至少在一個(gè)方面比GPT-4有優(yōu)勢(shì)：除了網(wǎng)絡(luò)上的公開信息外，該模型還利用了大量谷歌消費(fèi)產(chǎn)品（搜索、Youtube）的專有數(shù)據(jù)。

因此，Gemini在理解用戶對(duì)特定查詢的意圖時(shí)應(yīng)該特別準(zhǔn)確，而且它產(chǎn)生的錯(cuò)誤答案，即幻覺，似乎更少。

據(jù)此前SemiAnalysis分析師的爆料，谷歌的下一代大模型Gemini，已經(jīng)開始在新的TPUv5 Pod上進(jìn)行訓(xùn)練，算力高達(dá)~1e26 FLOPS，比訓(xùn)練GPT-4的算力還要大5倍。

另外，Gemini的訓(xùn)練數(shù)據(jù)庫(kù)包含Youtube上936億分鐘的視頻字幕，總數(shù)據(jù)集規(guī)模約為GPT-4的兩倍。

據(jù)稱，谷歌下一代大模型也是由多種規(guī)模組成，可能使用了MoE架構(gòu)，以及投機(jī)采樣技術(shù)。

通過(guò)小模型提前生成token并傳遞給大模型進(jìn)行評(píng)估，以提高模型的總體推理速度。

谷歌DeepMind的負(fù)責(zé)人Hassabis在采訪中曾表示，Gemini預(yù)計(jì)花費(fèi)數(shù)千萬(wàn)到數(shù)億美元，與開發(fā)GPT-4的成本相當(dāng)。

Gemini會(huì)整合AlphaGo中使用的技術(shù)，這將賦予系統(tǒng)全新的規(guī)劃、解決問(wèn)題的能力。

可以這么說(shuō)，Gemini把AlphaGo系統(tǒng)的一些優(yōu)勢(shì)，和大語(yǔ)言模型驚人的語(yǔ)言能力結(jié)合在一起了。并且，我們還有一些其他有趣的創(chuàng)新。

AlphaGo背后的技術(shù)，就是強(qiáng)化學(xué)習(xí)，這是DeepMind首創(chuàng)的技術(shù)。

RL代理隨著時(shí)間的推移與環(huán)境交互，通過(guò)反復(fù)試驗(yàn)來(lái)學(xué)習(xí)策略，從而最大限度地提高長(zhǎng)期累積獎(jiǎng)勵(lì)

通過(guò)強(qiáng)化學(xué)習(xí)，AI能夠通過(guò)反復(fù)嘗試和接受反饋來(lái)調(diào)整自己的表現(xiàn)，因而學(xué)會(huì)處理很棘手的問(wèn)題，比如在圍棋或電子游戲中選擇如何采取下一步行動(dòng)。

另外，AlphaGo還使用了蒙特卡洛樹搜索（MCTS）方法，來(lái)探索和記住棋盤上所有可能的動(dòng)作。

現(xiàn)有模型相比，Gemini將大大提高軟件開發(fā)人員的代碼生成能力，谷歌希望用它來(lái)追趕微軟的GitHub Copilot代碼助手。

谷歌內(nèi)部還討論了，使用Gemini來(lái)實(shí)現(xiàn)圖表分析等功能，比如要求模型解釋完成圖表的含義，以及使用文本或語(yǔ)音指令來(lái)瀏覽網(wǎng)頁(yè)瀏覽器或其他軟件。

谷歌云開發(fā)者平臺(tái)Google Cloud Vertex AI也將得到Gemini加持，大小版本都有，這樣開發(fā)人員就可以付費(fèi)購(gòu)買小模型在個(gè)人設(shè)備上運(yùn)行。

現(xiàn)在，谷歌已經(jīng)在全力備戰(zhàn)，就等著Gemini開啟逆襲之路。

二、gpt-3.5-turbo-instruct發(fā)布

7月，OpenAI曾公布GPT-4 API全面可用，并且在接下來(lái)幾個(gè)月要推出新模型。

這不，就在今天，網(wǎng)友紛紛收到了gpt-3.5-turbo-instruct新模型發(fā)布的郵件，以代替舊模型text-davinci-003。

據(jù)介紹，gpt-3.5-turbo-instruct是一個(gè)InstructGPT風(fēng)格的模型，其訓(xùn)練方式與text-davinci-003類似。

使用方法和以前的Prompt-Completion類似，根據(jù)提示詞的指令補(bǔ)全。

就價(jià)格來(lái)說(shuō)，gpt-3.5-turbo 4K保持一致。

有網(wǎng)友已經(jīng)開始用上了最新模型，去玩1800 Elo左右的國(guó)際象棋。

而他此前還發(fā)現(xiàn)GPT根本做不到這一點(diǎn)，但現(xiàn)在看來(lái)這只是RLHF聊天模型的問(wèn)題，純Completion模型就成功了。

在對(duì)弈中，gpt-3.5-turbo-instruct輕松擊敗了Stockfish 4級(jí)（1700 分），在5級(jí)（2000 分）的比賽中仍不落下風(fēng)。

它從不走非法棋步，使用巧妙的開局犧牲，以及令人難以置信的卒與王將死，允許對(duì)手毫無(wú)實(shí)際意義地晉級(jí)。

網(wǎng)友用的是如下PGN風(fēng)格的提示來(lái)模擬大師級(jí)游戲。高亮顯示有點(diǎn)錯(cuò)誤。GPT自己走棋，他手動(dòng)輸入了Stockfish的棋步。

順便提一句，OpenAI即將在11月召開的首屆開發(fā)者大會(huì)，已經(jīng)開始注冊(cè)了，快上手申請(qǐng)吧。

參考資料：

https://www.theinformation.com/articles/openai-hustles-to-beat-google-to-launch-multimodal-llm

https://devday.openai.com/

https://news.ycombinator.com/item?id=37558911#:~:text=Key%20Features%3A%20Gpt%2D3.5%2D,speed%20as%20our%20turbo%20models.