今日，海外AI圈開始流傳一篇文章，文章詳細(xì)介紹了最近在Discord群組由匿名人士泄露的一份Google內(nèi)部的文件，該文件聲稱，開源AI將擊敗谷歌和OpenAI，同時(shí)谷歌聲稱：“我們沒有護(hù)城河，OpenAI也沒有”。這篇文章在海外引起了熱議，有人認(rèn)同，也有人反對(duì)，本文作者借助GPT-4快速翻譯了這篇文章，一起來看一下吧。

就在今天美國時(shí)間早上，海外AI圈開始流傳一篇SemiAnalysis博客的文章，這篇文章詳細(xì)介紹了最近在Discord群組由匿名人士泄露的一份Google內(nèi)部的文件，該文件聲稱，開源AI將擊敗谷歌和OpenAI，同時(shí)谷歌聲稱：“我們沒有護(hù)城河，OpenAI也沒有”。一石激起千層浪，這篇文章在海外引發(fā)了熱議，有人認(rèn)同，也有人反對(duì)。筆者在此借助GPT-4快速翻譯了這篇文章，希望能夠給大家也帶來最新的思考和啟發(fā)。

來自SemiAnalysis博客的聲明翻譯：

以下內(nèi)容源自最近泄露的一份文件，由一位匿名人士在一個(gè)公共Discord服務(wù)器上分享，并已獲得轉(zhuǎn)載許可。文件來自谷歌內(nèi)部的一名研究員，我們已核實(shí)了其真實(shí)性。所作的唯一修改是調(diào)整格式和刪除指向內(nèi)部網(wǎng)頁的鏈接。這份文件僅代表谷歌員工的觀點(diǎn)，而非整個(gè)公司。我們并不同意以下觀點(diǎn)，我們咨詢的其他研究人員也并不認(rèn)同，但我們將為訂閱者撰寫一篇單獨(dú)的文章發(fā)表我們的觀點(diǎn)。我們只是作為一個(gè)平臺(tái)來分享這份引起廣泛關(guān)注的文件。

01 我們沒有護(hù)城河，OpenAI也沒有

我們一直在關(guān)注OpenAI的動(dòng)向。誰將達(dá)到下一個(gè)里程碑？下一步將會(huì)是什么？然而，不得不承認(rèn)的事實(shí)是，我們無法贏得這場(chǎng)競(jìng)賽，OpenAI也同樣如此。在我們爭(zhēng)執(zhí)的同時(shí)，第三方力量悄然取得了優(yōu)勢(shì)。

我當(dāng)然是在談?wù)?strong>開源了。簡(jiǎn)而言之，他們正在超越我們。我們認(rèn)為的“重大開放性問題”如今已經(jīng)解決，并投入人們的使用。以下僅列舉一些：

• 手機(jī)上的LLMs：人們?cè)赑ixel 6手機(jī)上以每秒5個(gè)token的速度運(yùn)行基礎(chǔ)模型。
• 可擴(kuò)展的個(gè)人AI：你可以在一個(gè)晚上用筆記本電腦微調(diào)個(gè)性化AI。
• 負(fù)責(zé)任的發(fā)布：這一點(diǎn)并不是“解決”了，而是“消除”了。整個(gè)互聯(lián)網(wǎng)上有許多沒有任何限制的藝術(shù)模型網(wǎng)站，文本也緊隨其后。

多模態(tài)：當(dāng)前多模態(tài)ScienceQA的最新技術(shù)水平在一個(gè)小時(shí)內(nèi)就得到了訓(xùn)練。

雖然我們的模型在質(zhì)量上仍然略占優(yōu)勢(shì)，但差距正在驚人的速度縮小。開源模型更快、更可定制、更具隱私性，性能更強(qiáng)。他們用100美元和130億參數(shù)做到了我們?cè)?000萬美元和5400億參數(shù)下仍在努力的事情。而且他們只用了幾周時(shí)間，而不是幾個(gè)月。這對(duì)我們意味著：

• 我們沒有秘密武器。我們最好的希望是向谷歌以外的其他人學(xué)習(xí)并與之合作。我們應(yīng)該優(yōu)先考慮支持第三方集成。
• 當(dāng)有免費(fèi)、無限制的替代品質(zhì)量相當(dāng)時(shí)，人們不會(huì)為受限制的模型付費(fèi)。我們應(yīng)該考慮我們真正的價(jià)值在哪里。
• 龐大的模型拖慢了我們的步伐。從長(zhǎng)遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。既然我們知道在參數(shù)少于200億的情況下有什么可能，我們應(yīng)該更關(guān)注小型變體。

02 發(fā)生了什么

三月初，開源社區(qū)得到了他們的第一個(gè)真正有能力的基礎(chǔ)模型，因?yàn)镸eta的LLaMA被泄露給了公眾。它沒有指令或?qū)υ捳{(diào)整，也沒有RLHF。然而，社區(qū)立即認(rèn)識(shí)到了他們所得到的東西的重要性。隨后迅速涌現(xiàn)出大量創(chuàng)新，每隔幾天就有重大發(fā)展（詳見《時(shí)間線》）。僅僅一個(gè)月后，我們看到了具有指令調(diào)整（instruction tuning）、量化（quantization）、質(zhì)量改進(jìn)（quality improvements）、人類評(píng)估（human evals）、多模態(tài)、RLHF等功能的變體，其中許多變體是相互依賴的。

最重要的是，他們已經(jīng)在很大程度上解決了規(guī)模問題，使得任何人都可以參與其中。許多新想法來自普通人。訓(xùn)練和實(shí)驗(yàn)的門檻已經(jīng)從一個(gè)大型研究機(jī)構(gòu)的全部產(chǎn)出降低到一個(gè)人、一個(gè)晚上和一臺(tái)性能強(qiáng)大的筆記本電腦。

03 為什么我們本可以預(yù)見到

在很多方面，這對(duì)于任何人來說都不應(yīng)該是一個(gè)驚喜。當(dāng)前開源LLM的復(fù)興緊隨著圖像生成領(lǐng)域的復(fù)興之后。社區(qū)對(duì)這兩者之間的相似之處并不陌生，許多人將這稱為L(zhǎng)LM的“Stable Diffusion Moment”。在這兩種情況下，低成本的公共參與得以實(shí)現(xiàn)，因?yàn)橛幸环N稱為低秩適應(yīng)（Low rank adaptation，LoRA）的大大降低成本的微調(diào)機(jī)制，結(jié)合了規(guī)模方面的重大突破（圖像合成的Latent Diffusion，LLM的Chinchilla）。在這兩種情況下，獲得足夠高質(zhì)量模型的訪問引發(fā)了來自世界各地個(gè)人和機(jī)構(gòu)的大量想法和迭代。在這兩種情況下，這些迅速超過了大型參與者。

在圖像生成領(lǐng)域，這些貢獻(xiàn)起到了關(guān)鍵作用，使Stable Diffusion走上了與Dall-E不同的道路。擁有開放模型導(dǎo)致了產(chǎn)品整合、市場(chǎng)、用戶界面和創(chuàng)新，而這些對(duì)于Dall-E來說并未發(fā)生。

效果是明顯的：在文化影響方面迅速占據(jù)主導(dǎo)地位，與之相比，OpenAI的解決方案變得越來越無關(guān)緊要。是否會(huì)發(fā)生在LLM上同樣的事情還有待觀察，但總體結(jié)構(gòu)元素是相同的。

04 我們錯(cuò)過了什么

推動(dòng)開源近期成功的創(chuàng)新直接解決了我們?nèi)栽谂?yīng)對(duì)的問題。更多關(guān)注他們的工作可以幫助我們避免重復(fù)發(fā)明輪子。LoRA是一種我們應(yīng)該更加關(guān)注的非常強(qiáng)大的技術(shù)。

LoRA通過將模型更新表示為低秩分解（low-rank factorizations）來工作，從而將更新矩陣的大小減小多達(dá)數(shù)千倍。這使得模型微調(diào)的成本和時(shí)間大大減少。在消費(fèi)者硬件上花幾個(gè)小時(shí)個(gè)性化語言模型是一件大事，尤其是對(duì)于涉及近乎實(shí)時(shí)地整合新的、多樣化知識(shí)的愿景。這項(xiàng)技術(shù)的存在在谷歌內(nèi)部被低估了，盡管它直接影響了我們一些最雄心勃勃的項(xiàng)目。

05 從頭開始重新訓(xùn)練模型是困難的途徑

使LoRA如此有效的部分原因是它（與其他微調(diào)形式一樣）是可堆疊的。諸如指令調(diào)整之類的改進(jìn)可以應(yīng)用，然后在其他貢獻(xiàn)者添加對(duì)話、推理或工具使用時(shí)加以利用。雖然單個(gè)微調(diào)的秩較低（low rank），但它們的總和不必如此，從而允許隨著時(shí)間的推移累積對(duì)模型進(jìn)行全秩（full-rank）更新。這意味著隨著新的、更好的數(shù)據(jù)集和任務(wù)變得可用，模型可以以較低的成本保持最新狀態(tài)，而無需支付完整運(yùn)行的成本。

相比之下，從頭開始訓(xùn)練巨型模型不僅會(huì)丟棄預(yù)訓(xùn)練，還會(huì)丟棄已經(jīng)在頂部進(jìn)行的迭代改進(jìn)。在開源世界，這些改進(jìn)很快就會(huì)占據(jù)主導(dǎo)地位，使得完全重新訓(xùn)練變得極其昂貴。

我們應(yīng)該認(rèn)真思考每個(gè)新的應(yīng)用或想法是否真的需要一個(gè)全新的模型。如果我們確實(shí)有重大的架構(gòu)改進(jìn)，使得無法直接重用模型權(quán)重，那么我們應(yīng)該投資于更具侵略性的蒸餾形式（distillation），以便盡可能保留前一代的能力。

06 從長(zhǎng)遠(yuǎn)來看，如果我們能在小模型上更快地迭代，大型模型并不會(huì)更有能力

LoRA更新對(duì)于最受歡迎的模型尺寸非常便宜（約100美元）。這意味著幾乎任何有想法的人都可以生成一個(gè)并將其發(fā)布。培訓(xùn)時(shí)間少于一天是常態(tài)。在這個(gè)速度下，這些微調(diào)的累積效果很快就能彌補(bǔ)起始尺寸劣勢(shì)。事實(shí)上，從工程師小時(shí)的角度來看，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過了我們?cè)谧畲笮吞?hào)上所能做到的，而且最好的模型已經(jīng)與ChatGPT幾乎無法區(qū)分。專注于維護(hù)地球上一些最大的模型實(shí)際上讓我們處于劣勢(shì)。

07 數(shù)據(jù)質(zhì)量比數(shù)據(jù)規(guī)模更具可擴(kuò)展性

許多項(xiàng)目通過在小型、精選數(shù)據(jù)集上進(jìn)行訓(xùn)練來節(jié)省時(shí)間。這表明數(shù)據(jù)擴(kuò)展規(guī)律具有一定的靈活性。這些數(shù)據(jù)集的存在源于《數(shù)據(jù)并非如你所想》一文中的思考線，它們正迅速成為谷歌以外進(jìn)行訓(xùn)練的標(biāo)準(zhǔn)方式。這些數(shù)據(jù)集是通過合成方法（例如從現(xiàn)有模型中篩選最佳響應(yīng)）和從其他項(xiàng)目中收集而來，谷歌在這兩者中都不占主導(dǎo)地位。幸運(yùn)的是，這些高質(zhì)量數(shù)據(jù)集是開源的，所以我們可以自由使用。

08 與開源直接競(jìng)爭(zhēng)是輸不起的游戲

近期的進(jìn)展對(duì)我們的商業(yè)策略有直接、即時(shí)的影響。如果有一個(gè)免費(fèi)的、高質(zhì)量的、沒有限制的替代方案，誰會(huì)為帶有使用限制的谷歌產(chǎn)品付費(fèi)？而且我們不應(yīng)該指望能夠迎頭趕上。現(xiàn)代互聯(lián)網(wǎng)之所以依賴開源，是有原因的。開源有一些我們無法復(fù)制的顯著優(yōu)勢(shì)。

09 我們需要他們勝過他們需要我們

保密我們的技術(shù)一直是一個(gè)脆弱的命題。谷歌的研究人員定期離開公司去其他公司，所以我們可以假設(shè)他們知道我們所知道的一切，并將繼續(xù)這樣做，只要這個(gè)渠道還在。但在LLM領(lǐng)域的尖端研究變得負(fù)擔(dān)得起的情況下，保持技術(shù)競(jìng)爭(zhēng)優(yōu)勢(shì)變得更加困難。全球各地的研究機(jī)構(gòu)在彼此的工作基礎(chǔ)上進(jìn)行建設(shè)，以廣度優(yōu)先的方式探索解決方案空間，遠(yuǎn)超我們自身的能力。我們可以試著緊緊抓住我們的秘密，而外部創(chuàng)新會(huì)削弱它們的價(jià)值，或者我們可以試著互相學(xué)習(xí)。

10 與公司相比，個(gè)人受許可限制的程度較小

許多創(chuàng)新都是基于Meta泄露的模型權(quán)重發(fā)生的。雖然這肯定會(huì)隨著真正的開源模型變得更好而改變，但關(guān)鍵是他們不必等待。法律規(guī)定的“個(gè)人使用”以及起訴個(gè)人的實(shí)際困難意味著個(gè)人在這些技術(shù)熾熱時(shí)就能獲得這些技術(shù)。

11 作為自己的客戶意味著你了解用例

瀏覽人們?cè)趫D像生成領(lǐng)域創(chuàng)建的模型，有大量的創(chuàng)意涌現(xiàn)，從動(dòng)漫生成器到HDR風(fēng)景。這些模型由深入特定子類型的人使用和創(chuàng)建，賦予了我們無法企及的知識(shí)深度和共鳴。

12 擁有生態(tài)系統(tǒng)：讓開源為我們服務(wù)

矛盾的是，所有這些事情中唯一明確的贏家是Meta。因?yàn)樾孤兜哪Ｐ褪撬麄兊?，所以他們?shí)際上獲得了相當(dāng)于整個(gè)星球的免費(fèi)勞動(dòng)力。由于大部分開源創(chuàng)新都是基于他們的架構(gòu)進(jìn)行的，所以沒有什么能阻止他們直接將其納入自己的產(chǎn)品中。擁有生態(tài)系統(tǒng)的價(jià)值不可估量。谷歌本身在其開源產(chǎn)品（如Chrome和Android）中成功地利用了這一范式。通過擁有創(chuàng)新發(fā)生的平臺(tái)，谷歌鞏固了自己作為思想領(lǐng)袖和方向制定者的地位，贏得了塑造比自己更大的想法敘事的能力。

我們對(duì)模型的控制越嚴(yán)格，開放替代品就越有吸引力。谷歌和OpenAI都在朝著保留對(duì)模型使用方式的嚴(yán)格控制的發(fā)布模式做出防御性反應(yīng)。但這種控制只是虛構(gòu)的。任何試圖將LLMs用于未經(jīng)批準(zhǔn)的目的的人都可以選擇自由提供的模型。

谷歌應(yīng)該在開源社區(qū)確立自己的領(lǐng)導(dǎo)地位，通過與更廣泛的對(duì)話合作，而不是忽略它們，來起到引領(lǐng)作用。這可能意味著采取一些令人不安的步驟，例如發(fā)布小型ULM變體的模型權(quán)重。這必然意味著放棄對(duì)我們模型的一些控制。但這種妥協(xié)是不可避免的。我們不能既希望建立創(chuàng)新又控制創(chuàng)新。

13 尾聲：OpenAI呢？

所有關(guān)于開源的討論可能讓人覺得不公平，因?yàn)镺penAI目前的政策是封閉的。如果他們不分享，為什么我們必須分享呢？但事實(shí)是，我們已經(jīng)通過源源不斷地被挖走的高級(jí)研究人員與他們分享了一切。除非我們遏制這種趨勢(shì)，否則保密就毫無意義了。最后，OpenAI并不重要。他們?cè)谂c開源的相對(duì)立場(chǎng)上犯了與我們相同的錯(cuò)誤，他們保持優(yōu)勢(shì)的能力必然受到質(zhì)疑。開源替代品可以并最終會(huì)取代他們，除非他們改變立場(chǎng)。至少在這方面，我們可以先行一步。

14 時(shí)間線

2023年2月24日 – LLaMA發(fā)布

Meta發(fā)布LLaMA，開源代碼，但不開源權(quán)重。此時(shí)，LLaMA尚未進(jìn)行指令或?qū)υ捳{(diào)優(yōu)。與許多當(dāng)前模型一樣，它是一個(gè)相對(duì)較小的模型（參數(shù)分別為7B、13B、33B和65B），經(jīng)過相對(duì)較長(zhǎng)時(shí)間的訓(xùn)練，因此與其大小相比具有相當(dāng)強(qiáng)大的能力。

2023年3月3日 – 不可避免的事情發(fā)生了

一周內(nèi)，LLaMA被泄露給公眾。這對(duì)社區(qū)的影響不可估量。雖然現(xiàn)有許可證阻止了它被用于商業(yè)目的，但突然之間任何人都可以嘗試進(jìn)行實(shí)驗(yàn)。從此時(shí)開始，創(chuàng)新進(jìn)展迅速。

2023年3月12日 – 語言模型在烤箱上運(yùn)行

一個(gè)多星期后，Artem Andreenko讓模型在樹莓派上運(yùn)行。此時(shí)，模型運(yùn)行速度太慢，因?yàn)闄?quán)重必須在內(nèi)存中分頁，實(shí)用性不強(qiáng)。盡管如此，這為一系列的模型縮小工作奠定了基礎(chǔ)。

2023年3月13日 – 筆記本電腦上的微調(diào)

第二天，斯坦福大學(xué)發(fā)布了Alpaca，為L(zhǎng)LaMA增加了指令調(diào)優(yōu)。然而，更重要的是Eric Wang的alpaca-lora倉庫，它使用低秩微調(diào)在“單個(gè)RTX 4090上幾小時(shí)內(nèi)”完成了這個(gè)訓(xùn)練。

突然之間，任何人都可以微調(diào)模型以執(zhí)行任何操作，這引發(fā)了一場(chǎng)關(guān)于低成本微調(diào)項(xiàng)目的競(jìng)爭(zhēng)。論文中自豪地描述了他們總共花費(fèi)了幾百美元。更重要的是，低秩更新可以輕松地與原始權(quán)重分開分發(fā)，使它們擺脫了Meta原始許可的約束。任何人都可以分享和應(yīng)用它們。

2023年3月18日 – 現(xiàn)在它變快了

Georgi Gerganov使用4位量化使LLaMA在MacBook CPU上運(yùn)行。這是第一個(gè)“無GPU”解決方案，速度足夠快，實(shí)用性很強(qiáng)。

2023年3月19日 – 一臺(tái)13B模型實(shí)現(xiàn)了與Bard的“平衡”

第二天，一個(gè)跨大學(xué)合作推出了Vicuna，并使用GPT-4驅(qū)動(dòng)的評(píng)估來提供模型輸出的定性比較。雖然評(píng)估方法值得懷疑，但該模型比早期版本的表現(xiàn)要好得多。培訓(xùn)成本：300美元。

值得注意的是，他們能夠使用來自ChatGPT的數(shù)據(jù)，同時(shí)規(guī)避其API的限制 – 他們只需從像ShareGPT這樣的網(wǎng)站上獲取“令人印象深刻”的ChatGPT對(duì)話樣本。

2023年3月25日 – 選擇您自己的模型

Nomic創(chuàng)建了GPT4All，這既是一個(gè)模型，更重要的是一個(gè)生態(tài)系統(tǒng)。這是我們第一次看到模型（包括Vicuna）聚集在一個(gè)地方。培訓(xùn)成本：100美元。

2023年3月28日 – 開源GPT-3

Cerebras（不要與我們自己的Cerebra混淆）使用Chinchilla暗示的最佳計(jì)算計(jì)劃（optimal compute schedule）和μ參數(shù)化（u-parameterization）暗示的最佳縮放（optimal scaling）來訓(xùn)練GPT-3架構(gòu)。這在很大程度上優(yōu)于現(xiàn)有的GPT-3克隆，并且代表了μ參數(shù)化在實(shí)際應(yīng)用中的首次確認(rèn)使用。這些模型是從零開始訓(xùn)練的，這意味著社區(qū)不再依賴于LLaMA。

2023年3月28日 – 一小時(shí)內(nèi)完成多模態(tài)訓(xùn)練

使用一種新穎的參數(shù)有效微調(diào)（PEFT）技術(shù)，LLaMA-Adapter在一個(gè)小時(shí)內(nèi)引入了指令調(diào)優(yōu)和多模態(tài)。令人印象深刻的是，他們只用了120萬可學(xué)習(xí)參數(shù)。該模型在多模態(tài)ScienceQA上刷新了新的SOTA。

2023年4月3日 – 真實(shí)的人類無法分辨13B開放模型和ChatGPT之間的區(qū)別

伯克利推出了Koala，這是一個(gè)完全使用免費(fèi)可用數(shù)據(jù)訓(xùn)練的對(duì)話模型。

他們采取了衡量真實(shí)人類在他們的模型和ChatGPT之間的偏好的關(guān)鍵步驟。雖然ChatGPT仍然稍占上風(fēng)，但超過50%的時(shí)間，用戶要么更喜歡Koala，要么無所謂。培訓(xùn)成本：100美元。

2023年4月15日 – 開源RLHF達(dá)到ChatGPT水平

Open Assistant發(fā)布了一個(gè)模型，更重要的是，發(fā)布了一個(gè)用于通過RLHF進(jìn)行對(duì)齊的數(shù)據(jù)集。在人類偏好方面，他們的模型接近ChatGPT（48.3%與51.7%）。除了LLaMA之外，他們展示了該數(shù)據(jù)集可以應(yīng)用于Pythia-12B，為人們提供了使用完全開放堆棧運(yùn)行模型的選擇。此外，由于數(shù)據(jù)集是公開可用的，它使得對(duì)于小型實(shí)驗(yàn)者來說，RLHF從不可實(shí)現(xiàn)變得便宜且容易。

本文為深思圈編譯文章，轉(zhuǎn)載請(qǐng)聯(lián)系公眾號(hào)后臺(tái)參考材料

[1]https://www.semianalysis.com/p/google-we-have-no-moat-and-neither