ChatGPT 們難以復(fù)制的原因,除了耗顯卡,還有水電費(fèi)太貴?
最近,出現(xiàn)了新的對(duì)于ChatGPT 研究,比如AI 耗電、排碳等,并非是在譴責(zé)或反對(duì)發(fā)展 AIGC 用資源去換取技術(shù)的改進(jìn)?,F(xiàn)如今AI能發(fā)展到如何,誰(shuí)也說不準(zhǔn),但它有著無(wú)限的發(fā)展可能,需要我們?nèi)ゲ粩嗟奶剿?。本篇文章推薦給對(duì)AI感興趣的童鞋們閱讀。
一覺醒來,世界又變了。
ChatGPT 走入大眾視野之后,AIGC 行業(yè)迎來了爆發(fā),尤其是上個(gè)月,仿佛每一天都可能是「歷史性」的一天。
以 ChatGPT 為代表的生成式 AI,看似超前,但卻以一種極其「古典」的交互形式出現(xiàn)在大眾面前。
它沒有花里胡哨的圖標(biāo),也沒有深入人心的 UI 設(shè)計(jì),而是用最簡(jiǎn)單的對(duì)話框來「震撼」世界。
不過,如此簡(jiǎn)單的形式,卻成為了當(dāng)下網(wǎng)絡(luò)上和現(xiàn)實(shí)里最火熱的話題,果然「好看的皮囊千篇一律,有趣的靈魂萬(wàn)里挑一」。
只是存在于一個(gè)個(gè) web 網(wǎng)頁(yè),一條條簡(jiǎn)單的問答中,往往會(huì)讓我們忽略不少問題。
看似毫無(wú)負(fù)擔(dān)的一個(gè)個(gè)「回答」,背后卻用著世界上屈指可數(shù)的云算力。
隨著 ChatGPT 成為常態(tài),隱藏在 ChatGPT 們背后的這些角落也逐步被報(bào)道出來。
01 燒錢費(fèi)電,還喜歡喝水
生成式 AI 耗費(fèi)顯卡這種情況,有些類似于「挖礦」。
對(duì)大語(yǔ)言模型(LLMs)進(jìn)行訓(xùn)練,參數(shù)越多,性能越好。2018 年的 LLM 大約有 1 億個(gè)參數(shù),而到了現(xiàn)在,大約就要對(duì) 2000 億個(gè)參數(shù)進(jìn)行訓(xùn)練。
運(yùn)行他們需要算力更強(qiáng)的 GPU,英偉達(dá)也在 2020 年推出了相對(duì)應(yīng)的 A100 高性能 GPU,并且也可以打包八張 A100 形成 DGX A100 服務(wù)器。
這些計(jì)算服務(wù)器,或者說顯卡組,最終被安放在所謂的云計(jì)算中心,比如說微軟的就是 Azure 云服務(wù)。
不光訓(xùn)練大語(yǔ)言模型需要大量算力,當(dāng)每個(gè)用戶請(qǐng)求一次,ChatGPT 們回答一次,都要調(diào)用部分算力。
流量就是金錢,我想 OpenAI、微軟應(yīng)該有刻骨銘心的體會(huì)。
根據(jù) Similarweb 的數(shù)據(jù),上個(gè)月 ChatGPT 吸引了全球 16 億次訪問,是一月時(shí)的近三倍。
這種情況下,即便微軟有所準(zhǔn)備,給 ChatGPT 準(zhǔn)備了一萬(wàn)多張 A100,但面對(duì)如此的流量,OpenAI 還是堅(jiān)持不住了,出現(xiàn)了宕機(jī)、封號(hào)和暫停 Plus 會(huì)員的開通。
有人做過預(yù)估,想要吃下當(dāng)下的流量,微軟還得買幾萬(wàn)張 A100、H100 顯卡,Azure 現(xiàn)在的算力遠(yuǎn)遠(yuǎn)不夠。
但買更多的顯卡,除了燒錢,也會(huì)衍生出許多問題。
八張 A100 組成的 DGX A100 服務(wù)器大概售價(jià) 19.9 萬(wàn)美元,最高功率為 6.5kW。
按照一萬(wàn)張來算的話,光在硬件上微軟就要花去 2.5 億美元,運(yùn)行一個(gè)月就要用掉 585 萬(wàn)度電。
而按照國(guó)家統(tǒng)計(jì)局公開的數(shù)據(jù),我國(guó)居民月度用電量大約是 69.3 度。ChatGPT 運(yùn)行一月,大概與我們 8 萬(wàn)人用電相當(dāng)。
除了顯卡本身的價(jià)值,以及維持他們工作所需的電能外,給他們創(chuàng)造一個(gè)涼爽的環(huán)境,配置一套蒸發(fā)冷卻裝置。
原理也比較簡(jiǎn)單,就是利用蒸發(fā)水來散熱,但運(yùn)行起來需要消耗大量的清水,并且在循環(huán)的過程里,大概會(huì)有 1%~2% 的水會(huì)作為細(xì)水霧被風(fēng)吹走。
雖然站在宏觀角度,水仍然維持著動(dòng)態(tài)平衡,但在冷卻塔的小環(huán)境中,卻是一種無(wú)形的消耗。
結(jié)合 AIGC 需要龐大算力的計(jì)算中心,卡羅拉多大學(xué)與德克薩斯大學(xué)的研究人員就在論文里預(yù)估了在訓(xùn)練過程中所消耗的清水。
以 GPT-3 為例,訓(xùn)練過程中所需的清潔淡水相當(dāng)于填滿核反應(yīng)堆冷卻塔所需的水量。果然 AI 最終還是要跟核電掛上鉤。
如果再具體點(diǎn),則大約消耗了 70 萬(wàn)升,并且他們還算出,一個(gè)用戶與 ChatGPT 進(jìn)行 25~50 個(gè)問題的對(duì)話,大概就相當(dāng)于請(qǐng) ChatGPT 喝了 500ml 水。
同時(shí),他們也發(fā)現(xiàn),蒸發(fā)冷卻塔在工作時(shí),平均每消耗一度電,就會(huì)讓一加侖水(3.78L)消失。
其實(shí)不僅是微軟,Google 在 2019 年為其三個(gè)數(shù)據(jù)中心使用了超過 23 億加侖的清水。
Google 的數(shù)據(jù)計(jì)算中心 圖片來自:Google
在美國(guó)本土,Google 擁有 14 個(gè)數(shù)據(jù)中心,為其搜索和現(xiàn)在的 LaMDA 和 Bard 提供算力。且在訓(xùn)練 LaMDA 語(yǔ)言模型的過程要比 GPT-3 還耗能費(fèi)水。
原來,AI 不止費(fèi)顯卡,住恒溫的大 house,胃口還出奇的好,大口吃電,大口喝水。
02 無(wú)處不在的 AI 鴻溝
在 AIGC 行業(yè)里,一個(gè)簡(jiǎn)單的,能準(zhǔn)確響應(yīng)的對(duì)話框,背后不只是展示技術(shù)實(shí)力,也展示了雄厚的金錢實(shí)力。
Sasha Luccioni 博士就表示,大型復(fù)雜的語(yǔ)言模型,世界上只有少數(shù)的公司和組織才有資源訓(xùn)練它們。
還是以 GPT-3 為例,訓(xùn)練 1800 億參數(shù),成本大約是 460 萬(wàn)美元,還不包括后續(xù)的運(yùn)行和迭代維護(hù)等等。
這些有形和運(yùn)行過程中帶來的無(wú)形成本,很多公司很難承受。
由此,在 AIGC 浪潮里,無(wú)形之中有了那么一個(gè) AI 鴻溝,大概也分成了兩類公司。
一種是,花得起耗得起資金,能夠訓(xùn)練先進(jìn)復(fù)雜的大語(yǔ)言模型的大型科技公司。另一種就是無(wú)法承擔(dān)成本的的非盈利組織和小型公司。
在許多關(guān)于 AIGC 到底消耗了多少電力、資源的許多研究報(bào)告中,大多是以 GPT-3,或者用「預(yù)估」等字眼。
就像對(duì)訓(xùn)練 GPT-3 用了多少水的研究里,由于 OpenAI 并沒有披露 GPT-3 訓(xùn)練所需的時(shí)間長(zhǎng)度,因此研究人員只能從微軟所公布的 Azure 計(jì)算中心冷卻塔的數(shù)據(jù)來預(yù)估。
而關(guān)于碳排放等一系列參考數(shù)據(jù),也多是從 2019 年的 Bert 訓(xùn)練模型中預(yù)測(cè)而得。
除了資金、GPU、數(shù)據(jù)中心、網(wǎng)絡(luò)帶寬等等硬實(shí)力,Google、微軟也把大語(yǔ)言模型的訓(xùn)練算法、過程、時(shí)間、參數(shù)等等都列成了最高機(jī)密。
我們想使用和了解它,只能通過提供的 API ,或者直接詢問 ChatGPT 或者 Bard 本身。
無(wú)形之中,這也成為了一個(gè)「AI 鴻溝」。
AIGC 發(fā)展地如此迅速,并且能力也在無(wú)限擴(kuò)大,許多國(guó)家地區(qū)和組織都在考慮如何給 AIGC 設(shè)立一些規(guī)范,免得它(產(chǎn)生自我意識(shí),開始覺醒……)恣意妄為。
但就如同相關(guān)的研究人員一般,目前 AIGC(如 GPT-4)幾乎沒有公開的信息,更像是一個(gè)黑盒。
誠(chéng)然對(duì)于大公司而言,AIGC 可能就是下一個(gè)新時(shí)代的開端,塑造科技壁壘,無(wú)可厚非。
但對(duì)于資源的消耗,無(wú)論是對(duì)于立法機(jī)構(gòu),還是對(duì)于大眾,都該保持一些透明度,
這也是 AI 在提供便利的同時(shí),為何研究人員不斷挖掘和道明相應(yīng)的代價(jià)。
03 發(fā)展 AI,其實(shí)也是人類的一次登月
對(duì)于 AI 耗電、排碳,以及最新的費(fèi)水等研究,并非是在譴責(zé)、或者說反對(duì)發(fā)展 AIGC 用資源去換取技術(shù)的改進(jìn)。
這些數(shù)據(jù),其實(shí)是提供了 AIGC 行業(yè)的另外一個(gè)角度,在一條條符合人味兒回答的背后,到底我們或者說大型科技公司為此付出了什么。
也并非是要呼吁 Google、微軟立刻做碳中和,并為耗費(fèi)的水資源、電能和間接的一些環(huán)境問題買單,讓它們變成 Google Green 或者是綠軟。
AIGC 的爆發(fā),并不是一蹴而就,也不是簡(jiǎn)單開竅式的技術(shù)爆發(fā),它背后涵蓋了相當(dāng)多的產(chǎn)業(yè)鏈,更像「水到渠成」。
大公司云計(jì)算中心算力的增強(qiáng),以及 GPU 對(duì)復(fù)雜算法的高效計(jì)算,以及大語(yǔ)言模型參數(shù)的復(fù)雜化,再加上 AIGC 企業(yè)本身一直在不計(jì)成本地投入。
而在 GPT-3 出現(xiàn)之前,AI 們的能力還顯得比較稚嫩,大眾也沒意識(shí)到 AI 可能會(huì)改變世界。
但隨著 GPT-4、Midjourey V5 等等涌現(xiàn),AIGC 也終于成為了硅谷寵兒。
此時(shí)此刻,OpenAI、微軟、Google 等大企業(yè)對(duì)資源的消耗,對(duì)大算力的使用也有了一個(gè)初步的成果。
同樣地,當(dāng)下的 AIGC 節(jié)點(diǎn),有些類似于阿姆斯特朗剛踏上月球的那一刻。
登月動(dòng)用了當(dāng)時(shí)相當(dāng)?shù)馁Y金財(cái)力資源,但月球上并沒有所謂的水和可利用資源(暫時(shí))。
但并不能否認(rèn)登月沒有意義,就如同現(xiàn)在花去大量的資源、財(cái)力喂給 AI,發(fā)展 AIGC。
只是,AIGC 能發(fā)展到如何,誰(shuí)也說不準(zhǔn),它可能像是《終結(jié)者》里的天網(wǎng),也可能是《星戰(zhàn)》里的 C-3PO,有著無(wú)限可能。
呼吁暫停 GTP-4 研究后,馬斯克購(gòu)買 1 萬(wàn)個(gè) GPU 加入 AI 大戰(zhàn),是在打臉嗎?
作者:杜沅儐;來源公眾號(hào):愛范兒(ID:ifanr);連接熱愛,創(chuàng)造不同。
本文由人人都是產(chǎn)品經(jīng)理合作媒體 @愛范兒 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。
- 目前還沒評(píng)論,等你發(fā)揮!