Meta已在訓(xùn)練比Llama 3更強(qiáng)大的后繼產(chǎn)品

0 評(píng)論 3899 瀏覽 2 收藏 7 分鐘

根據(jù)Meta公司首席人工智能科學(xué)家Yann LeCun的說法,今天發(fā)布的開源Llama 3人工智能模型只是一個(gè)開始。他表示,一個(gè)新的、更大規(guī)模的版本正在開發(fā)中。

周四上午,Meta發(fā)布了其最新的人工智能模型Llama 3,宣稱這是有史以來最強(qiáng)大的開源模型,任何人都可以使用。

同一天下午,Meta的首席人工智能科學(xué)家Yann LeCun宣布,一個(gè)更強(qiáng)大的后繼產(chǎn)品正在開發(fā)中。他暗示這款新模型有潛力超越當(dāng)前世界上最優(yōu)秀的封閉式AI模型,包括OpenAI的GPT-4和Google的Gemini。

Meta今天發(fā)布了兩個(gè)版本的Llama 3,一個(gè)擁有80億參數(shù),另一個(gè)則有700億參數(shù)。參數(shù)數(shù)量是行業(yè)術(shù)語,大致能表明模型的能力。LeCun表示,更大的模型正在研發(fā)中,其中最強(qiáng)大的模型參數(shù)超過4000億,目前正在訓(xùn)練中。

LeCun在麻省理工學(xué)院舉行的“想象力行動(dòng)”會(huì)議上表示:“精調(diào)需要很長(zhǎng)時(shí)間,但未來幾個(gè)月將推出這些模型的多種變體?!蹦壳吧胁磺宄螘r(shí)會(huì)發(fā)布超過4000億參數(shù)的模型。

Meta于周二推出了一款名為Meta AI的新助手,基于Llama 3,公司表示測(cè)試顯示這些模型優(yōu)于以往具有類似參數(shù)數(shù)量的開源模型。盡管像Google和OpenAI這樣的大型AI開發(fā)商保持其技術(shù)的封閉,但LeCun預(yù)測(cè)開源AI模型將更快進(jìn)步。理論上,他說,這將更快地推動(dòng)AI向人類水平智能邁進(jìn)。

LeCun指出,廣泛的軟件行業(yè)的觀察顯示開源技術(shù)最終將勝出。他說,開放的方法已經(jīng)成為軟件基礎(chǔ)設(shè)施的主導(dǎo),因?yàn)樗试S更快地共享改進(jìn)并更全面地審查代碼?!案嗳瞬榭创a時(shí),AI會(huì)更好,”他說?!盎A(chǔ)設(shè)施需要是開源的——這樣進(jìn)步更快?!?/p>

Meta的開源AI戰(zhàn)略已經(jīng)加速了當(dāng)前圍繞生成性AI的熱潮。該公司在2023年7月發(fā)布Llama 2模型時(shí),為許多初創(chuàng)公司、研究人員和企業(yè)家提供了下載、實(shí)驗(yàn)和構(gòu)建的更強(qiáng)大的AI模型。

OpenAI的GPT-4和Google的Gemini僅通過付費(fèi)API提供,盡管Google在二月份提供了一個(gè)較小的模型Gemma供下載。還有少數(shù)其他公司選擇加入Meta,發(fā)布強(qiáng)大的開源AI模型。

就在幾周前,來自初創(chuàng)公司Databricks的一款新模型成為目前可用的最強(qiáng)大的開源變體。如果Meta報(bào)告的基準(zhǔn)測(cè)試分?jǐn)?shù)準(zhǔn)確的話,Llama 3似乎更有能力。

LeCun還在周二承認(rèn),Meta的策略包括免費(fèi)提供AI模型,這些模型的研發(fā)和計(jì)算資源對(duì)Meta來說代價(jià)高昂。Meta的創(chuàng)始人兼CEO馬克·扎克伯格在1月份告訴CNBC,Meta計(jì)劃在2024年投入數(shù)十億美元購買GPU,用于訓(xùn)練機(jī)器學(xué)習(xí)算法。

同月他宣布,Meta的終極目標(biāo)——與OpenAI和Google所宣稱的相似——是開發(fā)所謂的人工通用智能,即可以完成任何和所有人類智能可以做的事情的機(jī)器。

扎克伯格今天在Instagram上解釋說,Meta將把新的Meta AI助手整合到包括WhatsApp、Instagram、Facebook和Messenger在內(nèi)的產(chǎn)品中。這款助手由Llama 3驅(qū)動(dòng)。

Meta在其宣布Llama 3的博客文章中表示,公司重點(diǎn)改善了用于開發(fā)該模型的訓(xùn)練數(shù)據(jù)。公司表示,它使用的數(shù)據(jù)量是其前身Llama 2的七倍。一些人工智能專家指出,Meta發(fā)布的數(shù)據(jù)還顯示,創(chuàng)建Llama 3需要巨大的能源來支持所需的服務(wù)器。

開源AI模型能力的增長(zhǎng)使一些專家擔(dān)心,這可能使開發(fā)網(wǎng)絡(luò)、化學(xué)或生物武器更加容易,甚至可能對(duì)人類產(chǎn)生敵意。Meta已經(jīng)發(fā)布了一些工具,公司稱這些工具可以幫助確保Llama不會(huì)產(chǎn)生可能有害的話語輸出。

AI領(lǐng)域的其他人士表示,Meta的Llama模型并不像它們可以的那樣開放。公司對(duì)模型的開源許可證施加了一些限制,限制了研究人員和開發(fā)人員可以構(gòu)建的內(nèi)容。

艾倫人工智能研究院的高級(jí)應(yīng)用研究科學(xué)家盧卡·索爾達(dá)尼在Llama 3發(fā)布后的一份聲明中表示:“看到越來越多的模型公開釋放它們的權(quán)重是很棒的事情?!?/p>

他補(bǔ)充說:“但開放社區(qū)需要訪問人工智能管道的所有其他部分——它的數(shù)據(jù)、訓(xùn)練、日志、代碼和評(píng)估。這將最終加速我們對(duì)這些模型的集體理解?!?/p>

參與非營(yíng)利開源AI項(xiàng)目EleutherAI的AI研究員斯特拉·比德曼表示,Meta對(duì)Llama 2的許可證限制了AI研究人員可以進(jìn)行的實(shí)驗(yàn),并補(bǔ)充說Llama 3的許可證看起來更加限制性?!癕eta發(fā)布了權(quán)重,但它對(duì)你可以用它們做什么非常有限制,”比德曼說。

該模型的許可證的一部分規(guī)定,擁有“超過7億月活躍用戶”的公司必須從Meta尋求特殊許可——這顯然是為了防止該項(xiàng)目幫助公司的最接近競(jìng)爭(zhēng)對(duì)手。

即便如此,Llama 3似乎很可能引發(fā)一波新的AI實(shí)驗(yàn)熱潮。開放AI模型庫HuggingFace的CEO克萊門特·德朗格表示,開發(fā)者已經(jīng)基于Llama 2創(chuàng)建了超過30,000個(gè)變種?!拔掖_信我們也將看到基于Llama 3的新模型的大量涌現(xiàn),”他說?!癕eta的這一社區(qū)舉措非常棒?!保╓ired)

本文由人人都是產(chǎn)品經(jīng)理作者【汪仔5037】,微信公眾號(hào):【AI新智能】,原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。題圖來自 Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!