論關于GPT發(fā)展的異樣感及其思考

0 評論 4064 瀏覽 2 收藏 8 分鐘

這篇文章主要討論生成式AI領域的發(fā)展,盡管該領域技術日新月異,但其中仍存在一些問題。作者就這些問題進行思考,并對微觀、宏觀兩個層面提出對應的建議。希望能對你有所幫助。

在當前火熱的生成式AI行業(yè)中,大模型的技術日新月異,對于那些一無所知的人來說,就如同面對著未知的世界,無所適從。

可以說,在這些領域上沒有足夠的技術知識,就像是當今社會的文盲一樣,可能會錯失很多機會。

然而,隨著越來越多的企業(yè)、創(chuàng)業(yè)團隊和研究機構進入這個領域,個人感到頗為奇怪,覺得這個領域的發(fā)展過快,仿佛有什么不對勁的地方。

這是一個非常有價值的話題,因此想在這里簡要分享一下想法。

一、GPT發(fā)展的異樣感

1. 要做中國的類ChatGPT

從各大廠商推出的大模型產(chǎn)品來看,它們借助自身的研發(fā)實力和財力,推出了文心一言、通義千問等產(chǎn)品,并早先進行內(nèi)測和應用。

但是,其本質(zhì)上的思路都是仿照OpenAI的思路,通過數(shù)據(jù)和預訓練模型打造中國版的ChatGPT。初看起來,這似乎是適合我們發(fā)展的道路。

但這里面其實有著我們目前無法解決的兩個關鍵問題:

  1. 算力問題。如我國目前仍未有類似于英偉達的NVlink技術(將多個芯片連在一起的帶寬技術,從而可以提供更為強大的計算能力),而這項技術是訓練大模型的關鍵技術之一。
  2. 數(shù)據(jù)問題。在ChatGPT的訓練數(shù)據(jù)中,中文數(shù)據(jù)占比僅為0.09905%,優(yōu)質(zhì)數(shù)據(jù)相較于其他語言,占比太少。

以上兩個問題,個人認為是涉及到大模型行業(yè)發(fā)展的最重要的問題,沒有之一。

其中,問題1目前國內(nèi)并沒有可以攻克的實力,更多的需要依賴國外的技術支持。

問題2關于中文數(shù)據(jù)的問題,目前中文在全世界應用的范圍有限,在解決中文數(shù)據(jù)質(zhì)量及數(shù)量問題上,仍需要時間。

2. 耗能及成本問題

根據(jù)《ChatGPT挑起的這場AI競賽,有一個骯臟的秘密》描述:訓練GPT-3消耗了1287兆瓦時,并導致超過550噸二氧化碳的排放——相當于一個人在紐約和舊金山之間往返550次。

大模型的訓練成本不是一個中小型甚至是大型公司能夠輕易承受的成本。此外,還需關注環(huán)境、災害管理和訓練方法等課題。這些因素會導致企業(yè)面臨高昂的成本問題。

盡管我個人認為很多初創(chuàng)公司的思考仍然不夠,但這并不影響認為這是一個需要關注的問題。

很多公司仍在喊口號:“未來,我們要打造屬于XX行業(yè)的大模型”。僅注重應用場景的深度和廣度,并未提及到自身企業(yè)的優(yōu)勢、成本及技術經(jīng)驗的儲備。

3. 大模型行業(yè)陷入了“內(nèi)卷”的惡性循環(huán)

類似于以往互聯(lián)網(wǎng)、電商的發(fā)展,很多企業(yè)(包括openAI)已經(jīng)在瘋狂搶奪大模型人才。相關JD描述不少都是需要有大模型訓練、GPT使用工具經(jīng)驗及prompt工程等要求。而這些在2022年前,都還不為大眾所熟悉。

薪酬方面只要牽扯到GPT大型模型相關的,基本都保持在20w-80w的高水平(以深圳為例)。

另外大模型也出現(xiàn)了不少行業(yè)大模型,如BloombergGPT(金融)、MathGPT(數(shù)學)等,未來肯定還有更多行業(yè)屬性的大模型出現(xiàn)。

但這個是很奇怪的一個現(xiàn)象,類似于以往的語音agents,又將通用智能割裂成一個又一個模塊。后面也許又會變成比較哪一個行業(yè)大模型更智能的問題上。

二、引發(fā)的思考

1. 宏觀層面

1)國家層面

  1. 制定大模型、生成式AI的相關政策支持及監(jiān)管,持續(xù)不斷地推進大模型行業(yè)發(fā)展。
  2. 探討在國內(nèi)應用生成式AI的可行性,與各大高校、研究機構及企業(yè)合作,可能還需要海外機構,逐步在各行業(yè)進行應用。
  3. 更新或者設立高等院校的關于生成式AI的相關專業(yè),另外還要注重芯片研發(fā)、統(tǒng)計科學及人工智能專業(yè)的發(fā)展。

2)企業(yè)層面

  1. 積極擁抱國外的先進技術,探索出存在差異化的產(chǎn)品定位/思路,從其他賽道超過美國,而不是從數(shù)據(jù)、算力方面突破。
  2. 做好后備資金及研發(fā)投入的支持,在保證自己能存活的前提下,鼓勵創(chuàng)新及發(fā)展。

2. 微觀層面

從業(yè)者或者期望從業(yè)者

  1. 自主學習。嘗試使用各類生成AI工具,在生活、工作及學習中使用,有時間可以整理分析各類AI工具的競品分析材料.
  2. 嘗試應聘相關AI產(chǎn)品崗位時,帶著你的思考和總結(jié)材料(如對目標公司的產(chǎn)品分析及產(chǎn)品原型,特別是AI相關的場景應用)去應聘,不用很詳細,但最好有自己的獨到見解。
  3. (慎用)考慮是否有必要進修。AI行業(yè)本身就是存在一定門檻,很多時候?qū)夹g的學習需要系統(tǒng)化,結(jié)合自己的情況,了解海外或者國內(nèi)比較有名的院校(一般都是人工智能、數(shù)據(jù)科學、計算機等專業(yè))。

針對第三點尤其要提的是,由于當前國內(nèi)的學歷貶值現(xiàn)象比較嚴重,深造是機會成本較高的選擇,無論是跨學科還是非跨學科,都有時間、經(jīng)濟和精力相關的成本。畢業(yè)后的就業(yè)也是一個挑戰(zhàn),所以需要結(jié)合自身情況,仔細考慮是否進修。

參考內(nèi)容

hanniman,“最近ChatGPT這么火,總感覺有點不對勁”。

本文由 @SiegZhong 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務。

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!