有消息稱，前 OpenAI 聯(lián)合創(chuàng)始人&主席 Elon Musk，正在接洽曾在 DeepMind & OpenAI 任職的工程師 Igor Baushkin，打算組建一個(gè)新的AI實(shí)驗(yàn)室及ChatGPT的替代品，未來會(huì)如何呢？本文作者圍繞這件事進(jìn)行了分析，并分享了20年前的“ChatGPT”的故事，一起來看一下吧。

這是 OpenAI 系列的第四篇，源自一則新聞，該新聞報(bào)道前 OpenAI 聯(lián)合創(chuàng)始人&主席的 Elon Musk 正在接洽曾在 DeepMind & OpenAI 任職的工程師 Igor Baushkin，從而組建一個(gè)新的 AI 實(shí)驗(yàn)室以及 ChatGPT 的替代品，可能的名稱為 Based AI 以及 TruthGPT，本篇將主要圍繞這起事件分 2 節(jié)進(jìn)行展開，第 3 節(jié)是一個(gè)古早的創(chuàng)業(yè)故事：

1. OpenAI 的初衷與 Musk 的執(zhí)念
2. Igor Bauschkin 會(huì)是下個(gè)“AK”么?
3. 微軟棄嬰，20 年前的“ChatGPT”

01 OpenAI 的初衷與 Musk 的執(zhí)念

根據(jù)外媒報(bào)道，Elon Musk 正與 AI 研究人員接洽，希望組建一個(gè)新的 AI 研究實(shí)驗(yàn)室以開發(fā) ChatGPT 的替代品，其中就包括上周剛離開 Alphabet 旗下 DeepMind 部門的工程師 —— Igor Bauschkin。

報(bào)道出來的同一天，Musk 其實(shí)還在 Twitter 上發(fā)了一個(gè)表情包，名為「Based AI」的 Doge 手持大棒打跑了 「Woke AI」以及「Closed AI」，不知道是不是分別暗指 DeepMind 和 OpenAI 這兩家 :D，但無論如何還會(huì)出現(xiàn)一個(gè)第三方，并且是 Musk 主導(dǎo)的，暫且叫「Based AI」。

那么這個(gè)「Based AI」想做什么呢？其實(shí)又回到了 OpenAI 成立之初，Elon Musk 所暢想的愿景與使命，畢竟 OpenAI 現(xiàn)在的狀態(tài)可不是原先 Musk 所想的那樣，OpenAI 成立之初非營利的性質(zhì)是為了防止 Google 作惡，現(xiàn)在 OpenAI 變成了另一個(gè)硅谷巨頭微軟變相控制的企業(yè)，且以盈利導(dǎo)向，好家伙，非但原先的假想敵沒干掉，還一下變成倆，這怎么搞？

回到當(dāng)年 OpenAI 成立不久，Musk 還同 Greg Brockman、Sam Altman 以及 Ilya Sutskever 一同署名了一篇文章《OpenAI technical goals，OpenAI’s mission is to build safe AI, and ensure AI’s benefits are as widely and evenly distributed as possible 》，也是登在 OpenAI 官網(wǎng)的唯一一篇Musk 以作者身份署名的文章，開頭如下：

大概意思是 OpenAI 的技術(shù)目標(biāo)是構(gòu)建安全的 AI，確保 AI 的利益盡可能的防范和均勻分布，而 Musk 對(duì)于目前 AI 的態(tài)度就好像對(duì)待 Twitter 一樣，作為 Twitter 的深度用戶，看到平臺(tái)上的內(nèi)容和信息集中而不均勻，或者叫中心化，這對(duì)于每一個(gè)內(nèi)容消費(fèi)者來說并不是好事。

對(duì)于 Elon Musk 而言，訓(xùn)練一個(gè)聊天機(jī)器人不是最終目的，“我們需要 TruthGPT”，提高大語言模型的推理能力和真實(shí)性才是更重要的，即模型的可用性和可靠性。打個(gè)比方，作為用戶，不管是“搜索”還是“聊天”，得到的結(jié)果無非是「人類生產(chǎn)+算法分發(fā)」或者「人類生產(chǎn)+ AI 加工」，AI 到一定程度實(shí)現(xiàn)生成即分發(fā)，兩者還有區(qū)別么？區(qū)沒區(qū)別其實(shí)也不重要，但是效果一樣，終端用戶是否依然受限于一個(gè)信息繭房之中？或者更嚴(yán)重？

這里不具體討論 Musk 主觀想法，別人也難猜到，但是客觀分析他的言論，確實(shí)存在“信息繭房”的問題。無論是推薦算法分發(fā)的時(shí)代，還是接下來生成式 AI 時(shí)代，用戶如果都是被動(dòng)獲取來自機(jī)器派送的信息，那么一方面將受限于用戶自己在屏幕的每一次點(diǎn)擊、滑動(dòng)、停留以及互動(dòng)，另一方面也受限于用戶當(dāng)前的認(rèn)知與語言框架，更可能本身 AI 訓(xùn)練的數(shù)據(jù)集都是被修飾過的。

除此之外，生成式 AI 可能也會(huì)生產(chǎn)出一堆“噪音”，“噪音”可能比人類生產(chǎn)的“噪音”還要高效，那么就更加難以分辨出真正的“信號(hào)”，這個(gè)過程有點(diǎn)像是你用某搜索引擎搜索，得到的結(jié)果都是人家 SEO 精心優(yōu)化好的。

這一點(diǎn)其實(shí)在 Musk 對(duì)于教育的看法上有些吻合。Musk 在公開場(chǎng)合曾表示教育的本質(zhì)是把數(shù)據(jù)（案例）和算法（方法）下載到大腦里，大部分知識(shí)可以在網(wǎng)上免費(fèi)搜到，那么在網(wǎng)上沖浪本身也帶有邊刷邊學(xué)的場(chǎng)景在，如果數(shù)據(jù)和算法是不安全的，那么也將會(huì)影響下一個(gè)“Musk”。

所以，結(jié)合 TruthGPT 的話題反過來想，不管是 UGC 還是 AIGC，用戶只要在網(wǎng)絡(luò)上獲取的是“噪音”而不是“信號(hào)”，那么體驗(yàn)總歸是不好的，這也是為什么強(qiáng)調(diào) “Truth”。

未來如何，這很難預(yù)測(cè)，但應(yīng)對(duì)“噪音”這個(gè)問題，Musk 本人也曾提過他的思維框架，這可能是一種可行的“降噪”方式 —— “你需要有一個(gè)這樣的立場(chǎng)，從某種程度上假設(shè)自己是錯(cuò)的，你的目標(biāo)打從一開始就不是分出對(duì)錯(cuò)，而是隨著時(shí)間的推移減少錯(cuò)誤”，這樣就避免了過早下結(jié)論導(dǎo)致出錯(cuò)的可能性，并且保持穩(wěn)扎穩(wěn)打的心態(tài)。

02 Igor Bauschkin 會(huì)是下個(gè)“AK”么

接著文章開頭，細(xì)聊下Musk 想招納的這個(gè)帥哥 Igor Bauschkin 履歷與經(jīng)歷，也許他會(huì)是下一個(gè)“Andrej Karpathy”，OpenAI 的創(chuàng)始團(tuán)隊(duì)成員，ex 特斯拉 AI 總監(jiān)。

Bauschkin 是物理學(xué)+計(jì)算機(jī)背景 ，在 DeepMind 和 OpenAI 都工作過，也接手過 Gopher 和 GPT 兩大模型。2015 年，Bauschkin 在德國多特蒙德工業(yè)大學(xué)獲得物理學(xué)碩士學(xué)位，在讀書期間還報(bào)名了 CERN（歐洲核子研究中心）暑期學(xué)生計(jì)劃，該計(jì)劃也為 Igor Bauschkin 這樣理工科背景的學(xué)生提供機(jī)器學(xué)習(xí)相關(guān)課程的機(jī)會(huì)。

在正式步入 AI 領(lǐng)域前，Bauschkin 畢業(yè)后在 CERN 進(jìn)行大型強(qiáng)子對(duì)撞機(jī)研究工作，在那里通過 LHCb 實(shí)驗(yàn)分析粒子衰變，期間在許多物理學(xué)相關(guān)期刊發(fā)表了多篇論文。

Bauschkin 在機(jī)器學(xué)習(xí)領(lǐng)域的研究最早可以追溯至 2018 年在 ICML 國際會(huì)議上與人合著發(fā)表的《Synthesizing programs for images using reinforced adversarial learning》，主要講述在無監(jiān)督情況下，通過分布式強(qiáng)化學(xué)習(xí)來進(jìn)行模型訓(xùn)練，從而合成圖像。

2017 年，Bauschkin 加入當(dāng)時(shí)已經(jīng)被 Google 收購的 DeepMind 擔(dān)任 Research Engineer，主要負(fù)責(zé)自然語言處理和強(qiáng)化學(xué)習(xí)方面的研究。2019 年 1 月，DeepMind 在官方博客更新了一篇《Alphastar: Mastering the real-time strategy game starcraft ii 》的文章，AlphaStar 是 DeepMind 開發(fā)的第一個(gè)擊敗頂級(jí)職業(yè)玩家的人工智能，當(dāng)時(shí)AI 以 5:0 的比分擊敗了職業(yè)選手，Bauschkin 是 AlphaStar Team 的主要成員之一，文章講述了 AlphaStar 是如何通過深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的。同年 11 月，相關(guān)研究《Grandmaster level in StarCraft II using multi-agent reinforcement learning》登上《Nature》。

2020 年 11 月，Bauschkin 離職，加入已經(jīng)成立滿 5 年的 OpenAI 擔(dān)任 Technical Staff，期間參與了 GPT-3、DALL-E 和 CLIP 項(xiàng)目的開發(fā)。

同期，Bauschkin 還是另一篇 DeepMind 在 2021 年發(fā)表的論文《Scaling Language Models: Methods, Analysis & Insights from Training Gopher》合著者。

這篇論文講述了基于 Google Transformer 的各種語言模型在規(guī)模與性能上的比對(duì)，從數(shù)千萬參數(shù)的模型再到 2800 億參數(shù)量量的 Gopher 模型，研究人員發(fā)現(xiàn)規(guī)模收益主要體現(xiàn)在閱讀理解和內(nèi)容審查方面，而在邏輯和數(shù)學(xué)推理的收益較小，比如 Gopher 模型在以下幾個(gè)垂直知識(shí)領(lǐng)域甚至超過了當(dāng)時(shí)的 GPT-3 和人類專家。

Gopher 模型和 GPT-3 模型兩者都基于 Google 的 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)開發(fā)，也都是預(yù)訓(xùn)練模型，在參數(shù)規(guī)模上前者達(dá) 2800 億，后者為 1750 億，但由于在訓(xùn)練數(shù)據(jù)集以及訓(xùn)練方式的差異，兩者的表現(xiàn)也不同，就好比 28 歲的 A 和 17 歲的 B 一起考試，你很難說 A 會(huì)因?yàn)槟挲g大更聰明，又或者 B 更年輕而跑更快。Gopher 模型也能實(shí)現(xiàn) ChatGPT 那樣的聊天，DeepMind 在文章里還公開過一些 QA 案例。

2022 年 4 月，Bauschkin 從 OpenAI 離開，再次回歸 DeepMind，擔(dān)任 Senior Staff Research Engineer，在短短停留 11 個(gè)月后宣布離開。根據(jù) Igor Bauschkin 在接受媒體采訪時(shí)表示，目前還沒有正式簽署 Elon Musk 的項(xiàng)目，但希望和 Musk 一起在大語言模型領(lǐng)域進(jìn)行研究，論實(shí)力 Musk 無論在想象力、執(zhí)行力、財(cái)力還是組織力上都是滿級(jí)的存在，作為 OpenAI 的早期發(fā)起人他具備另起爐灶的要素，Musk 的 BasedAI 以及 Truth GPT 還是值得期待的。

03 微軟棄嬰，20 年前的“ChatGPT”

聊完今時(shí)今日 Musk 與他的 AI 大計(jì)，就到了本期的最后一節(jié)，主要講述微軟與 20 年前火極一時(shí)，不亞于今天 ChatGPT 的一款產(chǎn)品，它們很相似，但可能走著不同的命運(yùn)。

這款產(chǎn)品叫做 SmarterChild，可能是最早的互聯(lián)網(wǎng)模因（“?！保┲?，當(dāng)時(shí)是一款主要內(nèi)嵌在即時(shí)通訊軟件內(nèi)的 ToC 聊天機(jī)器人，當(dāng)然它也有 ToB 的形態(tài)，一個(gè)類訂閱號(hào)的 Bot 來提供營銷服務(wù)；它所呈現(xiàn)的個(gè)性并不基于技術(shù)，而是基于 Bot 背后編輯團(tuán)隊(duì)的創(chuàng)意，最終它被微軟收購，被微軟應(yīng)用在旗下的產(chǎn)品當(dāng)中。

2000 年，Tim Kay 和姐夫Robert Hoffer，外加一個(gè)紐約的廣告狂人 Peter Levitan 創(chuàng)立了 ActiveBuddy,Inc 這家公司。

2001年6月，ActiveBuddy在 AIM（AOL Instant Messenger）上推出名為 SmarterChild 的聊天機(jī)器人，就像是在電腦端 QQ 好友列表里添加 ChatGPT；同月，大洋彼岸的 OICQ 也正式更名為 QQ 并推出了經(jīng)典的企鵝 logo。

根據(jù)聯(lián)合創(chuàng)始人 Hoffer 描述，SmarterChild 自 2001 年 6 月推出后，是有史以來第一個(gè)互聯(lián)網(wǎng)模因，當(dāng)時(shí)每天的新增用戶按「萬」為計(jì)量單位，甚至超過了 Twitter 的增速。PS：大概是2006 年前后的數(shù)據(jù)，因?yàn)?Twitter 最早版本是 2006 年 3月推出的。

2003 年紐約時(shí)報(bào)的一篇文章顯示，每天有 25 萬人與 SmarterChild 聊天，按照今天的話說是 DAU 為 25 萬，在其生命周期內(nèi)總共在 AOL、MSN 以及 Yahoo 平臺(tái)三大平臺(tái)的即時(shí)通訊軟件上吸引了超過 3000 萬的用戶，巔峰時(shí)期占所有 IM 通訊軟件流量的 5%，每天接受數(shù)億條消息。

當(dāng)然，故事的結(jié)局是 SmarterChild 沒有活到成年，不然現(xiàn)在也沒有 ChatGPT 什么事了，原因自然和微軟脫不了干系。

最初 SmarterChild 的產(chǎn)品 Demo 來源于聯(lián)合創(chuàng)始人 Kay 在車庫里的嘗試，通過代碼連接一個(gè)名為“ActiveBuddy”的好友代理來查股票代碼，之后又支持了 AOL聊天模塊上的文字冒險(xiǎn)游戲“Colossal Cave Adventure”、MIT 的問答系統(tǒng)“Boris Katz Start”以及更廣泛的數(shù)據(jù)庫，包括訪問新聞、天氣、股票、電影、體育等數(shù)據(jù)和各類如計(jì)算器和翻譯的工具。PS：害，這不就是今天的 Microsoft Bing 么？原來早就有了。

投資了 Siri、Uber、Epic、Chime 的投資人——Menlo Venture 道合伙人 Shawn Carolan 回憶道：“首次接觸 Siri 時(shí)，當(dāng)時(shí)的 SmarterChild 已經(jīng)擁有 1000 萬用戶，每天收到 10 億條消息”。實(shí)際上，Siri 成立于 2007 年，2008 年初拿到 Carolan 的投資，當(dāng)時(shí)的 SmarterChild 已經(jīng)處于產(chǎn)品生命周期尾聲了。

ActiveBuddy,Inc 成立之初曾籌集到數(shù)千萬美元，商業(yè)化策略主要是為英國搖滾樂隊(duì) Radiohead、電影《王牌大賤諜》、《體育新聞》 、英特爾以及 Keebler 等 B 端客戶提供 IM 營銷服務(wù)。舉個(gè)例子，Radiohead 當(dāng)時(shí)在其第 5 張專輯《Amnesiac》中推出名為 GoolyMinotaur（Gooly） 的角色，Gooly 也是 ActiveBuddy 推出的定制化音樂機(jī)器人。

用戶可以通過 AOL 的即時(shí)通訊軟件 AIM 添加 SmarterChild 為好友，并從聊天框里獲得樂隊(duì)巡演、簡(jiǎn)介、音樂下載以及工作室的獨(dú)家內(nèi)容，就理解成微信里面的企業(yè)訂閱號(hào)吧……根據(jù)統(tǒng)計(jì)當(dāng)時(shí)這個(gè)“訂閱號(hào)”曾向 100 萬用戶發(fā)送大約 6000 萬條消息推送。

SmarterChild 早期產(chǎn)品成功的原因主要?dú)w納為 4 點(diǎn)：

1. 產(chǎn)品形態(tài)：SmarterChild 本質(zhì)是一款聊天機(jī)器人，通過文本與用戶交互，20多年前 128kbps 的網(wǎng)速下載 1 秒的音頻需要 16000 字節(jié)，而文本僅 90 字節(jié)，在有限的網(wǎng)速下文本作為媒介具備明顯傳輸優(yōu)勢(shì)；
2. 兼容性：SmarterChild 不是客戶端產(chǎn)品，不需要下載和安裝，用戶通過當(dāng)時(shí)的 IM 平臺(tái)即可添加 SmarterChild 到好友列表里，如同今天活在 Discord 社區(qū)里的 Midjourney；
3. 社交屬性：按照當(dāng)時(shí)的網(wǎng)絡(luò)環(huán)境，上網(wǎng)聊天的是一群感時(shí)髦的孩子，他們通常在放學(xué)后撥號(hào)上網(wǎng)，并在睡前迎來又一波流量高峰，對(duì) Ta 們來說通過 SmarterChild 獲取信息不重要，社交、好奇與打發(fā)時(shí)間才是更重要的；
4. 個(gè)性：對(duì)，你沒看錯(cuò)，這是 SmarterChild 的第一位投資人 —— Hoffer 的朋友，當(dāng)時(shí)在 Pixar 擔(dān)任 2D 動(dòng)畫師的 Doug Frankel 投資了 ActiveBuddy 約 400 萬美元，F(xiàn)rankel 當(dāng)時(shí)表示 SmarterChild 有點(diǎn)點(diǎn)“壞”，它會(huì) PUA 用戶，這不是因?yàn)楫?dāng)時(shí)的技術(shù)有多先進(jìn)，更談不上 AI，而是聊天機(jī)器人背后的編輯們是一群充滿創(chuàng)意和惡搞的群體，用戶喜歡的這種“壞”，就好比《狂飆》里的強(qiáng)哥。

Hoffer 曾表示“當(dāng)擁有一個(gè)具有個(gè)性的角色時(shí)，可能面臨的不是技術(shù)問題，而是編輯問題，作為角色的塑造方，你必須愿意激怒 50% 的用戶，這也是大公司做不好和不敢做的原因”。PS：今天 Google 復(fù)現(xiàn)了這個(gè) Bug～

Kay 這么形容當(dāng)時(shí)互聯(lián)網(wǎng)泡沫前后發(fā)生的變化 —— 互聯(lián)網(wǎng)泡沫破滅前，人們?cè)谡f“哦，你有一個(gè)商業(yè)模式并不重要，吸引眼球才是最重要的” ，而當(dāng)互聯(lián)網(wǎng)泡沫破滅后，人們?cè)谡f“你必須賺錢?！?/p>

2000 年的互聯(lián)網(wǎng)泡沫破滅后，當(dāng)時(shí)廣告行業(yè)處于下行周期，投資機(jī)構(gòu)也變得謹(jǐn)慎，而 SmarterChild 業(yè)務(wù)發(fā)展和商業(yè)化也正需要更多的工程師、腳本編輯團(tuán)隊(duì)和業(yè)務(wù)開發(fā)人員。

ActiveBuddy 終于獲得了一家名為 Wit Soundview 的風(fēng)投機(jī)構(gòu)支持，但這家機(jī)構(gòu)缺乏遠(yuǎn)見，以激進(jìn)的方式推動(dòng)管理層將公司商業(yè)化，最終導(dǎo)致了核心團(tuán)隊(duì)的流失，包括那些有趣的編輯們，公司的業(yè)務(wù)也面臨轉(zhuǎn)型，聚焦 B 端服務(wù)，開始為 Comcast 和 Cox 等大型傳播集團(tuán)提供定制服務(wù)，2003 年公司更名為 Conversagent，2006 年再次更名為 Colloquis，最終在 2006 年 10 月被微軟以 4600 萬美元收購。

微軟收購 Colloquis 的本意是將這家公司的對(duì)話技術(shù)推向其現(xiàn)有的客戶，Colloquis 的相關(guān)產(chǎn)品包括后來的 Windows Live Service Agents，可以在 Windows Live Messenger 上提供服務(wù)機(jī)器人，以及 Colloquis Answer Suite。

同樣，微軟這邊也是以商業(yè)化為目的，2007 年微軟發(fā)布了圣誕老人機(jī)器人，由于這款產(chǎn)品向未成年發(fā)布了攻擊性的暗示，最終在 2009 年被微軟喊“Cut”。

至于為什么？原因是那時(shí)聊天機(jī)器人的底層能力遠(yuǎn)比不上今時(shí)今日大模型所表現(xiàn)出的“類人”能力，更需要編輯們生產(chǎn)的“數(shù)據(jù)”和內(nèi)容審核，但微軟恰恰不是一家內(nèi)容公司，激進(jìn)的商業(yè)化反過來加劇了管理的混亂，早期成員流失。

回顧 SmarterChild 這款產(chǎn)品的一生，將它比作 20 多年前手工版的“ChatGPT”并不為過，兩者有許多相似的地方，相同的地方不列舉了，而不同的地方，例如技術(shù)與商業(yè)環(huán)境今非昔比、今天的微軟也比 2007 年那會(huì)兒支棱多了、大語言模型的學(xué)習(xí)效率與 GPT 模型肉眼可見的演化，以及 OpenAI LP 與微軟之間復(fù)雜的條款約定，而并非 100%所有。

最后，與其推測(cè) OpenAI 版的“SmarterChild”未來會(huì)如何？倒不如順著 Musk 的逆向思維，看看 ChatGPT 是否已經(jīng)避開了當(dāng)年 SmarterChild 的一些覆轍？另外還具備了哪些新的競(jìng)爭(zhēng)優(yōu)勢(shì)？

Reference：

https://fortune.com/2023/02/28/elon-musk-rival-openai-chatgpt-woke-ai/

https://www.nature.com/articles/s41586-019-1724-z.epdf?author_access_token=lZH3nqPYtWJXfDA10W0CNNRgN0jAjWel9jnR3ZoTv0PSZcPzJFGNAZhOlk4deBCKzKm70KfinloafEF1bCCXL6IIHHgKaDkaTkBcTEv7aT-wqDoG1VeO9-wO3GEoAMF9bAOt7mJ0RWQnRVMbyfgH9A%3D%3D

https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval

https://zhuanlan.zhihu.com/p/458200357

https://www.babushk.in/index.html

https://en.wikipedia.org/wiki/SmarterChild

https://www.vice.com/en/article/jpgpey/a-history-of-smarterchild

https://peterlevitan.com/my-story/

https://www.avclub.com/the-oral-history-of-radiohead-s-googlyminotaur-a-chatb-1798248780

https://en.wikipedia.org/wiki/GooglyMinotaur

https://en.wikipedia.org/wiki/Colloquis

https://chatbotsmagazine.com/radiohead-s-googlyminotaur-ee91cd600a4a