我們知道語料是決定AI質(zhì)量表現(xiàn)的關(guān)鍵，國外有Reddit等平臺可以提供語料，國內(nèi)有類似的嗎？這篇文章，我們來看看作者的分析。

Reddit 在過去的 2024 年算得上是容光煥發(fā)。這家創(chuàng)立了近 20 年的社交平臺，去年 3 月在紐交所完成上市，并在上市后的第三季度實現(xiàn)首次盈利，到目前股票已漲到上市首日開盤價的 350% 左右。

上市成功、首次盈利和股票暴漲的無外乎來自同一原因——AI。

Reddit 上的內(nèi)容，具有進一步發(fā)展 AI 大模型技術(shù)所需要的語料庫質(zhì)量。

去年 2 月，Reddit 和 Google 達成協(xié)議，Reddit 內(nèi)容可用于訓(xùn)練谷歌的人工智能模型，這項協(xié)議價值約每年 6000 萬美元。Reddit稱：“我們相信，我們不斷增長的平臺數(shù)據(jù)將成為領(lǐng)先大型語言模型（“LLM”）培訓(xùn)的關(guān)鍵要素，并成為 Reddit 的額外盈利渠道?！?/p>

上市后的 5 月，Reddit 和 OpenAI 也建立類似合作關(guān)系，Reddit 的問答內(nèi)容將被帶入 OpenAI 旗下產(chǎn)品，Reddit 平臺的編輯功能和附加模組也將加入由 OpenAI 技術(shù)驅(qū)動的 AI 功能。該合作是雙向的，OpenAI 為 Reddit 平臺提供技術(shù)，Reddit 為 OpenAI 提供語料。

那么多 UGC 社交平臺，為什么偏偏 Reddit 成為這些 AI 大模型廠商青睞的語料供應(yīng)商？

• 業(yè)務(wù)生態(tài)上，Reddit 是一個相對獨立的平臺，其背后由多個利益集團及個人控股（康泰納仕集團、騰訊等），而不像國內(nèi)的一些社交平臺母公司會擁有豐富的產(chǎn)品生態(tài)以及產(chǎn)業(yè)鏈，無需顧及自身的生態(tài)組合，語料可以作為合作時的籌碼進行交易。
• 內(nèi)容模式上，Reddit 通過 subReddit（子論壇）來組織內(nèi)容，用戶可以創(chuàng)建和加入不同的子論壇，在其中發(fā)帖和評論。用戶還可以對帖子和評論進行“點贊”或“點踩”，被點贊的內(nèi)容會獲得更多的曝光機會，而被點踩的內(nèi)容可能會被折疊或隱藏，形成了較好的語料產(chǎn)出正向循環(huán)，與知乎、豆瓣等類似。
• 發(fā)展階段上，正如上述所說， 創(chuàng)立了二十年的 Reddit 去年才開始盈利，收入結(jié)構(gòu)單一，此前主要收入來源是平臺廣告，現(xiàn)在（指近兩年的AI大模型時代）對于Reddit 來說就是最好的業(yè)務(wù)拓展以求盈利的時機。

那么以此為模板來分析國內(nèi)具有較多文字語料且業(yè)務(wù)較為獨立的 UGC 平臺，B站，小紅書，微博，豆瓣，知乎，貼吧，在這幾個平臺之中，對比各方面情況，我們可以大致預(yù)測一下誰最有可能在 2025 年成為AI時代的中國 Reddit。

01 誰能賣語料，誰有好語料

籠統(tǒng)來說，所有的大模型訓(xùn)練語料來源都得是合法且許可的內(nèi)容渠道，如 OpenAI 的語料來源，包括以下五種：

1. Common Crawl：基于大規(guī)模網(wǎng)頁抓取形成的數(shù)據(jù)集，由同名的非營利機構(gòu)所有；
2. WebText：由OpenAI構(gòu)建的一個專注于文檔質(zhì)量的網(wǎng)絡(luò)文本語料庫，數(shù)據(jù)量為40GB，用于GPT-2、GPT-3等模型的訓(xùn)練；
3. 維基百科；
4. 書籍和期刊；
5. 社交媒體內(nèi)容，例如 Reddit 等社交媒體平臺上的內(nèi)容。

不難看出，前四項的語料渠道相比起第五項會缺乏一些“人味”，社交媒體為 AI 帶來的語料具有更加落地的經(jīng)驗性以及即時性。自身缺乏“人味”語料庫的 AI 廠商可能將會開始在各大 UGC 社交軟件之中尋找一些合適的目標。

當(dāng)然并不是所有 UGC 社交平臺的業(yè)務(wù)模式都能賣語料。如微信生態(tài)內(nèi)的公眾號，小綠書等內(nèi)容渠道。從其母公司的角度來講，微信生態(tài)內(nèi)的語料質(zhì)量甚至?xí)球v訊在 AI 時代的隱藏殺手锏之一，至于具體怎么用起來就是后話了，本文不做贅述。

類似情況的當(dāng)然還有抖音的母公司字節(jié)（只是其更多為視頻圖像內(nèi)容），這些以社交平臺為商業(yè)帝國根基的大廠，同時又布局了云計算，并在AI時代布局了大模型，都會將自身平臺內(nèi)容捏在自己手里。

而其他相對比較獨立的 C 端社交平臺產(chǎn)品，尤其是內(nèi)容以文字類為主的平臺，都有機會在接下來的AI時代，像 Reddit 一樣老樹發(fā)新芽。因此，B站，小紅書，微博，豆瓣，知乎，貼吧是指的進一步研究的平臺。

理論上來說，只要用戶沒意見，平臺就可以處置這些語料，這涉及到平臺跟用戶的內(nèi)容協(xié)議，關(guān)于用戶協(xié)議后文會提到，此處按下不表。

這時候更關(guān)鍵的問題是，廠商如何判定誰的語料更好更適合自己？

平臺上用戶自發(fā)的內(nèi)容判定機制會成為首要因素，以 Reddit 為例，用戶可以對帖子和評論進行“點贊”或“點踩”，這形成了較好的語料產(chǎn)出正向循環(huán)。跟現(xiàn)如今用戶使用各大AI軟件時為生成的內(nèi)容點贊點踩的作用是一樣的，相當(dāng)于AI訓(xùn)練階段的人工“數(shù)據(jù)標注”工作。

當(dāng)然，平臺自身的內(nèi)容判定機制也很重要，平臺的“機審”機制可以算作是大模型發(fā)展向人類看齊的“超級對齊”方式。

還有平臺用戶畫像跟AI的適配度，這有時要根據(jù)廠商業(yè)務(wù)自身需求來。而在沒有具體需求時，用戶畫像更多元，年齡、性別、地理位置、受教育程度等各個維度更均衡，粘性更高的平臺語料更好。

當(dāng)然以上僅為分析模板，關(guān)于B站，小紅書，微博，豆瓣，知乎等平臺在以上這三個方面的表現(xiàn)，需要在此模板上更加細致的平臺語料調(diào)研。

而筆者在此處初步猜測，如果是想要用來訓(xùn)練一款面向相對較年輕群體（這部分為消費主力軍）的 AGI，那么在這三方面得分率較高的平臺有B站，小紅書，微博。因此，這三個平臺將進入下一輪篩選。

02 誰想賣語料，怎么賣語料

只不過在廠商眼里適合的目標，卻不一定想賣。

B站，小紅書，微博這三者中，最不想賣的應(yīng)該就是小紅書。這是因為，小紅書目前的發(fā)展階段不適合將自身平臺語料出售。

商業(yè)模式上來講，小紅書正處于商業(yè)化探索上升期。此前《新立場》的文章就提過：小紅書 2024 年四季度日均搜索量已經(jīng)來到了 6 億次附近，而前年年中這一指標還是 3 億左右。如果結(jié)合此前雙十一過后小紅書發(fā)布的戰(zhàn)報，“成交破千萬的商家同比是去年的 5.4 倍”、“單場破千萬的買手同比是去年的 3.6 倍”這些信息來看，小紅書整個生態(tài)的增長是有內(nèi)容和交易雙維度數(shù)據(jù)支撐的。

財務(wù)狀況上來講，小紅書也許并不算太缺錢。英國《金融時報》曾報道，小紅書在 2023 年首次實現(xiàn)盈利。小紅書2023年的營收達到37億美元，增長 85% ；凈利潤為 5 億美元。盡管 2024 年年中小紅書也曾裁員，但從裁員描述來看，更接近業(yè)務(wù)調(diào)整。

另外，小紅書目前自己也正在平臺內(nèi)測試多個AI功能。包括但不限于搜索結(jié)果頁的AI總結(jié)，一些AI內(nèi)容生成玩法等。

從 Reddit 跟 OpenAI 的合作中不難看出，合作算是雙向的， Reddit 為大模型廠商提供語料的同時，大模型廠商也會為平臺提供技術(shù)支持。但小紅書可能并不想成為其他廠商的語料供應(yīng)商，反而，小紅書需要的是大模型的供應(yīng)商，偏向于在關(guān)于AI的合作中成為絕對的甲方。

而從 B 站和微博目前的發(fā)展階段和商業(yè)模式來看，筆者認為都是適合跟大模型廠商達成 Reddit 模式合作的。

2024年 B 站已經(jīng)與kimi有較為深度的合作，包括 kimi 在 B 站投放廣告，以及 kimi 生成的結(jié)果信源之中包括 B 站。當(dāng)然，僅僅只能考察到 kimi 有將 B 站作為信息生成的信源，暫無法確認 kimi 是否有將 B 站的內(nèi)容作為訓(xùn)練數(shù)據(jù)。但是有了這種程度的合作，更進一步的合作模式卡點自然會更少。

就 B 站本身而言，目前商業(yè)模式基本已經(jīng)確定，去年第三季度首次實現(xiàn)單季度盈利，接下來有望靠著廣告等業(yè)務(wù)板塊的增長繼續(xù)盈利。

B 站的內(nèi)容儲備量及質(zhì)量較高，長視頻內(nèi)容非常適合轉(zhuǎn)化成文字，同時具有大量的觀點性思考，加之也有粘性較高的社區(qū)氛圍，包括“一鍵三連”在內(nèi)等內(nèi)容判定機制能夠較好形成優(yōu)質(zhì)內(nèi)容產(chǎn)出循環(huán)。

只不過，由于將平臺內(nèi)容用于跟大模型廠商合作之前，最需要先解決的是用戶協(xié)議。更具體來說，對 B 站有平臺忠誠度的用戶是否能接受自己的評論、視頻、文字等內(nèi)容用于 AI 訓(xùn)練，或如何讓用戶接受，這將是最大的卡點。

而微博跟B站的發(fā)展階段一樣已經(jīng)趨于穩(wěn)定。此前《新立場》文章也提到過，微博現(xiàn)在做的事，是“提純”這個平臺的深度用戶，讓他們的價值“結(jié)晶”。從用戶數(shù)據(jù)來看，微博的月活基本穩(wěn)定在 5.8 億上下，環(huán)比波動不大。從 2023Q4 到 2024Q2，微博的月活用戶數(shù)分別為 5.98、5.88 和 5.83 億，其用戶定位和使用場景都已經(jīng)足夠清晰，所以在高強度的注意力競爭中用戶規(guī)模還能保持相對穩(wěn)定。

只不過與 B 站不同的是，微博用戶對于自己的內(nèi)容被用來生成 AI 內(nèi)容似乎并不排斥。微博的評論機器人“羅伯特”就是一個很好的例子。

現(xiàn)在微博不同的圈子、用戶評論區(qū)內(nèi)，羅伯特有不同的發(fā)言風(fēng)格，甚至羅伯特已經(jīng)成為提升微博用戶粘性的手段之一。在促進用戶粘性的同時，還能促進整個平臺用戶對 AI 的高接受程度，達成這樣的平衡并不容易。

所以綜上看來，如果缺乏語料庫的大模型廠商需要找到一個活人多的社交平臺作為語料供應(yīng)商，微博可能會是一個不錯的選項。

如果不是微博，需要真實語料庫的大模型廠商也可以考察有哪個社交平臺的用戶心智同時滿足以上，能夠在用戶心里達成“我想在你這里說真心話”同時“我不在乎我在你這里說的話被拿去喂AI”，或者想要成為語料庫供應(yīng)商的社交軟件可以向這個方向靠攏。

而關(guān)于如何賣語料，正如上述所說，做好平臺和用戶的內(nèi)容協(xié)議是第一步。

03 寫在最后

ChatGPT剛爆火時期，有消息稱其中文回答信源來自知乎后，知乎的股價就有所上漲。也許知乎等平臺也可以納入考慮范圍，但篇幅有限，此處不多贅述。

而語料庫的用戶認知將如何影響大模型的訓(xùn)練，美國大模型圈有一個案例可讓我們具體感知。

2023 年初，OpenAI 剛走進大眾視野沒多久就有一個“丑聞”爆出，OpenAI 原本對外稱自己有一個 40 人左右的數(shù)據(jù)標注團隊，而消息則稱 OpenAI 在肯尼亞有一家外包公司為其提供數(shù)據(jù)標注服務(wù)，以每小時不到 2 美元的價格雇傭肯尼亞工人打標簽。

現(xiàn)在來看，大模型廠商使用第三方數(shù)據(jù)標注服務(wù)已經(jīng)成為公開的事情。只是如果“肯尼亞”這個信息點是真，這或許意味著在那時候的大模型圈，像 OpenAI 這樣操作的也不止一家。

2024 年初，谷歌 Gemini 大模型生成圖像避免白人內(nèi)容的事情曾鬧得沸沸揚揚，似乎跟上述 OpenAI 雇傭肯尼亞的數(shù)據(jù)標注外包團隊的事情異曲同工。

不過有一點毋庸置疑，社交平臺用戶風(fēng)格是什么樣，其作為語料供應(yīng)商所訓(xùn)練的AI極大可能也會擁有同樣的“性格”。

可以篤定的是，2025的 AI 訓(xùn)練即將進入語料比拼階段。