前幾天 OpenAI 發(fā)布 "草莓" 系列模型，包括 o1-preview 和 o1-mini，本文詳細(xì)分析了這些模型的效果、特性、價格策略和實(shí)現(xiàn)原理，并提出了一些關(guān)于其性能和實(shí)用性的判斷。

實(shí)際測試 OpenAI 新發(fā)布的「草莓」后，發(fā)現(xiàn)問題很多。

在本篇中，我將分幾個章節(jié)，來進(jìn)行全面解讀，包括：

• 效果與特性
• 價格與限制
• 實(shí)現(xiàn)原理
• 一些判斷

長話短說

中國時間 9 月 13 日凌晨，OpenAI 發(fā)布了 o1 系列模型，包括 o1-preview 和 o1-mini，官方稱其為「草莓」。

從 OpenAI 公布的數(shù)據(jù)來看，o1 在 STEM（理工科）領(lǐng)域進(jìn)行了特別優(yōu)化，在回答之前會進(jìn)行思考。在物理、生物和化學(xué)問題（GPQA）的基準(zhǔn)測試中超越了人類博士水平的準(zhǔn)確性。

Plus 和 Team 的用戶可在 ChatGPT 中訪問，o1-preview 限制在了 30 條/周，o1-mini 限制在了 50 條/周

T5 級別的開發(fā)者可以訪問其 API，每分鐘最多20并發(fā)，且價格昂貴。

目前，這個模型還是個半成品，并沒有工程化完整：在 ChatGPT 里不支持聯(lián)網(wǎng)、畫圖等功能；在 API 里不支持 system、tool 等字段和 json mode、結(jié)構(gòu)化輸出等方法。

同時，這個模型有坑 – 你可能會被百倍計(jì)費(fèi)：從 pricing table 上看，o1 的價格是 4o 的 6 倍，但這是有迷惑性的！o1 計(jì)費(fèi)并不按最終輸出，其中間思考過程所消耗的 token，并被視作 output tokens，這意味著 100 tokens 的內(nèi)容輸出，可能會被按 10000 tokens 計(jì)費(fèi)。

這個模型說是有 32k/64k 的最大輸出，但真實(shí)輸出遠(yuǎn)沒有這么多。

從實(shí)際測試的角度，發(fā)現(xiàn) o1 與其說是一個模型，不如說是基于 gpt-4o 的 agent，并且做的并不好。

進(jìn)行 structured 輸出時，400 報錯

一、效果與特性

首先，o1 模型是 OpenAI 官方認(rèn)定的「草莓??」

其次，奧特曼對此很滿意：

在其測試結(jié)果中，o1 在絕大多數(shù)重推理任務(wù)中顯著優(yōu)于 GPT-4o，相關(guān)評估如下：

結(jié)果上看，顯著優(yōu)于 gpt-4o：

在 MMLU 的多絕大多數(shù)子類別中，優(yōu)于 gpt-4o。

同時，根據(jù)官方報告，在許多需要推理的測試中，o1 的表現(xiàn)已經(jīng)達(dá)到了人類專家的水平。因?yàn)樽罱恍┠Ｐ驮?MATH 和 GSM8K 測試中表現(xiàn)得非常出色，這些測試已經(jīng)不足以有效地區(qū)分它們的優(yōu)劣。為了更嚴(yán)謹(jǐn)?shù)卦u估模型的數(shù)學(xué)能力，選擇了 AIME（美國數(shù)學(xué)邀請賽），這是一項(xiàng)專門為美國頂尖高中數(shù)學(xué)學(xué)生設(shè)立的挑戰(zhàn)性考試。

在 2024 年的 AIME 考試中，GPT-4o 的平均成績只有 12%（1.8/15），而 o1 的平均得分卻達(dá)到了 74%（11.1/15）。在只用一個答案的情況下，o1 在 64 個樣本上的平均正確率達(dá)到了 83%（12.5/15）。當(dāng)使用學(xué)習(xí)算法對 1000 個樣本進(jìn)行優(yōu)化排序后，o1 的得分進(jìn)一步提高到 93%（13.9/15）。這個成績相當(dāng)于進(jìn)入全國前 500 名學(xué)生的水平，甚至超過了美國數(shù)學(xué)奧林匹克的入圍標(biāo)準(zhǔn)。

二、價格與限制

目前 o1 系列模型可通過 ChatGPT 網(wǎng)頁版，或者是 API 進(jìn)行訪問：

1）o1-preview

• 128k 上下文
• 32k 最大輸出
• 旨在解決各個領(lǐng)域復(fù)雜問題的推理模型
• 訓(xùn)練數(shù)據(jù)截止于 23 年 10 月

2）o1-mini：

• 128k 上下文
• 64k 最大輸出
• 一種更快速、更經(jīng)濟(jì)的推理模型，特別擅長編程、數(shù)學(xué)和科學(xué)
• 訓(xùn)練數(shù)據(jù)截止于 23 年 10 月

對于 ChatGPT 網(wǎng)頁版，目前僅 Plus 和 Team 用戶目前已經(jīng)可以訪問了。對于 Enterprise 以及 Edu 的用戶，還需要再等一周：

• o1-preview：30 條/周
• o1-mini：50 條/周

對于 API 用戶，如果你的等級在 Tire5 （支付金額>1000 美金），目前已經(jīng)可以通過接口進(jìn)行調(diào)用：

• o1-preview：20 RPM，30,000,000 TPM
• o1-mini：20 RPM，150,000,000 TPM

需要注意：

經(jīng)測試，o1 模型不支持以下內(nèi)容，并報錯：

• system 字段：400 報錯
• tools 字段：400 報錯
• 圖片輸入：400 報錯
• json_object 輸出：500 報錯
• structured 輸出：400 報錯
• logprobs 輸出：403 報錯
• stream 輸出：400 報錯
• o1系列：20 RPM，150,000,000 TPM，很低，隨時429報錯
• 其他：temperature, top_p and n 被固定為1；presence_penalty 和 frequency_penalty 被固定為 0.

進(jìn)行 structured 輸出時，400 報錯

更需要注意：

對于 api，文檔說 o1 可以輸出 64k，但實(shí)測遠(yuǎn)非如此

如：我的 prompt 為「寫一部「黑神話悟空」的同人小說，不少于2萬字」，但返回的內(nèi)容只有 1000+字

“謹(jǐn)防電信詐騙”

三、實(shí)現(xiàn)原理

簡而言之，o1 系列模型，在回答的過程中，本身經(jīng)歷了多次對話，并根據(jù)對對話的評估，進(jìn)行后續(xù)生成。

他會先思考，然后總結(jié)輸出

思考可能不止一步，最長思考步驟為 128k，具體步驟如下：

他會先思考，然后總結(jié)輸出

需要注意：在 api 調(diào)用的過程中，并不會返回中間的思考，比如相同的問題「安徽牛肉板面，為什么是石家莊特產(chǎn)？」，api 側(cè)的返回如下：

我把 id 等信息給 *** 了

這個時候，你會發(fā)現(xiàn)一個嚴(yán)重問題：此處產(chǎn)生了 896 tokens 作為推理。

換個例子，當(dāng)問題是很簡短的「你好」時，其返回如下：

輸出 471 tokens，其中 448 tokens 為推理，23 tokens為真實(shí)輸出

同樣的問題，問 4o：

輸出為 9 tokens

要知道，o1 模型的價格，時 4o-0806 的 6 倍。再加上對推理的消耗（額外n倍），以及這個模型里，token 計(jì)算可能比 4o 要多（猜測），api 開支可能會炸！

以「你好」為例，4o-0806 的費(fèi)用為 ($10*9+$2.5*8)*10^(-6) = 110 * 10^(-6)美金；而 o1 模型中，費(fèi)用則為 ($60*471+$15*10)*10^(-6) = 28410*10^(-6)美金。在這個案例中，完成相同的任務(wù)，o1 比 4o 貴了足足 258 倍！??！

對于非極端問題，且在 prompt 較短的情況下，比如「安徽牛肉板面，為什么是石家莊特產(chǎn)？」，4o-0806 的開銷為2192.5 * 10^(-6)美金，而 o1 的開銷為 86835 * 10^(-6) 美金。在這個案例中，完成相同的任務(wù)，o1 比 4o 貴了 40 倍?。?！

有理由認(rèn)為：在正常使用中，o1 的開銷，會比 4o 貴百倍！

四、一些判斷

首先，我保持一個觀點(diǎn)：這次的「草莓」，與其說是模型優(yōu)化，不如說是工程優(yōu)化。

從訓(xùn)練數(shù)據(jù)，以及訓(xùn)練時間來看，o1-preview，o1-mini，4o，4o-mini 的訓(xùn)練數(shù)據(jù)，都是截止到 2023 年 10 月（而更早的 gpt-4-0125 和 gpt-4-turbo 則是截止到 2023 年 12 月）。

在拋去 CoT 行為后，可以發(fā)現(xiàn) o1 和 4o 的行為/語言風(fēng)格高度相似，甚至可以猜測：這次的「草莓」o1 有可能是 gpt-4o 在進(jìn)行一些微調(diào)/對齊后的 agent。

當(dāng)我詢問「我的貓為什么不會汪汪叫」的時候，出現(xiàn)了典型的「意圖識別」。

同時，這個 Agent 做得并不好，甚至不能算是及格。當(dāng)我用 o1-mini 進(jìn)行「完整輸出千字文」的時候，無論是語言識別、意圖識別還是指令遵循，都非常的不盡如人意：

o1-mini

即便是換用所謂更強(qiáng)的 o1-preview，結(jié)果也不盡如人意（選中文字是錯的），并且輸出也不全。

o1-preview

五、綜上

這個版本的草莓，遠(yuǎn)低于預(yù)期，甚至不如民間的工程化。

作為 AI 從業(yè)者，有種難以言表的傷感：我們會喜歡看 OpenAI 的樂子，但絕對不希望看到 OpenAI 塌…