前幾天DeepSeek更新了V3版本，雖然是個(gè)小更新，但性能表現(xiàn)依然超出了許多人的預(yù)期。這篇文章，我們來(lái)看看作者的分析。

開始

沒有一點(diǎn)點(diǎn)防備，也沒有一絲的顧慮，他就這樣悄悄的上線啦。有多低調(diào)，看下面圖片，readme竟然都是空的。好歹宣傳一下呀，哈哈

有哪些更新

官方給出答復(fù)是小的版本更新，沒有基準(zhǔn)測(cè)評(píng)和技術(shù)報(bào)告。社區(qū)反饋，代碼能力有明顯的提升，還具備一定的推理能力。輸出速度更快。能夠迅速處理數(shù)學(xué)和編程任務(wù)。它也非常穩(wěn)定，無(wú)論是編程還是解決問題，每次都能給出良好的結(jié)果。對(duì)比表現(xiàn)可以看下面的編程實(shí)現(xiàn)對(duì)比，DeepSeek V3-0324 的表現(xiàn)優(yōu)于 o3-mini 和 Deepseek R1視頻展示看公眾號(hào)內(nèi)容（帥森森聊AI和職場(chǎng)）

第三方評(píng)測(cè)

結(jié)論

Deepseek V3-0324可能是目前最好的非推理模型，而且還是免費(fèi)的。綜合能力與sonnet 3.5不分伯仲。

評(píng)測(cè)邏輯

每個(gè)柱體有3個(gè)顏色，代表是三種評(píng)測(cè)邏輯，具體含義如下：這張圖片的右上角有三個(gè)圖例，分別代表以下含義：

1. Pass@5

含義：Pass@5 表示模型在測(cè)試中前五個(gè)結(jié)果中有多少是正確的。

用途：這一指標(biāo)通常用于評(píng)估模型的準(zhǔn)確率，特別是在生成任務(wù)或多選任務(wù)中。它反映了模型在有限嘗試次數(shù)內(nèi)提供正確答案的能力。

如果 Pass@5 為 80%，意味著模型在前五個(gè)結(jié)果中，有 80% 的概率至少包含一個(gè)正確答案。

2. Average Score

含義：Average Score 表示模型在所有測(cè)試中的平均得分。

用途：這一指標(biāo)反映了模型的整體性能，綜合了模型在不同任務(wù)或測(cè)試中的表現(xiàn)。

如果 Average Score 為 60%，意味著模型在所有測(cè)試中的平均得分為 60%。

3. 5/5 Consistency

含義：5/5 Consistency 是一個(gè)衡量模型在多次面對(duì)相同或非常相似的輸入時(shí)，能否給出一致性回答的指標(biāo)。更具體地說，它通常表示在五次獨(dú)立的測(cè)試中，模型都給出了相同或高度相似的答案。

用途：這一指標(biāo)反映了模型的一致性和穩(wěn)定性，評(píng)估模型是否能夠在所有測(cè)試中保持高水平的表現(xiàn)。

如果 5/5 Consistency 為 40%，意味著模型在所有測(cè)試中，有 40% 的概率能夠做到輸出一致。

指標(biāo)解讀

通用語(yǔ)言模型中，Deepseek V3-0324版本在top 5測(cè)評(píng)的準(zhǔn)確率居首。平均得分與sonnet 3.5不相上下。5對(duì)5一致性評(píng)測(cè)中，弱于sonnet 3.5。相比之前的V3版本，三個(gè)指標(biāo)都有提升。

哪里可以使用

官方網(wǎng)頁(yè)版: 在deepseek.com上免費(fèi)測(cè)試更新后的V3版本，記得關(guān)閉“深度思考”按鈕。

官方 App: 可在iOS和Android上下載，已更新至3月24日發(fā)布的版本。

官方 API: 在api-docs.deepseek.com上使用model=’deepseek-chat’。

HuggingFace: 從HuggingFace下載“DeepSeek V3 0324”權(quán)重模型。