國內(nèi)大公司現(xiàn)在基本上都研發(fā)了自己的大模型，都支持很多功能。之前也有不少人對這些模型進行了分析，但都是單一的產(chǎn)品。這篇文章，我們從多個維度，以競品分析的方式對國內(nèi)的幾個大模型進行比較一下。

一、競品分析目的與意義

AI 大模型的英文含義是：Large AI Models。他的的定義通常指的是具有大量參數(shù)和復雜結(jié)構(gòu)的人工智能模型，這些模型利用深度學習技術(shù)，通過大規(guī)模的數(shù)據(jù)訓練，能夠在多個任務上表現(xiàn)出優(yōu)越的性能。

由于市面上涌現(xiàn)了各種各樣的大模型，對于我們用戶來說，并不知道哪種大模型比較適合我們，或者說哪種比較好用，這次我用六個維度來測評一下國內(nèi)十款大模型，讓大家可以根據(jù)自己的需求，來選擇適合自己的模型來使用。

二、在研究大模型之前，讓我們來簡單了解一下這些大模型里面的一些基本的定義

1）大語言模型（Large Language Model, LLM）是一種專門用于處理和生成自然語言文本的人工智能模型，它有大量參數(shù)和復雜結(jié)構(gòu)，能夠理解、生成和翻譯自然語言。大語言模型通常通過在大規(guī)模文本數(shù)據(jù)上進行訓練，學習語言的各種模式和特征。

2）多模態(tài)大模型（Multimodal Models）是指能夠處理和理解多種類型數(shù)據(jù)（如文本、圖像、音頻、視頻等）的人工智能模型。這些模型通過集成不同模態(tài)的數(shù)據(jù)，能夠更全面地理解和生成復雜信息。這種能力使多模態(tài)大模型在各種應用場景中表現(xiàn)出色，例如自然語言處理、圖像識別、語音識別和生成、以及多模態(tài)交互等。

3）通用語言模型（General Language Models）是一個廣泛的術(shù)語，通常用來描述能夠處理多種語言任務的模型，而不論其規(guī)模大小。GLM可以包含從小型到大型的各種模型，關(guān)鍵在于它們具備處理自然語言的通用能力。這些模型可能專注于特定類型的任務，如問答系統(tǒng)、文本分類或語言生成，但它們通常設計得足夠靈活，以適應多種不同的應用場景。

三、競品分析

1、模型選擇

本次主要分析國內(nèi)使用率比較高的通義千問、文心一言、kimi等10個左右的大模型，通過日常生活、工作流程等方式做對比和總結(jié)說明，分析出幾款相對比較好用的大模型。

2、調(diào)研維度

為了更直觀測試這些模型在實際場景下的表現(xiàn)，我們收集整理一套場景數(shù)據(jù)集，主要包括：

是否能夠聯(lián)網(wǎng)獲取信息、知識理解、上傳文本分析、文生圖、邏輯推理、休閑問答（多倫對話能力）等六個方向進行調(diào)研

3、調(diào)研過程

給每個分析角度一個規(guī)則，分析這些模型的回答是否能按照這些規(guī)則輸出相對穩(wěn)定的回答，并對這些回答給出一個相對合理的分數(shù)。

基本的規(guī)則為：

由于已經(jīng)上線的大模型已經(jīng)屬于相對完善的模型，所以我根據(jù)模型的回答，分析回答后得出：回答是否“不滿足預期”、“符合預期”和“高于預期”

• 不滿足預期的標準為：需求不滿足（包括：部分滿足和部分不滿足）、內(nèi)容質(zhì)量相關(guān)（包括：內(nèi)容不全面、語句前后不通、信息前后不一致、有危害性的信息、還有一些不太符合要求的格式）
• 高于預期的標準為：語意正確、格式美觀、沒有那些危險有害偏激的信息、有提煉的總結(jié)、有一些推理的過程等等。

評分標準：（滿分10分）

• 不滿足預期：需求不滿足的比如回答與問題無關(guān)的直接0分、有高危害信息內(nèi)容：0分、內(nèi)容不全面：-1分、語句前后不通順：-1分、信息前后不一致：-1分、有偏見性的行為：-1分、格式不符合：-1分
• 高于預期：語意正確：+1分、格式分段/分點合理美觀：+1分、有提煉總結(jié)：+1分、有推理過程等：+1分

1）是否能夠聯(lián)網(wǎng)獲取信息

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，除了百小應未能聯(lián)網(wǎng)外，其他所有模型都有聯(lián)網(wǎng)功能，豆包、文心一言、萬知在格式是也比較美觀合理。豆包在需求之外還進行了問題拓展，所以分數(shù)較高。

2）知識理解

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，所有模型均能回答出所提出的問題，但是，智普AI和萬知可以在需求滿足，分段分點有總結(jié)的情況下，全面的回答出了問題。所以分數(shù)較高

3）上傳文本分析

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，除了訊飛星火、智普AI、萬知、360智腦基本都能滿足需求，而kimi大模型邏輯清晰、分段分點回答、結(jié)尾也有對全文的總結(jié)，所以分數(shù)較高。

4）文生圖

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，除了通義千問、文心一言、豆包和騰訊元寶其余模型均不能直接生成圖片。

5）邏輯推理

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，所有模型均能回答正確，通義千問、文心一言、訊飛星火、騰訊元寶的答案既滿足需求答案正確、也有推理過程格式分點、分段有合理性，所以分數(shù)較高。

6）休閑問答（多倫對話能力）

總結(jié)：在進行了一系列的測試之后，測試結(jié)果顯示，大多數(shù)模型都能滿足需求，有很多模型都自稱AI，非常有AI感，少數(shù)模型，比如文心一言、豆包與之對話，讓人感覺對面是您的朋友，沒有AI的距離感，讓人感覺很舒適。所以得分較高。

四、總結(jié)分析

總的排名為：

1、文心一言（8.2） 2、騰訊元寶（7.8） 3、豆包（7.7） 4、通義千問（7.5） 5、kimi（6.5） 6、智譜AI（5.3） 7、訊飛星火（5.2） 萬知（5.2） 9、白小應 360智腦。（4.5）

以上排名均為本人對大模型的主觀判斷，謹代表自己。不代表任何官方和別人哈。

最后，我們期待國內(nèi)AI企業(yè)能持續(xù)引領技術(shù)創(chuàng)新，深化行業(yè)應用，為社會創(chuàng)造更多價值。展望未來，讓我們共同期待AI技術(shù)帶來的無限可能，攜手開啟智能新時代的大門。