某種程度上來看，數(shù)據(jù)分析或許是大模型與終端應(yīng)用最近的場景之一。這篇文章里，作者就分析了一款產(chǎn)品，這款產(chǎn)品是一款基于開源模型、可以讓用戶使用自然語言進行數(shù)據(jù)分析的LLM工具。一起來看看作者的分析和拆解。

隨著越來越多的行業(yè)和企業(yè)完成了數(shù)字化改造，數(shù)據(jù)的不斷積累使得數(shù)據(jù)分析工作變得越來越復(fù)雜，對數(shù)據(jù)的理解和分析技術(shù)的門檻使得數(shù)據(jù)分析無法開放給更多人。大語言模型使得自然語言生成 SQL 語句（Text2SQL）成為可能。

然而，即使是 GTP-4 這樣的超大模型，其準(zhǔn)確率也只有 80% 左右，缺少結(jié)構(gòu)化的邏輯推理。目前 Text2SQL 最好的模型來自 Defog 公司最新推出的 34B 模型，在 sql-eval 基準(zhǔn)上性能已經(jīng)超過 GPT4-turbo 和 GPT4 。當(dāng)針對某一企業(yè)數(shù)據(jù)庫進行微調(diào)以后，準(zhǔn)確率可以達到 99% 以上。2023 年 11 月 22 日，Defog 宣布完成了 220 萬美金的種子輪融資， ScriptCapital 和 YC 聯(lián)合領(lǐng)投。

思考：

我們嘗試基于文章內(nèi)容，提出更多發(fā)散性的推演和深思，歡迎交流。

數(shù)據(jù)分析是大模型與終端應(yīng)用最近的場景之一，但由于企業(yè)將自己的數(shù)據(jù)交給大模型公司風(fēng)險較高，大模型的能力在該領(lǐng)域當(dāng)中并沒有被很好的發(fā)揮出來。Defog 的本地部署方案給企業(yè)提供了一個更優(yōu)的選擇。

企業(yè)級 Agent ：核心是基于收集的數(shù)據(jù)，形成對業(yè)務(wù)的理解。從解決被提出的問題，擴展到發(fā)現(xiàn)潛在的問題，并提出解決方案。

企業(yè)的數(shù)據(jù)是一塊待被開發(fā)的價值洼地，也是打開企業(yè)級人工智能的鑰匙，包括對大量非結(jié)構(gòu)化數(shù)據(jù)進行收集處理，和基于自然語言進行數(shù)據(jù)分析。

AI Native 產(chǎn)品分析——Defog

1. 產(chǎn)品：Defog

2. 產(chǎn)品上線時間：2023 年 8 月

3. 創(chuàng)始人：

– Rishabh Srivastava：畢業(yè)于新加坡國立大學(xué)，曾創(chuàng)立數(shù)據(jù)服務(wù)公司 Loki.ai 并實現(xiàn)十萬美元級營收。

– Medha Basu：畢業(yè)于新加坡國立大學(xué)，先后做過記者、編輯、內(nèi)容營銷等工作。

4. 產(chǎn)品簡介：

– 一款基于開源模型，可以讓用戶使用自然語言進行數(shù)據(jù)分析的LLM工具。

5.融資歷史：

– 2023年11月，獲得由 ScriptCapital 和 YC 聯(lián)合領(lǐng)投的種子輪融資 220 萬美元。

6. 發(fā)展歷史

– 2023 年 1 月，Defog 被 YC W23 批次選中，并將公司定位在用自然語言處理數(shù)據(jù)方向上；

– 2023 年 6 月，經(jīng)過為期幾個月的內(nèi)測，正式推出面向公眾的免費&進階收費版本，同時面向企業(yè)推出可在本地部署的fine-tune版本；

– 2023 年 8 – 10 月，先后開源 15B 和 7B 參數(shù)版本，目前在自然語言到 SQL 方面 優(yōu)于 GTP4 。

一、產(chǎn)品介紹

Defog 旨在幫助企業(yè)使用 AI 更快地進行數(shù)據(jù)分析工作，其開發(fā)的基于開源的大語言模型可以進行本地化部署并進行微調(diào)，且在數(shù)據(jù)分析方面性能明顯優(yōu)于 GTP-4 等通用模型，包括在文本到 SQL 語句的轉(zhuǎn)換等方面。

Defog 的核心功能由公司研發(fā)的開源大語言模型 SQLCoder 提供支持，SQLCoder 是一種目前世界上最好的將自然語言問題轉(zhuǎn)換成 SQL 查詢的模型。在發(fā)布以來短短的三個月內(nèi)，SQLCoder 在 HuggingFace 上的下載量已經(jīng)超過了 5 萬次，在 Github 上被星標(biāo)了 1800 次。

使用 Defog ，一個普通的員工可以用簡單的自然語言提出一些需要進行復(fù)雜分析的問題，并可以在幾分鐘內(nèi)收獲答案，而不是通常數(shù)據(jù)分析所需要的幾小時甚至是幾天。

二、GPT 做數(shù)據(jù)分析難在哪？

自然語言完成數(shù)據(jù)處理的復(fù)雜性遠超大家想象。即使是 GTP4 這樣的超大模型，其準(zhǔn)確率也只有 80% 左右，這主要有以下 5 種原因：

1）相較于龐大的自然語言數(shù)據(jù)庫，大語言模型還是沒見過很多 SQL 代碼；即使是同樣語義的一句 SQL 語言，還存在不同系統(tǒng)的兼容性問題。

2）雖然用戶可以給 LLM 提供一些示例，但內(nèi)容長度限制會影響輸入；

3）自然語言到 SQL 最難得部分實際上是理解，這也是 GTP4 性能優(yōu)于 Llama2 等模型的原因之一；

4）僅提供給大模型數(shù)據(jù)結(jié)構(gòu)不完全夠，需要增加自定義的數(shù)據(jù)描述。比如提問“有多少店鋪被關(guān)閉了？”，數(shù)據(jù)表有一個”狀態(tài)列“，但需要告訴 LLM 狀態(tài)為 3 代表關(guān)閉。

5）跨語言數(shù)據(jù)庫問題。比如在 Google BigQuery 上運行良好的 SQL 代碼可能無法在 Trino/Presto/AWS Athena 上運行，也可能無法在 PostgreSQL 上運行。

Defog 公司最新的 34B 模型 defog-sqlcoder-34b 在 sql-eval 基準(zhǔn)上對于超出訓(xùn)練集部分的性能已經(jīng)擊敗了 GPT4-turbo 和 GPT4 。當(dāng)針對某一企業(yè)數(shù)據(jù)庫進行微調(diào)以后，準(zhǔn)確率可以達到 99% 以上。

大型公司的數(shù)據(jù)科學(xué)家和業(yè)務(wù)負責(zé)人們每個月都要花費超過 1000 個小時來進行數(shù)據(jù)分析從而做出決策。而現(xiàn)在，一些醫(yī)療健康、金融和專業(yè)數(shù)據(jù)分析公司使用了 Defog 的產(chǎn)品，從而大大提升了數(shù)據(jù)分析效率。一家美股上市公司通過將 Defog 部署到一個 100 人的部門，從而分析時間減少了 80% ，據(jù)估計該公司的數(shù)據(jù)科學(xué)團隊每個月將會因此節(jié)約 2500 個小時。

三、愿景：做每一個人的數(shù)據(jù)分析專家

Defog 的公司愿景就是幫助企業(yè)為每位員工提供一名 AI 數(shù)據(jù)分析師，并同時可以有效的控制這些 AI 。

值得注意的是，Defog 宣布即將推出下一代產(chǎn)品：AI Agent ，這項最新的產(chǎn)品可以回答用戶更為復(fù)雜的“為什么”類問題。該 Agent 可以理解用戶的意圖，進行合理的猜測，進而編寫代碼提取正確的數(shù)據(jù)進行分析，并以表格、圖表或者報告的形式返回給用戶。因此，此前需要耗費數(shù)月的復(fù)雜分析，目前只需要 2-3 天即可完成。

四、商業(yè)化之路探討

開源軟件公司在海外有著多種變現(xiàn)路徑：

大數(shù)據(jù)公司 Databricks 雖然其核心代碼 Spark 開源，但其商業(yè) SaaS 云服務(wù)背后的大量功能和性能代碼是閉源的，使得其功能和性能是遠超開源版本，從而獲取付費訂閱。

數(shù)據(jù)管理服務(wù)商 Cloudera 則是直接將代碼打包成軟件售賣，后來整合成云服務(wù)整體售賣。

而大量開源 CAD 、游戲引擎公司則是通過插件/素材庫的付費使用來獲取收益。

還有一些公司將開源軟件與硬件綁定整合銷售，或是在某些領(lǐng)域內(nèi)為用戶提供一鍵式的托管服務(wù)。

Defog 剛剛完成 MVP 的驗證，未來還有很長的商業(yè)化之路要走。本地化部署 AI 存在的大量細分紅海場景，也為 Defog 提供了一個無限可能的舞臺。

參考材料：

http://github.com/defog-ai/sqlcoder https://defog.ai/sqlcoder-demo/