在醫(yī)療AI領(lǐng)域，選擇合適的底層模型對(duì)于應(yīng)用的成功至關(guān)重要。作者在本文分享了為什么在醫(yī)療AI應(yīng)用中選擇Qwen模型，而不是其他如百川智能或llama模型的原因。

Qwen2，上線僅1天，下載量已經(jīng)超過(guò)3萬(wàn)次。而且最近使用率一直飆升，隨著AI應(yīng)用的落地?cái)?shù)據(jù)應(yīng)該還會(huì)比現(xiàn)在多幾百倍，未來(lái)的使用率這些也會(huì)是個(gè)不小的數(shù)據(jù)。不過(guò)即便這樣，大模型目前能賺的錢也不會(huì)太多，其根本原因是大類應(yīng)用還沒(méi)出現(xiàn)。

話說(shuō)回來(lái)，同樣在醫(yī)療領(lǐng)域?yàn)槭裁床贿x擇百川智能或者llama來(lái)做我們的底層模型。

在我們初期選定技術(shù)方案的時(shí)候是有考慮過(guò)Llama405B來(lái)做的，我們也嘗試過(guò)用這個(gè)快速做了一個(gè)MVP的前期產(chǎn)品，出現(xiàn)的BUG率還蠻多的，偶爾還有很多妖魔鬼怪的問(wèn)題出現(xiàn)，有的時(shí)候并不是技術(shù)上面的問(wèn)題，也有可能是我們技術(shù)團(tuán)隊(duì)的問(wèn)題。

第二個(gè)原因就是Llama對(duì)中文的語(yǔ)義分析有歧義。

而Qwen2對(duì)于醫(yī)療類的AIagent來(lái)說(shuō)可以用其超大規(guī)模的算力和多輪交互能力，為用戶提供邏輯推理和代碼編寫的強(qiáng)大支持。最主要能快速的理解我們國(guó)內(nèi)的一些真實(shí)場(chǎng)景。

那么對(duì)比Baichuan，擅長(zhǎng)跨領(lǐng)域知識(shí)融合與自然語(yǔ)言理解，為用戶提供全面的知識(shí)問(wèn)答和信息整合服務(wù)。更多的場(chǎng)景應(yīng)該是選擇導(dǎo)診和問(wèn)診方面的，解決一些深化的醫(yī)療問(wèn)題。

第三個(gè)原因是我們目前面對(duì)的場(chǎng)景一般是數(shù)據(jù)不出庫(kù)的情況下，并且要求私有化部署的商業(yè)化應(yīng)用。Qwen2開源許可都換成了Apache 2.0，也就是說(shuō)可以更加自由地商用。這是Llama 3系列都沒(méi)做到的。

第四個(gè)原因是他們的開源 RAG 和代理框架QwenAgent，最初是作為內(nèi)部實(shí)用程序代碼來(lái)促進(jìn)模型開發(fā)的，最近經(jīng)歷了快速開發(fā)。他們已經(jīng)在框架中發(fā)布了上述長(zhǎng)上下文代理的實(shí)現(xiàn)。

這種友好的框架是我們解決RAG幻覺(jué)問(wèn)題很好的基礎(chǔ)。

雖然Baichuan也有很好的RAG方案，百川自研的 Think Step-Further方法對(duì)原始用戶輸入的復(fù)雜問(wèn)題進(jìn)行拆解、拓展，挖掘用戶更深層次的子問(wèn)題，借助子問(wèn)題檢索效果更高的特點(diǎn)來(lái)解決復(fù)雜問(wèn)題檢索質(zhì)量偏差的問(wèn)題。用到的是Query拓展，Query拓展按照我的理解會(huì)影響回答的速度，按道理是需要經(jīng)過(guò)幾次分類模型和分析模型的，目前使用雖然沒(méi)有影響回答速度，畢竟我還在測(cè)試這里面的優(yōu)化邏輯，等我研究出來(lái)再告訴大家。

對(duì)于我們這種項(xiàng)目來(lái)說(shuō)多種RAG方案我們肯定選擇最容易解決問(wèn)題的那一個(gè)，而我們團(tuán)隊(duì)中有人是擅長(zhǎng)知識(shí)圖譜的，所以我們還是選擇了QwenAgent的框架畢竟開源。

第五個(gè)原因，嗯，說(shuō)句可能被打臉的。

我認(rèn)為Qwen的商業(yè)模式跟我們發(fā)展路線其實(shí)是一致的，可以共同成長(zhǎng)。后續(xù)對(duì)我們最有幫助的點(diǎn)是一個(gè)重要的理論工具是Scaling Law，它而可以幫助我們理解和預(yù)測(cè)大模型的性能表現(xiàn)，并指導(dǎo)我們?cè)谀Ｐ驮O(shè)計(jì)和訓(xùn)練中做出更合理的決策。Scaling Law一定Agent里面核心的一環(huán)，推理邏輯的強(qiáng)大對(duì)工作流來(lái)說(shuō)可以幫助穩(wěn)定其主要的輸出。

三個(gè)月創(chuàng)業(yè)來(lái)，我第一次有謹(jǐn)慎樂(lè)觀的感覺(jué)。我的現(xiàn)在開始有點(diǎn)講道理了，至少會(huì)推理出醫(yī)生需要的是什么工作流了需要幫他干什么了，但是現(xiàn)在還是不會(huì)干。很多人以為AiAgent就是單純的調(diào)用API，Agent有提示詞可以對(duì)細(xì)分領(lǐng)域或者任務(wù)進(jìn)行處理，按照接口對(duì)接程序中寫好提示詞不也是一樣的嗎？如果是這樣理解的話，咱們做個(gè)腳本就可以了。

這種方法我們一般用在發(fā)布會(huì)上，比如演示Demo的時(shí)候失敗了，立馬換一個(gè)寫死的程序，能演示。但我們做的是一款產(chǎn)品，它需要不斷的對(duì)醫(yī)生工作流思維進(jìn)行交互，如果操作過(guò)autogen的話，就很容易明白這里面的區(qū)別了，區(qū)別是這里無(wú)法形成多代理。

看起來(lái)做醫(yī)療類的AIAgent似乎成了大佬們的一個(gè)共識(shí)，就是不知道這個(gè)共識(shí)是否能星火燎原。