作為代理大腦的LLM的能力門檻相對較高。規(guī)模較小的LLM可能需要大量及時的工程或微調(diào)才能滿足要求。

在上部分中，我們概述了利用AI代理提高企業(yè)效率的關(guān)鍵策略。我解釋了與獨(dú)立AI模型不同，代理如何使用上下文和工具迭代地優(yōu)化任務(wù)以增強(qiáng)代碼生成等結(jié)果。我還討論了多代理系統(tǒng)如何促進(jìn)跨部門溝通，創(chuàng)造統(tǒng)一的用戶體驗并提高生產(chǎn)力、彈性和更快的升級。

成功構(gòu)建這些系統(tǒng)的關(guān)鍵在于映射角色和工作流程，以及建立諸如人工監(jiān)督和錯誤檢查之類的保障措施以確保安全運(yùn)行。讓我們深入探討這些關(guān)鍵要素。

01 保障和自主權(quán)件

代理意味著自主性，因此必須在多代理系統(tǒng)中為代理內(nèi)置各種保護(hù)措施，以減少代理自主運(yùn)行時的錯誤、浪費(fèi)、法律風(fēng)險或危害。將所有這些保護(hù)措施應(yīng)用于所有代理可能會過度并帶來資源挑戰(zhàn)，但我強(qiáng)烈建議考慮系統(tǒng)中的每個代理，并有意識地決定它們需要哪些保護(hù)措施。如果滿足其中任何一個條件，代理就不應(yīng)該被允許自主運(yùn)行。

02 明確定義人為干預(yù)條件

觸發(fā)一組預(yù)定義規(guī)則中的任何一個都會決定人類需要確認(rèn)某些代理行為的條件。

這些規(guī)則應(yīng)根據(jù)具體情況進(jìn)行定義，并可在代理的系統(tǒng)提示中聲明或者在更關(guān)鍵的用例中，使用代理外部的確定性代碼來執(zhí)行。對于采購代理來說，一條這樣的規(guī)則是：“所有采購都應(yīng)首先由人類驗證和確認(rèn)。調(diào)用您的‘check_with_human’函數(shù)，直到它返回值后再繼續(xù)?！?/p>

03 保障代理

保障代理可以與負(fù)責(zé)檢查風(fēng)險、不道德或不合規(guī)行為的代理配對?？梢詮?qiáng)制代理始終根據(jù)保障代理檢查其行為的全部或某些元素，除非保障代理返回批準(zhǔn)，否則不會繼續(xù)。

04 不確定性

我們實驗室最近發(fā)表了一篇論文，介紹了一種可以衡量大型語言模型 (LLM) 生成內(nèi)容的不確定性的技術(shù)。

鑒于LLM傾向于虛構(gòu)（通常稱為幻覺），優(yōu)先考慮某個輸出可以使代理更加可靠。這里也需要付出代價。評估不確定性需要我們?yōu)橥徽埱笊啥鄠€輸出，以便我們可以根據(jù)確定性對它們進(jìn)行排序，并選擇不確定性最小的行為。這可能會使系統(tǒng)變慢并增加成本，因此應(yīng)該考慮系統(tǒng)中更關(guān)鍵的代理。

05 解除按鈕

有時我們需要停止所有基于代理的自主流程。這可能是因為我們需要一致性，或者我們檢測到系統(tǒng)中的行為需要停止，以便我們找出問題所在并修復(fù)它。對于更關(guān)鍵的工作流程和流程，重要的是這種脫離不會導(dǎo)致所有流程停止或完全變成手動，因此建議配置確定性的后備操作模式。

06 代理生成的工作訂單

并非代理網(wǎng)絡(luò)中的所有代理都需要完全集成到應(yīng)用程序和API中。這可能需要一段時間，并且需要幾次迭代才能正確完成。

我的建議是向代理（通常是網(wǎng)絡(luò)中的葉節(jié)點(diǎn)）添加一個通用占位符工具，該工具只會發(fā)布報告或工作訂單，其中包含代表代理手動采取的建議操作。這是一種以敏捷方式引導(dǎo)和運(yùn)營代理網(wǎng)絡(luò)的好方法。

07 測試

借助基于LLM的代理，我們以犧牲一致性為代價獲得了穩(wěn)健性。此外，鑒于 LLM的不透明性，我們正在處理工作流中的黑盒節(jié)點(diǎn)。這意味著我們需要一種不同于傳統(tǒng)軟件的基于代理系統(tǒng)的測試機(jī)制。然而，好消息是，我們已經(jīng)習(xí)慣了測試這樣的系統(tǒng)，因為自工業(yè)化開始以來，我們就一直在運(yùn)營以人為本的組織和工作流程。

雖然我上面展示的例子只有一個入口點(diǎn)，但多代理系統(tǒng)中的所有代理都有一個LLM作為大腦，因此它們可以充當(dāng)系統(tǒng)的入口點(diǎn)。我們應(yīng)該使用分而治之的方法，首先從層次結(jié)構(gòu)中的各個節(jié)點(diǎn)開始測試系統(tǒng)的子集。

我們還可以利用生成式人工智能來提出針對網(wǎng)絡(luò)的測試用例，以分析其行為并推動它揭示其弱點(diǎn)。

最后，我非常提倡沙盒。此類系統(tǒng)應(yīng)首先在受控且安全的環(huán)境中小規(guī)模推出，然后逐步推廣以取代現(xiàn)有的工作流程。

08 微調(diào)

關(guān)于通用人工智能的一個常見誤解是，你用得越多，它就越好。這顯然是錯誤的。LLM是經(jīng)過預(yù)先訓(xùn)練的。話雖如此，它們可以通過各種方式進(jìn)行微調(diào)以偏向其行為。一旦設(shè)計出多智能體系統(tǒng)，我們就可以選擇通過從每個智能體獲取日志并標(biāo)記我們的偏好來構(gòu)建微調(diào)語料庫，從而改善其行為。

09 陷阱

多代理系統(tǒng)可能會陷入混亂，這意味著有時查詢可能永遠(yuǎn)不會終止，代理之間會不斷進(jìn)行通信。這需要某種形式的超時機(jī)制。例如，我們可以檢查同一查詢的通信歷史記錄，如果查詢量增長過大或檢測到重復(fù)行為，我們可以終止流程并重新開始。

另一個可能出現(xiàn)的問題是一種我稱之為超負(fù)荷的現(xiàn)象：對單個代理期望過高。目前最先進(jìn)的法學(xué)碩士課程不允許我們向代理提供冗長而詳細(xì)的說明，并期望他們始終遵循這些說明。另外，我是否提到過這些系統(tǒng)可能不一致？

緩解這些情況的方法就是我所說的粒度化：將代理分解為多個相連的代理。這可以減少每個代理的負(fù)載，并使代理的行為更加一致，不太可能陷入混亂。（我們實驗室正在進(jìn)行的一個有趣的研究領(lǐng)域是自動化粒度化過程。）

多代理系統(tǒng)設(shè)計方式的另一個常見問題是傾向于定義一個協(xié)調(diào)代理，該代理會調(diào)用不同的代理來完成一項任務(wù)。這引入了單點(diǎn)故障，可能導(dǎo)致一組相當(dāng)復(fù)雜的角色和職責(zé)。在這些情況下，我的建議是將工作流視為一個管道，一個代理完成部分工作，然后將其交給下一個代理。

多代理系統(tǒng)還傾向于將上下文傳遞到其他代理。這可能會使其他代理過載，使它們感到困惑，而且往往是不必要的。我建議允許代理保留自己的上下文，并在我們知道正在處理新請求時重置上下文（有點(diǎn)像網(wǎng)站的會話工作方式）。

最后，需要注意的是，作為代理大腦的LLM的能力門檻相對較高。規(guī)模較小的LLM可能需要大量及時的工程或微調(diào)才能滿足要求。好消息是，已經(jīng)有幾個商業(yè)和開源代理通過了這一門檻，盡管規(guī)模相對較大。

這意味著在構(gòu)建大規(guī)模多智能體系統(tǒng)時，成本和速度需要成為重要考慮因素。此外，還應(yīng)設(shè)定預(yù)期，這些系統(tǒng)雖然比人類快，但不會像我們習(xí)慣的軟件系統(tǒng)那樣快。（Venture Beat）