TFlow AI作為一款面向B端業(yè)務(wù)場(chǎng)景的Agent平臺(tái)，通過(guò)結(jié)合Re-Act推理+行動(dòng)機(jī)制和預(yù)設(shè)的SOP流程，實(shí)現(xiàn)了對(duì)業(yè)務(wù)流程的精確控制和執(zhí)行，為企業(yè)提供了一種既靈活又具有確定性的解決方案。本文將深入探討TFlow AI如何利用大型語(yǔ)言模型實(shí)現(xiàn)復(fù)雜的推理決策任務(wù)，并展示其在實(shí)際應(yīng)用中的優(yōu)勢(shì)和挑戰(zhàn)。

實(shí)踐產(chǎn)品TFlow AI 簡(jiǎn)介：是面向B端業(yè)務(wù)場(chǎng)景Agent平臺(tái)，能按流程處理任務(wù)（SOP），圍繞目標(biāo)來(lái)進(jìn)行離散推理。能快速搭建Ai客服、AI導(dǎo)購(gòu)等應(yīng)用。

產(chǎn)品允許LLM與環(huán)境進(jìn)行交互，根據(jù)環(huán)境數(shù)據(jù)的反饋不斷的調(diào)整行動(dòng)計(jì)劃/策略。且整個(gè)sop的過(guò)程是由文本來(lái)控制，產(chǎn)品基本參數(shù)如下：

• 使用 文心一言 3.5的模型，未微調(diào)
• 做了邏輯處理的Agent框架
• 單條回復(fù)的消耗不到2K token，價(jià)格不貴
• 歡迎體驗(yàn)。（注：流程只需要用文本流程，不需要work flow）

一、為什么要做

B端業(yè)務(wù)場(chǎng)景的需求：確定性

• 企業(yè)服務(wù)（對(duì)內(nèi)、對(duì)外）通常有相對(duì)明確的SOP流程或者思考步驟，在業(yè)務(wù)處理或者對(duì)外 交互時(shí)期望按照流程來(lái)執(zhí)行任務(wù)。
• 對(duì)外、對(duì)內(nèi)的服務(wù)，期望帶來(lái)確定性的體驗(yàn)。

例如當(dāng)用戶退換貨時(shí)，思考流程如下：

• A 確定退貨原因
• b 確認(rèn)訂單是否真實(shí)有效
• c 確定是否符合退換貨政策要求
• d 協(xié)助解答退貨操作

在整個(gè)多輪對(duì)話溝通過(guò)程中的要求：

• 按照流程執(zhí)行，需要流程可控，帶來(lái)確定性的結(jié)果。
• 始終聚焦“退換貨”事情上，不要去解答無(wú)關(guān)的事情

二、如何通過(guò)大模型實(shí)現(xiàn)昵？借用Re-Act 為代表 推理+行動(dòng) 機(jī)制

ReAct 代表 一種將推理和行動(dòng)與 語(yǔ)言模型只相結(jié)合的技術(shù)，用于解決各種語(yǔ)言推理和決策任務(wù)。它促使語(yǔ)言模型生成語(yǔ)言推理軌跡和行動(dòng)，并支持與外部環(huán)境的交互。

Re-act的官方案例示例：

流程說(shuō)明如下：

• 目的：找出Apple Remote最初設(shè)計(jì)用來(lái)交互的程序，即Front Row媒體中心程序
• 思考 1： 我需要搜索“Apple Remote”并找到它最初設(shè)計(jì)用來(lái)交互的程序。
• 行動(dòng) 1： 搜索[Apple Remote]
• 觀察 1： “Apple Remote”是蘋(píng)果公司于2005年10月推出的一款遙控器……用于控制Front Row媒體中心程序。
• 思考 2： Apple Remote最初設(shè)計(jì)用于控制Front Row媒體中心程序。我需要搜索Front Row并找到還有哪些設(shè)備可以控制它。
• 行動(dòng) 2： 搜索[Front Row]
• 觀察 2： 沒(méi)有找到[Front Row]。相似結(jié)果包括：“FrontSeat to Earth”、“Front Row Motorsports”、“Front Row(software)”等。
• 思考 3： 沒(méi)有找到Front Row。我需要搜索“Row (software)”
• 行動(dòng) 3： 搜索 Front Row (software)
• 觀察 3： Front Row是一款已停產(chǎn)的媒體中心軟件……
• 思考 4： Front Row（軟件）可以通過(guò)Apple Remote或鍵盤(pán)功能鍵來(lái)控制。
• 行動(dòng) 4： 輸出 鍵盤(pán)功能鍵。

案例中re-act基于目的“找出Apple Remote最初設(shè)計(jì)的媒體中心程序”，模型自行計(jì)劃、推理、執(zhí)行了四個(gè)步驟。

1. 搜索[Apple Remote]，知道程序名稱是[Front Row]
2. 搜索[Front Row]，但是未找到對(duì)應(yīng)的軟件。但是需要搜索 Front Row (software)
3. 搜索 Front Row (software)，找到了控制方式
4. 告知結(jié)果：輸出控制方式鍵

在這個(gè)過(guò)程中，我們有幾個(gè)發(fā)現(xiàn)

1. 推理過(guò)程圍繞始終圍繞著目標(biāo)“找出Apple Remote最初設(shè)計(jì)的媒體中心程序”進(jìn)行
2. 推理過(guò)程需要頻繁的與外界交互（類似于多輪對(duì)話一樣，搜索收集信息，觀察解決問(wèn)題）
3. 推理過(guò)程類似于 執(zhí)行 一個(gè) SOP流程

ReAct 模式的核心是將觀察結(jié)果提供給 LLM，使其能夠更新其上下文窗口。該模型重新評(píng)估信息并根據(jù)這些見(jiàn)解采取行動(dòng)以提高其推理能力。同時(shí)將單個(gè)推理步驟嵌入在對(duì)話的提示。

OK，那是否可以將Re-Act 與企業(yè)的SOP流程結(jié)合，然后讓模型去執(zhí)行標(biāo)準(zhǔn)的SOP流程

三、方案：Re-Act + SOP流程，讓模型來(lái)控制sop流程

如何實(shí)現(xiàn)？對(duì)re-act執(zhí)行過(guò)程進(jìn)行變更

• 1、將推理目標(biāo)（用戶提供）變?yōu)?企業(yè)預(yù)設(shè)目標(biāo)，比如”目標(biāo)解決退換貨問(wèn)題、留咨詢問(wèn)題、商品推薦”。非用戶提供的提問(wèn)
• 2、將模型執(zhí)行推理的流程，變更為預(yù)設(shè)的SOP流程；

1. 方案的關(guān)鍵步驟如下

• 定義任務(wù)目標(biāo):：企業(yè) 明確要解決的任務(wù)是什么
• 預(yù)設(shè)推理軌跡（one shot）:設(shè)計(jì)一個(gè)推理sop軌跡，描述如何一步一步地進(jìn)行推理和決策、執(zhí)行sop
• 借助 ReAct 的 思考、行動(dòng)和觀察的離散推理能力，與外界進(jìn)行互動(dòng)執(zhí)行sop的流程

2. 使用的優(yōu)勢(shì)

• ReAct 可以幫助語(yǔ)言模型進(jìn)行更復(fù)雜的推理和決策
• 流程sop（one shot） 為模型的行為提供一定解釋性，和可控性
• 可以支持語(yǔ)言模型與外部環(huán)境的交互（即用戶多輪對(duì)話，實(shí)現(xiàn)一個(gè)目標(biāo)）

四、落地效果檢驗(yàn)分析

我們以簡(jiǎn)單的TFlow留咨詢場(chǎng)景例（注流程只需要用文本描述，不需要work flow），問(wèn)答效果如下：

1. Re-Act + SOP流程的推理過(guò)程復(fù)盤(pán)

Agent任務(wù)執(zhí)行前提：

1）Agent的目標(biāo)：解答用戶疑問(wèn)，引導(dǎo)用戶留咨

2）推理過(guò)程示例 （One Shot）：

• 理解用戶的疑問(wèn)
• 查詢知識(shí)庫(kù)中產(chǎn)品手冊(cè)、了解對(duì)應(yīng)的解決方法
• 解答用戶的疑問(wèn)，并用戶提供姓名、聯(lián)系方式、公司名稱
• 將信息插入 到 CRM系統(tǒng)中

第一輪的推理：

1）用戶輸入：能介紹一下產(chǎn)品嗎？

2）模型處理：

• 觀察：能介紹一下產(chǎn)品嗎？
• 思考：用戶詢問(wèn)了關(guān)于產(chǎn)品的介紹，我需要調(diào)用知識(shí)庫(kù)接口來(lái)查詢并解答。
• 行動(dòng)：調(diào)用知識(shí)庫(kù)

第二輪的推理

1）知識(shí)庫(kù)返回：

「同時(shí)相較于第二代客服機(jī)器人，TFlow不只體現(xiàn)在具備情感，使用成本大幅度降低。與市面上常見(jiàn)的14999元/個(gè)、24999元/個(gè)、外加會(huì)話包計(jì)費(fèi)方式的客服機(jī)器人相比，TFlow直接免費(fèi)提供機(jī)器人服務(wù)，只按照實(shí)際消耗量收取token費(fèi)用，費(fèi)用多少由需求量說(shuō)了算。小企業(yè)使用一個(gè)月的費(fèi)用可能不超過(guò)50元，就可以享受24小時(shí)無(wú)間斷的客戶服務(wù)。讓大模型真正的實(shí)現(xiàn)降本增效的目標(biāo)」

2）模型處理：

• 觀察：用戶問(wèn)題+知識(shí)庫(kù)的答案
• 思考：根據(jù)知識(shí)庫(kù)提供的信息，我已經(jīng)了解了TFlow產(chǎn)品的介紹?，F(xiàn)在我將簡(jiǎn)潔地回復(fù)用戶，并引導(dǎo)用戶提供姓名、電話號(hào)碼和公司名稱
• 行動(dòng)：回復(fù)用戶“TFlow是一款智能客服機(jī)器人，具備情感且使用成本大幅降低。它提供24小時(shí)無(wú)間斷的客戶服務(wù)，并可根據(jù)實(shí)際消耗量收取token費(fèi)用。同時(shí)，TFlow支持多模態(tài)消息處理，并對(duì)接主流SaaS平臺(tái)。請(qǐng)問(wèn)您方便留下您的姓名、電話號(hào)碼和公司名稱嗎？“

第三輪的推理

1）用戶輸入：曹操

2）模型處理：

• 觀察：曹操
• 思考：用戶已經(jīng)提供了姓名，但還沒(méi)有提供電話號(hào)碼和公司名稱。接下來(lái)，我將繼續(xù)引導(dǎo)用戶提供這些信息。
• 行動(dòng)：回復(fù)用戶?！案兄x您的回復(fù)，曹操先生。為了更好地為您提供服務(wù)，請(qǐng)問(wèn)您能留下您的電話號(hào)碼和公司名稱嗎？”

第四輪的推理：

1）用戶輸入：今天天氣怎么樣？

2）模型處理：

• 觀察：今天天氣怎么樣？
• 思考：用戶的問(wèn)題與TFlow產(chǎn)品無(wú)關(guān)，因此我不進(jìn)行解答，而是繼續(xù)引導(dǎo)用戶提供電話號(hào)碼和公司名稱。
• 行動(dòng)：回復(fù)用戶。“非常抱歉，關(guān)于天氣的問(wèn)題我無(wú)法直接回答。但為了更好地為您提供TFlow產(chǎn)品的服務(wù)，請(qǐng)問(wèn)您能留下您的電話號(hào)碼和公司名稱嗎？”

第五輪的推理：

1）用戶輸入：13018920000

2）模型處理：

• 觀察：13018920000
• 思考：用戶已經(jīng)提供了電話號(hào)碼，但還沒(méi)有提供公司名稱。接下來(lái)，我將繼續(xù)引導(dǎo)用戶提供公司名稱。
• 行動(dòng)：回復(fù)用戶?！案兄x您的回復(fù)，曹操先生。為了完善您的信息，請(qǐng)問(wèn)您能告訴我您的公司名稱嗎？”

第六輪的推理

1）用戶輸入：網(wǎng)易云商

2）模型處理：

• 觀察：網(wǎng)易云商
• 思考：用戶已經(jīng)提供了姓名、電話號(hào)碼和公司名稱，現(xiàn)在我將調(diào)用留咨接口將這些信息保存到數(shù)據(jù)庫(kù)，并告知用戶留咨成功。
• 行動(dòng)：調(diào)用CRM接口

第七輪的推理

1）接口返回：’Operation succeeded’, ‘code’: 200

2）模型處理：

• 觀察：’Operation succeeded’, ‘code’: 200
• 思考：留咨成功，我將告知用戶銷(xiāo)售人員將在24小時(shí)內(nèi)聯(lián)系他。
• 行動(dòng)：回復(fù)用戶?！傲糇沙晒?！我們的銷(xiāo)售人員將在24小時(shí)內(nèi)與您聯(lián)系。感謝您的關(guān)注和支持！”

2. 在這個(gè)流程中我們可以看到的結(jié)論

優(yōu)勢(shì)好處：

• 多輪對(duì)話一致性：預(yù)設(shè)目標(biāo)和流程后，整個(gè)多輪對(duì)話的過(guò)程都圍繞著目標(biāo)進(jìn)行，不會(huì)進(jìn)行發(fā)散和跑偏。異常信息或者無(wú)關(guān)信息，被自動(dòng)過(guò)濾
• 推理可解釋性：模型推理的過(guò)程參考SOP的流程，調(diào)整模型的推理，只需要修改流程提示即可。
• 離散引導(dǎo)：在re-act 的思考機(jī)制下，可以對(duì)于信息不完整的情況時(shí)，具備自動(dòng)引導(dǎo)補(bǔ)充的能力。自動(dòng)調(diào)用CRM的外部工具。自動(dòng)和用戶互動(dòng)引導(dǎo)補(bǔ)充信息
• 靈活性：re-act自動(dòng)制定計(jì)劃，可以根據(jù)外部的信息輸入，自動(dòng)調(diào)整執(zhí)行計(jì)劃或者步驟。

通過(guò)這個(gè)方案即可實(shí)現(xiàn)Agent 控制SOP流程，從而實(shí)現(xiàn)既定目標(biāo)。對(duì)于workflow 具備很強(qiáng)的靈活性。

問(wèn)題：

• 只能執(zhí)行單一的任務(wù)目標(biāo)。
• 任務(wù)流程的描述需要抽象業(yè)務(wù)來(lái)描述。
• 和work flow、歷程畫(huà)布相比，模型存在小概率幻覺(jué)。