編輯導(dǎo)語(yǔ)：當(dāng)今人們已經(jīng)進(jìn)入到一個(gè)大數(shù)據(jù)時(shí)代，人們每天都在生產(chǎn)者各種各樣的數(shù)據(jù)，這些數(shù)據(jù)又在不斷被循環(huán)利用推動(dòng)著行業(yè)和社會(huì)的進(jìn)步。不同行業(yè)都有著不同的數(shù)據(jù)指標(biāo)體系，本文作者對(duì)評(píng)估智能對(duì)話機(jī)器人的數(shù)據(jù)指標(biāo)維度展開(kāi)了梳理，與大家分享。

如果你正負(fù)責(zé)一款智能對(duì)話機(jī)器人產(chǎn)品，不管是軟件還是硬件，不管叫“小a”還是叫“小b”，總要遇到一個(gè)對(duì)于產(chǎn)品本身好壞的衡量指標(biāo)的難題。如果你是leader更要弄清楚到底怎么給做這款產(chǎn)品的下屬制定OKR及考核指標(biāo)。

其實(shí)，當(dāng)前多數(shù)對(duì)話機(jī)器人產(chǎn)品都還是一些長(zhǎng)遠(yuǎn)戰(zhàn)略布局的產(chǎn)品定位，既不能要求它達(dá)成百萬(wàn)千萬(wàn)的gmv，也不能要求它實(shí)現(xiàn)app那樣的日活月活高留存。理解它的產(chǎn)品定位，理解當(dāng)前你所在的對(duì)話機(jī)器人的領(lǐng)域，才能更清楚的去評(píng)判自家產(chǎn)品的好壞以及在競(jìng)品中的排名地位。

智能對(duì)話機(jī)器人，或者有些公司會(huì)將其命名為“智能助理”“智能小助手”，多數(shù)是以“工具+閑聊”的組合方式出現(xiàn)的，因此通常支持多個(gè)領(lǐng)域的支持多輪對(duì)話。而市面上的產(chǎn)品形態(tài)也以是否有GUI分為純語(yǔ)音對(duì)話交互和多模態(tài)對(duì)話交互兩種。

而本文討論的目標(biāo)產(chǎn)品主要聚焦在支持多模態(tài)對(duì)話交互的“工具+閑聊”的軟硬件產(chǎn)品。當(dāng)然，單輪指令式機(jī)器人或只有VUI的純語(yǔ)音機(jī)器人也可以進(jìn)行部分指標(biāo)維度的借鑒，在此不做特別指出。

評(píng)估智能對(duì)話機(jī)器人產(chǎn)品的數(shù)據(jù)指標(biāo)維度分為2大部分：產(chǎn)品維度指標(biāo)、技術(shù)維度指標(biāo)。本文重點(diǎn)聚焦產(chǎn)品維度的7大數(shù)據(jù)指標(biāo)，同時(shí)給出3個(gè)核心技術(shù)維度指標(biāo)供參考。

一、產(chǎn)品維度七大指標(biāo)

1. 產(chǎn)品使用率

指標(biāo)目的：分析用戶對(duì)于產(chǎn)品的感興趣度（與之相關(guān)的指標(biāo)就是N日留存率，不在贅述）

指標(biāo)含義：使用了對(duì)話機(jī)器人產(chǎn)品的用戶數(shù)占用戶總數(shù)或者曝光用戶數(shù)的比例。

計(jì)算公式：使用用戶數(shù) / 總用戶數(shù)或曝光用戶數(shù)。其中分母根據(jù)產(chǎn)品類型有區(qū)分：如果是硬件類產(chǎn)品那么分母則是所售出的硬件總數(shù)；如果是軟件類產(chǎn)品，則要分2種情況：1.獨(dú)立對(duì)話機(jī)器人app則分母是每天打開(kāi)app的用戶數(shù)；2.寄生于主app上的對(duì)話機(jī)器人則分母是每天機(jī)器人入口的曝光用戶數(shù)。

統(tǒng)計(jì)周期：按日、周、月

2. 最終結(jié)果觸達(dá)率

指標(biāo)目的：分析對(duì)話流程的流暢度

指標(biāo)含義：使用了對(duì)話機(jī)器人產(chǎn)品的用戶在有效會(huì)話中有多少比例獲得了最終的結(jié)果（比如一段文本答案、一條圖文鏈接等）

計(jì)算公式：最終結(jié)果數(shù) / 會(huì)話session數(shù)

統(tǒng)計(jì)周期：按會(huì)話session，或按日

3. 結(jié)果準(zhǔn)確率

指標(biāo)目的：與上一個(gè)指標(biāo)是關(guān)聯(lián)指標(biāo)，用于分析結(jié)果的準(zhǔn)確程度

指標(biāo)含義：每次有效會(huì)話結(jié)束，雖然產(chǎn)品給予了用戶最終結(jié)果，但不一定是用戶想要的正確結(jié)果。

計(jì)算公式：反饋給用戶的正確的結(jié)果數(shù) / 反饋結(jié)果總數(shù)。其中分子的統(tǒng)計(jì)口徑有2種，一種是用戶反饋的好評(píng)度（如果產(chǎn)品設(shè)計(jì)有這樣的功能點(diǎn)），一種是人工抽樣。

統(tǒng)計(jì)周期：按日

4. 平均對(duì)話輪次

指標(biāo)目的：分析任務(wù)型對(duì)話機(jī)器人的對(duì)話流程健康度

指標(biāo)含義：某一類任務(wù)（或技能）的對(duì)話輪次的平均數(shù)

計(jì)算公式：某類任務(wù)的對(duì)話輪次/某類任務(wù)的對(duì)話總數(shù)

統(tǒng)計(jì)周期：按日

5. 跳出率

指標(biāo)目的：分析對(duì)話機(jī)器人的產(chǎn)品設(shè)計(jì)友好度

指標(biāo)含義：某一類任務(wù)（或技能）對(duì)話中斷的比例

計(jì)算公式：某類任務(wù)的對(duì)話中斷數(shù) /某類任務(wù)的對(duì)話總數(shù)

統(tǒng)計(jì)周期：按會(huì)話session，按日

6. 異常率

指標(biāo)目的：分析對(duì)話機(jī)器人的異常率找出關(guān)鍵問(wèn)題并快速修復(fù)

指標(biāo)含義：用戶使用對(duì)話機(jī)器人過(guò)程中的異常狀況出現(xiàn)的比例

計(jì)算公式：異常報(bào)錯(cuò)數(shù) / 會(huì)話session數(shù)

統(tǒng)計(jì)周期：按時(shí)、日

7. 推薦結(jié)果點(diǎn)擊率

指標(biāo)目的：分析有GUI的產(chǎn)品推薦內(nèi)容的精準(zhǔn)度

指標(biāo)含義：在初始化場(chǎng)景或某類特定場(chǎng)景，產(chǎn)品給出推薦內(nèi)容的用戶接受比例

計(jì)算公式：推薦答案或內(nèi)容的點(diǎn)擊（或采納）次數(shù) / 推薦次數(shù)

統(tǒng)計(jì)周期：按會(huì)話session，按日

二、技術(shù)維度三大參考指標(biāo)

1. 意圖識(shí)別準(zhǔn)確率

指標(biāo)目的：意圖識(shí)別直接影響最終結(jié)果是否準(zhǔn)確，所以用于分析產(chǎn)品所涉及的領(lǐng)域內(nèi)用戶意圖識(shí)別的準(zhǔn)確率

指標(biāo)含義：正確識(shí)別單次會(huì)話session用戶意圖識(shí)別的準(zhǔn)確程度

2. 文本泛化能力

指標(biāo)目的：好的泛化能力才能更好的支持人類語(yǔ)言表達(dá)的復(fù)雜性理解，也是nlp的核心指標(biāo)

指標(biāo)含義：對(duì)指定模塊進(jìn)行抽樣，看是否支持提問(wèn)文本、槽位等多種表達(dá)形式的識(shí)別

3. 糾錯(cuò)/同義/歧義處理能力

指標(biāo)目的：用戶進(jìn)行文本/語(yǔ)音輸入時(shí)，有概率產(chǎn)生錯(cuò)誤的、別名類的、或者有歧義的表達(dá)，而系統(tǒng)能否根據(jù)上下文識(shí)別準(zhǔn)確的含義或給出多種含義的可能性則直接影響產(chǎn)品的用戶體驗(yàn)

指標(biāo)含義：對(duì)用戶的對(duì)話進(jìn)行分析，找到三種細(xì)分場(chǎng)景的case進(jìn)行抽樣或模型比對(duì)給出相應(yīng)的正確處理比例

本文作者：丸子妹，微信公眾號(hào)：丸子筆記，歡迎隨時(shí)討論交流～

本文由 @丸子筆記 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議