編輯導(dǎo)語(yǔ)：隨著科技的不斷發(fā)展，更多智能產(chǎn)品開(kāi)始深入到我們的生活工作中去，但智能產(chǎn)品很多都會(huì)存在一個(gè)不確定性，與用戶表達(dá)的意思不相符合；本文作者分享了關(guān)于智能產(chǎn)品的思考以及未來(lái)的發(fā)展，我們一起來(lái)了解一下。

最近半年負(fù)責(zé)了一款智能領(lǐng)域相關(guān)的產(chǎn)品，主要是通過(guò)NLU（自然語(yǔ)言理解）技術(shù)，識(shí)別用戶提供的文本，然后推薦對(duì)應(yīng)的功能或者內(nèi)容。

在負(fù)責(zé)期間，體驗(yàn)最深的一點(diǎn)就是智能產(chǎn)品的不確定性。有句玩笑話說(shuō)得好：什么叫智能，就是有時(shí)候出現(xiàn)，有時(shí)候不出現(xiàn)，就叫智能。這個(gè)玩笑話，一方面是對(duì)智能產(chǎn)品的總結(jié)，智能產(chǎn)品就是在“猜”，猜測(cè)用戶的意圖。至于為什么要猜，因?yàn)橛脩舨粫?huì)真實(shí)告訴你想要什么，用戶甚至都不知道自己想要什么，所以只能靠“猜”。

當(dāng)然，另一方面其實(shí)也是對(duì)于智能產(chǎn)品現(xiàn)狀的諷刺，目前受限于人工智能的技術(shù)限制，現(xiàn)在確實(shí)沒(méi)辦法做到非常智能的表現(xiàn)，很多時(shí)候我們會(huì)戲稱為“人工智障”。

作為產(chǎn)品經(jīng)理，這時(shí)候不能僅僅是無(wú)奈，首先就需要擁抱這種不確定性，因?yàn)檫@種不確定性將會(huì)貫穿產(chǎn)品的生命周期；其次，產(chǎn)品需要想方設(shè)法通過(guò)一些策略來(lái)規(guī)避不確定性對(duì)產(chǎn)品表現(xiàn)帶來(lái)的影響。

一、為什么智能產(chǎn)品會(huì)存在不確定性

簡(jiǎn)單聊聊智能產(chǎn)品為什么會(huì)存在不確定性，先來(lái)看看現(xiàn)在能接觸到的智能產(chǎn)品以及背后的技術(shù)都有哪些：

• 支付寶的指紋識(shí)別、人臉識(shí)別：圖像識(shí)別
• 手機(jī)的語(yǔ)音助手：語(yǔ)音語(yǔ)義識(shí)別
• 淘寶、今日頭條的信息流：推薦系統(tǒng)

以圖像識(shí)別為例，說(shuō)說(shuō)人工智能技術(shù)的邏輯：

這些產(chǎn)品采用的技術(shù)可以分為以下幾種：

監(jiān)督學(xué)習(xí)：以水果分類為例子，在我們嬰兒時(shí)期，我們并不知道什么是蘋(píng)果什么是梨，是隨著我們慢慢學(xué)習(xí)，然后才認(rèn)識(shí)這兩種水果。那么APP怎么識(shí)別呢？

首先也需要有學(xué)習(xí)的過(guò)程，需要事先知道一批水果是蘋(píng)果或者梨；然后把這批水果分成兩部分，第一部分用來(lái)訓(xùn)練我們的識(shí)別模型（即學(xué)習(xí)的過(guò)程），另一部分用來(lái)驗(yàn)證（可以認(rèn)為是考試）；當(dāng)我們驗(yàn)證的效果高于某個(gè)值，比如準(zhǔn)確率達(dá)到99%，我們就可以認(rèn)為這個(gè)模型有效，這個(gè)模型就可以后續(xù)用來(lái)識(shí)別蘋(píng)果或者梨這兩種水果了，監(jiān)督學(xué)習(xí)的特征在于我們事先知道了一些水果的分類；上述的產(chǎn)品基本都屬于監(jiān)督學(xué)習(xí)。

無(wú)監(jiān)督學(xué)習(xí)：無(wú)監(jiān)督學(xué)習(xí)以聚類為主，比如有兩棵樹(shù)，一棵蘋(píng)果樹(shù)和一棵梨樹(shù)，工人采集完水果之后就隨便扔到了樹(shù)下，這時(shí)候要對(duì)樹(shù)下的水果進(jìn)行分類；由于工人是隨便扔的，那么蘋(píng)果肯定離蘋(píng)果樹(shù)比較近，梨離梨樹(shù)比較近；我們不需要知道水果長(zhǎng)什么樣子，也不需要知道他們長(zhǎng)什么樣子，只要算一下水果之間的距離，就可以把水果分成兩堆；對(duì)于無(wú)監(jiān)督學(xué)習(xí)，我們并不知道他們的特征，而是依靠他們之間的關(guān)系來(lái)判定的。

增強(qiáng)學(xué)習(xí)：阿爾法狗（就是打敗柯潔的那個(gè)）就是用這種算法的，但是具體比較復(fù)雜，有興趣可以自行了解一下。

為什么人工智能要用這些技術(shù)，我們以人臉識(shí)別為例，你為什么能識(shí)別出一個(gè)人？首先你肯定要見(jiàn)過(guò)，并且留下過(guò)比較深的印象；然后再次遇到的時(shí)候，你就會(huì)將遇到的人和腦海里的人進(jìn)行比較，然后達(dá)到一定相似度的時(shí)候，你就會(huì)認(rèn)出這個(gè)人是誰(shuí)誰(shuí)誰(shuí)。

這個(gè)過(guò)程分為：認(rèn)識(shí)-記憶-遇到-比對(duì)-識(shí)別，那么對(duì)應(yīng)過(guò)來(lái)，監(jiān)督學(xué)習(xí)的樣本可以認(rèn)為是認(rèn)識(shí)的過(guò)程，訓(xùn)練模型就是記憶的過(guò)程，為了防止記憶有問(wèn)題，我們還加了一個(gè)驗(yàn)證的過(guò)程；最后就是遇到，然后比對(duì)和識(shí)別，整個(gè)流程是類似的；人尚且會(huì)認(rèn)錯(cuò)人，那么模擬人的識(shí)別而仿造出來(lái)的系統(tǒng)會(huì)出錯(cuò)自然也就不意外了。

回到我負(fù)責(zé)的產(chǎn)品，是一款NLU產(chǎn)品，NLU全稱叫自然語(yǔ)言理解，“自然語(yǔ)言”就是指我們說(shuō)的話；每個(gè)人習(xí)慣不同，知識(shí)水平不同，說(shuō)出來(lái)的話也不同；比如說(shuō)表達(dá)喜歡的話，普通人就一句“我喜歡你”，夏目漱石就會(huì)說(shuō)“今晚月色真好”。

這種表達(dá)不同帶給產(chǎn)品的就是：對(duì)于單獨(dú)的一句話，可以確定它的意思。但是對(duì)于表達(dá)同樣意思的所有話，不敢保證所有的話都能被識(shí)別出來(lái)，因?yàn)闊o(wú)法窮舉或者明確定義，所以會(huì)帶來(lái)不確定性。

二、產(chǎn)品定義的確定性

智能產(chǎn)品的不確定性是天生的，產(chǎn)品經(jīng)理有義務(wù)從自身的系統(tǒng)搭建去盡量減少這種不確定；這種在產(chǎn)品上能做的，首先就是要通過(guò)明確產(chǎn)品的定義，從根源上盡量減少不確定性。

以上面的例子來(lái)說(shuō)，“今晚月色真美”這種例子會(huì)被杜絕在外，首先是受眾上而言，大部分人不會(huì)用這種表達(dá)方式。

其次，存在歧義，這句話明面上就是夸獎(jiǎng)月色的，深層次才是表達(dá)喜歡的；所以這種有歧義的，在定義上的就需要杜絕。

那么回到普通的喜歡，通過(guò)研究可以發(fā)現(xiàn)，句式一般是“人名（包括代詞）+喜歡（或者愛(ài)，或者養(yǎng)）+人名（包括代詞）”；這個(gè)就是對(duì)于喜歡的定義，這個(gè)定義可以指導(dǎo)后續(xù)的樣本的選擇，樣本的選擇和標(biāo)注對(duì)于后續(xù)模型的訓(xùn)練是非常至關(guān)重要的一步，直接決定了模型的成敗。

智能產(chǎn)品有時(shí)候可以找到官方的定義，這時(shí)候就可以直接應(yīng)用，比如說(shuō)火車號(hào)，火車號(hào)是有準(zhǔn)確定義的，參考如下：

高鐵：G1-G9998、C1-C9998、D1-C9998、Z1-Z9998、T1-T9998、K1-K9998

普通火車：1001-5998、6001-7598、7601-8998、Y1-Y998

如果沒(méi)有明確的定義，那么就需要自己抽象出產(chǎn)品的定義，用于指導(dǎo)后續(xù)的流程，有以下幾種方法：規(guī)則法、范圍法、枚舉法，下面一一敘述。

1. 規(guī)則法

上面描述的“我喜歡你”的定義，就是規(guī)則法的應(yīng)用。規(guī)則法有兩步：收集樣本、歸納規(guī)則。

再舉一個(gè)例子，比如說(shuō)什么是地址，這個(gè)乍一看，大家可能都比較好識(shí)別，但是怎么描述地址呢？我找了一圈也沒(méi)有找到官方的定義；所以我就跑到出現(xiàn)地址的地方，比如地圖、美團(tuán)等應(yīng)用，收集了周圍的地址，然后可以總結(jié)出來(lái)規(guī)則的一般形式有以下幾種：

1）長(zhǎng)地址由以下的組成：

• 可以有 xx省、xx自治區(qū)、xx特別行政區(qū)或者沒(méi)有；
• 需要有 xx 市；
• 可以有xx區(qū)、xx縣、xx市或者沒(méi)有；
• 可以有xx鎮(zhèn)、xx街道或者沒(méi)有；
• 可以有xx村、xx鄉(xiāng)或者沒(méi)有；
• 需要有xx街 或 xx路 或 xx道 或 xx巷 或 xx弄 或 xx園；
• 需要有xx號(hào)；
• 可以有 與xxx（比如與海德二路交匯處） 或 xx號(hào)；

2）特殊位置（工廠、工業(yè)園、產(chǎn)業(yè)園、科技園、科學(xué)園、公園、寫(xiě)字樓、小區(qū)）。

注意有一點(diǎn)，規(guī)則法的重點(diǎn)在于定義的范圍是準(zhǔn)確的，求準(zhǔn)不求全；規(guī)則法得來(lái)的定義，通常都是不完整的，不過(guò)沒(méi)關(guān)系，這個(gè)定義在后續(xù)的執(zhí)行過(guò)程中，都可以隨時(shí)更新的。

2. 范圍法

范圍法的運(yùn)用在智能產(chǎn)品的定義可能比規(guī)則還要寬泛，規(guī)則的難點(diǎn)在于怎么抽象，而范圍法在在于怎么劃定最終的范圍。

舉個(gè)簡(jiǎn)單的例子，我們要識(shí)別餐館，這個(gè)東西的定義就感覺(jué)完全找不到頭腦；“小炳勝”可以是一個(gè)餐館（當(dāng)然也可能是人名），“張三餃子”也可以是一個(gè)餐館，這個(gè)完全沒(méi)有規(guī)律可言，這時(shí)候可以從整個(gè)流程的末端入手。

識(shí)別是我們最開(kāi)始的目的，我們最終的目的其實(shí)是為了提供給用戶對(duì)應(yīng)的內(nèi)容或者服務(wù)；對(duì)于餐館，我們提供內(nèi)容其實(shí)是餐館的詳情，比如餐館的評(píng)分啦，地址之類的。這些評(píng)分從哪里來(lái)呢？美團(tuán)，大眾點(diǎn)評(píng)都可以。

那么現(xiàn)在問(wèn)題就比較簡(jiǎn)單了，我們直接將前后兩個(gè)環(huán)節(jié)串起來(lái)，“餐館”的定義就可以定義成“大眾點(diǎn)評(píng)下美食類目下的店鋪”，定義簡(jiǎn)單明了；后續(xù)需要驗(yàn)證也比較簡(jiǎn)單，直接去大眾點(diǎn)評(píng)搜索一下就可以了。

3. 枚舉法

枚舉的意思是，針對(duì)有限的個(gè)數(shù)的類別，可以把這個(gè)類別的所有個(gè)體一一列舉出來(lái)，這個(gè)叫枚舉；比如，請(qǐng)枚舉10以內(nèi)的自然數(shù)，那么答案就是：0/1/2/3/4/5/6/7/8/9。

枚舉法在智能產(chǎn)品里用到得比較少，不過(guò)我也用過(guò)；我們有一次遇到的情況是要識(shí)別我們內(nèi)部自定義的一個(gè)新品牌，這時(shí)候我們就直接把品牌名稱當(dāng)成特征給到模型，定義也很簡(jiǎn)單，就是包含品牌名字時(shí)，我們都認(rèn)為符合產(chǎn)品定義，然后就突出對(duì)應(yīng)的百科介紹。

枚舉出來(lái)的當(dāng)然非常識(shí)別率非常高，不過(guò)相對(duì)應(yīng)的適用范圍也比較少。

三、樣本標(biāo)注的確定性

產(chǎn)品定義完了，和開(kāi)發(fā)測(cè)試進(jìn)行評(píng)審，大家達(dá)成一致，就可以開(kāi)始繼續(xù)往下的工作了。前面講了，很多智能產(chǎn)品都是監(jiān)督學(xué)習(xí)，依賴已經(jīng)知道了分類的樣本。

那么怎么才能知道這些分類呢？

答案就是人工去標(biāo)注，然后把標(biāo)注完的結(jié)果給機(jī)器，相當(dāng)于給機(jī)器一個(gè)受教育學(xué)習(xí)的過(guò)程；所以人工標(biāo)注得好不好，決定了模型學(xué)習(xí)得好不好；就好比，你如果告訴學(xué)生“燒殺搶掠”是美德，那么他們就很大可能會(huì)變成流氓惡霸；如果告訴他們要做“謙謙君子”，那么他們就會(huì)變成另外一副模樣。

下面講講怎么保證樣本標(biāo)注的準(zhǔn)確性。

1）產(chǎn)品定義

樣本的標(biāo)注，通常會(huì)有一個(gè)標(biāo)注團(tuán)隊(duì)，這是智能產(chǎn)品團(tuán)隊(duì)的標(biāo)配；如果沒(méi)有專門(mén)的標(biāo)注團(tuán)隊(duì)，那么通常是由測(cè)試兼任。

由于產(chǎn)品定義和標(biāo)注不是同一個(gè)人，所以就要求產(chǎn)品定義要非常清晰，準(zhǔn)確，可以用于指導(dǎo)標(biāo)注工作的進(jìn)行。

產(chǎn)品定義的時(shí)候，可以和團(tuán)隊(duì)的其他成員充分討論，特別是之前有過(guò)相關(guān)經(jīng)驗(yàn)的同事，可以查漏補(bǔ)缺。具體可以參考前面【產(chǎn)品定義的準(zhǔn)確性】的相關(guān)內(nèi)容。

2）澄清評(píng)審

和其他需求一樣，定義完之后也需要有一次正式的澄清，或者叫評(píng)審；澄清的目的是為了給大家講清楚產(chǎn)品的定義，在講的過(guò)程中，相關(guān)的成員會(huì)比單純的看感受更深，更能激發(fā)討論；澄清的時(shí)候，可能還有引起一波新的討論，討論越多，對(duì)于產(chǎn)品的定義就會(huì)更加清晰，團(tuán)隊(duì)也更加能達(dá)成共識(shí)。

3）樣本采集

明確了標(biāo)準(zhǔn)之后，還缺失一個(gè)東西，樣本的采集。

通常來(lái)講，一個(gè)品類至少要有50個(gè)以上的樣本，才能用于訓(xùn)練；當(dāng)然更好的是可以達(dá)到100個(gè)以及以上，視不同的情況而定，這個(gè)通常會(huì)由算法工程師給出來(lái)。

那么這些樣本從哪里來(lái)呢？

一個(gè)是研究機(jī)構(gòu)公開(kāi)的樣本庫(kù)，通常是國(guó)外機(jī)構(gòu)官網(wǎng)可能會(huì)有，可以谷歌一下；不過(guò)學(xué)術(shù)領(lǐng)域和工程領(lǐng)域的差別有點(diǎn)大，不一定適用。

第二個(gè)是其他機(jī)構(gòu)的售賣，這種可以走商務(wù)關(guān)系進(jìn)行聯(lián)系。

第三種就是自行爬蟲(chóng)爬取，通常是工程師根據(jù)產(chǎn)品的定義去爬取，然后清洗，最后形成可用的樣本。

4）預(yù)標(biāo)注

標(biāo)準(zhǔn)有了，樣本有了，還需要先進(jìn)行一輪預(yù)標(biāo)注的過(guò)程；預(yù)標(biāo)注可以先每種類別選取10個(gè)左右的樣本，先進(jìn)行標(biāo)注，用于討論用；這個(gè)環(huán)節(jié)的作用在于，有時(shí)候我們覺(jué)得我們已經(jīng)知道了，但是真正開(kāi)始上手的時(shí)候，才知道自己的無(wú)知，這個(gè)就是為了預(yù)防這種情況的出現(xiàn)；先標(biāo)注一部分，然后和團(tuán)隊(duì)討論，防止標(biāo)注團(tuán)隊(duì)在錯(cuò)誤的道路上越走越遠(yuǎn)，最后一發(fā)不可收拾，這個(gè)就是這個(gè)環(huán)節(jié)最大的作用。

5）充分討論

針對(duì)預(yù)標(biāo)注的結(jié)果進(jìn)行討論，首先產(chǎn)品肯定需要校驗(yàn)是否符合自己的定義，其次，開(kāi)發(fā)也可以從第三方視野給予建議和意見(jiàn)；還有就是前面說(shuō)了，除開(kāi)官方的規(guī)則定義，其他規(guī)則都是保準(zhǔn)而不保全，那么就有可能有一些漏掉的，或者模棱兩可的地方；這個(gè)時(shí)候就可以統(tǒng)一討論清楚，大家明確了共識(shí)之后，該更新定義就更新定義，該繼續(xù)標(biāo)注就繼續(xù)標(biāo)注。

6）二次標(biāo)注

為了節(jié)約時(shí)間成本，第二次標(biāo)注就可以進(jìn)行全量標(biāo)注了；有了預(yù)標(biāo)注和討論之后，第二次的標(biāo)注普遍會(huì)更快更準(zhǔn)。

7）抽樣驗(yàn)證

針對(duì)全量標(biāo)注的結(jié)果，產(chǎn)品經(jīng)理還是需要進(jìn)行抽樣檢查，如果發(fā)現(xiàn)抽樣的結(jié)果，比如抽查了10個(gè)，發(fā)現(xiàn)很多都標(biāo)注不準(zhǔn)確，這時(shí)候就需要打回去重新標(biāo)注；如果標(biāo)注結(jié)果沒(méi)什么大問(wèn)題，就可以給算法工程師進(jìn)行模型訓(xùn)練了。

8）樣本充足

最后需要注意的一點(diǎn)是，前面講的50~100是一次訓(xùn)練的樣本量，如果模型需要經(jīng)過(guò)幾次的迭代的話，每次都需要這么多樣本量；因?yàn)槿绻看味即慌鷺颖镜脑?，可能?huì)造成一種“過(guò)擬合”的現(xiàn)象，就是說(shuō)模型針對(duì)這一批樣本，效果非常好，但是卻喪失了普遍性，導(dǎo)致對(duì)于其他樣本結(jié)果很差。

就類似如果對(duì)學(xué)生過(guò)分強(qiáng)調(diào)數(shù)學(xué)的重要性，有可能就會(huì)造成學(xué)生偏科一樣；所以樣本的數(shù)量要充足到可以支撐整個(gè)模型訓(xùn)練的全過(guò)程，保證最后的模型具備普適性。

四、模型指標(biāo)的確定性

智能產(chǎn)品沒(méi)正式上線之前，誰(shuí)都不知道具體的效果會(huì)怎么樣。唯一知道的就是模型的指標(biāo)如何，模型指標(biāo)和上線標(biāo)準(zhǔn)是必要但不充分的關(guān)系；也就是說(shuō)，模型指標(biāo)好，上線效果大概率好，但是也可能不好；但是如果模型指標(biāo)不好，那么上線效果一定會(huì)差。

智能產(chǎn)品的模型一般有幾個(gè)指標(biāo)：精確率（precision）、召回率（recall）和F1值（F1-Measure）【1】。

• 精確率可以定義為查準(zhǔn)率，比如想要預(yù)測(cè)景點(diǎn)，那么就需要拿預(yù)測(cè)為景點(diǎn)并且真的是景點(diǎn)的樣本數(shù)量，除以預(yù)測(cè)為景點(diǎn)的樣本數(shù)量。
• 召回率（真的好想吐槽這個(gè)翻譯，直譯過(guò)來(lái)，非常抽象，導(dǎo)致一直都記不?。┛梢远x為查全率；同樣以景點(diǎn)為例，分子是預(yù)測(cè)為景點(diǎn)并且真的是景點(diǎn)的樣本數(shù)量，分母是所有景點(diǎn)的樣本數(shù)量。
• F1值是這兩個(gè)值的加權(quán)，有興趣可以戳最后的鏈接了解【1】。

精確率和召回率是互斥的，如果想要提高精確率，那么就可能對(duì)召回率有點(diǎn)影響；反過(guò)來(lái)也一樣，舉個(gè)極端的例子，如果我把所有的預(yù)測(cè)結(jié)果都預(yù)測(cè)成景點(diǎn)，那么召回率就是100%，但是精確率就會(huì)很慘。

對(duì)于產(chǎn)品模型的指標(biāo)，精確率和召回率通常表現(xiàn)出來(lái)就是兩個(gè)百分?jǐn)?shù)，一般來(lái)講，雙80%我們覺(jué)得比較適合的上線標(biāo)準(zhǔn)，雙90%是比較優(yōu)秀的標(biāo)準(zhǔn)，當(dāng)然具體數(shù)值還是需要和團(tuán)隊(duì)內(nèi)部達(dá)成一致來(lái)確定；這個(gè)數(shù)值是非常確定的，確定完標(biāo)準(zhǔn)之后，整個(gè)團(tuán)隊(duì)都需要按照目標(biāo)一直迭代進(jìn)步；指標(biāo)達(dá)不到，最好不要上線，否則效果很差，這個(gè)是需要產(chǎn)品經(jīng)理把關(guān)好的。

還有一點(diǎn)要注意的是，模型的指標(biāo)還依賴模型的維護(hù)，上線之后，充分吸收真實(shí)環(huán)境下的結(jié)果反饋，有利于提升模型的指標(biāo)；如果長(zhǎng)時(shí)間不維護(hù)，那么大部分的模型都會(huì)越來(lái)越不準(zhǔn)確。

五、產(chǎn)品指標(biāo)的確定性

前面講了，對(duì)于智能產(chǎn)品而言，模型的數(shù)據(jù)不等同于真實(shí)上線的數(shù)據(jù)，他們是必要不充分的關(guān)系。模型的指標(biāo)數(shù)據(jù)可以當(dāng)做是開(kāi)發(fā)給你交付的結(jié)果的衡量；但是對(duì)于產(chǎn)品而言，更加重要的是要制定自己給公司的交付物以及對(duì)應(yīng)衡量的指標(biāo)。

產(chǎn)品指標(biāo)需要是確定的并且是正確的，可以指導(dǎo)產(chǎn)品朝著指定的方向前進(jìn)。

產(chǎn)品指標(biāo)在不同階段可能不同，比如在啟動(dòng)期或者爆發(fā)期，可能以活躍量作為指標(biāo)，用戶量大的才能存活下去。

產(chǎn)品成熟期，一般會(huì)以營(yíng)收作為指標(biāo)，營(yíng)收才是產(chǎn)品能給公司提供的價(jià)值；衰減期的時(shí)候，要更加注重留存，盡量延長(zhǎng)產(chǎn)品的生命周期，多給公司增加營(yíng)收。

在特定階段，一個(gè)產(chǎn)品的指標(biāo)有很多，但是核心指標(biāo)一般不會(huì)很多，這幾個(gè)核心指標(biāo)可以指引產(chǎn)品前進(jìn)的方向。

通用指標(biāo)：

• 營(yíng)收相關(guān)指標(biāo)：我能掙多少錢(qián)，這個(gè)對(duì)于公司來(lái)講尤為重要，比如說(shuō)GMV、收入、CPM等；
• 活躍相關(guān)指標(biāo)：雖然我現(xiàn)在不能掙錢(qián)，但是我可以把盤(pán)子做大，然后再考慮掙錢(qián)或者給其他業(yè)務(wù)導(dǎo)流，比如說(shuō)：活躍、留存等；

領(lǐng)域指標(biāo)：

• 電商類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「首單率」、「客單價(jià)」、「復(fù)購(gòu)率」、「退款率」等；
• 社區(qū)類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「活躍用戶數(shù)」、「帖子發(fā)布數(shù)」、「互動(dòng)用戶數(shù)」、「用戶對(duì)話數(shù)」、「留存率」等；
• 內(nèi)容類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「用戶停留時(shí)長(zhǎng)」、「跳出率」、「用戶互動(dòng)比率」、「留存率」等；
• 工具類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「打開(kāi)率」、「使用頻次」、「目標(biāo)達(dá)成率」、「分享率」等；
• 游戲類產(chǎn)品通常用到的核心數(shù)據(jù)指標(biāo)有：「活躍用戶數(shù)」、「用戶在線時(shí)長(zhǎng)」、「付費(fèi)用戶比率」、「留存率」等；

我的產(chǎn)品的指標(biāo)：

轉(zhuǎn)化率：從產(chǎn)品的工具屬性出發(fā)，這個(gè)指標(biāo)能證明提供的服務(wù)是契合用戶需求的，是產(chǎn)品最核心的指標(biāo)，同時(shí)也是可以牽引整個(gè)團(tuán)隊(duì)前進(jìn)的指標(biāo)，轉(zhuǎn)化率越高，說(shuō)明我們預(yù)估的越準(zhǔn)；

活躍量：從產(chǎn)品的內(nèi)容屬性出發(fā)，如果活躍量達(dá)不到一定值，那么就無(wú)法吸引更多的CP來(lái)接入，就無(wú)法提供更多的服務(wù)；這個(gè)和轉(zhuǎn)化率存在矛盾性，比如活躍多了，轉(zhuǎn)化可能下降，所以要求團(tuán)隊(duì)要在活躍量增長(zhǎng)的情況下，維持轉(zhuǎn)化率不變或者稍微只降低一點(diǎn)點(diǎn)。

當(dāng)然，還要保證【活躍量*轉(zhuǎn)化率】的不斷提升，才能預(yù)示著產(chǎn)品在不斷向好發(fā)展。

六、預(yù)測(cè)反饋的確定性

數(shù)據(jù)指標(biāo)有利于牽引整體產(chǎn)品向既定方向去前進(jìn)，但是這種牽引只給了方向，沒(méi)有給確切的方法，所以實(shí)操起來(lái)還需要有一些輔助。

模型的優(yōu)化，雖然很大程度上依賴于算法工程師的努力；之前講了，算法工程師也需要依賴樣本的準(zhǔn)確性，而依靠標(biāo)注而來(lái)的樣本始終是有限的，所以可以把這個(gè)標(biāo)注融入到產(chǎn)品中，這就是結(jié)果的反饋系統(tǒng)。

沒(méi)有反饋系統(tǒng)的流程

有反饋系統(tǒng)的流程

通過(guò)上面的圖可以看到，反饋系統(tǒng)增加了一個(gè)自下而上的渠道，通過(guò)將用戶的反饋加入到整個(gè)流程，可以幫助算法工程師優(yōu)化識(shí)別算法，以提升下一次識(shí)別結(jié)果的準(zhǔn)確率；同時(shí)，如果用戶還可以提供更加具體的產(chǎn)品意見(jiàn)的話，也可以幫助提升產(chǎn)品。

最后，反饋系統(tǒng)還是一個(gè)負(fù)向情緒的宣泄入口，用戶可以有地方宣泄自己的不滿，不至于覺(jué)得心里憋屈。

綜上，我覺(jué)得不僅是智能產(chǎn)品，所有產(chǎn)品都應(yīng)該考慮嵌入一個(gè)反饋系統(tǒng)。

反饋系統(tǒng)需要考慮用戶的接受程度：淺層反饋系統(tǒng)就是好評(píng)和差評(píng)；中層反饋系統(tǒng)就是好評(píng)，+選擇差評(píng)原因；深層反饋系統(tǒng)就是：好評(píng)+填寫(xiě)差評(píng)原因。

1. 淺層反饋系統(tǒng)

淺層反饋系統(tǒng)

舉一個(gè)簡(jiǎn)單的例子，上述是知乎的一個(gè)回答，上面的“贊同”和“反對(duì)”就是一個(gè)最淺層的反饋系統(tǒng)，用戶可以表達(dá)自己對(duì)于回答的正向或者負(fù)向的情緒。

知乎收到用戶的反饋之后呢，如果贊同數(shù)很多，反對(duì)數(shù)很少，那么會(huì)認(rèn)為這是一個(gè)好的回答，下次有可能就會(huì)推薦給更多的用戶。

這個(gè)系統(tǒng)同樣也適用于我的產(chǎn)品，如果用戶贊同了我們推薦的服務(wù)，那么可能是我們識(shí)別對(duì)了用戶的意圖，那么算法就可以做對(duì)應(yīng)的調(diào)整；反之，如果是反饋了我們的服務(wù)，那么算法同學(xué)就要分析錯(cuò)誤的原因，下次做修正。

2. 中層反饋系統(tǒng)

淺層反饋系統(tǒng)有個(gè)缺點(diǎn)，舉個(gè)例子，如果我們識(shí)別到用戶想去餐館，然后推薦了了美團(tuán)對(duì)應(yīng)的服務(wù)；然后此時(shí)用戶給了反對(duì)，那么有可能有如下幾個(gè)原因：a.我們識(shí)別錯(cuò)了用戶意圖；b.我們識(shí)別對(duì)了，但是用戶想看大眾點(diǎn)評(píng)的結(jié)果；c.流程沒(méi)問(wèn)題，但是用戶覺(jué)得響應(yīng)太慢了。

諸如此類的原因分解可以有很多個(gè)，那么簡(jiǎn)單的反對(duì)就沒(méi)辦法完整傳達(dá)用戶的意思，也可能造成誤解；這時(shí)候，可以把可能的原因列出來(lái)，注意不能多，大概3~5個(gè)，多了你就列為“其他”就可以了。

上圖就是一個(gè)典型的中層反饋系統(tǒng)，只列了3個(gè)原因，可以有效區(qū)分問(wèn)題類型，把算法問(wèn)題（內(nèi)容錯(cuò)誤或者不合理）篩選出來(lái)，幫助算法提升。

3. 深層反饋系統(tǒng)

在中層反饋系統(tǒng)中，用戶只有“選擇權(quán)”，但是“表達(dá)權(quán)”還缺少了一些，用戶無(wú)法暢所欲言，所以從用戶哪里獲取的信息就只會(huì)局限于實(shí)現(xiàn)限定的幾類。

深層反饋系統(tǒng)可以讓用戶暢所欲言，比如以下，一般還是有兩個(gè)步驟：

• 篩選反饋類型：這個(gè)還是需要做得，方便后期的篩選工作；
• 填寫(xiě)用戶反饋語(yǔ)言，用戶分析用戶的意圖；

可以參考下面微信的例子，不過(guò)微信體量大，做到這么復(fù)雜都還是有比較多的反饋量，一般產(chǎn)品還是掂量一下自己的分量再學(xué)習(xí)。

4. 反饋報(bào)告

上述反饋系統(tǒng)都是用戶層面的，說(shuō)點(diǎn)業(yè)務(wù)層面的。用戶反饋的時(shí)候，可以附帶一個(gè)叫“錯(cuò)誤報(bào)告”之類的東西，這個(gè)可是一個(gè)寶藏。

錯(cuò)誤報(bào)告可以上傳一些信息，幫助分析用戶狀態(tài)，比如：

• 系統(tǒng)版本號(hào)
• 客戶端版本號(hào)
• 用戶所在的場(chǎng)景（比如哪個(gè)APP）
• 所觸發(fā)的文字
• 預(yù)測(cè)的結(jié)果

這些可以有效還原用戶的場(chǎng)景，幫助分析用戶的意圖，結(jié)合用戶的反饋，可以達(dá)到更好的分析效果；當(dāng)前需要注意，一切用戶的數(shù)據(jù)獲取都需要合法合規(guī)。

總結(jié)一下，預(yù)測(cè)反饋的確定性：明確用戶的意圖、明確用戶的場(chǎng)景；這兩點(diǎn)越明確越好，越能助力產(chǎn)品提升準(zhǔn)確率。

七、尾聲

智能產(chǎn)品的不確定性或許一開(kāi)始會(huì)讓人感到痛苦，不過(guò)仔細(xì)分析下來(lái)，玩法還是比普通產(chǎn)品多很多的；不過(guò)智能產(chǎn)品也有一個(gè)特點(diǎn)，就是見(jiàn)效慢，算法周期動(dòng)輒幾個(gè)月，所以還需要有足夠的耐心去和自己負(fù)責(zé)的產(chǎn)品一起成長(zhǎng)。

#專欄作家#

妖葉秋，交互設(shè)計(jì)師，人人都是產(chǎn)品經(jīng)理專欄作家。做過(guò)ToC產(chǎn)品的交互設(shè)計(jì)，現(xiàn)在在嘗試ToB的業(yè)務(wù)。主攻交互，也懂點(diǎn)用研、視覺(jué)和產(chǎn)品的知識(shí)。愛(ài)生活、愛(ài)設(shè)計(jì)、愛(ài)讀書(shū)、愛(ài)總結(jié)，頭像下方是我的聯(lián)系方式，歡迎志同道合者與我交流。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，不得轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議