編輯導(dǎo)語：一個(gè)產(chǎn)品經(jīng)理在日常工作中不可避免的內(nèi)容就是處理業(yè)務(wù)badcase，然而很多團(tuán)隊(duì)、PM對(duì)于badcase的處理還停留在發(fā)現(xiàn)一個(gè)問題，處理一個(gè)問題階段，效率低到可怕。本文作者結(jié)合自身的工作經(jīng)驗(yàn)，為我們分析了如何搭建一個(gè)case評(píng)測(cè)流程。

badcase，是互聯(lián)網(wǎng)產(chǎn)品行業(yè)非常流行的一個(gè)術(shù)語，尤其是搜索、推薦策略產(chǎn)品領(lǐng)域經(jīng)常會(huì)涉及到對(duì)badcase處理。

一個(gè)case，可以區(qū)分為goodcase和badcase。

顧名思義，badcase就是“壞例”，主要是指由于機(jī)制缺陷導(dǎo)致一些給用戶、商家、平臺(tái)帶來較差體驗(yàn)的事件。它和bug的區(qū)別就在于badcase影響的是產(chǎn)品體驗(yàn)層面，對(duì)用戶使用當(dāng)前產(chǎn)品，享受正常的產(chǎn)品服務(wù)沒有太大的影響。

也正是因?yàn)槿绱?，包括我待過的公司，以及據(jù)身邊很多同行的反饋，都缺少一個(gè)主動(dòng)的、標(biāo)準(zhǔn)化的badcase處理流程。很多團(tuán)隊(duì)、PM對(duì)于badcase的處理還停留在發(fā)現(xiàn)一個(gè)問題，處理一個(gè)問題階段，效率低到可怕。

一、策略不確定性

badcase為什么會(huì)主要在策略領(lǐng)域比較多，而在前端、功能類產(chǎn)品中比價(jià)少，這個(gè)其實(shí)本身是由策略產(chǎn)品的不確定性造成的。

我們做一個(gè)功能，上一個(gè)頁面，其實(shí)整個(gè)交付結(jié)果是確認(rèn)無疑的；包括功能背后的交互流程、業(yè)務(wù)邏輯、到一個(gè)頁面的布局，用色都不能出現(xiàn)像素級(jí)別的差距，有錯(cuò)誤，那就是bug！

但是策略就不一樣了，它對(duì)應(yīng)的結(jié)果通常是不確定的。

比如搜索結(jié)果的排序，其背后是由很多策略模型共同作用決定的，比如價(jià)格模型、銷量模型、轉(zhuǎn)化預(yù)測(cè)模型等等。而且隨著各種非規(guī)則、非約束類策略的應(yīng)用，看起來就更像一個(gè)“黑盒”，源源不斷的輸出它的計(jì)算結(jié)果，很難定位到某個(gè)結(jié)果是由單一的策略導(dǎo)致的。

所以，每當(dāng)有人反饋說“我們上了低價(jià)模型策略，為啥有些價(jià)格低的物品在搜索結(jié)果中還是沒有排在前面”，這個(gè)其實(shí)就是策略的一種不確定性，低價(jià)策略并不能保證所有價(jià)格低的物品都排序靠前，它更多的是一種保證業(yè)務(wù)生態(tài)健康的考量。

二、怎么做

需要主動(dòng)一點(diǎn)，為了發(fā)現(xiàn)badcase，本身就值得建立一個(gè)標(biāo)準(zhǔn)的case評(píng)測(cè)流程。

當(dāng)前很多團(tuán)隊(duì)badcase都來源于“第三方”反饋，商家、業(yè)務(wù)、運(yùn)營或者用戶，缺少主動(dòng)反饋，發(fā)起自測(cè)的機(jī)制。

首先：真正的badcase本身就是策略缺陷導(dǎo)致的，因此這是一個(gè)非常好的策略迭代優(yōu)化的觸發(fā)點(diǎn)，要比競品分析、產(chǎn)品規(guī)劃更具象，迭代速度和效果反饋更快。

另外：僅僅接收第三方的反饋肯定是有一些局限性的，每方在反饋badcase的時(shí)候，都是基于各自的利益點(diǎn)闡述的，而策略產(chǎn)品則需要考慮的是整個(gè)大盤的方案。

如何完成一個(gè)完整的case的評(píng)測(cè)流程搭建？

1. 評(píng)測(cè)標(biāo)準(zhǔn)制定

評(píng)測(cè)標(biāo)準(zhǔn)是case評(píng)測(cè)的唯一依據(jù)，也是保證評(píng)測(cè)結(jié)果質(zhì)量的關(guān)鍵所在。

它就類似一部法規(guī)，用來幫助判斷各種case是否為badcase，及其嚴(yán)重程度，因此在建立case評(píng)測(cè)流程之前，首先就需要制定一個(gè)評(píng)測(cè)標(biāo)準(zhǔn)。

以搜索case評(píng)測(cè)為例，通常badcase標(biāo)準(zhǔn)包含兩個(gè)方向的內(nèi)容：召回和排序。

• 召回：主要是規(guī)定判斷召回結(jié)果與query的相關(guān)性的規(guī)則，一般分為精確相關(guān)、高相關(guān)、低相關(guān)、無關(guān)四種。
• 排序：主要是規(guī)定判斷召回結(jié)果中排序的合理性的規(guī)則，通常排序會(huì)與物品的質(zhì)量度掛鉤，因此這塊還需要定義物品的質(zhì)量度。比如質(zhì)量度高排序靠后，質(zhì)量度低排序靠前等都可以定義為badcase。

除了上述兩大方面，還有很多細(xì)則需要單獨(dú)進(jìn)行定義，比如圖片質(zhì)量、標(biāo)題質(zhì)量等等。

這里需要注意的是如同法律法規(guī)會(huì)有刑事、民事、行政、經(jīng)濟(jì)等分類，評(píng)測(cè)標(biāo)準(zhǔn)也需要按照不同的業(yè)務(wù)領(lǐng)域進(jìn)行個(gè)性化定制。比如商品和藥品，判別的標(biāo)準(zhǔn)就會(huì)有區(qū)別，所以需要單獨(dú)制定對(duì)應(yīng)的評(píng)測(cè)標(biāo)準(zhǔn)。

有個(gè)case評(píng)測(cè)標(biāo)準(zhǔn)以后，就可以正式開始進(jìn)行case評(píng)測(cè)。

2. 怎么進(jìn)行case評(píng)測(cè)

1）誰來參與

通常在搜索團(tuán)隊(duì)內(nèi)部，會(huì)把這個(gè)事情定義為“搜索用戶滿意度評(píng)測(cè)項(xiàng)目”，以便更好的進(jìn)行組織和推進(jìn)。

立項(xiàng)之后需要定義項(xiàng)目的參與方，“搜索滿意度評(píng)測(cè)”一般包含這幾個(gè)角色：項(xiàng)目負(fù)責(zé)人、產(chǎn)品經(jīng)理，算法工程師，開發(fā)工程師，他們的分工不一樣。

• 項(xiàng)目負(fù)責(zé)人：主要負(fù)責(zé)整個(gè)評(píng)測(cè)項(xiàng)目的時(shí)間計(jì)劃制定，溝通機(jī)制建立，評(píng)測(cè)意見統(tǒng)一以及評(píng)測(cè)過程中遇到的問題處理；
• 產(chǎn)品經(jīng)理：負(fù)責(zé)具體case的測(cè)評(píng)，評(píng)測(cè)報(bào)告的撰寫以及評(píng)測(cè)標(biāo)準(zhǔn)修訂建議收集；
• 算法工程師：負(fù)責(zé)具體case的評(píng)測(cè)，case歸因分析；
• 開發(fā)工程師：負(fù)責(zé)具體case的評(píng)測(cè)，一般參與較少。

這里簡單解釋一下算法工程師和開發(fā)工程師，有的團(tuán)隊(duì)可能不會(huì)進(jìn)行區(qū)分，統(tǒng)一稱之為工程師；有的會(huì)做區(qū)分，算法工程師主要是負(fù)責(zé)人策略中算法、模型的開發(fā)；開發(fā)工程師則主要負(fù)責(zé)工程段的開發(fā)，通常指的是后端、服務(wù)端。

另外，搜索滿意度評(píng)測(cè)項(xiàng)目的實(shí)施周期可以按照搜索迭代計(jì)劃的快慢進(jìn)行靈活設(shè)置。

在迭代較快的情況下，測(cè)評(píng)的頻率也會(huì)相應(yīng)加快，我見過一些團(tuán)隊(duì)一周一次；如果迭代較慢，或者優(yōu)化項(xiàng)目周期跨度較長，可以適當(dāng)把測(cè)評(píng)周期拉長，我們之前做的是2個(gè)月一次。

2）case抽樣

case抽樣是指提取評(píng)測(cè)案例，一般是由工程師通過sql在搜索日志中取數(shù)。

對(duì)于搜索來說，一個(gè)case最基本需要包括用戶id，搜索關(guān)鍵詞和搜索結(jié)果。隨著業(yè)務(wù)的不同需要抽取的數(shù)據(jù)不同，比如在美團(tuán)還需要抽取搜索時(shí)間，搜索地點(diǎn)等。

對(duì)樣本的要求一般包括如下幾方面：

• 時(shí)間上一般選擇測(cè)評(píng)周期內(nèi)的最后一周，這個(gè)時(shí)候相關(guān)的優(yōu)化策略基本上都生效；
• case的數(shù)量按照項(xiàng)目參與人員的多少來確定，人均100個(gè)左右；
• 對(duì)于中臺(tái)搜索通常會(huì)服務(wù)于若干條業(yè)務(wù)線，因此需要控制好不同業(yè)務(wù)之間的case數(shù)量比例；
• 總體的抽取規(guī)則采用隨機(jī)抽取的方式，保證測(cè)評(píng)結(jié)果的可信度。

需要注意的是，隨機(jī)抽出的case很多時(shí)候都是無效case，比如：無關(guān)鍵詞，關(guān)鍵詞是特殊字符等等。

但是只有基于有效case來進(jìn)行評(píng)測(cè)，這樣結(jié)果才可信，所以還需要對(duì)抽樣結(jié)果進(jìn)行過濾，一般抽樣的時(shí)候會(huì)比計(jì)劃評(píng)測(cè)case數(shù)量要多一些。

3）case測(cè)評(píng)

case評(píng)測(cè)是指評(píng)測(cè)人員對(duì)抽樣后的case質(zhì)量進(jìn)行評(píng)估的一個(gè)過程，就類似閱卷，需要給每一份試卷進(jìn)行打分。

為了操作方便，在大型企業(yè)，一般都會(huì)自建case測(cè)評(píng)平臺(tái)，大家可以理解為這是一個(gè)case評(píng)測(cè)人員的協(xié)作平臺(tái)。它主要提供的功能就是對(duì)case進(jìn)行分配、篩選、查看、打分（分級(jí)）、若為badcase需要選擇原因，以及填寫備注。

注意這里的打分并不是按照評(píng)測(cè)人員的主觀判斷進(jìn)行打分，而是會(huì)提前制定一個(gè)算法，算法大概的思路就是不同的badcase結(jié)果有不同的分?jǐn)?shù)和權(quán)重，根據(jù)評(píng)測(cè)人員選擇的原因分類自動(dòng)進(jìn)行分?jǐn)?shù)計(jì)算。

比如：評(píng)測(cè)人員選擇badcase原因是無關(guān)商品排序靠前，記為0分；若是低相關(guān)商品排序靠前，則為3分。通俗理解就是，badcase越嚴(yán)重，得分越低，也意味著對(duì)用戶體驗(yàn)傷害越大。

case的評(píng)測(cè)最重要的前提就是需要定一個(gè)評(píng)測(cè)的標(biāo)準(zhǔn)，這里大家要注意的是，標(biāo)準(zhǔn)不是一成不變的，每一次評(píng)測(cè)都是一次優(yōu)化、完善標(biāo)準(zhǔn)的機(jī)會(huì)。

4）冗余評(píng)測(cè)

大多數(shù)團(tuán)隊(duì)在進(jìn)行了評(píng)測(cè)之后就開始進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，看看goodcase有多少、badcase有多少，然后基于這兩個(gè)數(shù)據(jù)計(jì)算當(dāng)前評(píng)估周期的滿意度。

搜索滿意度的計(jì)算方式為：

goodcase/(goodcase+badcase)*100%

這里無論是goodcase還是badcase，都是指的有效的case。

由于評(píng)測(cè)的標(biāo)準(zhǔn)是人工制定的，因此經(jīng)常出現(xiàn)一些標(biāo)準(zhǔn)沒有覆蓋的case，以及大家理解不一致的地方，因此這個(gè)時(shí)候就需要加一個(gè)冗余case評(píng)測(cè)環(huán)節(jié)。

冗余評(píng)測(cè)就是對(duì)評(píng)測(cè)過程中有意見分歧的case進(jìn)行項(xiàng)目組成員集體評(píng)測(cè)，最終做出決策。顯然冗余評(píng)測(cè)的目的除了能夠保證滿意度結(jié)果的公正，更為重要的一環(huán)是基于大家對(duì)badcase的不同理解，去完善評(píng)測(cè)標(biāo)準(zhǔn)。

評(píng)測(cè)標(biāo)準(zhǔn)可以說是滿意度評(píng)測(cè)的根本，只有標(biāo)準(zhǔn)制定的好，才能產(chǎn)出一個(gè)客觀的滿意度結(jié)果。我微信后臺(tái)放了一個(gè)評(píng)測(cè)標(biāo)準(zhǔn)的模板，大家可以輸入模板來獲取。

5）case歸因

case評(píng)測(cè)的直接目標(biāo)是衡量搜索的滿意度，但是根本目標(biāo)還是通過badcase明確、指導(dǎo)搜索策略優(yōu)化。

因此，當(dāng)case評(píng)測(cè)進(jìn)行了bad和good判定之后，最后一個(gè)環(huán)節(jié)就是case歸因。簡單來說，就是分析造成每一個(gè)badcase的原因是什么？

一般來講對(duì)于搜索badcase，包含下面幾類

1. 詞典問題
2. 查詢分析問題
3. 召回問題
4. 排序問題
5. 前端問題

這一塊下一篇再詳細(xì)講解。

#專欄作家#

夏唬人，公眾號(hào)：夏唬人，人人都是產(chǎn)品經(jīng)理專欄作家。某廠策略產(chǎn)品經(jīng)理，關(guān)注推薦，搜索，AI策略方向，用數(shù)據(jù)來賦能業(yè)務(wù)。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來自 Unsplash，基于 CC0 協(xié)議。