推薦系統(tǒng)并非完美無缺，它也常常會遇到各種“壞案例”（badcase）。這些問題不僅影響用戶的滿意度，也對推薦策略的優(yōu)化提出了挑戰(zhàn)。本文將深入剖析推薦系統(tǒng)中badcase的排查全流程，供大家參考。

在我從事推薦策略的歷史長河中，總有兩個靈魂問題常伴著我：

1.這篇為什么給我推？

這條內(nèi)容質(zhì)量太差/我明明點了負反饋/數(shù)據(jù)不好沒人看，為什么還給我推？

2.這篇為什么沒給我推？

我明明點擊并評論了某個電視劇的內(nèi)容，為什么后續(xù)沒有繼續(xù)給我推？

我在其他平臺都能刷到珠寶首飾內(nèi)容，為什么在你這就刷不到？

推薦是黑盒，排查起來并不容易。

早期當我接到badcase的時候，會有一種別扭、無力的感覺。一方面，推薦黑盒到抓任何一個開發(fā)來都無法描述其全貌。另一方面，推薦系統(tǒng)應(yīng)以數(shù)據(jù)導(dǎo)向，而不是badcase導(dǎo)向，不去計較一城一池的得失，方能實現(xiàn)整體數(shù)據(jù)的庫庫提升。話都沒錯，以至于我經(jīng)常用這些冠冕堂皇的理由搪塞過去。

但問題并沒有解決。

時隔三年，這次用badcase開篇，就是想警示自己：

1.不要先入為主地認為用戶在無理取鬧。弱小和無知不是排查的障礙，傲慢才是。

2.別被推薦系統(tǒng)唬住，懷著敬畏和耐心查到底，真相即便不在當下浮現(xiàn)，也會在下次、下下次本地調(diào)試的時候向你走來。

排查，并非是拒不掉的臟活兒，而是了解用戶、了解推薦的機會。

一、Badcase：為什么給我推？

用戶在抱怨的時候，通常認為這篇內(nèi)容：質(zhì)量不佳/不感興趣/低互動。

這條內(nèi)容質(zhì)量太差/我明明點了負反饋/數(shù)據(jù)不好沒人看，為什么還給我推？

質(zhì)量不佳的case，往往需要審核、運營、模型通力合作、上下一心，將低質(zhì)內(nèi)容標記出來，不管是粗暴過濾也好、做精細的用戶容忍度策略也罷，是個結(jié)構(gòu)性問題，這里不做展開。

不感興趣/低互動 這兩類排查方法一致。查已推薦出來的內(nèi)容，一般倒著看：用戶-接口-重排強插規(guī)則-精排-重排過濾規(guī)則、提權(quán)降權(quán)規(guī)則-過濾器-召回

這個問題相對來說比較好查，我直接羅列原因：

1. 是否是新用戶？新用戶階段，用戶行為很少很少甚至沒有，推薦把握不準興趣是正常的
2. 進入兜底或關(guān)閉推薦模式？推薦策略和模型失效
3. 重排規(guī)則性強插出來。通常見于運營策略、保量和試投策略，低互動內(nèi)容有可能在這里被拽上來
4. 精排模型打分排序高，被自然排序出來。如果是多目標的預(yù)估模型，還需要更詳細的分目標的預(yù)估分數(shù)日志，再進一步排查和這個目標相關(guān)的特征以及訓(xùn)練、歸一化的方式。比如互動預(yù)估分數(shù)很高，可以排查互動特征的可信度，是否容易被攻擊？
5. 為滿足重排對其他內(nèi)容的打散、提權(quán)、降權(quán)策略，把精排模型打分不怎么高的給排上來了
6. 過濾器或者降權(quán)沒有干掉這些內(nèi)容。badcase有重復(fù)推薦、相似推薦、低互動的內(nèi)容推薦、用戶點了負反饋仍繼續(xù)推薦、用戶持續(xù)不點擊還是推薦，這時候得分情況設(shè)計策略如強負反饋過濾、隱性負反饋降權(quán)
7. 召回這一步容錯率很高，故不會苛責召回，但如果大量用戶都出現(xiàn)了不該出現(xiàn)的內(nèi)容，召回可以抽象出來共性，作為改善方案之一

二、Badcase：為什么不給我推？

這幾乎是推薦系統(tǒng)中的無頭冤案了，需要從前往后查，甚至要追溯到盤古開天辟地之時。

用戶的抱怨通常分兩種：我點過的內(nèi)容沒給我推/其他平臺推的內(nèi)容沒給我推

我點過的內(nèi)容沒給我推

我明明點擊并評論了某個電視劇的內(nèi)容，為什么后續(xù)沒有繼續(xù)給我推這個電視?。?/p>

這時候的排查鏈路是：點擊歷史-召回-找排查標的-過濾器-粗排-精排-重排

1.排查用戶點擊、評論數(shù)據(jù)通路是否生效，端上埋點再到后臺的點擊歷史記錄是否正常。

2.排查應(yīng)用點擊計算用戶偏好的召回里是否有這類內(nèi)容。但我們手頭上沒有這類內(nèi)容的集合怎么辦？

3.先找內(nèi)容標的。用戶提供內(nèi)容id固然好，若是泛指，則需要我們自己搜羅。從內(nèi)容庫篩出具體特征，如標題、標簽或者類別包含某個關(guān)鍵詞，或者和他瀏覽內(nèi)容向量相近的內(nèi)容。你會得到內(nèi)容id的列表。將用戶的曝光歷史、瀏覽歷史和內(nèi)容id列表做比對，濾出用戶沒有曝光和瀏覽的內(nèi)容列表，作為排查標的。

要是發(fā)現(xiàn)篩不出來多少甚至沒有了，需要向上游提需求補充內(nèi)容，此刻推薦這邊排查基本結(jié)束。

有且有一大堆標的內(nèi)容，就繼續(xù)向下排查。

4.召回列表里沒有標的內(nèi)容

可以去排查某幾個重點召回的索引。索引里有內(nèi)容卻沒被召回，需要找召回開發(fā)一起排查，比如召回有做虛假點擊處理，或者召回排序沒有偏向這類內(nèi)容，上限滿了把這些內(nèi)容截斷了。若召回索引里也沒有，但我們標的內(nèi)容很充足。需檢查召回索引用的內(nèi)容池是否有這些內(nèi)容？這時候會發(fā)現(xiàn)內(nèi)容池的漏洞，補充上就完事了。

5.召回列表里有標的內(nèi)容，繼續(xù)排查是否被過濾器過濾，優(yōu)化過濾器。

6.過濾器清白，就排查粗排和精排，他倆對這類內(nèi)容打分可能不高。

涉及到黑盒的排序環(huán)節(jié)，需要開發(fā)協(xié)助排查。理論上，無論用戶興趣豐富與否，近幾次的點擊都是很好用的特征。

7.若是打分高呢？可能在重排環(huán)節(jié)被調(diào)了位置。這時候排查重排規(guī)則，通常是提權(quán)降權(quán)打散，可以適當做一些瘦身。

其他平臺推的內(nèi)容沒給我推

我在其他平臺都能刷到珠寶首飾內(nèi)容，為什么在你這就刷不到？

這時候原因還是比較明確的：這類內(nèi)容數(shù)據(jù)效果一般，自然也就很難協(xié)同出。

至于為什么效果一般，有可能是特征不夠準確，致使這些內(nèi)容都在試投階段飛蛾撲火；也有可能是生產(chǎn)質(zhì)量需要改進。改善這類內(nèi)容的數(shù)據(jù)效果需要和推薦策略同時進行。

策略層面如何托舉這類內(nèi)容，讓它更容易出來呢？增加探索強插固然見效快，但推薦是平衡沉浸感和新鮮感的藝術(shù)，更為推薦的方法是：補充特征讓它更容易被自然協(xié)同出來。珠寶是女性愛看的，看看珠寶內(nèi)容的消費數(shù)據(jù)有沒有很強的性別傾向性？可以考慮在精排模型增加用戶性別特征和內(nèi)容性別點擊率特征、增加用戶性別協(xié)同召回等等。如果還是出不來，說明這類內(nèi)容的數(shù)據(jù)效果還是無法脫穎而出，強扭的瓜不甜。在資源有限、產(chǎn)品有自己基因的前提下，上下游很難顧及所有品類。

三、寫在最后

用badcase創(chuàng)造goodcase，才是策略產(chǎn)品經(jīng)理的使命。記得用數(shù)據(jù)分析開場、用A/B測試數(shù)據(jù)優(yōu)雅收尾。

當然了，道理都懂，實際情況總有很多不得已。只愿你享受追尋真相的過程。