目前，基于大數(shù)據(jù)的推薦系統(tǒng)已經(jīng)成為了移動互聯(lián)網(wǎng)的研究熱點，本文介紹了評判推薦系統(tǒng)好壞的十個評價指標(biāo)。

隨著移動互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)中的信息量呈指數(shù)式增長，大量的商品、資訊、知識、視頻、音樂等內(nèi)容和資源可供用戶選擇，信息過載問題日益突出。

而推薦系統(tǒng)是解決信息過載最有效的方式，因此，基于大數(shù)據(jù)的推薦系統(tǒng)已經(jīng)成為了移動互聯(lián)網(wǎng)的研究熱點。

其實推薦系統(tǒng)在上世紀(jì)末就已經(jīng)出現(xiàn)了，亞馬遜在1998年就通過基于ITEM的協(xié)同過濾技術(shù)，為數(shù)百萬客戶提供商品選購建議。而學(xué)術(shù)界對于推薦系統(tǒng)的研究也一直在進(jìn)行著。

雖然隨著云計算、大數(shù)據(jù)、人工智能等新興科技的發(fā)展，算力、數(shù)據(jù)和算法的提升，使推薦系統(tǒng)的性能越來越好，但針對推薦系統(tǒng)的評價體系則基本保持了穩(wěn)定，只是各項指標(biāo)的精度在不斷提升。

了解推薦系統(tǒng)，可以從認(rèn)識推薦系統(tǒng)的評價指標(biāo)開始，主要包括以下十點：

一、用戶滿意度

用戶作為推薦系統(tǒng)的重要參與者，其滿意度是評測推薦系統(tǒng)的最重要指標(biāo)。

有時，互聯(lián)網(wǎng)企業(yè)會通過調(diào)查問卷的方式，或者是簡單的滿意或不滿意的按鈕，來獲得用戶的滿意度反饋。

但更多的時候，用戶滿意度是通過對用戶某些行為的統(tǒng)計進(jìn)行量化分析后計算出來的。比如在移動電商應(yīng)用中，用戶如果購買了推薦的商品，就表示他們在一定程度上滿意系統(tǒng)的推薦結(jié)果，而購買轉(zhuǎn)化率就可以用于度量用戶的滿意度。

此外，點擊率、分享率、收藏率、停留時間等指標(biāo)，也都可能在度量用戶滿意度方面具備一定的權(quán)重。

二、預(yù)測準(zhǔn)確度

預(yù)測準(zhǔn)確度只是泛泛的名稱，具體要看你希望預(yù)測什么內(nèi)容，例如預(yù)測用戶對系統(tǒng)推薦的電影的觀后評分？

或是預(yù)測系統(tǒng)推薦的歌曲列表中，用戶最終選擇了幾首加入到了他的歌單？

但總體來說，預(yù)測準(zhǔn)確度是度量一個推薦系統(tǒng)或者推薦算法在預(yù)測用戶行為的準(zhǔn)確性方面最重要的指標(biāo)。

提高預(yù)測準(zhǔn)確度通常依賴于算法和模型精度的提升，所以更具備學(xué)術(shù)層面的研究價值。大數(shù)據(jù)、機(jī)器學(xué)習(xí)等熱門技術(shù)，與預(yù)測準(zhǔn)確度之間的關(guān)系極為密切，彼此之間互相促進(jìn)，技術(shù)的發(fā)展推動了預(yù)測準(zhǔn)確度的提升，而似乎永無止境的對預(yù)測準(zhǔn)確度的提升需求，也帶動了技術(shù)層面的不斷投入。

三、覆蓋率

覆蓋率用來描述一個推薦系統(tǒng)對長尾內(nèi)容或商品的發(fā)掘能力。

關(guān)于覆蓋率的定義，最簡單的理解是推薦系統(tǒng)能夠推薦出來的物品，占平臺中全部物品的比例。

以圖文內(nèi)容推薦為例，自媒體作者可能會很關(guān)心他們的內(nèi)容有沒有被推薦給讀者，而對于覆蓋率達(dá)到100%的推薦系統(tǒng)，則意味著每篇內(nèi)容都被推薦給了至少一個用戶；但這對于僅提供熱門文章排行榜的系統(tǒng)來說。

例如一些大學(xué)論壇的首頁可能只顯示每日十大文章，這樣的推薦系統(tǒng)，它的覆蓋率是很低的。因為它只會推薦那些被大量閱讀的文章，而這些文章在所有文章中的占比非常小。

四、多樣性

用戶的興趣是非常廣泛的，在一個視頻應(yīng)用中，用戶可能既喜歡看燒腦電影，也喜歡看動作大片。

那么，為了滿足用戶廣泛的興趣，推薦列表需要能夠覆蓋用戶不同的興趣領(lǐng)域，即推薦結(jié)果需要具有多樣性。

想提升推薦系統(tǒng)的多樣性，就需要在較大的時間跨度上去識別和理解用戶的興趣。

五、新穎性

所謂新穎，就是指給用戶推薦那些他們以前沒有聽說過的內(nèi)容或商品，例如在視頻應(yīng)用中應(yīng)該盡可能多地向用戶推薦他們沒有看過的電影。

而考慮到很多用戶在某個應(yīng)用中的使用粘性可能并不高，例如一個用戶可能同時是多個視頻應(yīng)用的用戶，所以僅僅依靠用戶在自己系統(tǒng)中的行為記錄來保證推薦的新穎性是不夠的。

除此之外比較簡單方法是基于內(nèi)容或商品的平均流行度去進(jìn)行推薦，因為越不熱門的東西越可能讓用戶覺得新穎。

不過，向用戶推薦不流行的內(nèi)容或商品，其實是犧牲了一定的推薦精度的，所以我們需要權(quán)衡該指標(biāo)與其它指標(biāo)之間的平衡——這不僅在于技術(shù)層面的考量，可能也在于商業(yè)層面的考量。

六、驚喜度

所謂驚喜度，簡單的解釋就是：如果推薦結(jié)果和用戶的歷史興趣不相似，但卻能夠讓用戶覺得滿意，那么就可以說推薦結(jié)果的驚喜度很高。

想要兼顧推薦系統(tǒng)的驚喜度并不是一件容易的事情，因為這意味著需要降低推薦結(jié)果和用戶歷史興趣的相似度，所以可能會對預(yù)測準(zhǔn)確度帶來一定的挑戰(zhàn)。

但毫無疑問，用戶需要驚喜，這會極大提升用戶的滿意度和使用體驗，所以推薦系統(tǒng)對驚喜度的追求只會不斷提高，且還需要在不影響預(yù)測準(zhǔn)確度的前提下來實現(xiàn)。

七、信任度

所謂信任度，是指：用戶對推薦系統(tǒng)是否信任，是否愿意“聽取”推薦系統(tǒng)的“建議”，而不是幾乎無視推薦頻道或推薦列表的存在。

信任度對推薦系統(tǒng)的意義非常重大，因為基于用戶的信任推薦的內(nèi)容和商品，更能夠讓用戶產(chǎn)生興趣；而如果失去了用戶的信任，那么你推薦的任何內(nèi)容和商品，都會讓用戶覺得像是廣告，而難以產(chǎn)生興趣。

這就如同兩個人向你分別推薦同一件商品，一個人是你的朋友，而另一個人不是，你會聽誰的？

相比其它指標(biāo)，信任度多少有些感性，因此提升的方法也很多。例如可以考慮增加推薦系統(tǒng)的透明度；想辦法讓用戶了解推薦系統(tǒng)的運行機(jī)制，并得到用戶的認(rèn)可；甚至可以通過一些自媒體做一些宣傳；此外，例如在你推薦的內(nèi)容概要中，提示用戶“你的xx個朋友已經(jīng)閱讀過了”，也是一種間接提升推薦系統(tǒng)信任度的方法。

八、時效性

推薦系統(tǒng)的時效性包括兩個方面：

• 一方面是，在很多應(yīng)用中，因為內(nèi)容具有很強(qiáng)的時效性，所以需要在內(nèi)容還具有時效性時就將它們推薦給用戶；
• 而另一方面是，用戶的需求可能也具有一定的時效性，例如當(dāng)一個用戶剛剛在移動電商應(yīng)用中下單購買了一部新手機(jī)時，如果推薦系統(tǒng)能夠立即給他推薦相關(guān)配件，那么肯定比第二天再給用戶推薦相關(guān)配件更有價值，轉(zhuǎn)化率更高。

這兩個方面，前者更依賴被推薦的內(nèi)容本身，而后者則需要建立在對用戶行為實時分析的基礎(chǔ)上。

九、健壯性

任何一個能帶來利益的算法系統(tǒng)都會被人攻擊，例如搜索引擎的作弊和反作弊斗爭就異常激烈。

因為如果能讓自己的內(nèi)容或商品排在匹配某個搜索詞的搜索結(jié)果的第一位，那么就會帶來極大的用戶流量，也就意味著巨大的商業(yè)利益。

推薦系統(tǒng)也會遇到同樣的作弊問題，而健壯性（即魯棒性）指標(biāo)，則可以用來衡量了一個推薦系統(tǒng)抗擊作弊的能力。

強(qiáng)化推薦系統(tǒng)的健壯性，比較重要的方式就在于提升剔除噪聲數(shù)據(jù)的能力。畢竟大規(guī)模的攻擊，例如利用水軍攻擊影評網(wǎng)站的評分系統(tǒng)，其用戶行為與正常用戶會是有明顯區(qū)別的。所以想提升系統(tǒng)的健壯性，就應(yīng)該最大限度地識別出這些噪聲數(shù)據(jù)，并把他們的影響降到最低。

十、商業(yè)目標(biāo)

前面的九個指標(biāo)，有時候很難完全兼顧，甚至于有些指標(biāo)在某種程度上會形成一定程度的互斥關(guān)系。

而如何平衡這些指標(biāo)，則還需要從經(jīng)濟(jì)效益和商業(yè)目標(biāo)層面進(jìn)行綜合考慮。

此外，對于不同階段的產(chǎn)品，例如有的產(chǎn)品處于打磨試錯積累種子用戶階段；有的產(chǎn)品處于燒錢打市場階段；有的產(chǎn)品處于規(guī)?；A段，其推薦系統(tǒng)的策略也是會有所差異的。

本文由 @科技無憂 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自 Unsplash ，基于 CC0 協(xié)議