編輯導(dǎo)讀：本文作者依據(jù)工作中項(xiàng)目實(shí)踐的所思所想，結(jié)合案例等分享了推薦系統(tǒng)設(shè)計(jì)中內(nèi)容庫(kù)游戲標(biāo)簽的制作流程，并對(duì)過(guò)程中存在的一些問(wèn)題進(jìn)行了梳理分析，與大家分享。希望能給大家作為參考，并在工作中產(chǎn)生助益。

很幸運(yùn)，剛畢業(yè)就做了推薦策略產(chǎn)品經(jīng)理，更幸運(yùn)的是，公司的推薦系統(tǒng)剛剛起步自己就參與了進(jìn)去，算是一個(gè)從0-1的過(guò)程。以下實(shí)操項(xiàng)目中出現(xiàn)的數(shù)據(jù)都進(jìn)行了處理，與實(shí)際項(xiàng)目數(shù)據(jù)不一樣。

（鑒于保密問(wèn)題，以下所有數(shù)據(jù)均為處理過(guò)的數(shù)據(jù)，非真實(shí)數(shù)據(jù)）

01 項(xiàng)目背景

目前我們的內(nèi)容庫(kù)中只有不到20%的游戲有相應(yīng)的標(biāo)簽，且均為爬蟲(chóng)標(biāo)簽，覆蓋率低且臟數(shù)據(jù)較多，重復(fù)標(biāo)簽較多，同類型標(biāo)簽有很多種名稱，沒(méi)有固定的標(biāo)準(zhǔn)和規(guī)范，需要盡快建立自己的標(biāo)簽庫(kù)和標(biāo)簽標(biāo)準(zhǔn)，進(jìn)一步優(yōu)化推薦；

02 項(xiàng)目過(guò)程

1. 標(biāo)準(zhǔn)制定與階段優(yōu)化

之前的爬蟲(chóng)標(biāo)簽分為一級(jí)標(biāo)簽和二級(jí)標(biāo)簽，但因?yàn)橛螒蜻@一物品的特殊性，游戲的標(biāo)簽不應(yīng)該分級(jí)標(biāo)記，需要多種標(biāo)記方式，因此我們?cè)谶M(jìn)行游戲標(biāo)簽標(biāo)準(zhǔn)制定的時(shí)候，去掉了分級(jí)標(biāo)簽，而是通過(guò)游戲分類、玩法、題材、風(fēng)格等標(biāo)簽類對(duì)游戲進(jìn)行標(biāo)簽匹配，一個(gè)游戲?qū)?yīng)1到多個(gè)標(biāo)簽，且各個(gè)標(biāo)簽之間沒(méi)有父級(jí)關(guān)系，屬于并存關(guān)系；

1）一個(gè)游戲至少N+1個(gè)標(biāo)簽（也存在少數(shù)游戲不夠的情況），1個(gè)一級(jí)標(biāo)簽，N個(gè)二級(jí)標(biāo)簽，1個(gè)核心標(biāo)簽；

• 一級(jí)標(biāo)簽和二級(jí)標(biāo)簽并不是父類標(biāo)簽的關(guān)系，是相互補(bǔ)充的關(guān)系；
• 后期模型訓(xùn)練增加1個(gè)核心標(biāo)簽（基本上都是一級(jí)標(biāo)簽）；

2）標(biāo)記標(biāo)簽順序：80%是從游戲DAU降序在標(biāo)記，20%是新游戲

2. 數(shù)據(jù)導(dǎo)入與字段新增

• 歷時(shí)3個(gè)月，運(yùn)營(yíng)標(biāo)記標(biāo)簽覆蓋率提升了65%左右，且均按照制定的標(biāo)準(zhǔn)執(zhí)行；
• 從運(yùn)營(yíng)標(biāo)記標(biāo)簽達(dá)到一定量級(jí)時(shí)，就協(xié)助BI大數(shù)據(jù)的同學(xué)進(jìn)行字段新增以及內(nèi)容導(dǎo)入工作；
• 最后確定3個(gè)字段：游戲標(biāo)簽/游戲類別/核心標(biāo)簽；

3. 離線訓(xùn)練與結(jié)果輸出

覆蓋率達(dá)到一定范圍后，可以著手進(jìn)行離線模型訓(xùn)練，驗(yàn)證效果。目前進(jìn)行效果驗(yàn)證的主要方法就是對(duì)比離線AUC。

1）將測(cè)試集與訓(xùn)練集經(jīng)過(guò)一定比例進(jìn)行隨機(jī)拆分獲得；

2）通過(guò)增加不同的字段進(jìn)行訓(xùn)練：

• 單獨(dú)添加三個(gè)特征時(shí)，游戲標(biāo)簽的AUC提升最高，游戲類目提升次之，核心標(biāo)簽沒(méi)有提升反而數(shù)據(jù)存在下降；
• 同時(shí)添加三個(gè)特征時(shí)，訓(xùn)練效果最好，離線AUC增長(zhǎng)3%左右；
• 去除爬蟲(chóng)標(biāo)簽特征時(shí)，數(shù)據(jù)都有微小的下降，但下降非常小，可以忽略；

4. AB測(cè)試與結(jié)果閉環(huán)

基于離線數(shù)據(jù)，進(jìn)行線上AB測(cè)試，實(shí)驗(yàn)人數(shù)30萬(wàn)，實(shí)驗(yàn)時(shí)間范圍2周。實(shí)驗(yàn)結(jié)果：

• 人均游戲時(shí)長(zhǎng)增加2.5%，次留增加1%；
• 推薦頁(yè)面人均點(diǎn)擊次數(shù)提升7%，人均新游戲個(gè)數(shù)提升6%，人均廣告次數(shù)提升2%，推薦列表長(zhǎng)長(zhǎng)尾游戲占比提升；

03 項(xiàng)目復(fù)盤

1. 多渠道問(wèn)題解決

在制作自己的標(biāo)簽時(shí)，我們也并沒(méi)有只使用現(xiàn)有的爬蟲(chóng)標(biāo)簽，而是對(duì)爬蟲(chóng)標(biāo)簽進(jìn)行了策略優(yōu)化，進(jìn)行了爬蟲(chóng)標(biāo)簽的模糊匹配：

• 游戲包名會(huì)因?yàn)橥斗徘赖牟煌嬖诤缶Y不同、一個(gè)游戲多個(gè)包名的情況，導(dǎo)致爬蟲(chóng)標(biāo)簽和游戲包名不能一一對(duì)應(yīng)；
• 用游戲中文名進(jìn)行模糊匹配，取頻率最高的前三個(gè)標(biāo)簽；
• 進(jìn)行匹配后，爬蟲(chóng)標(biāo)簽覆蓋率增長(zhǎng)一倍多；

2. 基礎(chǔ)建設(shè)最重要

在最開(kāi)始0-1的過(guò)程一定要多方面考慮，詳細(xì)進(jìn)行計(jì)劃，制定的標(biāo)準(zhǔn)一定要全面、合理、精細(xì)、便于實(shí)施，我們前期標(biāo)準(zhǔn)的制定經(jīng)歷了很長(zhǎng)的時(shí)間，一直在打磨標(biāo)準(zhǔn)、不斷的優(yōu)化完善，推翻重來(lái)；這個(gè)階段不能怕麻煩，否則后面的階段問(wèn)題會(huì)越來(lái)越多；

3. 產(chǎn)品經(jīng)理是接口

產(chǎn)品經(jīng)理在項(xiàng)目的每個(gè)階段其實(shí)都不是最專業(yè)的，但卻是不可缺少的角色，需要時(shí)刻的注意業(yè)務(wù)的方向，并幫助各個(gè)專業(yè)同學(xué)厘清自己的業(yè)務(wù)方向，做一個(gè)合格的“接口”，順利連通每個(gè)環(huán)節(jié)，確保業(yè)務(wù)不斷前進(jìn)；

以上就是該項(xiàng)目的一些過(guò)程記錄，如果有感興趣的同學(xué)，歡迎私聊；

加油，打工人！

本文由 @王珂 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議。