如何構(gòu)建推薦系統(tǒng)的優(yōu)化目標(biāo)

1 評論 2538 瀏覽 23 收藏 14 分鐘

在推薦系統(tǒng)當(dāng)中,一旦策略產(chǎn)品經(jīng)理和算法工程師在商量與構(gòu)建優(yōu)化目標(biāo)不夠準確,這會帶來的后果就是和實際期望的效果南轅北轍、大相徑庭,甚至給整個公司業(yè)務(wù)目標(biāo)、商業(yè)收入帶來致命的影響。有一句話說的很好:如果一項技術(shù)本身是新穎并且先進的,但是應(yīng)用的方向和實際需求的方向有很大的偏差,那么這項技術(shù)的成果不可能是顯著的。

做策略產(chǎn)品在構(gòu)建你的目標(biāo)的時候,一定要像毛主席說的那樣“戰(zhàn)術(shù)上藐視敵人戰(zhàn)略上重視敵人”。切忌不能用戰(zhàn)術(shù)上的勤奮掩蓋戰(zhàn)略上的懶惰,所以合理設(shè)定與構(gòu)建推薦系統(tǒng)業(yè)務(wù)目標(biāo)建模應(yīng)該是推薦策略產(chǎn)品經(jīng)理需要再構(gòu)建推薦系統(tǒng)業(yè)務(wù)目標(biāo)排序的時候應(yīng)該首要考慮的問題,這也是Arthur在這里著重強調(diào)業(yè)務(wù)建模的重要性。這里以抖音短視頻、京東作為推薦系統(tǒng)的兩個案例,來講講內(nèi)容推薦場域、電商推薦場域下構(gòu)建優(yōu)化目標(biāo)建模的差異。

一、抖音短視頻以構(gòu)建有效觀看時長為優(yōu)化目標(biāo)的合理性

1.1 抖音短視頻現(xiàn)狀與背景

抖音短視頻的主要商業(yè)模式是通過免費視頻播放帶來的廣告收入(此處僅說明巨量廣告,非巨量千川廣告,CPM計費),其視頻廣告會在自然推薦的媒體視頻之間進行穿插,因此抖音本身的廣告收入適合用戶的觀看時長、下拉短視頻數(shù)量呈現(xiàn)正比關(guān)系的。因此為了達成抖音短視頻的商業(yè)目標(biāo),其優(yōu)化核心建模不是圍繞點擊率CTR、等傳統(tǒng)推薦系統(tǒng)意義上的CTR預(yù)估優(yōu)化目標(biāo),而是用戶的有效播放時長

圖1-1 抖音推薦系統(tǒng)

如上圖所示,我們邏輯推演與猜想下來看,用戶的點擊率CTR在數(shù)據(jù)分布上會與用戶的短視頻播放時長有一定的正相關(guān)性,但是兩者還是存在“用戶、物料特征”以及“優(yōu)化動機”上存在一定的差異。

圖1-2 抖音夸張式吸睛內(nèi)容

如果推薦系統(tǒng)是優(yōu)化點擊率來看的話,那么推薦系統(tǒng)模型側(cè)重就會以優(yōu)化——創(chuàng)意優(yōu)選/生成部分,推薦“標(biāo)題黨”、“吸睛眼球一跳”等虛假、色情類吸引眼球的短視頻,這一類短視頻的特點就是點擊率CTR賊高,但是用戶一旦發(fā)現(xiàn)虛假宣傳就會跳失,客戶觀看時長較短,對劣質(zhì)內(nèi)容缺少觀看下去的耐心。

圖1-3 抖音優(yōu)質(zhì)內(nèi)容

如果推薦系統(tǒng)是優(yōu)化觀看時長來看的話,更多的就需要考慮視頻本身的質(zhì)量、內(nèi)容的興趣度,用戶視頻的互動、好評以及視頻本身的長短特征內(nèi)容,此時推薦 優(yōu)質(zhì)的內(nèi)容 > 吸睛的內(nèi)容。

所以綜上述來看推薦目標(biāo)建模的差異其實就直接導(dǎo)致了推薦系統(tǒng)傾向性、特征工程等細節(jié)策略工作的不同,進而就直接影響了“增加用戶播放時長”這個集團商業(yè)化目標(biāo)。

1.2 Youtube在推薦系統(tǒng)排序模型設(shè)計

我們借助Youtube在推薦系統(tǒng)模型來距離推演一下(抖音與youtube在優(yōu)化視頻優(yōu)化目標(biāo)上有一定的相似性,因此可以作為借鑒),引入播放時長作為優(yōu)化目標(biāo)。其本質(zhì)還是把推薦視頻的問題看做是一個分類問題對待,也就是預(yù)測用戶是否點擊某個視頻。

這一點大家肯定會比較好奇,Arhtur的老粉應(yīng)該知道,預(yù)測短視頻的播放時長應(yīng)該是個回歸問題(預(yù)測離散數(shù)值),而不是個分類問題。Youtube巧妙就在于其把播放時長轉(zhuǎn)化成了正樣本的權(quán)重,輸出層再利用加權(quán)的邏輯回歸進行訓(xùn)練,預(yù)測過程中利用算式來計算樣本的概率,這個概率就是模型對播放時長的預(yù)測,這就完美的把邏輯回歸輸出的結(jié)果映射成了對于觀看時長的預(yù)測。

圖1-4 Youtube推薦模型框架設(shè)計

從左往右的部分用的是依次是視頻觀看的低維稠密embedding向量,包括歷史看過的視頻id,曝光視頻id、互動行為下的視頻id等等然后做平均池化。第二個是語言Embedding,主要是用戶語言以及視頻語言。第三個是對上次觀看時間進行歸一化。第四個是對已經(jīng)曝光次數(shù)進行歸一化。

由此而看,視頻對于播放時長的預(yù)測是符合抖音、Youtube視頻類型廣告盈利模式和商業(yè)價值的,制定一個合理的優(yōu)化目標(biāo)對于推薦系統(tǒng)實現(xiàn)商業(yè)目標(biāo)是關(guān)鍵而且非常有必要的。

二、淘寶、京東電商推薦系統(tǒng)以構(gòu)建點擊轉(zhuǎn)化率為優(yōu)化目標(biāo)的合理性

2.1 電商場域構(gòu)建點擊轉(zhuǎn)化率優(yōu)化目標(biāo)的難點

在淘寶等電商類網(wǎng)站做推薦,用戶從登陸到購買的過程可以劃分為兩步:

第一步,商品發(fā)生曝光行為,用戶點擊后進入商品詳情落地頁。

第二步,用戶在商品內(nèi)頁發(fā)生成交、下單行為。

電商網(wǎng)站推薦系統(tǒng)的商業(yè)目標(biāo)是通過推薦使用用戶產(chǎn)生更多的點擊、購買行為。所以如果按照這個商業(yè)建模目標(biāo)來說應(yīng)該是一個CVR預(yù)估模型。

圖1-5 淘寶、京東推薦系統(tǒng)

但是大家應(yīng)該有所發(fā)現(xiàn),下單成交的行為其實是發(fā)生在了第二步,故推薦CVR模型在進行訓(xùn)練的時候光訓(xùn)練點擊后的成交轉(zhuǎn)化行為樣本其實是脫節(jié)的——客戶并不是登陸電商APP就直接到了商品詳情頁,一定是曝光一跳頁面點擊發(fā)生之后預(yù)估轉(zhuǎn)化CVR模型才會有效。如果直接在一跳創(chuàng)意信息流情形暴力預(yù)估轉(zhuǎn)化率CVR,肯定會有預(yù)估偏差,導(dǎo)致效果與目標(biāo)的不一致問題。

圖1-6 訓(xùn)練空間和預(yù)測空間不一致問題

如1-6所示,點擊Click點擊 -> Conversion轉(zhuǎn)化Impression展現(xiàn) -> Click點擊,存在樣本空間銜接,但是本身是相互獨立的,兩者沒有完全的正相關(guān)關(guān)系,所需要的樣本、模型需要的特征、屬性都是不一樣的。例如點擊可能只是看用的興趣,可以用比較吸引眼球的創(chuàng)意 99%的人都在賣,100%好評,70%的都在回購等。但是成交考慮的特征可能更多的就是物品的優(yōu)惠程度、用戶的消費力等特征。

所以,最佳的思路方法還是分兩步來構(gòu)建模型,第一步構(gòu)建CTR點擊率預(yù)估模型,第二步構(gòu)建點擊轉(zhuǎn)化的CVR預(yù)估模型。這個方法有個缺陷就在于第一步CTR模型預(yù)估其實和最終的優(yōu)化目標(biāo)是脫節(jié)的,因為問題的最終是希望優(yōu)化下單成交而不是點擊,在第一步只考慮點擊數(shù)據(jù)顯然不是全局最優(yōu)。

2.2 阿里的多目標(biāo)優(yōu)化模型ESSM

為了同時達到電商場景的上述兩階段目標(biāo),阿里提出了多目標(biāo)ESSMM模型(Entire Space Multi-task Model)。其同時模擬優(yōu)化CTR、CVR兩個階段。

圖1-7 ESSM優(yōu)化模型架構(gòu)圖

上述為阿里的ESSM模型,最下層分別是CVR預(yù)估模型用戶域、商品域EmbeddingCTR預(yù)估模型用戶域、商品域Embedding,兩者中間的Shared Lookup Table是通過標(biāo)的形式共享Embedding的內(nèi)容,目的就是為了解決CVR因為正樣本系數(shù)的問題,利用CTR數(shù)據(jù)生成更加準確的用戶和物品的特征向量表達。

中間的神經(jīng)網(wǎng)絡(luò)域感知池化層、多層感知機,兩個目標(biāo)的模型各自獨立完全隔離,去擬合各自的優(yōu)化目標(biāo)pCVR和pCTR,最終在最上部分預(yù)估點擊率pCTR預(yù)估轉(zhuǎn)化率pCVR相乘得到最后的結(jié)果預(yù)估點擊轉(zhuǎn)化率pCTCVR,兩者之間的關(guān)系如下圖所示。

pCTCVR是左側(cè),指代一個條件概率事件,首先必須要發(fā)生曝光點擊行為,即p(y = 1 | x),再來計算CVR轉(zhuǎn)化概率。ESSM即同時將pCVR、pCTR以及pCTCVR三個目標(biāo)統(tǒng)一融入到一個模型當(dāng)中,可以得出三個優(yōu)化目標(biāo)的值,可以根據(jù)對應(yīng)的目標(biāo)場景預(yù)測對應(yīng)的值,一個多目標(biāo)優(yōu)化的模型即解決前面說的“訓(xùn)練樣本的空間和模型預(yù)估優(yōu)化空間不一致”的問題,同時也實現(xiàn)了曝光點擊和點擊轉(zhuǎn)化的全局優(yōu)化效果。

三、關(guān)于推薦系統(tǒng)構(gòu)建優(yōu)化目標(biāo)因地制宜的一些思考與總結(jié)

所以從上述的例子可以看出來,無論是抖音、YouTube,還是淘寶、京東,推薦系統(tǒng)的應(yīng)用場景和真正的商業(yè)目標(biāo)其實是有差異的,并不是推薦系統(tǒng)可以“一招鮮吃遍天”的方式進行優(yōu)化,所有的推薦系統(tǒng)都按照一個優(yōu)化目標(biāo)方向都采用統(tǒng)一的模型去優(yōu)化

很多策略產(chǎn)品、算法工程師都是直接調(diào)研照抄行業(yè)最領(lǐng)先的模型,表示“阿里用的就是這個,你別管做完實驗推全就行了”,這是典型的沒有將實際業(yè)務(wù)場景和策略目標(biāo)相結(jié)合。

為什么一直鼓勵大家一定要距離業(yè)務(wù)更近一點?對業(yè)務(wù)目標(biāo)建模后面才是我們運用“策略”這個工具幫助我們高效去實現(xiàn)業(yè)務(wù)目標(biāo)的達成,每一個策略產(chǎn)品首要遵循的原則就是結(jié)合公司業(yè)務(wù)發(fā)展的階段與場景,來實現(xiàn)優(yōu)化目標(biāo)的落地,這不是一個純粹的系統(tǒng)性技術(shù)問題,而是多方協(xié)調(diào)一致的結(jié)果,需要產(chǎn)品、運營,前臺內(nèi)容團隊共同協(xié)商達成的結(jié)果,只有確定好優(yōu)化目標(biāo),技術(shù)團隊才可以轉(zhuǎn)型的致力于模型的改進和調(diào)整,上下同心去解決公司的也目標(biāo),避免戰(zhàn)略性的錯誤和失敗,提高各方效率。

最后,還是一句建議給到策略產(chǎn)品經(jīng)理的小伙伴們:戰(zhàn)術(shù)上藐視敵人戰(zhàn)略上重視敵人,切忌不能用戰(zhàn)術(shù)上的勤奮掩蓋戰(zhàn)略上的懶惰。如果有幫助大家希望大家?guī)兔c贊、評論與收藏,這個對我很重要。

本文由 @策略產(chǎn)品Arthur 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自 Unsplash,基于 CC0 協(xié)議

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 是技術(shù)轉(zhuǎn)產(chǎn)品的嗎?感覺對技術(shù)的理解很深入,厲害厲害

    來自重慶 回復(fù)