本次調(diào)研的目的在于發(fā)現(xiàn)「今日頭條」推薦文章模塊中未達(dá)理想態(tài)的case，并從多維度多方面分析背后的原因，以及進(jìn)一步給出解決方案與優(yōu)化建議。

策略產(chǎn)品已經(jīng)是一門體系較為完善的學(xué)科，想學(xué)習(xí)的小伙伴可以通過(guò)搜索引擎查找相關(guān)課程。本系列文章不講方法論，只分享親手分析的案例。著重展示具體思路，希望可以為大家?guī)?lái)啟發(fā)。

調(diào)研時(shí)間：2018.11

調(diào)研對(duì)象：今日頭條>推薦文章模塊

調(diào)研方式：抽樣分析

調(diào)研目標(biāo)：發(fā)現(xiàn)未達(dá)理想態(tài)case；分析原因，制定解決方案

一、今日頭條推薦系統(tǒng)概述

1. 推薦維度

如果用形式化的方式去描述實(shí)際上是擬合一個(gè)用戶對(duì)內(nèi)容滿意度的函數(shù)，這個(gè)函數(shù)需要輸入三個(gè)維度的變量。

1. 內(nèi)容：頭條是一個(gè)綜合內(nèi)容聚合平臺(tái)，圖文、視頻、UGC小視頻、問(wèn)答、微頭條，每種內(nèi)容有很多自己的特征，需要考慮怎樣提取不同內(nèi)容類型的特征做好推薦。
2. 用戶特征：包括各種興趣標(biāo)簽，職業(yè)、年齡、性別等，還有很多模型刻劃出的隱式用戶興趣等。
3. 環(huán)境特征：這是移動(dòng)互聯(lián)網(wǎng)時(shí)代推薦的特點(diǎn)，用戶隨時(shí)隨地移動(dòng)，在工作場(chǎng)合、通勤、旅游等不同的場(chǎng)景，信息偏好有所偏移。

2. 人為干預(yù)（無(wú)法量化的目標(biāo)）

• 廣告＆特型內(nèi)容頻控
• 低俗內(nèi)容打壓＆頻控
• 標(biāo)題黨、低質(zhì)內(nèi)容打壓
• 重要新聞置頂＆強(qiáng)插＆加權(quán)
• 低級(jí)別帳號(hào)內(nèi)容降權(quán)

3. 典型推薦特征

4. 用戶標(biāo)簽

用戶興趣特征最直觀的是基于點(diǎn)擊的內(nèi)容標(biāo)簽，內(nèi)容標(biāo)簽有相關(guān)的數(shù)據(jù)處理策略

1. 過(guò)濾噪聲：通過(guò)停留時(shí)間短的點(diǎn)擊，過(guò)濾標(biāo)題黨。
2. 熱點(diǎn)懲罰：對(duì)用戶在一些熱門文章上的動(dòng)作做降權(quán)處理。理論上，傳播范圍較大的內(nèi)容，置信度會(huì)下降。
3. 時(shí)間衰減：用戶興趣會(huì)發(fā)生偏移，因此策略更偏向新的用戶行為。因此，隨著用戶動(dòng)作的增加，老的特征權(quán)重會(huì)隨時(shí)間衰減，新動(dòng)作貢獻(xiàn)的特征權(quán)重會(huì)更大。
4. 懲罰展現(xiàn)：如果一篇推薦給用戶的文章沒(méi)有被點(diǎn)擊，相關(guān)特征（類別，關(guān)鍵詞，來(lái)源）權(quán)重會(huì)被懲罰。當(dāng)然同時(shí)，也要考慮全局背景，是不是相關(guān)內(nèi)容推送比較多，以及相關(guān)的關(guān)閉和dislike信號(hào)等。

5. 消重＆時(shí)效

1）相同文章消重

• 申明原創(chuàng)，文章會(huì)作為主要推薦。
• 沒(méi)有勾選原創(chuàng)，或者原創(chuàng)沒(méi)通過(guò)。在時(shí)效期內(nèi)（24小時(shí)、72小時(shí)、一周，根據(jù)新聞熱度的不同來(lái)定）頭條可能選擇更權(quán)威的號(hào)作為來(lái)源。

2）相似主題消重

熱點(diǎn)事件只需要幾篇文章覆蓋到整個(gè)事件就可以了。

二、需求分析

1. 業(yè)務(wù)需求分析

內(nèi)容聚合平臺(tái)的核心功能是高效地為用戶分發(fā)內(nèi)容，促使用戶觀看更多內(nèi)容，在平臺(tái)逗留更長(zhǎng)時(shí)間，并與內(nèi)容作者及其他用戶進(jìn)行社交互動(dòng)。

聚合平臺(tái)向用戶分發(fā)內(nèi)容的方式可以分為平臺(tái)主動(dòng)推送和用戶主動(dòng)尋找。

主動(dòng)推送方式主要是智能推薦引擎。

用戶尋找主要是通過(guò)以下幾點(diǎn)實(shí)現(xiàn)：

• 在搜索欄進(jìn)行關(guān)鍵詞搜索（搜索策略、文章詳情頁(yè)中展示“相關(guān)搜索”）
• 菜單導(dǎo)航（我的頻道、頻道推薦）
• 查看關(guān)注作者動(dòng)態(tài)（關(guān)注用戶、關(guān)注頻道）
• 平臺(tái)熱門內(nèi)容模塊（熱點(diǎn)頻道、其他模塊人為干預(yù)的滲透）
• 平臺(tái)推薦內(nèi)容模塊（本次調(diào)研對(duì)象）

推薦模塊的業(yè)務(wù)需求是通過(guò)合理篩選并展示內(nèi)容或作者信息，方便用戶快速找到這些內(nèi)容。

2. 用戶需求分析

今日頭條用戶畫像：

從年齡、城市分布來(lái)看，18-30歲人群占到近86%，二線城市及以下占近73%。18-23歲主要是大學(xué)階段，24-30歲則多是職場(chǎng)執(zhí)行層，同時(shí)又處在競(jìng)爭(zhēng)相對(duì)不那么激烈的小城市，他們都有一個(gè)共同的特點(diǎn)——閑。

閑就需要娛樂(lè)，頭條在一定程度上補(bǔ)充了這部分需求，同時(shí)又提供大量的新聞資訊，滿足用戶獲得信息的需求。

用戶需要一種高效的手段來(lái)快速找到自己喜歡看的內(nèi)容。除了平臺(tái)智能推薦引擎、菜單導(dǎo)航、搜索欄、關(guān)注頁(yè)以外，用戶還可以通過(guò)推薦模塊快速找到優(yōu)質(zhì)內(nèi)容。

三、定義理想態(tài)

1. 理想態(tài)定義

在【科技】頻道中，用戶瀏覽完一篇文章后，推薦用戶在當(dāng)前最感興趣的或者與這個(gè)內(nèi)容最相似的一個(gè)內(nèi)容。

2. 核心指標(biāo)及拆解

“用戶瀏覽完一篇文章”的影響因素：用戶畫像、首頁(yè)推薦策略。

“在推薦模塊快速高效的找到感興趣內(nèi)容”的場(chǎng)景：

• 用戶對(duì)當(dāng)前文章感興趣，在推薦模塊中找到了相似的內(nèi)容（內(nèi)容相關(guān)性）
• 用戶對(duì)當(dāng)前文章感興趣，在推薦模塊中找到了不相關(guān)但是更感興趣的內(nèi)容（多樣性、協(xié)同過(guò)濾、用戶畫像）
• 用戶對(duì)當(dāng)前文章不感興趣，在推薦模塊中找到了不相關(guān)但是感興趣的內(nèi)容（多樣性）
• 用戶在推薦模塊中看到已經(jīng)看過(guò)的內(nèi)容（消重＆時(shí)效）
• 用戶沒(méi)有看到推薦模塊（覆蓋）
• 用戶點(diǎn)擊推薦模塊后，在推薦內(nèi)容詳情頁(yè)的行為，體現(xiàn)出其是真的感興趣還是被標(biāo)題迷惑（滿意度）

在拆解指標(biāo)時(shí)，只考慮不受其他策略影響的情況，否則沒(méi)辦法準(zhǔn)確定位問(wèn)題。因此在抽樣調(diào)研過(guò)程中，我們都假設(shè)用戶看完了樣本文章并滑動(dòng)到了推薦文章模塊。

3. 核心指標(biāo)

（1）點(diǎn)擊率

推薦模塊第一條＞40%、第二條＞20%（基于sense的決策，通過(guò)實(shí)際數(shù)據(jù)分析調(diào)整）

（2）滿意度

通過(guò)用戶行為指標(biāo)量化得分

（3）多樣性

• 一級(jí)標(biāo)簽相同（相似）數(shù)量≤2，
• 二級(jí)、三級(jí)標(biāo)簽相同（相似）數(shù)量≤3

滿意度＆多樣性在無(wú)數(shù)據(jù)時(shí)的衡量方案：

根據(jù)之前調(diào)研時(shí)得到的數(shù)據(jù)，內(nèi)容數(shù)據(jù)（視頻播放量、點(diǎn)贊數(shù)、評(píng)論數(shù)、轉(zhuǎn)發(fā)量、相關(guān)搜索、是否原創(chuàng)等）、作者數(shù)據(jù)（發(fā)布帳號(hào)、簡(jiǎn)介、是否認(rèn)證、認(rèn)證信息、粉絲數(shù)、發(fā)布數(shù)、獲贊數(shù)）并沒(méi)有直觀的展示出其與推薦內(nèi)容及排序的關(guān)系。本次調(diào)研中此類字段，對(duì)應(yīng)上文核心指標(biāo)中的用戶滿意度，簡(jiǎn)化成對(duì)應(yīng)得分。

內(nèi)容質(zhì)量：通過(guò)可獲取的內(nèi)容信息、作者信息、用戶與內(nèi)容、作者互動(dòng)的數(shù)據(jù)，佐證內(nèi)容質(zhì)量。

內(nèi)容＆作者標(biāo)簽/主題：內(nèi)容標(biāo)簽的層級(jí)是相對(duì)的，通過(guò)系統(tǒng)定義標(biāo)簽與自定義標(biāo)簽對(duì)比，層級(jí)關(guān)系如【體育】>【足球】>【中國(guó)足球】。

每個(gè)內(nèi)容都應(yīng)最少定義出相同或不同層級(jí)的3個(gè)標(biāo)簽。

暫定推薦模塊中，前2條內(nèi)容主要負(fù)責(zé)內(nèi)容相關(guān)，內(nèi)容質(zhì)量要求適當(dāng)放低；后3條內(nèi)容負(fù)責(zé)內(nèi)容多樣。

內(nèi)容相關(guān)：推薦模塊第一條內(nèi)容相關(guān)分＞5，第二條內(nèi)容相關(guān)分＞3；內(nèi)容質(zhì)量分＞3

內(nèi)容多樣：內(nèi)容質(zhì)量分＞5，內(nèi)容相關(guān)分≤3

（4）覆蓋

推薦模塊覆蓋率達(dá)到80%（基于sense的決策，通過(guò)實(shí)際數(shù)據(jù)分析調(diào)整）

（5）消重

在推薦模塊的5個(gè)內(nèi)容中，沒(méi)有重復(fù)內(nèi)容（“重復(fù)內(nèi)容”和“相似內(nèi)容”通過(guò)內(nèi)容識(shí)別機(jī)制量化定義）

• 重復(fù)內(nèi)容≤1
• 相似內(nèi)容≤2

（6）時(shí)效

推薦內(nèi)容的發(fā)布時(shí)間與推送時(shí)間間隔不超過(guò)其對(duì)應(yīng)的時(shí)間節(jié)點(diǎn)

• 有時(shí)效性的新聞資訊內(nèi)容：24小時(shí)、72小時(shí)和7天
• 無(wú)時(shí)效性的內(nèi)容：暫定90天

4. 外部因素

a.用戶持續(xù)使用時(shí)長(zhǎng)

根據(jù)公開數(shù)據(jù)，今日頭條用戶平均使用時(shí)長(zhǎng)為76分鐘左右。在超過(guò)用戶習(xí)慣的瀏覽時(shí)長(zhǎng)后，用戶的跳出是基于規(guī)律和習(xí)慣，并不能代表對(duì)推薦內(nèi)容不感興趣。

理想態(tài)中定義的【科技】只是平臺(tái)內(nèi)容中的一個(gè)頻道，通常用戶不會(huì)每次只瀏覽一個(gè)頻道的內(nèi)容。因此在單一頻道中對(duì)用戶平均使用時(shí)長(zhǎng)的預(yù)估還要減少。暫定30分鐘，用戶持續(xù)使用超過(guò)30分鐘后，跳出行為不在分析范圍內(nèi)。

b.使用過(guò)程中被打斷

用戶在使用過(guò)程中出現(xiàn)斷網(wǎng)、網(wǎng)絡(luò)信號(hào)差、鎖屏、殺死進(jìn)程、低電量關(guān)機(jī)、接入電話等客觀情況時(shí)，會(huì)打斷用戶的瀏覽行為，并不代表用戶主觀上對(duì)瀏覽內(nèi)容的好惡，因此此類情況同樣不在分析范圍內(nèi)。

c.推薦內(nèi)容為視頻

部分推薦文章中包含視頻內(nèi)容

• 聯(lián)網(wǎng)狀態(tài)：在聯(lián)網(wǎng)狀態(tài)下，進(jìn)入詳情頁(yè)時(shí)頁(yè)面會(huì)自動(dòng)播放。如果用戶處在不方便發(fā)出聲音的場(chǎng)合，便會(huì)立即關(guān)掉。此類情況，停留時(shí)長(zhǎng)不代表用戶對(duì)內(nèi)容的好惡。因此此類情況不在分析范圍內(nèi)。
• 流量狀態(tài)：在流量狀態(tài)下，進(jìn)入詳情頁(yè)會(huì)讓用戶選擇“流量觀看”和“我要免流量”，用戶選擇“流量觀看”，則其觀看時(shí)長(zhǎng)給予一定的權(quán)重提升。如果用戶選擇“我要免流量”而跳入其他流程，則不在分析范圍內(nèi)。

四、抽樣分析

1. 調(diào)研目標(biāo)

分析平臺(tái)【科技】頻道下，推薦模塊的推薦策略，通過(guò)調(diào)研及分析找到現(xiàn)有推薦策略存在的問(wèn)題，給出優(yōu)化方案。

2. 抽樣對(duì)象＆抽樣數(shù)量

【科技】頻道中的15篇文章，記錄各自對(duì)應(yīng)的推薦內(nèi)容。

3. 抽樣方式

模擬用戶瀏覽場(chǎng)景，按FEED流降序抽取樣本。

局限性：由流程圖可以看出頁(yè)面跳轉(zhuǎn)邏輯，在推薦內(nèi)容是文章時(shí)，點(diǎn)擊返回直接跳轉(zhuǎn)回首頁(yè)，每次跳轉(zhuǎn)頁(yè)面都會(huì)刷新，推薦模塊內(nèi)容均會(huì)產(chǎn)生變化，因此無(wú)法獲取第一次進(jìn)入樣本詳情頁(yè)中推薦模塊的全部?jī)?nèi)容信息。（搜索無(wú)法確認(rèn)發(fā)布賬號(hào)）

4. 樣本分析＆標(biāo)注

用戶標(biāo)簽：深圳、男

用戶行為：瀏覽【健康】【科技】類文章較多，少量【娛樂(lè)】【歷史】類文章；多次重復(fù)瀏覽相同內(nèi)容。平均停留時(shí)間小于30S。

抽樣環(huán)境：周日15：00~周一1：00，iPone6SP

5. 整理匯總問(wèn)題

未達(dá)理想態(tài)

（1）內(nèi)容質(zhì)量低

很多雞湯文都會(huì)掛著馬云等科技大佬的旗號(hào)吸引用戶點(diǎn)擊，用戶對(duì)內(nèi)容的興趣不是基于科技相關(guān)話題，而是人物的社會(huì)標(biāo)簽、財(cái)富等因素。標(biāo)題黨、震驚體的標(biāo)題雖然措辭程度有所收斂，但是如果把內(nèi)容質(zhì)量的標(biāo)準(zhǔn)稍微上升一些，但是有很大一部分的內(nèi)容無(wú)法通過(guò)審核。

不同用戶對(duì)內(nèi)容的感知也是不同，但是如果用戶覺(jué)得看到的內(nèi)容質(zhì)量低，但是又沒(méi)辦法通過(guò)瀏覽過(guò)的低質(zhì)量?jī)?nèi)容找到高質(zhì)量?jī)?nèi)容，用戶會(huì)選擇跳出平臺(tái)。

（2）內(nèi)容相關(guān)性差＆內(nèi)容多樣性差＆標(biāo)簽缺失

【內(nèi)容相關(guān)性差】和【內(nèi)容多樣性差】主要有4點(diǎn)原因

1. 【標(biāo)簽缺失】的直觀展示效果。標(biāo)簽定義太少，不夠聚焦。如果標(biāo)簽是高頻詞，會(huì)導(dǎo)致匹配到大量弱相關(guān)的內(nèi)容；如果標(biāo)簽不是高頻詞，會(huì)導(dǎo)致匹配到很少的內(nèi)容。
2. 樣本文章的標(biāo)簽錯(cuò)誤或標(biāo)簽缺失，導(dǎo)致與之匹配的推薦內(nèi)容出現(xiàn)偏差
3. 推薦引擎排序沒(méi)有明顯規(guī)則，把【多樣性內(nèi)容】排到了【相關(guān)性內(nèi)容】的位置
4. 多樣性不夠多樣。在推薦的其他主題內(nèi)容中：【娛樂(lè)】5個(gè)，【房產(chǎn)】3個(gè) ，【歷史】4個(gè) ，【美食】1個(gè) ，【文化】1個(gè) 。推薦主題覆蓋率只有10%左右，不利于冷啟動(dòng)。

（3）覆蓋率低

部分文章下沒(méi)有推薦內(nèi)容，尤其是在FEED流頂部新刷出來(lái)的內(nèi)容。有可能是沒(méi)有及時(shí)為文章定義標(biāo)簽。

（4）消重

某種程度上和【標(biāo)簽缺失】是互斥的問(wèn)題，在本次抽樣中未定位到。完善內(nèi)容標(biāo)簽后，需要重點(diǎn)關(guān)注。

（5）時(shí)效

本次抽樣未定位到。本次因?yàn)闉g覽行為的影響，抽樣中段推薦了大量科技側(cè)重商業(yè)方向的內(nèi)容，該類內(nèi)容不受時(shí)效性影響。理想態(tài)的定義是90天，如果縮短到60天則會(huì)有部分內(nèi)容觸發(fā)時(shí)效。

不同的頻道、不同層級(jí)的標(biāo)簽都要精細(xì)化設(shè)置對(duì)應(yīng)的時(shí)效限制。

6. 其他影響因素

a.樣本文章內(nèi)容標(biāo)簽＆內(nèi)容分發(fā)

樣本文章與頻道定位不符，導(dǎo)致推薦的【相關(guān)內(nèi)容】偏離頻道定位

b.推薦模型

在抽樣時(shí)，發(fā)現(xiàn)推薦模塊中相同的內(nèi)容刷新后會(huì)調(diào)整排序

在推薦模塊有明確的策略定位時(shí)，建議區(qū)分出【相關(guān)內(nèi)容】和【多樣內(nèi)容】模塊，推薦模型分別推薦，各自的內(nèi)容在其對(duì)應(yīng)模塊中調(diào)整排序。推薦模塊整體消重。

7. 交互邏輯

推薦文章和推薦視頻混合在推薦模塊呈現(xiàn)，信息層級(jí)上給用戶的感知是一致的。但是在推薦文章頁(yè)點(diǎn)擊返回直接跳回了FEED流，在推薦視頻頁(yè)點(diǎn)擊返回是按路徑返回到當(dāng)前文章詳情頁(yè)。雖然提升了當(dāng)前文章的點(diǎn)擊量等數(shù)據(jù)，但是虛漲的數(shù)據(jù)同樣對(duì)算法造成了干擾。

交互邏輯如此設(shè)計(jì)的原因分析：

（1）頭條對(duì)于內(nèi)容模塊的定位以及對(duì)用戶瀏覽路徑的引導(dǎo)

不需要用戶喜歡全部5個(gè)推薦內(nèi)容，只要有一個(gè)吸引用戶點(diǎn)擊即可；瀏覽結(jié)束后返回首頁(yè)，使最成熟的首頁(yè)推薦引擎作用最大化。但是這無(wú)法解釋為何視頻和文章的跳轉(zhuǎn)邏輯不同。

（2）實(shí)時(shí)推薦的顆粒度，不要太敏感，給用戶反應(yīng)的時(shí)間

根據(jù)用戶實(shí)時(shí)行為（或?qū)崟r(shí)綜合其他相似用戶行為）豐富用戶畫像，提升推薦準(zhǔn)確性，刷新出推薦權(quán)重更高的內(nèi)容。

但是對(duì)于用戶來(lái)說(shuō)，如果在點(diǎn)擊推薦模塊其中一個(gè)內(nèi)容時(shí)，已經(jīng)看到了5個(gè)推薦內(nèi)容的標(biāo)題，如果用戶對(duì)多個(gè)內(nèi)容感興趣，就會(huì)打斷用戶的瀏覽體驗(yàn)，影響用戶的安全感。

五、優(yōu)化方案

六、優(yōu)先級(jí)判斷

1. 完善內(nèi)容審核制度

項(xiàng)目收益大、項(xiàng)目成本大，優(yōu)先級(jí)高。

屬于緊急問(wèn)題，是建立良好內(nèi)容生態(tài)最關(guān)鍵的一環(huán)，要建立完善合理的審核制度，使平臺(tái)中的內(nèi)容質(zhì)量得到保障，維護(hù)在用戶心中的良好形象，防止被政策打壓。

2. 內(nèi)容分類策略優(yōu)化

項(xiàng)目短期收益小，長(zhǎng)期收益大，項(xiàng)目成本由策略的逐漸完善而從大到小，優(yōu)先級(jí)高。

7個(gè)問(wèn)題中，有4個(gè)問(wèn)題與內(nèi)容分類有關(guān)，而且完善策略是一個(gè)長(zhǎng)期持續(xù)的過(guò)程，所以要重視并努力壓縮這個(gè)過(guò)程。

3. 內(nèi)容分發(fā)策略優(yōu)化

項(xiàng)目短期收益小，長(zhǎng)期收益大，項(xiàng)目成本由策略的逐漸完善而從大到小，優(yōu)先級(jí)中。

7個(gè)問(wèn)題中，有5個(gè)問(wèn)題與內(nèi)容分發(fā)有關(guān)，而且完善策略是一個(gè)長(zhǎng)期持續(xù)的過(guò)程，所以要重視并努力壓縮這個(gè)過(guò)程。但是內(nèi)容分發(fā)不僅僅是內(nèi)容因素決定，更要考慮用戶行為與環(huán)境等因素。因此在對(duì)內(nèi)容相關(guān)性的調(diào)研上，并不能對(duì)內(nèi)容分發(fā)策略做出特別準(zhǔn)確的評(píng)判，因此優(yōu)先級(jí)中。

4. 內(nèi)容推薦策略優(yōu)化

項(xiàng)目短期收益大，長(zhǎng)期收益大，項(xiàng)目成本由策略的逐漸完善而從大到小，優(yōu)先級(jí)高。

可快速解決覆蓋率低的問(wèn)題，解決這個(gè)基礎(chǔ)問(wèn)題后，使推薦模塊得到更多的曝光和數(shù)據(jù)收集，是完善內(nèi)容推薦模塊的重要基礎(chǔ)。

5. 內(nèi)容監(jiān)控

項(xiàng)目短期收益小，長(zhǎng)期收益中，項(xiàng)目成本中，優(yōu)先級(jí)低。

需要【完善內(nèi)容標(biāo)簽】這個(gè)前置條件。

6. 內(nèi)容運(yùn)營(yíng)

無(wú)法預(yù)估，優(yōu)先級(jí)低。

內(nèi)容運(yùn)營(yíng)會(huì)涉及到一些犧牲部分用戶體驗(yàn)達(dá)成商業(yè)目標(biāo)的行為，需要跨部門協(xié)商后確定具體計(jì)劃。

reference

《今日頭條算法原理（全文）》

《短視頻聚合平臺(tái)功能對(duì)比分析：熱門、推薦功能模塊》

本文由 @紫原新之助 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議