對于UGC社區(qū)而言，在內(nèi)容生產(chǎn)端，把控其質(zhì)量非常重要，需制定維持或提升平臺內(nèi)容質(zhì)量的相關(guān)策略。本文結(jié)合作者相關(guān)項目經(jīng)歷詳細展開，如何進行UGC內(nèi)容質(zhì)量提升策略設計，一起來看看吧。

如上一篇文章【實戰(zhàn)思考：從0到1搭建UGC社區(qū)系統(tǒng)】所說，在內(nèi)容生產(chǎn)端，需制定維持或提升平臺內(nèi)容質(zhì)量的相關(guān)策略，本文將圍繞筆者的項目經(jīng)歷對其進行更詳細得介紹。

先說下筆者在這塊走過的彎路。最開始搭建社區(qū)時，一個關(guān)鍵指標是內(nèi)容量，當時整個產(chǎn)品和運營團隊側(cè)重在創(chuàng)作者的拉新和激勵上，忽視了內(nèi)容質(zhì)量，導致平臺出現(xiàn)以下幾個典型問題：

1、當時的創(chuàng)作者激勵活動，側(cè)重于求量而非求質(zhì)，導致出現(xiàn)大量低質(zhì)灌水內(nèi)容；

2、某類似于精選的功能僅與點贊量掛鉤，導致平臺發(fā)出錯誤的優(yōu)質(zhì)內(nèi)容信號；

3、真正的優(yōu)質(zhì)內(nèi)容流量受限。部分高優(yōu)內(nèi)容，由于無法獲得流量傾斜，曝光不夠，導致創(chuàng)作者失去優(yōu)質(zhì)創(chuàng)作的動力；

4、對于平臺整體內(nèi)容質(zhì)量的走向，無直接的數(shù)據(jù)指標評價，只能靠人工感知。

基于此，團隊需迫切調(diào)整方向，筆者便是在此背景下提出了內(nèi)容質(zhì)量提升的相關(guān)策略，供各位參考。

一、增加關(guān)鍵指標

所有策略的制定都需要有一個指標來衡量。針對于內(nèi)容質(zhì)量的提升，提出了“內(nèi)容詳情頁的日人均停留時長”指標，選擇該指標的原因是：

1、該指標是用戶行為指標，客觀且可量化；

2、與內(nèi)容質(zhì)量提升有很強的因果關(guān)系，內(nèi)容質(zhì)量的提升會直接帶來用戶更久的停留時長；

3、相比點擊率、消費內(nèi)容數(shù)這類指標，時長指標的提升背后是更長期更穩(wěn)定的用戶行為，比如標題黨、臨時運營活動對指標的影響較小，即該指標更加“健康”；

指標拆解如下：

內(nèi)容詳情頁的日人均停留時長=?人均消費內(nèi)容數(shù)量?*?單個內(nèi)容停留時長=人均消費內(nèi)容數(shù)量??*（完成單個內(nèi)容所需時長?*?完讀率）

注：此處的=并不是完全相等

以上共拆解到了三個子指標上，這三個子指標有各自不同的價值：

1、“人均消費內(nèi)容數(shù)量”的提升側(cè)重于更高的點擊率，即平臺更強的內(nèi)容分發(fā)能力；

2、“完成單個內(nèi)容所需時長”的提升側(cè)重于更長的內(nèi)容。從團隊的運營經(jīng)驗來說，平臺優(yōu)質(zhì)內(nèi)容往往有較多字數(shù)（大于500字），因此該指標能在一定程度上反映平臺的內(nèi)容質(zhì)量。但該指標有明顯的缺點，如果只單一考慮，容易導致內(nèi)容湊字數(shù)或內(nèi)容過長現(xiàn)象，因此需要下面的“完讀率”指標進行牽制；

3、“完讀率”的提升側(cè)重于內(nèi)容對當前用戶的吸引力，一是受到內(nèi)容質(zhì)量本身的影響，二來也受到內(nèi)容分發(fā)能力的影響（是否是用戶真正感興趣的內(nèi)容）；

二、提出解決方案

1、給標準——完善內(nèi)容質(zhì)量評級

平臺需要清晰界定什么是優(yōu)質(zhì)、什么是低質(zhì)內(nèi)容，即給出質(zhì)量評判的標準。需要產(chǎn)品和運營團隊配合輸出，主要工作包括：

（1）確定內(nèi)容范圍。比如回答、文章；

（2）提出質(zhì)量等級和評定方式

當時提出共6層，如下圖供參考（其中等級0-4互斥，等級5的內(nèi)容同時也屬于等級4）。不同平臺由于所處階段、定位、資源配置、內(nèi)容量級、內(nèi)容風險程度等原因，在質(zhì)量等級劃分和評定方式/流程上各有不同，但核心思路均是通過質(zhì)量劃分，將好內(nèi)容和差內(nèi)容進行足夠精準得圈定以配合后續(xù)的獎懲策略。

（3）質(zhì)量標準制定

由內(nèi)容運營團隊輸出質(zhì)量標準文檔給到審核團隊，然后由審核團隊按照標準進行打標。質(zhì)量標準文檔并不是一個固定的文檔，需逐步調(diào)優(yōu)適配平臺內(nèi)容。而調(diào)優(yōu)的方向是否正確，可以通過引入關(guān)聯(lián)的數(shù)據(jù)指標進行糾偏，流程如下。

此外還需注意的是，不論質(zhì)量標準文檔多么完善，對于審核團隊來說，3和4的質(zhì)量評定難度往往會高于0和1，因為“好內(nèi)容”的邊界更加模糊，審核團隊在這里所使用的主觀判斷會更多。也由于評定具有主觀性，存在兩個風險：

a.在既定標準下，審核團隊的人員不同所帶來的標注結(jié)果不一致；

b.在既定標準下，審核團隊核心人員更換所帶來的標注結(jié)果前后不一致。

如果審核團隊不在部門內(nèi)部構(gòu)架范圍，以上風險則需特別關(guān)注，除了通過運營抽檢識別和控制外，也可以通過引入關(guān)聯(lián)的數(shù)據(jù)指標進行觀測。

（4）提出關(guān)聯(lián)的數(shù)據(jù)指標

a.針對質(zhì)量標準調(diào)優(yōu)。可以通過“1～4各個質(zhì)量等級下的內(nèi)容占比”和“1～4各個質(zhì)量等級下的內(nèi)容曝光收藏率”兩個指標進行糾偏。

第一個關(guān)聯(lián)指標是平臺先預設好數(shù)值范圍，確保最終的數(shù)據(jù)結(jié)果在該范圍內(nèi)。這是因為不論平臺當前的整體內(nèi)容質(zhì)量有多好或者多差，都需要從中按照一定比例挑選出“更好”和“更差”的內(nèi)容，用以配合內(nèi)容分發(fā)。假設等級為4的優(yōu)質(zhì)內(nèi)容在平臺看來應該是稀有的，最高比例預設為5%，那如果最終的結(jié)果超過這個范圍，就需要進一步提高等級4的評判標準；

第二個關(guān)聯(lián)指標提出的原因是平臺的內(nèi)容主打知識內(nèi)容，質(zhì)量越高往往被收藏的概率越大。在數(shù)據(jù)表現(xiàn)上，從1到4各個等級的數(shù)據(jù)是遞增并且是斷層的，如果某兩個等級的數(shù)據(jù)差異不大甚至遞減，那則需要調(diào)整相關(guān)標準。

b.針對審核團隊主觀性判斷風險。也可以通過“1～4各個質(zhì)量等級下的內(nèi)容占比”指標進行觀測，與上面不同的是，在這里該指標主要是用于觀測趨勢變化。因為該指標數(shù)據(jù)短期內(nèi)是足夠穩(wěn)定的，長期來看即使由于整體質(zhì)量提升，各個等級內(nèi)容占比有所遷移，但也是平滑遷移。所以如果短期內(nèi)某等級線出現(xiàn)了變化，那就應該立即確認是否有質(zhì)量標準調(diào)整或者審核團隊人員變動的情況。

注：以上指標均未考慮0等級的情況，原因是不合規(guī)、不安全的內(nèi)容標準并不會受平臺質(zhì)量的變化而變化，同時不具有主觀性。

2、給態(tài)度——釋放可見的平臺優(yōu)質(zhì)內(nèi)容信號

質(zhì)量等級為4和5的內(nèi)容均為平臺優(yōu)質(zhì)內(nèi)容。在功能設計上，特別是平臺前期內(nèi)容分發(fā)還不夠完善時，需突出其在用戶端的可見和可知性，比如打上“精選”“每日最佳”這類標識，即告訴平臺的消費者和創(chuàng)作者：“你看，這是我們平臺認為的好內(nèi)容。”

同時可以將這類標識內(nèi)容進行聚合，形成精選、每日最佳合集，以便用戶進一步消費。

3、給獎懲——流量扶持與打壓

在圈定完“好內(nèi)容”和“差內(nèi)容”后，平臺能夠最直接最快速給出的獎懲方式就是流量分配。

（1）不合規(guī)和不安全內(nèi)容。審核不通過，僅主人態(tài)（創(chuàng)作者自己）可見；

（2）低質(zhì)量內(nèi)容。從平臺來說，這類內(nèi)容價值很低，如果不控制其露出對平臺的整體的內(nèi)容氛圍/感官有較大影響，但同時這類內(nèi)容又是平臺允許的（擴充內(nèi)容量、不設過高的創(chuàng)作門檻）。因此這類內(nèi)容會被審核通過，但在核心個性化推薦場景將被直接過濾掉，另外在內(nèi)容列表頁也會被折疊；

（3）一般內(nèi)容。也就是“不好不壞”，平臺往往不對其做單獨的干預策略；

（4）較好內(nèi)容。在部分場景做適當加權(quán)，比如內(nèi)容列表頁排序加權(quán)；

（5）優(yōu)質(zhì)內(nèi)容。平臺最高質(zhì)的一批內(nèi)容，在個性化推薦場景、搜索、內(nèi)容列表頁均可以對該特征進行加權(quán)；

（6）每日最佳。由運營從優(yōu)質(zhì)內(nèi)容中選出的具有代表性的內(nèi)容，數(shù)量極少，主要是用于運營投放。比如站內(nèi)消息推送、banner位投放等

以上流量分配的實現(xiàn)是否如預期可以通過引入“各內(nèi)容質(zhì)量等級下的內(nèi)容條均瀏覽量“指標進行觀測。

4、給成長——精細化觸達低、中質(zhì)創(chuàng)作者

低中質(zhì)創(chuàng)作者可以定義為過去某個時間段內(nèi)生產(chǎn)內(nèi)容1-2等級在1-4等級中的占比超過某一閾值的創(chuàng)作者，這類用戶本身具備創(chuàng)作意愿和能力，平臺可以通過精細化消息觸達，推送相關(guān)內(nèi)容教程和說明，引導提升其后續(xù)內(nèi)容質(zhì)量。

三、定期回顧進展并更新方案

到具體執(zhí)行后，隨著進展需進一步補充相關(guān)策略，另外在回顧策略和數(shù)據(jù)觀測過程中往往會發(fā)現(xiàn)新的問題，也需及時調(diào)整。

1、算法與人工審核的配合

在項目前期，除了命中敏感詞庫的內(nèi)容直接被系統(tǒng)駁回，其他的內(nèi)容均需要經(jīng)過人工逐個審核，審核除了判定內(nèi)容是否通過以外，還需勾選相關(guān)內(nèi)容標簽、評估內(nèi)容等級，人力成本較高，且響應速度有限。

隨著內(nèi)容量的增多，在積累了足夠訓練樣本后，項目引入了算法模型。涉及：

（1）低質(zhì)量內(nèi)容直接判定，人工抽檢反饋badcase調(diào)優(yōu)；

（2）一般內(nèi)容到優(yōu)質(zhì)內(nèi)容的初步判定，人工復審，算法再根據(jù)復審結(jié)果訓練模型；

（3）自動生成內(nèi)容標簽，人工抽檢反饋badcase調(diào)優(yōu)。

低質(zhì)量內(nèi)容之所以直接由算法判定，一是因為低質(zhì)量的識別難度最小，測試集準確率最高；二是從平臺的角度，誤判低質(zhì)量所帶來的損失低于誤判高質(zhì)量的損失。

2、更豐富的激勵方式

除了流量扶持以外，針對高質(zhì)量內(nèi)容的創(chuàng)作者，平臺還進行了：

（1）成就激勵。包括創(chuàng)作者排行榜、創(chuàng)作者等級標識、創(chuàng)作者周報、創(chuàng)作者證書、頒獎典禮等；

（2）物質(zhì)激勵。在常規(guī)創(chuàng)作者激勵活動中，滿足相關(guān)條件的創(chuàng)作者可以獲得平臺補貼。

3、抄襲駁回

由于創(chuàng)作者激勵活動對存在金錢補貼，部分創(chuàng)作者為了最大化得獲得補貼，出現(xiàn)了抄襲現(xiàn)象。抄襲對象為平臺內(nèi)的其他優(yōu)質(zhì)原創(chuàng)內(nèi)容，并且往往通過“縫合拼接”多個其他創(chuàng)作者的優(yōu)質(zhì)內(nèi)容實現(xiàn)。

在此背景下，平臺上線了內(nèi)容管理端的抄襲識別功能。其中抄襲識別功能是通過高亮存在抄襲的內(nèi)容，并且由算法計算出整體抄襲率，超過某一閾值，系統(tǒng)直接駁回。

4、黑名單用戶

針對生產(chǎn)不安全內(nèi)容、抄襲內(nèi)容的用戶，在首次平臺均會發(fā)出警告。如果二次觸發(fā)，平臺運營會根據(jù)其惡劣程度選擇短期、中期、永久性凍結(jié)該用戶賬號。

以上便是筆者在UGC內(nèi)容質(zhì)量提升策略上的實戰(zhàn)分享，由于經(jīng)驗有限，不嚴謹?shù)牡胤綒g迎指正和探討。下一篇筆者會對個性化推薦進行介紹，歡迎關(guān)注。