新浪微博熱搜停更一周成為了熱點(diǎn)話題，引起了行業(yè)重視。關(guān)于內(nèi)容監(jiān)管的討論熱度居高不下，本文從五個(gè)方面探討內(nèi)容監(jiān)管到底該怎么做，并且就產(chǎn)品經(jīng)理感興趣的職業(yè)發(fā)展問(wèn)題提出建議，希望對(duì)你有幫助。

上圖為花瓣網(wǎng)和掘金的平臺(tái)維護(hù)公告

一、不同的內(nèi)容載體，有哪些內(nèi)容監(jiān)管策略

內(nèi)容的呈現(xiàn)形式從文本、圖片發(fā)展到音視頻，面對(duì)內(nèi)容展示多樣化，如何制定行之有效的內(nèi)容監(jiān)管策略？

Q1：針對(duì)目前語(yǔ)音違規(guī)該如何去規(guī)避風(fēng)險(xiǎn)內(nèi)容，怎么實(shí)現(xiàn)降低平臺(tái)風(fēng)險(xiǎn)性且提升用戶體驗(yàn)？

語(yǔ)音違規(guī)檢測(cè)目前主要通過(guò)機(jī)器檢測(cè)及人工審核兩種途徑進(jìn)行審核。

機(jī)器檢測(cè)主要通過(guò)語(yǔ)音識(shí)別、聲紋檢測(cè)、語(yǔ)種識(shí)別、語(yǔ)義識(shí)別等做深度學(xué)習(xí)的方式來(lái)進(jìn)行，人工審核可針對(duì)機(jī)器檢測(cè)不確定部分進(jìn)行人工再次確認(rèn)。

為了最大程度提升用戶體驗(yàn)，減少因機(jī)器檢測(cè)帶來(lái)的審核延遲，建議針對(duì)熱度較高的語(yǔ)音采取先審后發(fā)，針對(duì)部分熱度較低/官方內(nèi)容采取先發(fā)后審策略。

Q2：5G消息下的富媒體內(nèi)容（包含文本、圖片、語(yǔ)音、視頻、優(yōu)惠券）是否有更優(yōu)的解決方案，尤其是視頻，是否有更高效的檢測(cè)處理方案？

5G來(lái)了，必然數(shù)據(jù)量增多，并發(fā)增加，對(duì)內(nèi)容檢測(cè)的延遲、并發(fā)等要求都變高了。因?yàn)檫€沒(méi)有真正的到5G時(shí)代，暫時(shí)還沒(méi)有看到特別大的影響。

我的看法是，檢測(cè)的技術(shù)手段基本不變，還是靠算法模型，規(guī)則等等，未來(lái)會(huì)提高內(nèi)容檢測(cè)效率的幾個(gè)方面：

1、算法更新（比較難，周期慢，完全看科研界的發(fā)展速度）；

2、硬件更新（GPU等運(yùn)算性能提高、成本降低，就可以增強(qiáng)檢測(cè)算力）；

3、一些解決方案的提升：

比如富文本整體解決方案，拿音視頻來(lái)講，有的客戶需要同時(shí)檢測(cè)聲音和畫(huà)面，最初是分開(kāi)檢測(cè)，有兩個(gè)結(jié)果。 后續(xù)發(fā)展為同時(shí)檢測(cè)，在同一個(gè)結(jié)果內(nèi)返回音頻和圖像檢測(cè)結(jié)果，這樣從業(yè)務(wù)處理上來(lái)講提升了效果。類似的解決方案的提升，也會(huì)有一些作用。

Q3：請(qǐng)問(wèn)，對(duì)于即時(shí)通信類產(chǎn)品（如微信），該如何制定內(nèi)容安全策略以及審核流程，可否講下相應(yīng)的想法或思路？如有相關(guān)經(jīng)驗(yàn)，可否介紹一下？

IM基本情況是群聊過(guò)檢，私聊不過(guò)。IM對(duì)延遲尤其敏感，同時(shí)盡量避免誤傷。

有一些策略上的小技巧，比如發(fā)送內(nèi)容如果被檢測(cè)違規(guī)，并且屬于比較嚴(yán)重的，可以先對(duì)自己可見(jiàn)。

還有像視頻這種，需要上傳時(shí)間的，可以對(duì)用戶展現(xiàn)的是上傳中，而不是分：上傳中、檢測(cè)中，把實(shí)際檢測(cè)時(shí)間也包含在上傳過(guò)程中。這樣體驗(yàn)?zāi)芎命c(diǎn)。

特殊時(shí)期，檢測(cè)規(guī)則從嚴(yán)處理，尤其對(duì)那種踩紅線嚴(yán)重違規(guī)的。

二、內(nèi)容審核與用戶體驗(yàn)，兩者之間如何平衡

源源不斷的UGC內(nèi)容為平臺(tái)注入活力，而垃圾內(nèi)容的滋生卻給平臺(tái)帶來(lái)負(fù)面影響；既要維護(hù)平臺(tái)內(nèi)容安全，又要考慮用戶體驗(yàn)，如何平衡是好？

Q1：平臺(tái)進(jìn)行內(nèi)容審核勢(shì)必會(huì)影響用戶體驗(yàn)影響發(fā)展，如何平衡內(nèi)容治理中平臺(tái)企業(yè)的“安全”與“發(fā)展”？

核心思路：先保安全，再談發(fā)展！

真被關(guān)停了就沒(méi)有機(jī)會(huì)發(fā)展了。而且我覺(jué)著做安全對(duì)運(yùn)營(yíng)來(lái)說(shuō)是加法，而不是減法，我試想了一下如果一個(gè)平臺(tái)沒(méi)有任何約束，難免會(huì)有一些謾罵灌水之類的，反而影響運(yùn)營(yíng)發(fā)展，所以安全等于保障了舒適的環(huán)境，另外就是平臺(tái)的一個(gè)核心吸引力是優(yōu)質(zhì)內(nèi)容，我理解優(yōu)質(zhì)環(huán)境+優(yōu)質(zhì)內(nèi)容，這些方面對(duì)于平臺(tái)發(fā)展都是不可缺少的。

安全做的多少，和公司發(fā)展階段相關(guān)聯(lián)。初期都是先業(yè)務(wù)發(fā)展，逐漸凸顯問(wèn)題的時(shí)候才會(huì)逐步加大安全投入。

Q2：如何平衡國(guó)家網(wǎng)絡(luò)安全要求和用戶使用自由度這兩者？

國(guó)家網(wǎng)絡(luò)安全要求是有紅線的，在紅線內(nèi)最大程度給到用戶自由。所以關(guān)鍵在于對(duì)國(guó)家法律法規(guī)的正確解讀，及時(shí)洞察國(guó)家政治意識(shí)形態(tài)，可根據(jù)業(yè)務(wù)場(chǎng)景不同，制定審核嚴(yán)格程度的不同，避免傷及用戶體驗(yàn)。

三、不同的崗位，如何做好內(nèi)容安全

維護(hù)平臺(tái)內(nèi)容安全，離不開(kāi)產(chǎn)品、運(yùn)營(yíng)、技術(shù)等各部門(mén)的協(xié)作發(fā)力，那不同崗位的同學(xué)，在內(nèi)容安全這條路上會(huì)遇到什么問(wèn)題？

Q1：有時(shí)候違規(guī)內(nèi)容和非違規(guī)內(nèi)容的界限比較模糊，機(jī)器識(shí)別之后還需要人工審核，怎樣進(jìn)行產(chǎn)品設(shè)計(jì)才能讓審核更高效？

• 一般為了最大程度保持審核的及時(shí)性、確保用戶體驗(yàn)并保證內(nèi)容安全，針對(duì)機(jī)器識(shí)別較為確定的結(jié)果直接進(jìn)行處理（例如.機(jī)器判定通過(guò)的內(nèi)容可以直接發(fā)出、機(jī)器判定不通過(guò)的內(nèi)容可以刪除）；
• 僅針對(duì)機(jī)器無(wú)法確定的部分流入人工審核（此時(shí)為了保證實(shí)際用戶的體驗(yàn)，待審核的數(shù)據(jù)建議保持僅自己可見(jiàn)狀態(tài)，針對(duì)非熱點(diǎn)區(qū)域亦可采取先發(fā)后審策略）。

Q2：如何通過(guò)分析，感知平臺(tái)內(nèi)容安全態(tài)勢(shì)情況？

基本三方面：

1. 第三方的安全審核服務(wù)（可以感知總體業(yè)務(wù)量、違規(guī)情況的分類、數(shù)量、用戶畫(huà)像等內(nèi)容），屬于最主要的了解業(yè)務(wù)違規(guī)風(fēng)險(xiǎn)的一個(gè)渠道；
2. 自身運(yùn)營(yíng)團(tuán)隊(duì)/人審團(tuán)隊(duì) 的數(shù)據(jù)分析（比如抽檢）；
3. 來(lái)自用戶的信息（舉報(bào)、申訴等渠道獲知違規(guī)內(nèi)容信息）。

Q3：技術(shù)問(wèn)題，文本過(guò)濾主要用到了那些解決方案，針對(duì)不同分類有什么策略，怎么識(shí)別富文本的文本過(guò)濾？

• 文本檢測(cè)的算法結(jié)構(gòu)最底層是通用的基礎(chǔ)技術(shù)，如分詞、詞向量等；
• 中層應(yīng)用內(nèi)容安全領(lǐng)域相關(guān)的預(yù)處理，主要是變種內(nèi)容的識(shí)別和修正；
• 上層是具體的檢測(cè)技術(shù)，由規(guī)則引擎、相似度匹配、傳統(tǒng)機(jī)器學(xué)習(xí)模型、深度學(xué)習(xí)模型4個(gè)模塊構(gòu)成。

針對(duì)富文本，易盾包裝了組合接口解決方案，可將富文本通過(guò)接口一次性提交，易盾會(huì)自動(dòng)拆分文本、圖片分別過(guò)檢，返回整體結(jié)果。

四、針對(duì)內(nèi)容安全具體問(wèn)題，網(wǎng)易又是怎么做的

網(wǎng)易擁有20年內(nèi)容安全體系建設(shè)經(jīng)驗(yàn)，內(nèi)部積累了豐富的“反垃圾”經(jīng)驗(yàn)和數(shù)據(jù)，針對(duì)同學(xué)們提出的業(yè)務(wù)問(wèn)題，網(wǎng)易有何解決方案？

Q1：易盾是如何進(jìn)行視頻直播和音頻內(nèi)容的審核的？

目前易盾針對(duì)直播場(chǎng)景提供了基本機(jī)器檢測(cè)方案，及通過(guò)智能電視墻輔助熱度檢測(cè)的人工審核方案：

• 機(jī)器檢測(cè)部分——直播視頻目前主要通過(guò)截幀來(lái)進(jìn)行過(guò)濾，直播語(yǔ)音主要通過(guò)感知靜默時(shí)間，提取語(yǔ)音斷句來(lái)進(jìn)行語(yǔ)音檢測(cè)的方案。
• 智能審核電視墻——與傳統(tǒng)的直播電視墻全量推送純視頻流審核不同，智能審核電視墻依托易盾機(jī)器檢測(cè)智能化分析視頻潛在風(fēng)險(xiǎn)，及時(shí)告知審核人員，嫌疑視頻高亮并放大提醒，多維業(yè)務(wù)數(shù)據(jù)輔助審核，輔助熱度檢測(cè)（異常彈幕、異常評(píng)論、在線人數(shù)激增、禮物數(shù)激增等異常指標(biāo)監(jiān)控）實(shí)時(shí)動(dòng)態(tài)變更嫌疑指數(shù)，幫助審核人員盡快鎖定嫌疑視頻，極大提升審核效率，確保視頻審核效果。

Q2：如何在特殊時(shí)期針對(duì)平臺(tái)安全做預(yù)警，常用預(yù)警方案？

常規(guī)存在如下幾種處理方案：

• 數(shù)據(jù)強(qiáng)制先審后發(fā)；
• 建議平臺(tái)對(duì)留言區(qū)、評(píng)論區(qū)、頭像更換、昵稱修改等涉及UGC內(nèi)容產(chǎn)出高危區(qū)域采取短暫關(guān)閉處理/停止推送至首頁(yè)功能；
• 關(guān)閉分享功能。

五、產(chǎn)品經(jīng)理的職業(yè)發(fā)展建議

產(chǎn)品經(jīng)理想要轉(zhuǎn)換職場(chǎng)環(huán)境，有哪些行業(yè)、崗位值得參考？

Q1：我是一個(gè)從內(nèi)容安全平臺(tái)離職的產(chǎn)品經(jīng)理，想跳槽進(jìn)入其他公司，能匹配的崗位很少，有什么相關(guān)領(lǐng)域可以推薦的嗎？

如果不想轉(zhuǎn)崗還是產(chǎn)品經(jīng)理，可以看下目前做內(nèi)容檢測(cè)的互聯(lián)網(wǎng)公司的崗位；如果考慮相關(guān)崗位，有關(guān)內(nèi)容檢測(cè)的，可以看下運(yùn)營(yíng)崗位、業(yè)務(wù)風(fēng)控部門(mén)的崗位，現(xiàn)在看好多客戶把內(nèi)容風(fēng)控放在了業(yè)務(wù)風(fēng)控部門(mén)來(lái)做。

光看文字不過(guò)癮，來(lái)看看群內(nèi)互動(dòng)實(shí)況，帶你感受群內(nèi)專家與同學(xué)們的思維碰撞：

上圖為網(wǎng)易易盾群討論互動(dòng)問(wèn)答截圖

除了前期精彩有料的互動(dòng)問(wèn)答活動(dòng)，6月17日（周三）晚20:00-21:30，網(wǎng)易易盾將在群內(nèi)開(kāi)展一場(chǎng)內(nèi)容分享活動(dòng)。

屆時(shí)，網(wǎng)易易盾的內(nèi)容安全專家，將結(jié)合網(wǎng)易20多年在內(nèi)容安全方面的研究，圍繞內(nèi)容安全監(jiān)管、內(nèi)容安全體系搭建等話題，與大家進(jìn)行分享與話題討論！

參與方式

掃碼填寫(xiě)報(bào)名表單，若審核通過(guò)，工作人員將在3個(gè)工作日內(nèi)發(fā)送短信通知，一定要留意你的短信喲！

題圖來(lái)自Unsplash，基于CC0協(xié)議