讀完這篇文章，你可以詳細(xì)了解文字類內(nèi)容審核的邏輯，還會(huì)了解一些圖片和短視頻審核的技術(shù)，足以補(bǔ)充一個(gè)運(yùn)營(yíng)或產(chǎn)品在這方面的知識(shí)儲(chǔ)備了。來看看~

文章開始之前，給大家兩條建議：

1. 除非你別無選擇，盡可能不要從事純粹內(nèi)容審核崗位
2. 如果你的工作和運(yùn)營(yíng)或產(chǎn)品有關(guān)，都需要了解內(nèi)容審核的邏輯

“兒童送養(yǎng)”這個(gè)話題在大多平臺(tái)都是極為罕見的，但知乎最近就因此爆發(fā)了一場(chǎng)危及平臺(tái)聲譽(yù)的危機(jī)。

內(nèi)容審核就是這樣一種職業(yè)，違法違規(guī)信息覆蓋范圍極廣，新的違規(guī)信息層出不窮。無論你多么有經(jīng)驗(yàn)、無論審核系統(tǒng)多么先進(jìn)，只要發(fā)生問題，看起來都是很基礎(chǔ)甚至很愚蠢的問題。

知乎這樣一個(gè)有很強(qiáng)的技術(shù)實(shí)力和內(nèi)容審核經(jīng)驗(yàn)的平臺(tái)，也會(huì)在這個(gè)問題上摔跟頭。并且可以預(yù)料的是，不知道在多久的以后，知乎一定還會(huì)發(fā)生一次又一次因?yàn)榇嬖谶`規(guī)內(nèi)容帶來的危機(jī)事件，這事情無可避免。有人說，對(duì)于內(nèi)容審核人員來說這是從入門到被門檻絆倒，一點(diǎn)都不夸張。

讀完這篇文章，你可以詳細(xì)了解文字類內(nèi)容審核的邏輯，還會(huì)了解一些圖片和短視頻審核的技術(shù)，足以補(bǔ)充一個(gè)運(yùn)營(yíng)或產(chǎn)品在這方面的知識(shí)儲(chǔ)備了。

在不同公司，對(duì)審核類職位的劃分標(biāo)準(zhǔn)不同，比如有內(nèi)容安全審核、內(nèi)容推薦審核、內(nèi)容質(zhì)量審核等類似職位。雖然在側(cè)重點(diǎn)和具體操作上有所不同，但有許多邏輯都是共通的。為了避免文章過于復(fù)雜，我們?cè)谶@里側(cè)重最常見的內(nèi)容安全審核。

審核模塊

不管是什么內(nèi)容的審核，都應(yīng)該包含以下四個(gè)基礎(chǔ)模塊：機(jī)器審核、人工審核、用戶投訴審核、結(jié)果復(fù)審。

• 機(jī)器審核，是按照制定好的規(guī)則或機(jī)器學(xué)習(xí)算法對(duì)內(nèi)容進(jìn)行審核，通常，成熟的審核系統(tǒng)能將95%甚至99%以上的內(nèi)容都自動(dòng)審核并做出處理。確定有問題的會(huì)被自動(dòng)刪除，難以判斷是否有問題的會(huì)被標(biāo)注，進(jìn)入人工審核程序。
• 人工審核，雖然用戶投訴審核和結(jié)果復(fù)審大多時(shí)候也是人工審核，但這里所說的人工審核，特指審核機(jī)器無法判別的內(nèi)容，通常占平臺(tái)內(nèi)容數(shù)量的比例不超過5%，但對(duì)于一些大型的內(nèi)容平臺(tái)，絕對(duì)數(shù)量已經(jīng)很多了。在內(nèi)容爆炸的時(shí)代，我們看到許多平臺(tái)在全國(guó)都有多個(gè)審核中心，每個(gè)審核中心的員工數(shù)量都成千甚至上萬。
• 用戶投訴審核，是前兩者的彌補(bǔ)，有很多違規(guī)內(nèi)容以前沒有出現(xiàn)過，所以不在規(guī)則可以過濾的范圍內(nèi)，或者非常隱蔽，規(guī)則難以嚴(yán)格過濾。用戶的投訴是發(fā)現(xiàn)新問題的重要渠道。通過知乎的危機(jī)事件，我們更應(yīng)該重視對(duì)投訴的審核，并及時(shí)據(jù)此對(duì)機(jī)器審核做出補(bǔ)充。
• 結(jié)果復(fù)審，通常采取抽查方式，比如通過復(fù)審機(jī)器刪除的內(nèi)容，看規(guī)則或算法是否過于嚴(yán)格；比如通過查看人工刪除和通過的內(nèi)容，看員工的工作是否按要求執(zhí)行；比如通過內(nèi)容的整體巡查，看是否存在新的問題未被注意到。

在文字類內(nèi)容平臺(tái)，比如知乎、簡(jiǎn)書、豆瓣以及各類論壇網(wǎng)站，機(jī)器審核主要是基于關(guān)鍵詞過濾的邏輯，邏輯比較簡(jiǎn)單，但也沒有想象的那么簡(jiǎn)單。

關(guān)鍵詞過濾

一篇文章發(fā)布到平臺(tái)后，需要至少經(jīng)歷以下環(huán)節(jié)：

詞語過濾的環(huán)節(jié)，關(guān)鍵詞主要分為三類：

禁止關(guān)鍵詞，只要匹配到這個(gè)詞，內(nèi)容就被自動(dòng)刪除或禁止提交。通常只有極少數(shù)詞會(huì)被納入禁止關(guān)鍵詞，比如明確的色情、邪教以及廣告的專屬關(guān)鍵詞。

審核關(guān)鍵詞，這是最常見的關(guān)鍵詞種類，只要匹配到就會(huì)自動(dòng)進(jìn)入后臺(tái)進(jìn)行審核，文章中的關(guān)鍵詞會(huì)被高亮并羅列出來，有助于審核人員快速判斷。審核關(guān)鍵詞也應(yīng)該盡量是專屬關(guān)鍵詞，以防止太多內(nèi)容被攔截到后臺(tái)。

替換關(guān)鍵詞，在許多平臺(tái)，我們會(huì)在文中看到莫名的*號(hào)或字母縮寫，這可能不是文章作者寫的，而是這個(gè)詞被系統(tǒng)自動(dòng)替換。平臺(tái)不希望出現(xiàn)這個(gè)關(guān)鍵詞，但用別的代替讀者通常也能讀懂。比如一些政治、宗教、不文明用語類詞語，都有可能被自動(dòng)替換。

當(dāng)然，管理員在添加關(guān)鍵詞時(shí)，很多時(shí)候并不是直接把關(guān)鍵詞添加到后臺(tái)。否則用戶用很簡(jiǎn)單的方式就可以避過關(guān)鍵詞過濾，比如在關(guān)鍵詞內(nèi)加一個(gè)空格，系統(tǒng)就難以匹配到。

所以，一般后臺(tái)都會(huì)支持限定符{x} 以限定相鄰兩字符間可忽略的文字，x 是忽略的字節(jié)數(shù)。在Discuz!網(wǎng)站后臺(tái)有明確說明，如 “a{1}s{2}s”(不含引號(hào)) 可以過濾 “ass”也可過濾 “axsxs”和 “axsxxs”等等。對(duì)于中文字符，若使用 GBK、Big-5 版本，每個(gè)中文字符相當(dāng)于 2 個(gè)字節(jié)；若使用 UTF-8 版本，每個(gè)中文字符相當(dāng)于 3 個(gè)字節(jié)。

另外，關(guān)鍵詞還可以支持正則表達(dá)式，來匹配具有一定模式的關(guān)鍵詞，比如”/1d{10}([^d]+|$)/“（不包括引號(hào)）用來匹配手機(jī)號(hào)碼。正則表達(dá)式的內(nèi)容過多，大家有興趣可以搜索學(xué)習(xí)一下。

技術(shù)概覽

以上講述的，主要是文字類內(nèi)容的審核和規(guī)則，邏輯簡(jiǎn)單，但應(yīng)用最為廣泛。近年隨著短視頻類產(chǎn)品的興起，內(nèi)容審核的邏輯需要更加深層的技術(shù)支持。

技術(shù)上的東西，對(duì)大多人來說如同天書，而且也沒有必要深入了解。我們挑選幾個(gè)容易理解的點(diǎn)，來窺探幾分內(nèi)容審核背后的技術(shù)。

來源：某相關(guān)產(chǎn)品宣傳網(wǎng)頁

OCR（文本識(shí)別技術(shù)），主要用來識(shí)別圖片中存在的文字。許多違規(guī)內(nèi)容，包括聯(lián)系方式、色情信息、廣告信息等為了規(guī)避審核，都會(huì)以圖片的方式呈現(xiàn)。

人臉識(shí)別技術(shù)，通常用來識(shí)別政治、宗教類人物，識(shí)別到后可以直接刪除或者進(jìn)行風(fēng)險(xiǎn)標(biāo)記。

語音識(shí)別技術(shù)，語音識(shí)別的應(yīng)用場(chǎng)景比較多，但在內(nèi)容審核領(lǐng)域仍然不是剛需，所以使用的較少。但也有些直播或音頻平臺(tái)比較重視音頻對(duì)比、聲紋識(shí)別技術(shù)，可以輕易識(shí)別到一些固定模式的違法違規(guī)聲音。

視頻識(shí)別≈圖片識(shí)別，視頻是畫面與音頻組成的以幀為單位的畫面，通常采取截幀上傳與服務(wù)器數(shù)據(jù)對(duì)比來識(shí)別。審核模式和圖片審核相同，比如通過畫面皮膚裸露狀態(tài)來判斷是否過于性感、是否是色情內(nèi)容。

上下文語義識(shí)別技術(shù)，這種技術(shù)用來判斷一句話是否能跟上下文結(jié)合，是否是一段垃圾文本。比如說，在評(píng)論區(qū)隨便輸入一串奇怪的文本，如果系統(tǒng)認(rèn)為和上下文不相關(guān)，就有理由將內(nèi)容放入審核區(qū)。

技術(shù)是很酷，用好了可以大量減少我們的工作，但內(nèi)容審核技術(shù)的實(shí)施是一件很難一勞永逸的事情，其中的尺度和參數(shù)都需要人來不斷維護(hù)，而且人工審核仍然是非常有必要的，并且需要的人工可能越來越多。內(nèi)容審核技術(shù)的應(yīng)用，仍然任重道遠(yuǎn)。

常見問題

1. 替代關(guān)鍵詞不能太簡(jiǎn)單

我曾經(jīng)在一款A(yù)PP上看管理類文章，整篇文章多處說到給員工定績(jī)效要遵循“**ART原則”，我遲疑了好幾秒才明白，原來是“SMART原則”。

SM這個(gè)詞只有兩個(gè)字母，無論是作為禁止、審核還是替換關(guān)鍵詞都不合適，都容易攔截或替換大量不應(yīng)該處理的內(nèi)容，一般的方法很難處理。

這時(shí)候，我們可以總結(jié)一下模式，如果sm這兩個(gè)字母前面是英文字母，或者后面是英文字母，一般來說就是另一個(gè)英文單詞，就不會(huì)有問題。我們就可以用正則表達(dá)式把這一規(guī)則寫出來，再設(shè)置審核或替換就會(huì)好很多。

2. 審核時(shí)間與用戶體驗(yàn)的權(quán)衡

去知乎和微博搜一下“審核”，被抱怨最多的問題就是審核時(shí)間長(zhǎng)。用戶提交內(nèi)容到內(nèi)容審核通過，這期間心情會(huì)劇烈波動(dòng)，如果用戶等了一兩天時(shí)間，最后內(nèi)容被莫名其妙地拒絕，而且不給任何明確的拒絕理由，用戶的心情就會(huì)由期待變?yōu)榻箲]，進(jìn)而變成憤怒，這就是B站被up主抱怨最多的地方。

我們可以從以下角度優(yōu)化用戶體驗(yàn)：

1. 用戶提交內(nèi)容后，正常呈現(xiàn)已發(fā)布的內(nèi)容狀態(tài)，可以反復(fù)編輯，只是給出狀態(tài)提示，提示內(nèi)容正在審核，如果有必要可以提示一般多久可以審核完。
2. 用戶提交內(nèi)容后，如果進(jìn)入審核，但覺得問題不大，或者用戶歷史記錄良好，可以自動(dòng)進(jìn)入“限流”狀態(tài)，即只允許自己和粉絲/好友觀看。待審核通過后，開放給所有人。這期間不需要給用戶任何提示。
3. 用戶內(nèi)容被拒后，原因是可以找到依據(jù)、可以確定的。很多平臺(tái)都是讓用戶具體原因參考某某規(guī)范文檔，但這個(gè)文檔里又是一堆大而化之的空話。許多時(shí)候機(jī)器審核是存在誤刪的可能的，這時(shí)候如果申訴渠道也不能及時(shí)反饋，就會(huì)讓人非?；鸫?。
4. 優(yōu)質(zhì)賬號(hào)設(shè)為信任賬戶或優(yōu)先審核。比如官方賬號(hào)、以前從沒出現(xiàn)問題的老賬號(hào)，至少應(yīng)當(dāng)做到優(yōu)先審核，甚至直接放開，先放后審。

3. 理解內(nèi)容審核的保守傾向

越是體量很大的平臺(tái)，內(nèi)容審核越是有保守傾向，這不只是因?yàn)楸P子大了更加在意風(fēng)險(xiǎn)管理，還有一些現(xiàn)實(shí)的原因。內(nèi)容數(shù)量太多，平臺(tái)就不得不采用規(guī)則和算法去審核，這些規(guī)則和算法需要最終做出決策，就難免拿著標(biāo)準(zhǔn)一刀切，即使這把刀很小也會(huì)有誤傷，這種標(biāo)準(zhǔn)對(duì)很多內(nèi)容就顯得過于嚴(yán)格。

比如皮膚裸露面積達(dá)到多少會(huì)有問題、裸露哪些位置會(huì)有問題，無論標(biāo)準(zhǔn)多么的細(xì)化，都會(huì)存在誤判，被誤判的內(nèi)容比例可能很小，但絕對(duì)數(shù)量很大。據(jù)說很多圖片和視頻中如果存在加菲貓，都會(huì)被過濾掉，因?yàn)樗S色面積太大而且和人的皮膚很像。

在被審核的用戶看來這些標(biāo)準(zhǔn)有點(diǎn)保守，有點(diǎn)不近人情，甚至可笑。平臺(tái)的管理人員也知道問題，但他們很難做到很細(xì)致，為了快速把違規(guī)的內(nèi)容剔除，只能犧牲掉一部分人的用戶體驗(yàn)，畢竟違規(guī)內(nèi)容一旦出現(xiàn)，對(duì)平臺(tái)來說就是大問題。所以說，內(nèi)容審核技術(shù)的應(yīng)用還非常任重道遠(yuǎn)。

以上的內(nèi)容，對(duì)于一個(gè)運(yùn)營(yíng)或產(chǎn)品工作者來說，已經(jīng)足夠了。但如果你真的需要對(duì)一款產(chǎn)品的內(nèi)容審核規(guī)范負(fù)責(zé)，就需要去學(xué)習(xí)更多知識(shí)，需要有更加專業(yè)的精神和更謹(jǐn)慎的態(tài)度，未來還會(huì)有無數(shù)難以預(yù)料的坎坷等著你。

本文由 @內(nèi)容工程師原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議