審核是中后臺(tái)系統(tǒng)非常重要的職能之一，尤其是對(duì)于內(nèi)容領(lǐng)域和金融領(lǐng)域來說。本文作者在研究免疫系統(tǒng)和病毒的過程中，發(fā)現(xiàn)免疫系統(tǒng)和病原體的抗?fàn)幒蛥f(xié)同過程，同審核系統(tǒng)和風(fēng)險(xiǎn)的關(guān)系是很類似的，于是將免疫系統(tǒng)對(duì)審核系統(tǒng)設(shè)計(jì)的啟示寫了出來，希望能給你帶來一些啟發(fā)。

審核是中后臺(tái)系統(tǒng)非常重要的職能之一，尤其是對(duì)于內(nèi)容領(lǐng)域和金融領(lǐng)域。

后臺(tái)審核的核心目標(biāo)是風(fēng)險(xiǎn)控制，發(fā)現(xiàn)可能對(duì)或已經(jīng)對(duì)公司業(yè)務(wù)產(chǎn)生不良影響的合作、內(nèi)容、輿情等不利影響，將其扼殺在萌芽之中或者避免惡劣影響進(jìn)一步擴(kuò)大。

筆者曾經(jīng)做教育后臺(tái)時(shí)，主導(dǎo)過作業(yè)批改和審核從0到1到系統(tǒng)設(shè)計(jì)，有過一些審核的經(jīng)驗(yàn)。最近因?yàn)樾鹿谝咔?，也?duì)免疫系統(tǒng)和病毒產(chǎn)生了興趣，并進(jìn)行了一些學(xué)習(xí)和研究。

在此過程中發(fā)現(xiàn)，免疫系統(tǒng)和病原體的抗?fàn)幒蛥f(xié)同進(jìn)化過程，其實(shí)同審核系統(tǒng)和風(fēng)險(xiǎn)的關(guān)系是很類似的，其底層邏輯更是一樣一樣的。當(dāng)然，也可以推而廣之到殺毒軟件和病毒的關(guān)系。

筆者雖然在審核系統(tǒng)的設(shè)計(jì)方面只有粗淺的經(jīng)驗(yàn)，但是實(shí)在技癢，在此拋磚引玉，將免疫系統(tǒng)對(duì)審核系統(tǒng)設(shè)計(jì)的啟示寫出來。

一、免疫系統(tǒng)的啟示

我們贊美人工設(shè)計(jì)時(shí)，常常會(huì)說“巧奪天工”。而隨著人類科技實(shí)力的不斷進(jìn)步，我們也會(huì)產(chǎn)生一些錯(cuò)覺：天然的是質(zhì)樸的、粗陋的，人工的是完美的、精巧的。

然而我們?nèi)ザ嗔私庖恍┳匀恢械默F(xiàn)象，那么就會(huì)逐步體驗(yàn)到事實(shí)恰好與直覺相反。生物尤其是人類的免息系統(tǒng)在漫長(zhǎng)的進(jìn)化中，已經(jīng)形成了系統(tǒng)性、多層次、高效的機(jī)制，十分精妙。

其特點(diǎn)總結(jié)如下，也是在設(shè)計(jì)審核系統(tǒng)中非常值得借鑒的原則。

• 普適性和特異性：免疫系統(tǒng)分為先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)。先天免疫系統(tǒng)快速響應(yīng)病原體的入侵，能夠應(yīng)對(duì)大部分的感染。對(duì)于小部分的嚴(yán)重感染，再啟用更加強(qiáng)大的適應(yīng)性免疫系統(tǒng)。
• 兼顧效率和成本：在上述兩個(gè)免疫系統(tǒng)結(jié)合之下，實(shí)現(xiàn)了效率與成本的平衡。因?yàn)檫m應(yīng)性免疫系統(tǒng)雖然效果強(qiáng)大，但是調(diào)用消耗的成本非常高。而先天免疫系統(tǒng)足以應(yīng)對(duì)絕大部分情況。
• 有效的級(jí)聯(lián)反應(yīng)：無論是兩個(gè)免疫系統(tǒng)內(nèi)部還是兩個(gè)系統(tǒng)之間的配合，都有非常精密的相互觸發(fā)機(jī)制，比如廣泛地收集信息、抗原傳遞、多次認(rèn)證等。因?yàn)槊庖呦到y(tǒng)生效不止會(huì)消滅病原體，也會(huì)對(duì)正常的細(xì)胞造成傷害，就是所謂的假陽性。因此審核策略的制定既需要謹(jǐn)慎，又需要在發(fā)生嚴(yán)重情況時(shí)能果斷觸發(fā)更有效的應(yīng)對(duì)機(jī)制。
• 整體性的應(yīng)對(duì)：兩個(gè)免疫并不是孤立的，而是可以相互協(xié)同、相互增強(qiáng)或控制的。這樣可以高效而靈活地應(yīng)對(duì)病原體感染，根據(jù)實(shí)際情況加強(qiáng)或適時(shí)停止免疫反應(yīng)，避免浪費(fèi)資源或造成更多假陽性。
• 二次感染快速響應(yīng)：感染一次之后，免疫系統(tǒng)會(huì)形成各種記憶細(xì)胞，有持續(xù)生效的，也有暫時(shí)休眠的。當(dāng)相近的病原體再次感染的時(shí)候，就能快速地、低成本地調(diào)用適應(yīng)性免疫，高效消滅危險(xiǎn)的病原體。

雖然筆者嘗試盡量總結(jié)的面面俱到，但是免疫系統(tǒng)幾十億年伴隨生命和病原體演化而形成的精妙體系，絕非三言兩語就能描述清楚。

感興趣的讀者不妨閱讀《免疫系統(tǒng)與病毒的戰(zhàn)爭(zhēng)》，相信會(huì)對(duì)產(chǎn)品的審核系統(tǒng)設(shè)計(jì)有更多啟發(fā)。

那么如何設(shè)計(jì)一個(gè)完善的審核系統(tǒng)呢？

二、業(yè)務(wù)分析

筆者一貫強(qiáng)調(diào)，做產(chǎn)品設(shè)計(jì)一定要先深入了解、分析業(yè)務(wù)，然后抽象出其背后的信息流，再進(jìn)行系統(tǒng)界面設(shè)計(jì)。

業(yè)務(wù)的分析方面有很多成熟的方法論，建議整體框架使用用戶體驗(yàn)五要素（參考《產(chǎn)品“無”之道（一）——戰(zhàn)略篇》）。

對(duì)于審核系統(tǒng)來說，最起碼搞清楚幾個(gè)問題：

• 整體商業(yè)的模式是什么？
• 面向用戶的產(chǎn)品是什么？有什么功能？
• 用戶群體是誰？有什么特征？
• 用戶在什么場(chǎng)景下使用產(chǎn)品？
• 造成業(yè)務(wù)風(fēng)險(xiǎn)的因素有哪些？
• 需要審核的內(nèi)容是什么？
• 要達(dá)成什么樣的審核目標(biāo)？

比如說，我們要做一個(gè)內(nèi)容社區(qū)的審核系統(tǒng)。

• 商業(yè)模式可能是會(huì)員付費(fèi)、廣告收入、流量銷售、帶貨抽成等。
• 產(chǎn)品是移動(dòng)APP為主，包括內(nèi)容生產(chǎn)者和內(nèi)容閱讀者相關(guān)的功能。
• 用戶群體可以參考業(yè)務(wù)部門的用戶畫像和用戶數(shù)據(jù)。
• 用戶主要在休閑娛樂或是遇到問題等場(chǎng)景使用產(chǎn)品。
• 風(fēng)險(xiǎn)可能包括政治、法律等底線風(fēng)險(xiǎn)，黃恐暴等不良習(xí)性，用戶隱私、用戶引導(dǎo)等輿論風(fēng)險(xiǎn)，低質(zhì)量?jī)?nèi)容等其他風(fēng)險(xiǎn)。
• 需要審核的內(nèi)容可能包括文字、圖片、聲音、視頻等各種類型的PGC或UGC內(nèi)容。
• 審核目標(biāo)可能是規(guī)避風(fēng)險(xiǎn)，保證社區(qū)的良性生態(tài)，從而支持業(yè)務(wù)可持續(xù)發(fā)展和變現(xiàn)等。

三、信息流分析

深入了解業(yè)務(wù)之后，就可以著手開始對(duì)信息流的抽象、分析和可視化。應(yīng)用方法可以參考筆者之前的文章，《火眼金睛：一眼看破產(chǎn)品邏輯》。

我們以內(nèi)容審核相關(guān)的業(yè)務(wù)為例。

經(jīng)過簡(jiǎn)單的分析，我們就能夠比較全局地了解在整個(gè)商業(yè)模式下，內(nèi)容和風(fēng)險(xiǎn)是怎樣流轉(zhuǎn)的，進(jìn)而影響內(nèi)容分發(fā)和用戶。

• 內(nèi)容信息流：核心內(nèi)容在整個(gè)系統(tǒng)中的流轉(zhuǎn)，包括內(nèi)容生產(chǎn)，內(nèi)容提交后的機(jī)器人和人工審核，審核結(jié)果的復(fù)核，以及內(nèi)容審核通過后的分發(fā)。內(nèi)容分發(fā)之后，便可以被內(nèi)容受眾消費(fèi)。
• 業(yè)務(wù)監(jiān)控信息流：內(nèi)容上線之前，雖然已經(jīng)經(jīng)過審核，但是不可能所有的內(nèi)容都能被正確審核。而且有的內(nèi)容上線雖然通過了審核，但是也可能造成某些難以預(yù)知的問題。那么就需要對(duì)上線后的內(nèi)容持續(xù)監(jiān)控（同樣可以采用機(jī)器和人工的方法）。
• 用戶反饋信息流：對(duì)上線后內(nèi)容的跟蹤，還有一個(gè)很好的方法就是借助用戶的力量。對(duì)用戶針對(duì)內(nèi)容的評(píng)價(jià)，或者直接開辟舉報(bào)窗口，都能夠幫助識(shí)別有風(fēng)險(xiǎn)的內(nèi)容。
• 風(fēng)險(xiǎn)處理信息流：已上線的內(nèi)容出現(xiàn)風(fēng)險(xiǎn)之后，需要妥善處理風(fēng)險(xiǎn)。在確認(rèn)之前可以做限流處理；對(duì)于嚴(yán)重的風(fēng)險(xiǎn)，可能要下架內(nèi)容并觸發(fā)發(fā)布者；對(duì)于質(zhì)量低等內(nèi)容，可以降低分發(fā)的流量。
• 數(shù)據(jù)反饋：一個(gè)審核系統(tǒng)想要不斷提升效率、優(yōu)化審核效果，就需要不斷收集內(nèi)容、反饋等審核之后的效果，并且將審核有效或失效的數(shù)據(jù)再輸入審核系統(tǒng)，幫助優(yōu)化機(jī)器審核的算法和人工審核的規(guī)則。

四、系統(tǒng)架構(gòu)和業(yè)務(wù)流程圖

梳理清楚信息流之后，整個(gè)審核系統(tǒng)劃的系統(tǒng)架構(gòu)就清晰多了。

• 用戶端：包括為作者和消費(fèi)受眾提供相關(guān)功能，由相關(guān)的業(yè)務(wù)團(tuán)隊(duì)決定，是審核平臺(tái)重要的需求來源和服務(wù)對(duì)象，需要與之保持密切合作。
• 機(jī)器審核平臺(tái)：利用機(jī)器審核對(duì)提交的內(nèi)容進(jìn)行自動(dòng)審核。一般審核能力通過調(diào)用AI平臺(tái)對(duì)應(yīng)的接口能力實(shí)現(xiàn)，也需要把審核的結(jié)果反饋給AI平臺(tái)，幫助其迭代審核算法。
• 人工審核平臺(tái)：對(duì)于機(jī)器審核無法完成審核的內(nèi)容，可以通過人工審核。人工審核需要制定明確的審核規(guī)則，以讓審核人員在審核時(shí)有明確的審核依據(jù)。人工審核的審核結(jié)果同樣可以反饋給AI平臺(tái)用于迭代審核算法，也可以用于完善審核規(guī)則。
• 分發(fā)平臺(tái)：內(nèi)容審核通過之后，過審的內(nèi)容通過分發(fā)平臺(tái)進(jìn)行流量分發(fā)。當(dāng)然分發(fā)的策略可以根據(jù)用戶信息、AI算法進(jìn)行優(yōu)化。而且也要隨時(shí)根據(jù)風(fēng)控反饋，及時(shí)處理有風(fēng)險(xiǎn)的內(nèi)容。
• AI平臺(tái)：為機(jī)器審核提供AI能力，也可以輔助人工審核、以提升效率。一般可以外采或者自己研發(fā)。

下一步就是根據(jù)每個(gè)平臺(tái)的具體業(yè)務(wù)需求，結(jié)合人（用戶、后臺(tái)工作人員）繪制流程圖。還是建立使用泳道圖，將系統(tǒng)、人的重要流程梳理清楚。

泳道圖的繪制屬于產(chǎn)品經(jīng)理比較基礎(chǔ)的技能，在《火眼金睛：一眼看破產(chǎn)品邏輯》也有案例，在此不再具體演示。

五、機(jī)器審核平臺(tái)

機(jī)器審核是個(gè)比較偏向技術(shù)的平臺(tái)，產(chǎn)品經(jīng)理的工作就是要為內(nèi)容安全提供一個(gè)高效、準(zhǔn)確的機(jī)器審核和風(fēng)控支持。

做好機(jī)器審核平臺(tái)，需要在幾個(gè)方面做出權(quán)衡。

• 風(fēng)險(xiǎn)和體驗(yàn)：審核策略越嚴(yán)格，上線內(nèi)容的風(fēng)險(xiǎn)越小，但是越可能誤傷正常的內(nèi)容，且為人工審核帶來更多的工作量，影響用戶體驗(yàn)。反之體驗(yàn)有所提升，但是自身的風(fēng)險(xiǎn)會(huì)提高。
• 效率和成本：算法越精準(zhǔn)，識(shí)別效果越好，然而也意味著更大量的訓(xùn)練數(shù)據(jù)、更復(fù)雜的算法模型、更高的運(yùn)算量；部署的硬件性能越好、數(shù)量越多，審核的速度越快，但是成本也越高。

那么，筆者上文介紹的免疫系統(tǒng)的特點(diǎn)就有用武之地了。

比如受先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)的啟發(fā)，我們也可以將機(jī)器審核劃分成普適性審核和適應(yīng)性審核。事實(shí)上，大多審核系統(tǒng)也是這么做的，但是可以模仿免疫系統(tǒng)，做得更極致。

在作者提交內(nèi)容時(shí)，可以對(duì)普遍性的問題進(jìn)行快速識(shí)別。比如敏感詞、錯(cuò)別字等，讓作者可以馬上修正，以避免等待一段時(shí)間之后才發(fā)現(xiàn)要修正。這樣就可以一定程度提升用戶體驗(yàn)。

對(duì)于所有的內(nèi)容，應(yīng)當(dāng)先讓一個(gè)簡(jiǎn)單、高效的模型完成普遍性問題的識(shí)別，可以引用人工配置的關(guān)鍵詞、策略等幫助增強(qiáng)識(shí)別效果。比如可以將完全合規(guī)的內(nèi)容直接發(fā)布；對(duì)于機(jī)器識(shí)別置信度低、難以判斷的問題類型直接流轉(zhuǎn)人工審核系統(tǒng)；對(duì)于適合機(jī)器識(shí)別的問題進(jìn)行歸類，再分發(fā)給不同的適應(yīng)性算法。甚至以上幾種目的也可以交給不同的算法識(shí)別分別實(shí)現(xiàn)。

適應(yīng)性算法則可以針對(duì)某一類問題進(jìn)行深度的定制。比如根據(jù)國家劃分，可以充分考慮不同國家的法律法規(guī)和文化；專門針對(duì)政治敏感、色情、恐怖等不同類型問題的識(shí)別；專門對(duì)內(nèi)容質(zhì)量、重復(fù)性、版權(quán)問題識(shí)別的模型等。目前人工智能算法的特點(diǎn)還是通用性難做，但是針對(duì)特定的問題則可以達(dá)到更佳的效果。

再比如建立有效的級(jí)聯(lián)反應(yīng)機(jī)制，讓不同類型的問題都得以妥善地處置。

合理配置審核策略，尋找不同整合之間的相似性、關(guān)聯(lián)性，可以對(duì)相近的策略進(jìn)行合并，有沖突的策略進(jìn)行隔離，有關(guān)聯(lián)的策略設(shè)定前后觸發(fā)關(guān)系等。

針對(duì)不同類型的問題，還可以設(shè)定不同的閾值。比如對(duì)政治敏感、青少年色情、版權(quán)等底線性的問題，應(yīng)當(dāng)采取寧愿誤傷，也不放過的策略，然后再交由人工審核進(jìn)一步判斷。對(duì)于重復(fù)、低質(zhì)量的內(nèi)容，則可以適當(dāng)放寬標(biāo)準(zhǔn)，先讓內(nèi)容發(fā)布，再根據(jù)后續(xù)用戶的行為、評(píng)價(jià)、舉報(bào)等進(jìn)一步處理。

有條件時(shí)，針對(duì)同一類問題可以使用多個(gè)模型同時(shí)進(jìn)行分析。這樣的好處，一個(gè)是可以進(jìn)行交叉驗(yàn)證，提升審核的準(zhǔn)確度。也可以比較不同的算法模型效果，不斷淘汰舊的模型，應(yīng)用新的模型。

還有可以挖掘不同算法模型之間的協(xié)作關(guān)系。

因?yàn)楝F(xiàn)實(shí)世界，內(nèi)容很多的問題都是混雜在一起的，比如有的內(nèi)容可能既色情又暴力。

那么普適性審核模型也應(yīng)當(dāng)能夠提取一些關(guān)鍵特征，幫助適應(yīng)性審核模型更精準(zhǔn)、高效地完成審核；適應(yīng)性審核模型也可以抽取出更多普適性的特征，反哺普適性審核模型，幫助其優(yōu)化。

而不同的適應(yīng)性審核模型，也可以抽取出自己無法完全識(shí)別，但是可能與另一種問題相關(guān)的特征，并且提供給相關(guān)的模型，幫助其更準(zhǔn)確地完成識(shí)別。

最后就是優(yōu)化機(jī)器審核的記憶性。

機(jī)器審核平臺(tái)應(yīng)當(dāng)提供審核結(jié)果的數(shù)據(jù)平臺(tái)，包括每個(gè)算法模型的調(diào)用次數(shù)、識(shí)別效率、識(shí)別準(zhǔn)確性（來自模型的交叉驗(yàn)證、人工審核、用戶反饋等）等數(shù)據(jù)，用于衡量模型效果。

也應(yīng)當(dāng)允許查看內(nèi)容的識(shí)別結(jié)果，并盡可能標(biāo)注出問題的區(qū)域。同時(shí)也可以人為對(duì)結(jié)果進(jìn)行訂正，以提升反饋數(shù)據(jù)的質(zhì)量。

對(duì)于已經(jīng)發(fā)生的問題，可以總結(jié)其規(guī)律性，比如是否跟國家地區(qū)、時(shí)間（季節(jié)、節(jié)日等）、偶然事件、賬號(hào)用戶行為等是否有關(guān)。對(duì)于持續(xù)性、易發(fā)性的問題，可以作為固定的檢測(cè)對(duì)象固定下來（配置關(guān)鍵詞、審核策略、甚至新增模型等）；對(duì)于規(guī)律性、偶發(fā)性的問題，可以設(shè)定有效的觸發(fā)策略，平時(shí)可以不作為審核對(duì)象。

借鑒疫苗的思維，可以建立模擬的沙盒，在新審核策略、新審核模型發(fā)布前，在沙盒中測(cè)試效果。還可以人工或機(jī)器生成大量的違規(guī)內(nèi)容，然后輸入沙盒用以優(yōu)化模型等。

由于筆者在審核方面的經(jīng)驗(yàn)有限，上述的想法拋出來供各位讀者參考，也歡迎大家留言交流。

六、人工審核平臺(tái)

人工審核平臺(tái)要支持審核人員審核和管理的要求，相對(duì)來說有更多的界面設(shè)計(jì)和流程流轉(zhuǎn)。但機(jī)器人審核平臺(tái)的很多思路也可以借鑒。

1. 將審核人員分層和有效的級(jí)聯(lián)機(jī)制

可以指定一批基礎(chǔ)的審核人員，初步判斷機(jī)器給出的判斷建議是否合理，比如是否需要人工審核、問題分類是否恰當(dāng)。

特定問題的審核人員同樣可以分層，優(yōu)先由初級(jí)審核人員處理，對(duì)于難以判斷的問題，可以升級(jí)、交給更資深的審核人員處理。因?yàn)閷徍巳藛T的培養(yǎng)也是需要成本的，而有疑難雜癥的內(nèi)容也是少數(shù)，這種策略可以兼顧效率和成本。

2. 審核人員之間的協(xié)作

對(duì)于重要的問題，可以同時(shí)交給若干審核人員交叉驗(yàn)證。這樣的好處是一方面可以避免嚴(yán)重的問題被誤判而分發(fā)給用戶，造成惡劣的影響；另一方面也可以對(duì)重要作者更謹(jǐn)慎的審核，避免因?yàn)檎`判損害其積極性和利益。

雖然經(jīng)過機(jī)器和人工分類，但是還有部分問題難免分配到錯(cuò)誤的類別，那么處理特定問題的審核人員可以根據(jù)個(gè)人判斷，直接移交給其他組別或者打回給分類審核人員。

3. 強(qiáng)化人工審核系統(tǒng)的記憶

可以從兩方面入手。

一個(gè)是同樣要提供審核結(jié)果的數(shù)據(jù)平臺(tái)，幫助管理人員不斷發(fā)現(xiàn)人工審核的不足之處，通過優(yōu)化審核規(guī)則、加強(qiáng)審核人員培訓(xùn)等動(dòng)作，提升審核效果。

另一個(gè)是要建立對(duì)審核人員的獎(jiǎng)懲措施。獎(jiǎng)勵(lì)審核快、結(jié)果準(zhǔn)的審核人員，懲罰審核慢、結(jié)果差的審核人員。鼓勵(lì)有想法的審核人員反饋問題和建議，則可以更好地優(yōu)化人工審核系統(tǒng)乃至機(jī)器審核系統(tǒng)。

用AI進(jìn)行輔助。

雖然前序的機(jī)器審核可能無法準(zhǔn)確判斷問題，但是可以給出處理意見、標(biāo)注出問題最大的位置，幫助審核人員快速定位。

還可以提示相關(guān)的審核規(guī)則，方便審核人員在有疑問時(shí)能快速查找依據(jù)。也可以在審核規(guī)則發(fā)生變動(dòng)時(shí)及時(shí)予以提醒。

甚至對(duì)于有顯著問題的審核結(jié)果進(jìn)行提醒，進(jìn)一步降低出錯(cuò)概率。

而人工審核的結(jié)果，則是優(yōu)化AI算法模型的極佳數(shù)據(jù)。

最后想提醒的是最重要的審核頁面的設(shè)計(jì)，界面設(shè)計(jì)的合理性、易操作性，極大影響審核人員的效率乃至準(zhǔn)確性。需要結(jié)合業(yè)務(wù)特點(diǎn)和審核內(nèi)容類別（文字、圖片、聲音、視頻）等有針對(duì)性地進(jìn)行設(shè)計(jì)。也需要結(jié)合可用性測(cè)試、數(shù)據(jù)埋點(diǎn)等手段不斷優(yōu)化審核界面。

由于差異性顯著，筆者在此不提供具體案例，但是提示可以參考各類設(shè)計(jì)軟件，使用通用性的交互、快捷鍵等方式提升效率。

關(guān)于審核系統(tǒng)的設(shè)計(jì)思路就介紹到這里。

觸類旁通，是一個(gè)優(yōu)秀產(chǎn)品經(jīng)理必備的素質(zhì)。閱讀筆者的公眾號(hào)文章，是一個(gè)不錯(cuò)的選擇。