本文作者根據(jù)多年人臉識(shí)別項(xiàng)目經(jīng)驗(yàn)，總結(jié)了人臉識(shí)別技術(shù)在安防、商業(yè)領(lǐng)域應(yīng)用及產(chǎn)品設(shè)計(jì)細(xì)節(jié)，匯總成應(yīng)用層下的人臉識(shí)別系列文章。本文為系列文章的第三篇——介紹人臉比對(duì)相關(guān)內(nèi)容。全文圍繞人類(lèi)比對(duì)類(lèi)型、人臉比對(duì)要素展開(kāi)介紹。

一、人臉比對(duì)類(lèi)型

人臉比對(duì)類(lèi)型可分為四種，分別是：人臉1:1、人臉1:n、人臉1:N、人臉M:N。

人臉識(shí)別應(yīng)用無(wú)非就是圍繞著這四種比對(duì)方式展開(kāi)，下面將依次介紹各種比對(duì)類(lèi)型。

1.?人臉1:1

人臉1:1一般用于人證核驗(yàn)，可以簡(jiǎn)單理解為：證明你就是。

例如：在乘坐火車(chē)、飛機(jī)，出入境，銀行辦卡時(shí)，通常需要驗(yàn)證本人與其持有身份證是否為同一個(gè)人。

如下圖，系統(tǒng)只需讀取二代身份證中的人臉照片，與現(xiàn)場(chǎng)抓拍的本人照片做比對(duì)即可。

人臉1:1又稱為靜態(tài)人臉比對(duì)，同時(shí)具有配合式的特點(diǎn)，完成比對(duì)需要用戶攜帶身份證并主動(dòng)配合采集人臉。

2. 人臉1:n

人臉1:n：將一張人臉照片與人臉庫(kù)中的多張人臉逐一進(jìn)行比對(duì)，人臉庫(kù)有多少人臉就需要比對(duì)多少次——平臺(tái)采集了“我”的一張照片之后，從海量的人像數(shù)據(jù)庫(kù)中找到與當(dāng)前使用者人臉數(shù)據(jù)相符合的圖像，并進(jìn)行匹配，找出來(lái)“我是誰(shuí)”。

人臉1:n又稱動(dòng)態(tài)人臉比對(duì)。

比對(duì)照片是從動(dòng)態(tài)視頻中獲取的，同時(shí)具有非配合特點(diǎn)——整個(gè)比對(duì)過(guò)程是無(wú)感知的，不需要人為配合。這兩個(gè)特性使人臉1:n能迅速落地于公安追捕逃犯，但時(shí)其難度要遠(yuǎn)高于人臉1:1 。（其通常會(huì)受到光照變化、人臉姿態(tài)的影響——比如側(cè)臉、低頭、逆光現(xiàn)象，會(huì)大大提升人臉漏報(bào)率。）

人臉1:n中“n”的大小（人臉庫(kù)照片的數(shù)量）會(huì)影響人臉識(shí)別的準(zhǔn)確率和比對(duì)速度，所以比對(duì)人臉庫(kù)規(guī)模會(huì)設(shè)置的相對(duì)較小。

3.?人臉1:N

人臉1:N又稱靜態(tài)大庫(kù)檢索：即以人臉圖片、人臉相似度作為檢索條件，在人臉庫(kù)中搜索與其相似（相似度大于設(shè)定閾值）的圖片——類(lèi)似于百度以圖搜圖。

檢索過(guò)程實(shí)際就是：進(jìn)行N次人臉比對(duì)，并留下比分大于閾值的結(jié)果。

人臉1:N的人臉庫(kù)規(guī)模相較于人臉1:n會(huì)大很多，最高可支持億級(jí)人臉檢索，所以這里的N為大寫(xiě)。

4. 人臉M:N

人臉M:N實(shí)際就是兩個(gè)人臉庫(kù)進(jìn)行比對(duì)。

例如：人臉庫(kù)A有M個(gè)人臉，人臉庫(kù)B有N個(gè)人臉。如果想查看人臉庫(kù)A和B包含多少個(gè)相同的人，就需要用人臉庫(kù)A中M個(gè)人臉逐一與人臉庫(kù)B中N個(gè)人臉進(jìn)行比對(duì)，相當(dāng)于是M個(gè)人臉1:N相加的結(jié)果。

人臉M:N常用于慣犯排查、身份查重。

例如：辦案人員在處理類(lèi)似三搶一盜的案件中，一般來(lái)說(shuō)80%的案件是慣犯所為。于是，將線索地點(diǎn)路人庫(kù)與慣犯庫(kù)進(jìn)行人臉M:N比對(duì)碰撞，可快速排查嫌疑，找出偵查方向。

二、人臉比對(duì)的要素

1. 人臉數(shù)據(jù)

人工智能算法的演進(jìn)必須有數(shù)據(jù)作為支撐。

使用大量標(biāo)注好的數(shù)據(jù)訓(xùn)練模型，可將識(shí)別的準(zhǔn)確率從70%提升到99%水平?？陀^、精準(zhǔn)的數(shù)據(jù)是人工智能應(yīng)用必須具備的條件。

獲取人臉數(shù)據(jù)的五種方式：

1. 監(jiān)控相機(jī)、手機(jī)相機(jī)等各種類(lèi)型相機(jī)：拍攝的視頻、照片是人臉原始數(shù)據(jù)的主要來(lái)源。項(xiàng)目中常通過(guò)RTSP、FTP等協(xié)議對(duì)接這類(lèi)相機(jī)獲取實(shí)時(shí)視頻流或圖片流。
2. NVR/DVR等錄像儲(chǔ)存設(shè)備：儲(chǔ)存了大量視頻資源，可通過(guò)ONVIF協(xié)議對(duì)接這類(lèi)設(shè)備獲取數(shù)據(jù)。
3. 第三方企業(yè)、事業(yè)單位的人員信息庫(kù)：例如公安的八大信息資源庫(kù)、企業(yè)在職員工信息庫(kù)等。獲取這類(lèi)數(shù)據(jù)難度較大，會(huì)涉及到第三方平臺(tái)對(duì)接，還需考慮到保密、網(wǎng)絡(luò)安全等問(wèn)題。
4. 互聯(lián)網(wǎng)中的開(kāi)放數(shù)據(jù)集：常用的WebFace、FDDB、LFW、YouTube Face等人臉數(shù)據(jù)集，提供了優(yōu)質(zhì)的標(biāo)注數(shù)據(jù)，可用于算法測(cè)試及模訓(xùn)練。
5. 網(wǎng)絡(luò)爬取：通過(guò)編寫(xiě)或者利用免費(fèi)網(wǎng)絡(luò)爬蟲(chóng)程序，自動(dòng)抓取萬(wàn)維網(wǎng)中的圖片。它們被廣泛用于互聯(lián)網(wǎng)的數(shù)據(jù)采集中。

2. 人臉比對(duì)庫(kù)

人臉比對(duì)庫(kù)為人臉識(shí)別提供比對(duì)模板——人臉1:n、人臉1:N、人臉M:N必須要有人臉比對(duì)庫(kù)才能進(jìn)行比對(duì)。

系列第二篇文章《應(yīng)用層下的人臉識(shí)別（二）：人臉庫(kù)》詳細(xì)的介紹了人臉庫(kù)的建立方法。

3. 比對(duì)閾值

比對(duì)閾值：人臉比對(duì)的相似度。

人臉比對(duì)結(jié)果以相似度值呈現(xiàn)，在人臉比對(duì)之前需要設(shè)定一個(gè)相似度的門(mén)檻值，大于這個(gè)門(mén)檻則判定兩張照片可能為同一個(gè)人。

比對(duì)閾值對(duì)人臉識(shí)別的準(zhǔn)確率、漏報(bào)率影響頗大，比對(duì)閾值設(shè)置的越高準(zhǔn)確率就越高，漏報(bào)率也會(huì)隨之升高。比對(duì)閾值沒(méi)有一個(gè)固定的標(biāo)準(zhǔn)，應(yīng)根據(jù)應(yīng)用場(chǎng)景來(lái)靈活調(diào)整。

例如：刷臉支付更關(guān)注比對(duì)準(zhǔn)確率，需要調(diào)高閾值；而公安嫌犯人臉布控要求降低漏報(bào)，就需要適當(dāng)調(diào)低閾值。

4. 芯片

人工智能的三要素是算法、算力和數(shù)據(jù)，而芯片決定了算力。

深度學(xué)習(xí)工程的兩大關(guān)鍵環(huán)節(jié)training（訓(xùn)練）和inference（推測(cè)）需要大量的算力支撐，普通的CPU無(wú)法滿足計(jì)算要求。

相繼推出的高性能GPU、TPU、FPGA、ASIC等加速芯片，大大提升了計(jì)算速度，同時(shí)也促進(jìn)了算法的發(fā)展。

GPU在人臉1:n、1:N、M:N比對(duì)中是不可或缺的，而部分人臉1:1計(jì)算量不大，可以不使用加速芯片。億級(jí)人臉檢索在GPU的加速下可以達(dá)到秒級(jí)返回結(jié)果。

5. 人臉?biāo)惴?/h3>

人臉?biāo)惴ㄐЧ麤Q定了人臉識(shí)別的上限，也是人臉比對(duì)最關(guān)鍵的要素。隨著深度學(xué)習(xí)技術(shù)的普及，各大公司的人臉?biāo)惴ㄐЧ罹嘁苍絹?lái)越小。

目前主流的人臉識(shí)別算法可以分為以下四類(lèi)：

1. 基于人臉特征點(diǎn)的識(shí)別算法
2. 基于整幅人臉圖像的識(shí)別算法
3. 基于模板的識(shí)別算法
4. 利用神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的算法

2018年11月20日公布的，有工業(yè)界黃金標(biāo)準(zhǔn)之稱的全球人臉識(shí)別算法測(cè)試(FRVT)結(jié)果（如下圖）：

排名前五的算法都被中國(guó)包攬：

• 依圖科技(yitu)繼續(xù)保持全球人臉識(shí)別競(jìng)賽冠軍，在千萬(wàn)分之一誤報(bào)下的識(shí)別準(zhǔn)確率超過(guò)99%。
• 排名第二的算法也來(lái)自依圖科技。
• 商湯科技(sensetime)摘得第三名和第四名。
• 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院(siat)排名第五。

人臉?biāo)惴m然在各種數(shù)據(jù)集的測(cè)試中準(zhǔn)確率頗高，但還遠(yuǎn)沒(méi)達(dá)到在商業(yè)應(yīng)用中的滿意程度。

目前仍然有很多缺陷需要解決，例如：

姿態(tài)問(wèn)題：

人臉識(shí)別主要依據(jù)人的面部表象特征來(lái)進(jìn)行，“如何識(shí)別由姿態(tài)引起的面部變化？”就成了該技術(shù)的難點(diǎn)之一。

姿態(tài)問(wèn)題涉及：頭部在三維垂直坐標(biāo)系中，繞三個(gè)軸的旋轉(zhuǎn)造成的面部變化。其中，垂直于圖像平面的兩個(gè)方向的深度旋轉(zhuǎn)會(huì)造成面部信息的部分缺失。這使得姿態(tài)問(wèn)題成為人臉識(shí)別的一個(gè)技術(shù)難題。

針對(duì)姿態(tài)的研究相對(duì)比較的少，目前多數(shù)的人臉識(shí)別算法主要針列正面、準(zhǔn)正面人臉圖像。當(dāng)發(fā)生俯仰或者左右側(cè)而比較厲害的情況下，人臉識(shí)別算法的識(shí)別率也將會(huì)急劇下降。

圖像質(zhì)量問(wèn)題：

人臉圖像的來(lái)源可能多種多樣，由于采集設(shè)備的不同，得到的人臉圖像質(zhì)量也不一樣。

特別是對(duì)于那些低分辨率、噪聲大、質(zhì)量差的人臉圖像（如：手機(jī)攝像頭拍攝的人臉圖片、遠(yuǎn)程監(jiān)控拍攝的圖片等），“如何進(jìn)行有效地人臉識(shí)別？”就是個(gè)需要關(guān)注的問(wèn)題。

而對(duì)于高分辨圖像對(duì)人臉識(shí)別算法的影響，也需要進(jìn)一步的研究。

現(xiàn)在，我們?cè)谌四樧R(shí)別時(shí)，一般采用的都是相同尺寸、清晰度很接近的人臉圖片，所以圖像質(zhì)量問(wèn)題基本可以解決。但是，面對(duì)現(xiàn)實(shí)中更加復(fù)雜的問(wèn)題，還是需要繼續(xù)優(yōu)化處理。

遮擋問(wèn)題：

對(duì)于非配合情況下的人臉圖像采集，遮擋問(wèn)題是一個(gè)非常嚴(yán)重的問(wèn)題。

特別是在監(jiān)控環(huán)境下，往往被監(jiān)控對(duì)象都會(huì)帶著眼鏡、帽子等飾物，使得被采集出來(lái)的人臉圖像有可能不完整，從而影響了后面的特征提取與識(shí)別，甚至?xí)?dǎo)致人臉檢測(cè)算法的失效。

人臉?biāo)惴ㄔ谌四樜骞俦粨醯那闆r下表現(xiàn)的不是很好。

目前對(duì)遮擋識(shí)別效果較好的DeepID2算法，可穩(wěn)定識(shí)別遮擋在20%以內(nèi)，塊大小在30*30以下的人臉。

樣本缺乏問(wèn)題：

基于統(tǒng)計(jì)學(xué)習(xí)的人臉識(shí)別算法是目前人臉識(shí)別領(lǐng)域中的主流算法，但是統(tǒng)計(jì)學(xué)習(xí)方法需要大量的訓(xùn)練。

由于人臉圖像在高維空間中的分布是一個(gè)不規(guī)則的流形分布，能得到的樣本只是對(duì)人臉圖像空間中的一個(gè)極小部分的采樣。關(guān)于“如何解決小樣本下的統(tǒng)計(jì)學(xué)習(xí)問(wèn)題？”，還有待進(jìn)一步的研究。

以上就是系列文章的第三篇——《應(yīng)用層下的人臉識(shí)別（三）：人臉比對(duì)》的相關(guān)內(nèi)容。

歡迎大家添加公眾號(hào)“陽(yáng)春柏樰”與我繼續(xù)交流圖像識(shí)別相關(guān)問(wèn)題。

三、相關(guān)閱讀

應(yīng)用層下的人臉識(shí)別（一）：圖像獲取

應(yīng)用層下的人臉識(shí)別（二）：人臉庫(kù)

本文由@陽(yáng)春柏樰 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議