人臉識(shí)別的工作原理是什么？

什么是人臉識(shí)別？

人臉識(shí)別是一種軟件層面的算法，用于通過處理視頻幀或數(shù)字圖像來驗(yàn)證或識(shí)別一個(gè)人的身份，其中該人的臉是可見的。面部識(shí)別技術(shù)有幾種不同的工作方法，但是他們通常會(huì)將圖像中的面部特征與數(shù)據(jù)庫(kù)中的面部特征進(jìn)行比較。

人臉識(shí)別處理的4個(gè)步驟

特定的神經(jīng)網(wǎng)絡(luò)被訓(xùn)練用來檢測(cè)人臉的標(biāo)簽，并將人臉與圖像中的其他物體區(qū)分開來。標(biāo)簽是人類普遍的五官等面部特征，比如：眼睛、鼻子、嘴巴、眉毛等。

任何人臉檢測(cè)和識(shí)別系統(tǒng)或軟件都繞不開人臉識(shí)別算法。業(yè)界將這些算法分為兩種：

1. 幾何方法側(cè)重于區(qū)分特征

簡(jiǎn)而言之就將2D照片投影到3D模型上

例如：當(dāng)一張臉被包裹在3D模型周圍時(shí)，會(huì)顯示出在靜態(tài)和平坦的圖像中更難找到的顯著特征。位深度投影可以解決2D面部識(shí)別的局限性，在這種情況下，你不需要在苛刻的光照條件下拍攝圖像，就能達(dá)到較高的精確度。

1. 光度統(tǒng)計(jì)方法用于從圖像中提取數(shù)值

即每個(gè)像素都被替換為相對(duì)光照的對(duì)比度表示，這意味著它顯示了像素的亮度與周圍像素的對(duì)比情況，此測(cè)量方法使在多種照明形式中識(shí)別同一個(gè)面變得更容易。

人臉識(shí)別算法是基于數(shù)學(xué)計(jì)算的，神經(jīng)網(wǎng)絡(luò)同時(shí)進(jìn)行大量的數(shù)學(xué)運(yùn)算。這些算法執(zhí)行三個(gè)主要任務(wù)：在圖像、視頻或?qū)崟r(shí)流媒體中檢測(cè)人臉、計(jì)算人臉的數(shù)學(xué)模型，并將模型與訓(xùn)練集或數(shù)據(jù)庫(kù)進(jìn)行比較以識(shí)別或驗(yàn)證人臉是否符合數(shù)據(jù)庫(kù)中的信息。由于沒有一種完美的人臉識(shí)別算法，每種方法都有其在特定條件下的優(yōu)勢(shì)所在，本文將介紹14種常見的面部識(shí)別算法: 

• 卷積神經(jīng)網(wǎng)絡(luò)(CNN)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是人工神經(jīng)網(wǎng)絡(luò)(ANN)在AI業(yè)界近些年發(fā)展有很多突破，它是深度學(xué)習(xí)（DL）中最常用的算法之一。DL是機(jī)器學(xué)習(xí)（ML）的子集，DL模型學(xué)習(xí)直接對(duì)圖像、視頻、文本或聲音執(zhí)行分類任務(wù)，該模型在CV、NLP和最大的圖像分類數(shù)據(jù)集(Image Net)等領(lǐng)域都取得了較為重大的成果。CNN具有卷積層和池層，每一層都要學(xué)會(huì)檢測(cè)不同的成像特征。

• Eeigenfaces

如果需要確定圖像數(shù)據(jù)集中人臉方差的人臉檢測(cè)時(shí)，就需要用到Eeigenfaces算法。它利用這些變量，通過機(jī)器學(xué)習(xí)對(duì)人臉進(jìn)行編碼和解碼。一組Eeigenfaces是通過對(duì)大量人臉圖像的統(tǒng)計(jì)分析確定的“標(biāo)準(zhǔn)化人臉成分”的集合。面部特征被賦予常數(shù)值，因?yàn)檫@種方法不使用數(shù)字圖片，而是使用統(tǒng)計(jì)數(shù)據(jù)庫(kù)。任何人臉都是這些值的不同百分比的組合。

• Fisherfaces

Fisherfaces也是常見的人臉識(shí)別算法之一，作為對(duì) Eeigenfaces 算法的一種改進(jìn)，它經(jīng)常被拿來與 Eigenfaces 進(jìn)行比較，并且在訓(xùn)練過程中被認(rèn)為達(dá)到了更高的優(yōu)化層級(jí)。這種算法的關(guān)鍵優(yōu)勢(shì)是它能夠插值和外推照明和面部表情的變化。在模型的預(yù)訓(xùn)練階段，已有報(bào)告指出將基于Fisherfaces與基于PCA的算法相結(jié)合，可以達(dá)到93%的準(zhǔn)確率。

• PCA

主成分分析(PCA)是一種通用的統(tǒng)計(jì)方法，具有許多實(shí)際的應(yīng)用。在人臉識(shí)別工作流程中，PCA的目標(biāo)是在保留最相關(guān)信息的同時(shí)減小源數(shù)據(jù)的大小。它產(chǎn)生一組加權(quán)的特征向量，然后由這些特征向量構(gòu)成特征臉——不同人臉圖像的廣泛集合。特征臉的線性組合代表訓(xùn)練集中的每一張圖像。PCA用于接收這些特征向量，這些特征向量來自訓(xùn)練圖像集的協(xié)方差矩陣。對(duì)于每個(gè)圖像，計(jì)算其主要成分(從5到200)。其他組件編碼面孔和噪音之間的細(xì)微差別。識(shí)別過程包括將未知圖像的主要組成部分與所有其他圖像的組成部分進(jìn)行比較。

• SVM

支持向量機(jī)( support vector machine—SVM )是一種利用二組分類原理區(qū)分人臉和非人臉的ML算法。對(duì)于每一類，SVM模型接收一個(gè)標(biāo)記的訓(xùn)練數(shù)據(jù)集來分類新的測(cè)試數(shù)據(jù)。研究者應(yīng)用線性和非線性SVM訓(xùn)練模型進(jìn)行人臉識(shí)別。最近的結(jié)果表明，非線性訓(xùn)練機(jī)具有更大的余量和更好的識(shí)別和分類結(jié)果。

• Haar Cascade

Haar Cascade是一種目標(biāo)檢測(cè)方法，用于在圖像上定位目標(biāo)。該算法從大量正值和負(fù)值樣本中學(xué)習(xí)-前者包含感興趣的對(duì)象，后者包含您要查找的對(duì)象以外的任何對(duì)象。經(jīng)過訓(xùn)練，分類器可以在新的圖像上找到感興趣的對(duì)象。將該方法應(yīng)用于刑事識(shí)別中，并結(jié)合局部二值模式算法進(jìn)行人臉識(shí)別。Haar級(jí)聯(lián)分類器使用200個(gè)(滿分6000個(gè))特征，即使在表情不同的情況下也能確保85-95%的識(shí)別率。

• 3D識(shí)別

3D人臉識(shí)別技術(shù)的底層邏輯是基于識(shí)別是人類頭骨的獨(dú)特結(jié)構(gòu)，因?yàn)槊總€(gè)人的頭骨結(jié)構(gòu)都是第一無二的，它們可以用幾十個(gè)參數(shù)來描述。這種面部識(shí)別方法基于將3D面部掃描與數(shù)據(jù)庫(kù)模式進(jìn)行比較。它有一個(gè)特殊的優(yōu)勢(shì)——化妝、面部毛發(fā)、眼鏡和類似因素不會(huì)影響檢測(cè)和識(shí)別過程。最新的研究使用了在規(guī)則的2D網(wǎng)格上繪制三維幾何信息的技術(shù)。它允許將3D數(shù)據(jù)的描述性與2D數(shù)據(jù)的計(jì)算效率相結(jié)合，并顯示了在FRGC v2(人臉識(shí)別大挑戰(zhàn)3D人臉數(shù)據(jù)庫(kù))上報(bào)告的最高性能。

• 皮膚紋理分析

皮膚識(shí)別技術(shù)在皮膚檢測(cè)、圖像濾波、手勢(shì)分析等領(lǐng)域有著廣泛的應(yīng)用。它通常使用高分辨率的圖像。皮膚紋理分析的特殊情況使用不同的獨(dú)特參數(shù)，如色沉、瘢痕、毛孔、卟啉分布等參數(shù)。最近的一項(xiàng)基于紋理特征和膚色結(jié)合的研究顯示了有趣的結(jié)果。研究人員使用神經(jīng)網(wǎng)絡(luò)來開發(fā)和測(cè)試皮膚識(shí)別系統(tǒng)。項(xiàng)目中使用的前饋神經(jīng)網(wǎng)絡(luò)將輸入紋理圖像分為“皮膚”和“非皮膚”，并顯示出很高的識(shí)別效率與準(zhǔn)確性。

• 熱成像儀

熱像儀是一種用于監(jiān)測(cè)被測(cè)表面溫度分布的裝置。溫度分布顯示為與溫度對(duì)應(yīng)的不同顏色的彩色圖片。這項(xiàng)技術(shù)已經(jīng)有了幾個(gè)適應(yīng)全球變化的實(shí)際應(yīng)用——基于智能手機(jī)的免疫證書、遠(yuǎn)程發(fā)燒檢測(cè)和熱面部識(shí)別。熱人臉識(shí)別模型是基于人臉的獨(dú)特溫度模式。人體溫度的標(biāo)簽是用熱紅外(IR)來測(cè)量的。熱成像儀人臉識(shí)別也具備與3D識(shí)別同樣的優(yōu)勢(shì)，即化妝、面部毛發(fā)、帽子和眼鏡不會(huì)影響其準(zhǔn)確性，它甚至還能精確的區(qū)分雙胞胎兄弟姐妹。

• 自適應(yīng)神經(jīng)模糊干擾系統(tǒng)

自適應(yīng)神經(jīng)模糊干擾系統(tǒng)(ANFIS)是一種人工神經(jīng)網(wǎng)絡(luò)。該系統(tǒng)綜合了神經(jīng)網(wǎng)絡(luò)原理和模糊邏輯原理，并將它們的優(yōu)點(diǎn)融合在一個(gè)單一的結(jié)構(gòu)中。在預(yù)處理階段，采用自適應(yīng)神經(jīng)模糊推理系統(tǒng)對(duì)從數(shù)據(jù)集中提取的圖像特征進(jìn)行分類。數(shù)據(jù)科學(xué)家將這種方法與各種特征提取算法結(jié)合起來。一些項(xiàng)目的測(cè)試結(jié)果表明：采用二維主成分分析進(jìn)行特征提取后，ANFIS 的分類準(zhǔn)確率達(dá)到了97.1% 。

• 局部二值模式直方圖（LBPH ）

這種方法使用了一種簡(jiǎn)單有效的計(jì)算機(jī)視覺紋理操作局部二值模式，它通過設(shè)置每個(gè)像素的鄰域閾值并將結(jié)果作為二進(jìn)制數(shù)來標(biāo)記圖像中的像素。在學(xué)習(xí)階段，LBPH 算法為每個(gè)被標(biāo)記和分類的圖像創(chuàng)建直方圖。每個(gè)直方圖代表訓(xùn)練集中的每個(gè)圖像。這樣，實(shí)際的識(shí)別過程就意味著比較任意兩幅圖像的直方圖。

• FaceNet

人臉識(shí)別系統(tǒng) FaceNet 是由谷歌研究人員于2015年開發(fā)的，基于人臉識(shí)別基準(zhǔn)數(shù)據(jù)集?？捎玫念A(yù)先培訓(xùn)模型和各種開放源碼的第三方實(shí)現(xiàn)使這個(gè)系統(tǒng)相當(dāng)廣泛地推廣。FaceNet 在調(diào)查研究、測(cè)試性能和準(zhǔn)確性方面比早期開發(fā)的其他算法都有出色的表現(xiàn)。FaceNet 精確提取人臉嵌入信息，用于后期人臉識(shí)別系統(tǒng)訓(xùn)練的高質(zhì)量特征。

• NEC

該解決方案由日本NEC科技公司開發(fā)，可以在識(shí)別年齡變化的同時(shí)，高度準(zhǔn)確地識(shí)別人。該解決方案使用自適應(yīng)區(qū)域混合匹配(Adaptive Region Mixed Matching)，這是一個(gè)專注于高度相似的片段進(jìn)行映射的模型。NEC技術(shù)將輸入圖像和注冊(cè)圖像分成小段，只關(guān)注更相似的段。即使戴著口罩或眼鏡，也能顯示出更高的識(shí)別準(zhǔn)確率。作為其基礎(chǔ)算法，NEC解決方案使用廣義學(xué)習(xí)向量量化(GLVQ)。

• 曠視 (FACE++)

中國(guó)曠視科技在推出人臉識(shí)別應(yīng)用平臺(tái)后，已經(jīng)成為世界知名公司。這是一個(gè)多用途的軟件。該算法基于圖像檢測(cè)和模糊圖像搜索技術(shù)。這個(gè)技術(shù)解決方案使用了公司專有的基于大數(shù)據(jù)的深度學(xué)習(xí)框架MegEngine。該公司的技術(shù)成功地完成了面部信息抽取識(shí)別，包括幾個(gè)關(guān)鍵特征: 人臉和人臉檢測(cè)和跟蹤、人臉識(shí)別和聚類、關(guān)鍵點(diǎn)檢測(cè)、人臉屬性估計(jì)和人臉?biāo)阉饕妗?/span>

隨著工業(yè)界對(duì)準(zhǔn)確率的更高要求，想要進(jìn)一步提升模型的泛化能力，需要將不同算法組合來解決面部識(shí)別過程中的許多常規(guī)問題：比如面部表情、姿勢(shì)、光照條件、圖像噪聲等因素對(duì)識(shí)別過程帶來的差異。最新的實(shí)驗(yàn)將LBP算法與先進(jìn)的圖像處理技術(shù)相結(jié)合: 雙邊濾波、直方圖均衡化、對(duì)比度調(diào)整和圖像混合，通過結(jié)合后的算法取得了長(zhǎng)足的進(jìn)步。

Reference: 

吳敏, 蘇婉娟, 陳略峰,等. 一種基于深度稀疏卷積神經(jīng)網(wǎng)絡(luò)人臉情感識(shí)別方法:, CN107506722A[P].

Yang M H, Ahuja N, Kriegman D. Face recognition using kernel eigenfaces[C]//Proceedings 2000 International Conference on Image Processing (Cat. No. 00CH37101). IEEE, 2000, 1: 37-40.

Yang M H. Kernel Eigenfaces vs. Kernel Fisherfaces: Face Recognition Using Kernel Methods[C]//Fgr. 2002, 2: 215.

Zhou C, Wang L, Zhang Q, et al. Face recognition based on PCA image reconstruction and LDA[J]. Optik, 2013, 124(22): 5599-5603.

Wei J, Jian-Qi Z, Xiang Z. Face recognition method based on support vector machine and particle swarm optimization[J]. Expert Systems with Applications, 2011, 38(4): 4390-4393.

Padilla R, Costa Filho C F F, Costa M G F. Evaluation of haar cascade classifiers designed for face detection[J]. World Academy of Science, Engineering and Technology, 2012, 64: 362-365.

Mahoor M H, Abdel-Mottaleb M. Face recognition based on 3D ridge images obtained from range data[J]. Pattern Recognition, 2009, 42(3): 445-451.

M??tt? J, Hadid A, Pietik?inen M. Face spoofing detection from single images using micro-texture analysis[C]//2011 international joint conference on Biometrics (IJCB). IEEE, 2011: 1-7.

Kong S G, Heo J, Abidi B R, et al. Recent advances in visual and infrared face recognition—a review[J]. Computer Vision and Image Understanding, 2005, 97(1): 103-135.

Rejeesh M R. Interest point based face recognition using adaptive neuro fuzzy inference system[J]. Multimedia Tools and Applications, 2019, 78(16): 22691-22710.

Zhang J Y, Zhao H P, Chen S. Face recognition based on weighted local binary pattern with adaptive threshold[J]. 電子與信息學(xué)報(bào), 2014, 36(6): 1327-1333.

Schroff F, Kalenichenko D, Philbin J. Facenet: A unified embedding for face recognition and clustering[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 815-823.

Cox I J, Ghosn J, Yianilos P N. Feature-based face recognition using mixture-distance[C]//Proceedings CVPR IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 1996: 209-216.

Masi I, Tr?n A T, Hassner T, et al. Do we really need to collect millions of faces for effective face recognition?[C]//European conference on computer vision. Springer, Cham, 2016: 579-596.