NSCT與中心對稱局部方向模式相結合的人臉識別

　　Face recognition based on NSCT and centrosymmetric local direction pattern

       魏維，楊恢先，陶霞，曾金芳，（湘潭大學物理與光電工程學院，湖南 湘潭 411105）

　　摘要：針對人臉識別中姿態(tài)、光照、表情變化造成的識別率不高的問題，本文提出一種非下采樣Contourlet變換(NSCT)與絕對值型中心對稱局部方向模式(ACSLDP)相結合的人臉識別方法。首先，對人臉圖像進行非下采樣Contourlet變換處理，得到多個不同尺度不同方向的子帶圖像，然后計算子帶圖像絕對值型中心對稱局部方向模式，再對每一幅子圖像進行分塊，利用信息熵對每塊子圖像進行加權，統(tǒng)計直方圖特征信息，將直方圖串接起來作為人臉圖像的特征向量，最后利用最近鄰分類器分類識別。在ORL、YALE和CAS-PEAL-R1人臉庫上進行測試，實驗結果表明所提方法人臉有比較強的識別能力，特征維數(shù)小，且對姿態(tài)、光照、表情變化具有較好魯棒性。

　　關鍵詞：圖像處理；人臉識別；NSCT；絕對值型中心對稱局部方向模式；信息熵；最近鄰分類器

      基金項目：湖南省自然科學基金(2018JJ3486)

　　0 引言

      近年來人臉識別在國家安全、社會穩(wěn)定和生活便利等方面應用廣泛，具有與其他生物特征識別技術沒有的優(yōu)點，如具有非接觸、非強制性等。人臉識別成功的應用在于人臉特征信息如何有效地獲取 ^[1] 。

　　人臉局部特征提取 ^[2~5] ，方法主要是對局部紋理信息的獲取，因此在面對光照、姿態(tài)、表情和遮擋等復雜變化時往往具有更好的表現(xiàn)力。Jabid等人 ^[2] 提出一種基于局部方向模式的人臉特征表示方法，局部方向模式特征提取方法在人臉識別中取得了顯著的效果，其便捷有效的特點吸引了許多專家學者的研究和關注并提出了許多對其改進的算法 ^[3~5] ，李照奎等人 ^[3] 提出一種改進局部方向模式的算法——差值局部方向模式（DifferenceLocal Directional Patterns, DLDP），隨后王曉華等人[4] 提出梯度中心對稱局部方向模式（Gradient CenterSymmetry Local Directional Patterns, GCSLDP），它們都是利用近鄰邊緣值之間信息，人臉識別效果不太明顯。楊恢先等人 ^[5] 提出了一種基于中心對稱局部方向模式的算法（center-symmetric local dirertionalpattern，CSLDP）。CSLDP算法由于考慮了原始數(shù)據(jù)空間人臉信息，人臉特征更加完善，但對噪聲和光照情況的穩(wěn)定性不足。

　　Gabor小波 ^[6] 在提取目標的局部空間和頻域信息方面具有良好的特性。人臉圖像經(jīng)過Gabor小波分解后，原始的人臉特征維數(shù)會增加，計算復雜度會增加，難以將其運用在實際系統(tǒng)中。針對這一現(xiàn)象，出現(xiàn)了一種現(xiàn)在比較常用的分析工具——Contourlet變換 ^[7] ，Contourlet 變換雖然降低了特征維度，但是因其下采樣只是在固定的領域內提取，容易有圖像信息的遺漏，會導致頻譜泄漏和頻譜混疊，以及平移不變性的缺乏，導致人臉識別率降低 ^[8] 。針對以上問題，出現(xiàn)了一種對其改進的非下采樣Contourlet變換 ^[8] （NonsubsampledContourlet Transform，NSCT），不僅能夠克服Contourlet 變換帶來的缺陷還能夠很好的保留更多人臉圖像特征信息。

　　受到文獻^[8] 和文獻^[5]的啟發(fā)，提出一種非下采樣 Contourlet 變換與絕對值型中心對稱局部方向模式（Absolute Center of Symmetry Local DirectionalPatterns，簡稱ACSLDP）相結合的人臉識別方法。首先對人臉圖像進行非下采樣 Contourlet 變換，得到具有多個尺度、多個方向的子帶圖像，然后利用ACSLDP提取子帶圖像特征信息，再對每一幅圖像進行分塊，利用信息熵 ^[9] 對每塊子帶圖像進行加權，并將所有分塊的統(tǒng)計直方圖特征信息串接，融合成一個直方圖，最后利用最近鄰分類器 ^[10] 分類識別。

　　1 基本原理

      1.1 NSCT

      根據(jù)人類對自然圖像和視覺系統(tǒng)的探索和總結，人們發(fā)現(xiàn)當圖像表示具有以下特征時，可以被描述為“最佳”：

      (1)多分辨率；

      (2)方向性；

      (3)局域性；

      (4)各向異性 ^[8] 。

非下采樣Contourlet變換不僅全部具備以上4種特性，還具備一種能夠很好的避免圖像像素錯位的平移不變性 [8] 。NSCT由兩個部分構成，第一部分是非下采樣結構金字塔（NonsubsampledPyramid，NSP），NSP實現(xiàn)了多尺度分解得到低頻分量和不同子帶的高頻分量，其中低頻分量能夠很好的捕捉到人臉圖像的輪廓細節(jié)信息；第二部分是非下采樣方向濾波組 Nonsubsampled Directional Filter Banks，（NSDFB）。NSDFB實現(xiàn)了對不同子帶的高頻分量進行多方向多分辨率分解，NSDFB能夠很好的捕獲到更多方向信息，從而抽取到更多的人臉圖像特征。圖1給出了NSCT三層分解結構示意圖。

　　NSP是一個雙通道濾波器組，得到一個低通分量和多個不同子帶分量，如圖2所示。

　　NSDFB是對不同子帶分量進行方向分解，由于NSDFB去除了下采樣只進行了上采樣濾波，NSDFB避免了下采樣的多種缺陷，從而很好的避免了信息的缺失，改善了圖像邊緣和局部細節(jié)的清晰度，保留了更多方向信息。

　　一副人臉圖像經(jīng)過NSCT分解會得到n(n=1,2,3)層，每一層分解會得到2 n 個方向 ^[8] 。因為考慮到人臉圖像信息中奇點、突變以及噪聲通常在高頻子帶中出現(xiàn)，且低頻子帶中往往保留了人臉圖像的大部分信息，所以在本文中舍棄了一部分高頻方向信息。因此如圖3所示選取了三層且各層方向數(shù)為4,4,2。

　　1.2 絕對值型中心對稱局部方向模式

      本課題組楊恢先等人提出一種中心對稱局部方向模式，CSLDP基本編碼步驟為：

     （1）首先將人臉圖像3×3子鄰域與 Kirsch 8個模板卷積后，得到8個邊緣響應 m i (i=0,1,?,7)，邊緣響應m i 具有正負；

     （2）采用中心對稱的思想，通過比較鄰域內以中心像素點處于對稱位置的4個梯度方向的邊緣響應，既邊緣響應m i 與 m i+4 (i=0,1,?,3)直接做差比較，大于等于0時，二進制編碼為1，反之亦然為0；

     （3）考慮中心像素點與鄰域均值的大小關系并賦最大權重；

     （4）按順序得到一個五位二進制數(shù)，轉換為十進制數(shù)作該中心像素的CSLDP編碼。文章改進方法：對邊緣響應值m i 取絕對值，比較的是|m i |與 |m i+4| (i=0,1,?,3)的大小，其他不變。邊緣響應值m i 的正負意味著某個方向上兩個相反的趨勢(上升或下降)，但最大正值與最小負值都對應圖像邊緣，所以直接作差，會對有些邊緣特征無法區(qū)分。而將邊緣響應m i 與 m i+4(i=0,1,?,3)都取絕對值之后做差，絕對值越大，往往表示兩個方向之間的細節(jié)特征更加突出，而更突出的細節(jié)信息往往具有更強的判別力，考慮到近鄰邊緣響應值之間的內在變化。由于都屬于中心對稱局部方向模式，為了區(qū)分，將改進的方法命名為ACSLDP編碼。

　　CSLDP、ACSLDP編碼計算分別如式(1)、(2)所示。CSLDP、ACSLDP特征提取流程如圖4所示。

     其中：g i (i=0,1,?,7)表示中心像素g c 的8個鄰域點的灰度，g m 為g c 的8個鄰域點的灰度均值，m i (i=0,1,?,7)表示中心像素，g c 對應的8個Kirsch 邊緣響應值。

　　2 基于NSCT與ACSLDP相結合的人臉識別

     人臉特征識別流程如圖5所示；

     算法的基本流程描述為:

     對人臉圖像進行預處理后進行多尺度、多方向的NSCT 分解，得到一個低頻系數(shù)子帶和多尺度、多方向上的高頻系數(shù)子帶；

     計算子帶圖像絕對值型中心對稱局部方向模式。基于NCST與ACSLDP相結合的算法(本文命名為NACLDPH)提取子帶圖像特征信息；由于在進行對比實驗算法時加入了基于NCST與CSLDP相結合的算法(本文命名為NCLDPH)的對比，故在圖4和圖5中加入了CSLDP的對比，并用括號表示；

     對每一幅子帶圖像進行分塊，利用信息熵對圖像的每一塊進行加權，信息量越多，信息熵值越大，權重系數(shù)越大；

     并將所有分塊的統(tǒng)計直方圖特征 信息串接起來，形成人臉 特征，并用多通道最近鄰分類器進行分類；

     2.1 NACLDPH特征提取

     3 實驗結果與分析

     3.1 實驗環(huán)境及參數(shù)選取

     實驗所用的硬件環(huán)境為Intel(R)Core(TM)i3-3217，主頻1.8 GHz，內存4 GB；仿真實驗環(huán)境是MatlabR2014a，Windows10系統(tǒng) ；本實驗中各人臉庫介紹以及分塊和實驗參數(shù)選擇如表1所示。

　　人臉庫部分人臉圖像如圖7所示。

　　不同的分塊數(shù)會得到不同的識別效果，本文章采用局部區(qū)域法，就是對人臉圖像進行均勻分塊。如圖8所示不同分塊方式在不同人臉庫上的識別率。

　　3.2 識別率與計算復雜度分析

     為了評價NSCT+ACSLDP算法的有效性，文章選擇與用CSLDP ^[5] 、ACSLDP、DLDP ^[3] 、GCSLDP ^[4] 、HNCLDP ^[11] 、NSCT+CSLDP算法與NSCT+ACSLDP算法進行比較，NSCT+ACSLDP算法在ORL人臉庫、YALE人臉庫、CAS-PEAL-R1光照人臉庫和CAS-PEAL-R1表情人臉庫上分別采用7×2、8×8、11×10和4×5的分塊數(shù)，bins采用32，實驗結果如表2～4所示。

　　YALE人臉庫被用于測試復雜度實驗，目的為了比較每種對比算法的復雜度，實驗中隨機選取每人1張人臉圖像作為訓練集，其他人臉圖像作為測試集，選擇最佳識別率對應的分快數(shù)，計算每個算法以完成單幅人臉圖像所需要的平均時間t：

     其中：T 1 表示單幅圖像特征提取的平均時間，T 2 表示對一副測試樣本與訓練樣本進行多次匹配的時間。每個算法在YALE人臉庫的特征維數(shù)和平均耗時如表5所示。

　　根據(jù)在YALE、ORL和CAS-PEAL-R1人臉庫上實驗結果可以得出結論：

     (1)特征提取算子識別率ACSLDP>CSLDP，其中ACSLDP、CSLDP的模式數(shù)為32，CSLDP算法從本質上說，是在強化空間特征信息的提??；邊緣響應值m i(i=0,1,?,7)的正負意味著某個方向上兩種變化的趨勢，因為最大正值與最小負值都對應圖像邊緣信息，如果將它們直接作差，就會對有些邊緣特征無法區(qū)分，而對邊緣響應值取絕對值后作差值，絕對值越大，往往表示兩個方向之間的細節(jié)特征更加突出，而更突出的細節(jié)信息往往具有更強的判別力。ACSLDP將充分考慮到近鄰邊緣響應值之間的內在變化。因此，文章所提ACSLDP特征提取算子的有效性。

　　(2) 文章選擇對比算法HNCLDP算法是非采樣Shearlet變換結合CSLDP， NCLDPH算法是非下采樣Contourlet變換結合CSLDP，NACLDPH算法是非下采樣Contourlet變換結合ACSLDP。在YALE庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高。在ORL人臉庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高，除了在樣本數(shù)為3時，NACLDPH識別率比HNCLDP低了0.19個百分點外，其余情況，NACLDPH識別率都高。在CAS-PEAL-R1人臉庫中，在識別率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法識別率都高。

　　(3)在計算復雜度方面，NACLDPH、NCLDPH、HNCLDP基本相當， CSLDP算法進行8次卷積，4次中心對稱邊緣值作差， 4次比較大小，1次原始空間求平均值；GCSLDP算法進行8次卷積，8次相鄰近邊緣值作差，2次求最大值；DLDP算法由于模式數(shù)相對過高, 導致特征維度比較高，特征提取時間較長。

　　綜合而言，相比較CS-LDP特征算法，ACSLDP特征提取算子能更好地提取人臉圖像的邊緣信息和紋理信息，且沒有增加直方圖維數(shù)，特征提取簡單。NSCT應用于人臉圖像處理中，原因是NSCT在圖像表示方面有著以下幾種獨特的優(yōu)勢：

     （1）可以精確定位圖像邊緣信息，且不會增加計算難度（各尺度方向子帶圖像與原始圖像尺寸大小相同）；

     （2）在同一尺度變換上，NSCT分解的高頻分量在多個方向上顯示了細節(jié)信息，因此可以提供與原始圖像像素完全對應的子帶 系數(shù)的位置，從而使特征提取和特征融合具有更好的性能；這使得NSCT應用于人臉識別中能夠更好地提取圖像特征,擁有更高的識別正確率。由此NACLDPH算法有更高的識別率，充分挖掘人臉圖像結構信息，對姿態(tài)、光照和表情等變化有較好魯棒性。

　　4 結論

     提出了一種NSCT與ACSLDP相結合的人臉識別方法。NSCT能很好地表達人臉圖像在不同尺度和不同方向上的特征，采用的ACSLDP能更多地保留特征信息，削弱外界因素的影響，表現(xiàn)出對光照、表情和姿態(tài)變化具有比較好的魯棒性。在ORL、YALE和CAS-PEAL-R1人臉庫上進行測試，實驗結果表明：NSCT+ACSLDP算法對姿態(tài)、光 照和表 情等變化有更強的魯棒性，取得較高的識別率，且特征維度較小，識別時間較少，證明NACLDPH算法的有效性。

　　參考文獻:

     [1] Lee C, Landgrebe D A. Feature extraction based on decision boundaries[J]. Pattern Analysis& Machine Intelligence IEEE Transactions on, 2018, 15(4):388-400.

　　[2] Jabid T, Kabir M H, Chae O. Local Directional Pattern (LDP) for face recognition[C]// Digestof Technical Papers International Conference on Consumer Electronics. IEEE, 2010:329-330.

　　[3] Li Z K, Ding L X, Wang Y, et al. Facial features based on the pattern of difference betweenlocal orientation said [J]. Journal of Software ,2015, 26(11):2912-2929.

　　李照奎, 丁立新, 王巖,何進榮,丁國輝. 基于差值局部方向模式的人臉特征表示[J]. 軟件學報, 2015,26(11):2912-2929.

　　[4] Wang X H, Li R J, Hu M, Ren F J. Occluded facial expression recognition based on thefusion of local features [J]. Journal of lmage and Graphics, 2016, 21 (11) :1473-1482.

　　王曉華，李瑞靜，胡敏，任福繼.融合局部特征的面部遮擋表情識別[J].中國圖象圖形學報,2016,21(11):1473-1482.

　　[5] Yang H X, Zhai Y L, Cai Y Y, et al Face recognition based on center-symmetric gradientmagnitude and phase pattern [J]. Journal of Optoelectronics·Laser, 2015(5):969-977.

　　楊恢先, 翟云龍, 蔡勇勇,等. 基于中心對稱梯度幅值相位模式的單樣本人臉識別[J]. 光電子·激光,2015(5):969-977.

　　[6] Amin M A, Yan H. Gabor and log-gabor wavelet for face recognition[J]. Advances in FaceImage Analysis Techniques & Technologies, 2011.

　　[7] Yang C L, Wang F, Xiao D. Contourlet transform-based structural similarity for image qualityassessment[C]// 2009 ieee international conference on intelligent computing and intelligentsystems. 2009:377-380.

　　[8] Zhang J, Face Recognition technology research based on nonsubsampled contourlettransform[D]. Beijing: Beijing University of Chemical Technology, 2011.

　　張軍. 基于非下采樣Contourlet變換的人臉識別技術研究[D].北京: 北京化工大學,2011.

　　[9] Perez C A, Cament L A, Castillo L E. Local matching Gabor entropy weighted facerecognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition andWorkshops. IEEE, 2011:179-184.

　　[10] Huang H, Zheng X L. Hyperspectral image classification with combination of weightedspatial-spectral and KNN[J]. Optics & Precision Engineering, 2016,24(4):873-881.

　　黃鴻, 鄭新磊. 加權空-譜與最近鄰分類器相結合的高光譜圖像分類[J]. 光學精密工程, 2016, 24(4):873-881[11] Yang H X, Zhai Y L, Cai Y Y, et al. Face recognition based on NSSTand CSLDP[J]. Computer Engineering and Applications, 2016, 52(8):135-140.

　　楊恢先,翟云龍,蔡勇勇,等.NSST與CSLDP相結合的人臉識別[J].計算機工程與應用,2016,52(08):135-140+239.

     本文來源于科技期刊《電子產(chǎn)品世界》2019年第5期第41頁，歡迎您寫論文時引用，并注明出處