基于三維的人臉定位系統(tǒng)的研究

三維人臉識(shí)別過(guò)程及系統(tǒng)功能

國(guó)外三維人臉識(shí)別的典型方法主要是利用深度圖像自身的幾何特征，利用深度圖像處理技術(shù)，分析面貌曲面的曲率等幾何特征，對(duì)面貌曲面進(jìn)行凹凸區(qū)域的分割、正側(cè)面輪廓邊緣的提取。最早對(duì)三維圖像面貌識(shí)別的研究有Lapreste 提出的基于輪廓線的方法，通過(guò)對(duì)人臉面貌曲率的分析，提取輪廓線上的特征點(diǎn)，利用輪廓線作為特征進(jìn)行面貌的識(shí)別。Lee&Milios 從人臉面貌深度圖像中抽取凸區(qū)域，這些凸區(qū)域形成了特征集，計(jì)算出所有凸區(qū)域相關(guān)的擴(kuò)展高斯圖，兩幅面貌特征的匹配就是利用這些擴(kuò)展高斯圖像進(jìn)行的。當(dāng)然還有很多基于輪廓線和凸區(qū)域的改進(jìn)方法，例如凸凹點(diǎn)多階段融合過(guò)程方法、輪廓線的歐氏距離識(shí)別方法、輪廓線曲率比較方法等等。但這些方法還停留在理論研究的層次，沒(méi)有實(shí)質(zhì)的自動(dòng)化系統(tǒng)的出現(xiàn)。國(guó)內(nèi)三維人臉識(shí)別的研究也相應(yīng)地展開(kāi)，但與國(guó)外的研究相比還處于剛起步的狀態(tài)。目前，三維數(shù)據(jù)獲取已經(jīng)成為可能，并已經(jīng)成熟的在實(shí)際工作中使用(如三維激光掃描技術(shù)、CT成像技術(shù)、結(jié)構(gòu)光方法等)，使得三維圖形識(shí)別技術(shù)得到了應(yīng)用的可能，可以迅速地完成人頭三維面貌數(shù)據(jù)獲取。這也為我們的研究提供了實(shí)現(xiàn)的基礎(chǔ)。

總的來(lái)說(shuō)，要實(shí)現(xiàn)一個(gè)自動(dòng)的人臉識(shí)別系統(tǒng)主要要完成以下的4個(gè)功能。

① 人臉檢測(cè)(Detection)與分割(Segmentation)。從任意的場(chǎng)景中檢測(cè)人臉的存在并進(jìn)行定位，提取出一個(gè)人臉。
② 人臉的規(guī)范化(Normalization)。校正人臉在尺度、光照和旋轉(zhuǎn)等方面的變化。
③ 人臉表征(Face Representation)。采用某種方法表示出數(shù)據(jù)庫(kù)中的已知人臉和檢測(cè)出的人臉，通常的方法有幾何特征、代數(shù)特征、特征臉、固定特征模板等。
④ 人臉識(shí)別(Recognition)。根據(jù)人臉的表征方法，選擇適當(dāng)?shù)钠ヅ洳呗詫⒌玫降娜四樑c數(shù)據(jù)庫(kù)中的已知人臉相比較。

我們研究的基于三維模型的人臉識(shí)別方法，與以往的系統(tǒng)的最主要區(qū)別就在于：人臉庫(kù)中記錄的不是像以前一樣，記錄著每個(gè)人的各種姿勢(shì)、位置、表情的頭部照片，而是存儲(chǔ)的一個(gè)人臉的三維空間模型。由這個(gè)區(qū)別引申出人臉的表征和識(shí)別的方法也與二維識(shí)別方法不同。

由于人臉表征的區(qū)別，三維人臉識(shí)別系統(tǒng)也分兩類(lèi)，一是純?nèi)S之間的對(duì)比，例如通過(guò)多角度拍照，系統(tǒng)自動(dòng)構(gòu)建人臉的三維模型，與庫(kù)中的三維模型進(jìn)行比較。這種方法中人臉的表征是一個(gè)基于三維的特征向量。由于人臉的三維重構(gòu)目前還是一個(gè)正在研究的領(lǐng)域，其過(guò)程依然是一個(gè)病態(tài)的過(guò)程。因此我們沒(méi)有選擇這種方法進(jìn)行我們的系統(tǒng)開(kāi)發(fā)。第二種系統(tǒng)是通過(guò)三維模型增強(qiáng)了的二維之間的對(duì)比。即通過(guò)對(duì)三維模型的變化，我們可以找到和成像環(huán)境一致的三維模型的位置，通過(guò)其平面投影得到一個(gè)二維的圖片，和原有的照片進(jìn)行二維上的比較，實(shí)現(xiàn)識(shí)別的過(guò)程。在選擇人臉表征時(shí)，使用了實(shí)時(shí)性最好的特征點(diǎn)表示法。使用人臉關(guān)鍵特征點(diǎn)所形成的幾何特征來(lái)對(duì)人進(jìn)行區(qū)別。

由這個(gè)主導(dǎo)思想，產(chǎn)生的新的人臉識(shí)別系統(tǒng)的主要功能如下。

① 人臉檢測(cè)與分割。從任意的場(chǎng)景中、視頻數(shù)據(jù)中檢測(cè)人臉的存在，提取出一個(gè)人臉及各個(gè)區(qū)域部分。在人臉上自動(dòng)標(biāo)記出我們需要的特征點(diǎn)， 例如外眼點(diǎn)、內(nèi)眼點(diǎn)、眉間點(diǎn)、鼻下點(diǎn)、頜下點(diǎn)、嘴角點(diǎn)等等，如圖1。

圖1 人臉特征分布示意圖

② 人臉的規(guī)范化。計(jì)算出人臉在尺度和旋轉(zhuǎn)等方面的變化，得到攝像過(guò)程中人臉的實(shí)際位置，將庫(kù)中的人臉三維模型也變化到同樣的位置。這是幾何特征識(shí)別的一個(gè)關(guān)鍵的問(wèn)題。由于人臉的幾何特征的相似性比較，受人臉拍攝角度的影響很大，當(dāng)人臉偏轉(zhuǎn)超過(guò)一定的角度的時(shí)候，許多重要的特征點(diǎn)在二維上不可見(jiàn)了，因此也無(wú)法計(jì)算出對(duì)應(yīng)的特征向量。如果不能將人臉模型和照片保持在同樣的偏轉(zhuǎn)環(huán)境下，識(shí)別的可信性就不具備。對(duì)這個(gè)問(wèn)題的解決可以結(jié)合人類(lèi)學(xué)、面貌測(cè)量學(xué)多年來(lái)由統(tǒng)計(jì)而來(lái)的經(jīng)驗(yàn)公式來(lái)完成，如圖2。

圖2 三維人臉模型

③ 人臉表征。采用標(biāo)記出的特征點(diǎn)的幾何特性(例如特征點(diǎn)分布?xì)W氏距離、B樣條曲面等方法)表示出數(shù)據(jù)庫(kù)中的已知人臉和檢測(cè)出的人臉。對(duì)同一個(gè)照片的特征點(diǎn)采取多層次描述的方法，形成多個(gè)幾何特征向量，這種多層次描述的方法可以有效地降低人臉識(shí)別過(guò)程中的誤識(shí)現(xiàn)象的出現(xiàn)。同樣，識(shí)別的過(guò)程也是采取多分類(lèi)器合作的模式識(shí)別方法。

④人臉識(shí)別。根據(jù)獲得的人臉照片特征點(diǎn)，計(jì)算出人臉的偏轉(zhuǎn)角度，同時(shí)計(jì)算出多個(gè)特征向量，從數(shù)據(jù)庫(kù)中取出已知的人臉特征點(diǎn)信息，構(gòu)建出三維人臉特征點(diǎn)拓?fù)淠Ｐ?，?duì)此模型進(jìn)行偏轉(zhuǎn)，使之與二維人臉照片的拍攝環(huán)境一致。計(jì)算出三維模型的多個(gè)特征向量，通過(guò)面貌特征的多層次描述、多分類(lèi)器合作的模式識(shí)別方法，對(duì)投影結(jié)果與二維相應(yīng)照片進(jìn)行相似性度量。在進(jìn)行識(shí)別時(shí)，對(duì)每個(gè)分類(lèi)器設(shè)定一個(gè)閥值，對(duì)所有的特征向量的結(jié)果也設(shè)置一個(gè)閥值，一旦所有的度量結(jié)果都達(dá)到閥值的要求，即認(rèn)定此次識(shí)別是成功的，否則繼續(xù)從數(shù)據(jù)庫(kù)中讀數(shù)據(jù)，進(jìn)行識(shí)別。

技術(shù)路線與設(shè)計(jì)方案

為了實(shí)現(xiàn)上面的研究?jī)?nèi)容，我們選擇了一個(gè)可行的解決方案。使用Microsoft Visual Studio作為系統(tǒng)的開(kāi)發(fā)平臺(tái)，利用其提供的強(qiáng)大的圖形圖像處理功能，使用OPENGL專(zhuān)業(yè)三維引擎，最后配合Oracle數(shù)據(jù)庫(kù)對(duì)異構(gòu)數(shù)據(jù)的管理功能實(shí)現(xiàn)系統(tǒng)。其中，人臉三維數(shù)據(jù)的獲取采用加拿大polhemus公司生產(chǎn)的手持式三維激光掃描儀FastSCAN以及Inspeck公司基于結(jié)構(gòu)光柵拍攝的三維數(shù)據(jù)建模設(shè)備(Inspeck)。整個(gè)系統(tǒng)的用例如圖3所示，其中的關(guān)鍵技術(shù)如下所述。

圖3 系統(tǒng)用例圖

(1) 供系統(tǒng)管理人員使用的管理平臺(tái)。主要進(jìn)行人臉三維數(shù)據(jù)的獲取和預(yù)處理以及三維特征點(diǎn)的選擇和存儲(chǔ)等功能。利用Visual C++和OPENGL開(kāi)發(fā)的三維模型的管理系統(tǒng)，通過(guò)激光掃描儀或結(jié)構(gòu)光拍攝相機(jī)獲得原始的人臉三維模型，由于得到的三維數(shù)據(jù)坐標(biāo)不統(tǒng)一，為了便于計(jì)算使用，要進(jìn)行坐標(biāo)的統(tǒng)一，通過(guò)平臺(tái)實(shí)現(xiàn)對(duì)原始模型的光滑平順，坐標(biāo)變換，根據(jù)分辨率要求，生成三維面貌表面數(shù)據(jù)。由于人臉的三維特征點(diǎn)的選取工作不要求太強(qiáng)的實(shí)時(shí)性，故可以采取手工選取的方式，由系統(tǒng)管理員通過(guò)平臺(tái)對(duì)特征點(diǎn)進(jìn)行標(biāo)定。全部標(biāo)定結(jié)束后，記錄入后臺(tái)數(shù)據(jù)庫(kù)中。當(dāng)然管理平臺(tái)還具備其他的功能，例如新用戶(hù)的添加、用戶(hù)的刪除、信息修改等常用數(shù)據(jù)庫(kù)管理功能。

(2)基于Visual C++、OpenGL和DirectShow開(kāi)發(fā)出人臉的自動(dòng)化識(shí)別系統(tǒng)。首先通過(guò)DirectShow對(duì)視頻流進(jìn)行分析，自動(dòng)檢測(cè)出人臉的存在并從圖像中將其分割出來(lái)。找到人臉后，使用VC實(shí)現(xiàn)的ASM主動(dòng)形狀模型對(duì)人臉特征點(diǎn)進(jìn)行自動(dòng)的標(biāo)定。得到特征點(diǎn)后，根據(jù)主要的特征點(diǎn)位置，計(jì)算出拍攝角度。對(duì)三維數(shù)據(jù)的進(jìn)行讀取，讀取后使用OPENGL構(gòu)建出人臉的抽象三維模型，同時(shí)按照拍攝角度的變化模型。當(dāng)三維模型的平面投影和二維照片中人臉的旋轉(zhuǎn)角度相同時(shí)，通過(guò)多特征向量生成、多分類(lèi)器判別及閥值設(shè)定的方法實(shí)現(xiàn)識(shí)別。

(3)底層數(shù)據(jù)庫(kù)使用Oracle數(shù)據(jù)庫(kù)，利用它良好的異構(gòu)數(shù)據(jù)存儲(chǔ)性和大量數(shù)據(jù)的處理能力，實(shí)現(xiàn)系統(tǒng)需要使用到的三維空間信息和屬性信息的統(tǒng)一存儲(chǔ)，以及對(duì)海量數(shù)據(jù)的查詢(xún)檢索。

(4)不論是管理平臺(tái)還是自動(dòng)識(shí)別系統(tǒng)，對(duì)人臉數(shù)據(jù)庫(kù)的讀取都通過(guò)數(shù)據(jù)庫(kù)中間件完成，統(tǒng)一的進(jìn)行信息讀取、維護(hù)、操作。

最終形成一個(gè)基于三維數(shù)據(jù)庫(kù)中間件的三層C/S體系的應(yīng)用程序。這個(gè)設(shè)計(jì)方案可以用圖4表示。

圖4 系統(tǒng)設(shè)計(jì)方案示例圖

結(jié)語(yǔ)

這個(gè)系統(tǒng)與已有各種人臉識(shí)別系統(tǒng)的最大的區(qū)別就在于，數(shù)據(jù)庫(kù)中記錄的是三維人臉模型，而不是目前各種庫(kù)中存儲(chǔ)的人臉多姿態(tài)照片。通過(guò)三維深度信息的投影變化解決人臉識(shí)別中多姿態(tài)的問(wèn)題。利用物體幾何拓?fù)涞牟蛔冃栽?，排除大部分人臉表情?duì)識(shí)別的影響，而且由于采用的方法與照片的明暗程度無(wú)關(guān)，可以解決人臉識(shí)別過(guò)程中受拍攝環(huán)境光照強(qiáng)度的影響，達(dá)到較理想的人臉識(shí)別效果。
　　
參考文獻(xiàn)：
1. 徐慧等，Visual C++數(shù)字圖像實(shí)用工程案例精選，人民郵電出版社，2004.3
2. 何斌等，Visual C + +數(shù)字圖像處理，人民郵電出版社，2001.4
3. 戚飛虎等譯，模式識(shí)別和圖像處理，上海交大出版社，2000.3
4. 楊靜宇，曹雨龍，計(jì)算機(jī)圖像處理及常用算法手冊(cè)，南京大學(xué)出版社，1997
5. 康學(xué)雷，邵凌，張立明，一種基于膚色和模板的人臉檢測(cè)方法，2000.7
6. 岡薩雷斯，數(shù)組圖像處理(第二版)，電子工業(yè)出版社.2004.4
7. 張宏林，Visual C++數(shù)字圖像模式識(shí)別技術(shù)及工程實(shí)踐，北京:?人民郵電出版社,?2003
8. 何斌、馬天予、王運(yùn)堅(jiān)等，Visual C++數(shù)字圖像處理(第二版)，北京:人民郵電出版社，2002
9. 阮秋琦，阮宇智譯，數(shù)字圖像處理〔第二版)..北京:電子工業(yè)出版社，2003
10. Nakamura 0, Mathur S, Minami T，Identification of human faces based on isodensity maps，Pattern Recognition, 1991, 24 (3): 263-272
11. Samaria F, Young S，HMM-based architecture for face identification，Image and Vision Computing, 1994, 12 (8)