基于嵌入式系統(tǒng)實(shí)時(shí)交互的手勢識別方法

2.2手勢跟蹤

對于手部跟蹤，主要是基于Camshift算法實(shí)現(xiàn)的，它綜合利用了手勢圖像的顏色、區(qū)域和輪廓特征。Camshift是Mean.Shift算法的推廣，是一種有效的統(tǒng)計(jì)迭代算法，它使目標(biāo)點(diǎn)能夠漂移到密度函數(shù)的局部最大值點(diǎn)。Camshift跟蹤算法是基于顏色概率模型的跟蹤方法，在建立被跟蹤目標(biāo)的顏色直方圖模型后，可以將視頻圖像轉(zhuǎn)換為顏色概率分布圖，每一幀圖像中搜索窗口的位置和尺寸將會被更新，使其能夠定位跟蹤目標(biāo)的中心和大小。本文中，Camshift算法被用于位置的粗定位，即確定當(dāng)前手勢區(qū)域的外包矩形Rect,如圖6所示。

Rect將被用于前一步靜態(tài)手勢識別的輸入圖像，以便減少對圖像的分割以及模糊運(yùn)算的工作量。

3手勢交互演示系統(tǒng)

本文在Linux系統(tǒng)下實(shí)現(xiàn)了本文提出的基于手勢輪廓缺陷圖進(jìn)行手勢識別的方法，并在嵌入式之星開發(fā)板上實(shí)現(xiàn)了手勢識別的人機(jī)交互演示系統(tǒng)。系統(tǒng)處理器800MHz,存儲器RAM256MB,實(shí)時(shí)采集640×480的真彩色圖像。該系統(tǒng)分析攝像頭實(shí)時(shí)捕獲到的每一幀圖像，對圖片中的手勢進(jìn)行實(shí)時(shí)識別。系統(tǒng)的應(yīng)用程序是一個(gè)基于手勢識別的拼圖游戲，通過變換手勢來完成拼圖?？勺R別的靜態(tài)手勢狀態(tài)被分為五類：A為握拳、B為食指伸長、C為V型手勢、D為中間三指伸開、E為五指張開。A、E手型分別對應(yīng)抓取與松開。手勢為握拳狀態(tài)時(shí)，手對應(yīng)的圖片塊被選中（類似鼠標(biāo)左鍵按下）,此時(shí)可以拖動(dòng)圖片，選定位置后可以換成手勢E,圖片將被松開（類似鼠標(biāo)左鍵松開）,B、C、D手勢分別表示將圖片放大、縮小和旋轉(zhuǎn)。

演示系統(tǒng)效果如圖7所示。

圖7演示系統(tǒng)效果

4實(shí)驗(yàn)結(jié)果及分析

為了檢驗(yàn)本文算法的準(zhǔn)確性和實(shí)時(shí)性，本文在實(shí)驗(yàn)室光照條件下，采集不帶任何特殊標(biāo)記的手勢單目視頻圖像。實(shí)驗(yàn)中參數(shù)設(shè)置如下：Camshift算法的最大迭代次數(shù)為10;手勢分割使用的HSV顏色空間如表1所示。

表1HSV顏色空間設(shè)置

對手勢二值圖像所做的數(shù)學(xué)形態(tài)學(xué)操作使用3×3的模板做開運(yùn)算，使用5×5的模板做閉運(yùn)算；噪聲手勢的域值設(shè)為0.01.手勢的跟蹤過程無人工干預(yù)。

表2給出了五種手勢的識別率與匹配成功率。匹配成功率是指在正確識別出手勢類型的情況下，按照2.2節(jié)給出的匹配方法將手勢輪廓缺陷圖的特征與手勢類型進(jìn)行匹配的成功比率。

表2手勢識別匹配率

表3給出本文方法與其他方法的比較結(jié)果。與其他手勢識別方法比較，本文提出的方法有相當(dāng)?shù)淖R別率，還實(shí)現(xiàn)了手勢跟蹤的結(jié)果對識別的反饋，并在實(shí)時(shí)性方面滿足嵌入式系統(tǒng)的需求（20~25fps）,明顯好于文獻(xiàn)[7]（一種面向?qū)崟r(shí)交互的變形手勢跟蹤方法，18fps）和目前流行的HandVu的識別效率。

表3手勢識別算法比較

魯棒性方面，由于本文采用了模糊運(yùn)算，圖像模糊分割的準(zhǔn)確率達(dá)到96.4%,對環(huán)境的變化具有很好的抗干擾性。即使背景有人的走動(dòng)造成環(huán)境和光線的劇烈變化，也不會對手勢輪廓缺陷圖造成太大的影響。

5結(jié)束語

本文針對人機(jī)交互領(lǐng)域基于視頻手勢在嵌入式系統(tǒng)上的實(shí)時(shí)交互任務(wù)提出一種快速、計(jì)算量小的手勢識別方法。它結(jié)合了基于模型與基于表觀方法的特點(diǎn)，是建立在對目標(biāo)對象-手勢的理解基礎(chǔ)上，通過識別靜態(tài)手勢實(shí)現(xiàn)了手勢的跟蹤與識別。與傳統(tǒng)的手勢識別系統(tǒng)不同，它在注重識別效果的同時(shí)還要注重算法的計(jì)算復(fù)雜度。通過使用手勢輪廓缺陷圖作為手勢識別的特征結(jié)構(gòu)，不僅大大減少了計(jì)算量，由于缺陷圖是從整體結(jié)構(gòu)刻畫手勢的結(jié)構(gòu)，所以它還增強(qiáng)了手勢識別的魯棒性。實(shí)驗(yàn)表明本文提出的方法可以滿足交互的實(shí)時(shí)性要求，能很好地用于手勢交互的應(yīng)用系統(tǒng)。