手語識別和翻譯
加入技術交流群
其后我們關掉骨架提取的功能，使用率大幅降低到只有25%。經(jīng)過進一步性能分析的工作，我們證實了瓶頸的來源就是骨骼提取。不幸地，骨骼提取的算法并不是開源的，而是被PrimeSence所保護。所以我們并不能通過修改原代碼或是把算法放到FPGA里以達致降低處理器使用率的效果?！ ?/p>本文引用地址：http://www.ex-cimer.com/article/137079.htm
解決方法
為了解決這個問題，我們嘗試選擇性地使用原始數(shù)據(jù)。原來數(shù)據(jù)傳遞方式是用戶產(chǎn)生器(User Generator)直接從深度圖像產(chǎn)生器(Depth Generator)得到原始數(shù)據(jù)。新的方法就是設立一個仿真深度圖像產(chǎn)生器(Mock Depth Generator)。它會仿真成原來的產(chǎn)生器，而用戶產(chǎn)生器則從它得到數(shù)據(jù)。
當Kinect得到新的數(shù)據(jù)，它會將數(shù)據(jù)傳給深度產(chǎn)生器，然后后者會發(fā)給仿真深度圖像產(chǎn)生器。而每隔一個幀，仿真深度圖像產(chǎn)生器會將得到的數(shù)據(jù)傳給用戶產(chǎn)生器。換言之，兩幀從Kinect上得到的數(shù)據(jù)，只有一幀會真正被用作提取骨架，而另一幀將會被忽略。
這個做法雖然令幀率降低到15，但處理器使用率卻降至只有50%。而且經(jīng)過我們的驗證，幾乎沒有出現(xiàn)丟幀的情況，即使出現(xiàn)亦沒有影響到提取骨架節(jié)點的質(zhì)素。經(jīng)過這個特殊處理，我們確定在這平臺使用Kinect是可行的，甚至還可提取額外的處理器資源用以其他運算工作。
設計和實現(xiàn)
概述
系統(tǒng)通過Kinect獲取深度影像，并使用應用程序OpenNI從深度影像中提取用戶的骨架。在獲取的骨架中，我們選取左右手、肘、肩六個關節(jié)點。總的來看，用戶完成了一個手語，通過Kinect和OpenNI，系統(tǒng)將記錄一系列的幀，每一幀由左右手、肘、肩六個關節(jié)點的三維空間向量組成。用戶每一次完成同一個手語都會有差別，所以我們在特征提取之前需要對記錄的幀進行常態(tài)化處理。我們使用支持向量機(SVM)對提取的特征向量進行分類。每一類表示一個手語。圖2描述了整個手語識別的流程?！ ?/p>
手語獲取
雙手交叉握于腹部前方。這一動作我們稱之為“預備動作”，表示手語的開始和結束。為了避免潛在的識別錯誤，我們要求每相鄰的兩幀(0.13s)，用戶至少移動5厘米。如果用戶做預備動作超過100幀(6.67s)，系統(tǒng)將會停止獲取手語數(shù)據(jù)。
數(shù)據(jù)處理
正如我們之前提到的常態(tài)化處理，我們將獲取的一系列幀通過均分和插入的方法統(tǒng)一成121幀，即2178個三維空間向量。我們對常態(tài)化處理后的數(shù)據(jù)進行特征提取，產(chǎn)生1694個特征向量。最后我們將所有的特征向量放在一個矩陣里，用于SVM分類。
手語訓練和分類
LIBSVM是一個用于支持向量機的集成軟件，支持多類分類。用戶使用LIBSVM提供的庫，可以更容易地使用SVM。我們使用“svm-train”讀取輸入文件(Input File)，生成模型文件(Model file)。我們的輸入文件包含1694個特征向量。我們對每個手語單詞訓練20到30次。到目前為止，我們總共訓練了48個手語。我們可以通過訓練更多的手語擴展我們的數(shù)據(jù)庫。
使用“svm-predict”可以預測用戶所做的手語屬于哪一類。
參考文獻：
[1]Chinese Sign Language [R/OL].http://baike.baidu.com/view/42806.htm
[2]OpenNI [R/OL].http://75.98.78.94/About.aspx
[3]PrimeSense 3D Sensor Data Sheet[R/OL].http://www.primesense.com/press-room/resources/file/4-primesense-3d-sensor-data-sheet?lang=en
[4]LIBSVM [R/OL].http://www.csie.ntu.edu.tw/~cjlin/libsvm/
[5]Hardware Requirements of Kinect[R/OL].http://www.microsoft.com/en-us/kinectforwindows/purchase/sensor_setup.aspx
[6]FPGA-based MP3 Player[R/OL].http://cegt201.bradley.edu/projects/proj2010/fpgamp3/FPGAMP3_Project_Report.pdf
[7]Altera wiki - MP3 player[R/OL].http://www.alterawiki.com/wiki/MP3_Player
評論