3D手勢(shì)識(shí)別背后的技術(shù)

　　汽車(安全)
　　近期，汽車應(yīng)用在交通信號(hào)、車道以及障礙檢測(cè)方面使用 2D 傳感器技術(shù)取得了長(zhǎng)足發(fā)展。隨著 3D 傳感技術(shù)的到來，3D 傳感器的“z”數(shù)據(jù)將大幅提升場(chǎng)景分析的可靠性。汽車通過使用 3D 視覺系統(tǒng)，現(xiàn)已有了預(yù)防事故的新途徑，無論白天還是夜間都非常適用。采用 3D 傳感器，車輛能可靠檢測(cè)并解讀周邊環(huán)境，確定對(duì)象是否對(duì)車輛及車內(nèi)乘客構(gòu)成安全威脅。這些系統(tǒng)要求軟硬件支持 3D 視覺系統(tǒng)，并需要密集型 DSP 及 GPP 處理性能在極短時(shí)間內(nèi)解讀 3D 圖形，避免事故。

　　視頻會(huì)議
　　視覺會(huì)議技術(shù)經(jīng)過多年發(fā)展，已經(jīng)從間斷脫節(jié)傳輸影像發(fā)展成當(dāng)前的高清系統(tǒng)。未來增強(qiáng)型視頻會(huì)議將充分發(fā)揮 3D 傳感器的優(yōu)勢(shì)，提供更真實(shí)、更具互動(dòng)性的視頻會(huì)議體驗(yàn)。該增強(qiáng)型視頻會(huì)議系統(tǒng)具有集成型 2D 傳感器以及 3D 傳感器及麥克風(fēng)組合，將能夠與其它增強(qiáng)型系統(tǒng)連接，實(shí)現(xiàn)高質(zhì)量的視頻處理、面部識(shí)別、3D 影像、噪聲消除以及內(nèi)容播放器(Flash 等)等應(yīng)用。隨著這種密集型音視頻處理需求的出現(xiàn)，需要具備最佳性能及外設(shè)組合的 DSP?！　?/p>

 

　　技術(shù)處理步驟

　　對(duì)許多應(yīng)用而言，需要同時(shí)具備 2D 和 3D 攝像機(jī)系統(tǒng)才能充分實(shí)現(xiàn)應(yīng)用技術(shù)。圖 3 顯示了這些系統(tǒng)的基本數(shù)據(jù)路徑。從傳感器獲取數(shù)據(jù)，然后進(jìn)行視覺分析，這并不像數(shù)據(jù)路徑示意圖看上去那么簡(jiǎn)單。具體而言，TOF 傳感器需要的帶寬相當(dāng)于 2D 傳感器的 16 倍之多，這可導(dǎo)致高輸入/輸出 (I/O) 問題。另一個(gè)瓶頸則存在于原始 3D 數(shù)據(jù)向 3D 點(diǎn)云轉(zhuǎn)換的處理過程中。通過正確的軟硬件組合解決這些問題，對(duì)于手勢(shì)識(shí)別及 3D 的成功應(yīng)用至關(guān)重要。當(dāng)前數(shù)據(jù)路徑可通過 DSP/GPP 處理器組合加上分立式模擬組件及軟件庫(kù)實(shí)現(xiàn)。

　　3D 視覺嵌入式系統(tǒng)的挑戰(zhàn)

　　輸入挑戰(zhàn)
　　如前所述，輸入帶寬限制對(duì) 3D 視覺嵌入式系統(tǒng)提出了極大的挑戰(zhàn)。此外，輸入接口也沒有標(biāo)準(zhǔn)化。設(shè)計(jì)人員可為 2D 傳感器與通用外部存儲(chǔ)器接口選擇采用不同的輸入選項(xiàng)，其中包括串行與并行接口。在支持最佳帶寬的標(biāo)準(zhǔn)輸入接口出現(xiàn)之前，設(shè)計(jì)人員只能使用現(xiàn)有的接口。

　　兩種不同的處理器架構(gòu)
　　圖 3 所示的 3D 深度映射處理可分為兩類：一是以數(shù)據(jù)為中心的視覺專用處理，二是應(yīng)用上層處理。以數(shù)據(jù)為中心的視覺專用處理需要處理器架構(gòu)能夠執(zhí)行單指令多數(shù)據(jù) (SIMD) 快速浮點(diǎn)乘法及加法運(yùn)算，以及快速搜索算法。DSP 是快速可靠執(zhí)行這種處理功能的完美選擇。對(duì)于應(yīng)用上層處理而言，高級(jí)操作系統(tǒng) (OS) 及協(xié)議棧則可提供任何應(yīng)用上層所需的必要特性集。

　　根據(jù)兩種處理器架構(gòu)要求，提供高數(shù)據(jù)速率 I/O GPP+DSP+SIMD 處理器的片上系統(tǒng) (SoC) 非常適合 3D 視覺處理，其可支持必要的數(shù)據(jù)及應(yīng)用上層處理。

　　缺乏標(biāo)準(zhǔn)中間件
　　3D 視覺處理領(lǐng)域的中間件是多種來源的眾多不同組件的整合，包括開源(如 OpenCV)與專有商業(yè)源等。商業(yè)庫(kù)主要針對(duì)身體跟蹤應(yīng)用，這是一種特定的 3D 視覺應(yīng)用。目前尚未開發(fā)出針對(duì)所有不同 3D 視覺應(yīng)用標(biāo)準(zhǔn)化的中間件接口。

　　“z”(深度)之后會(huì)有什么精彩?

　　沒有人質(zhì)疑 3D 視覺的誘人因素。工程師早已在期待未來的應(yīng)用發(fā)展。那么不久的將來會(huì)出現(xiàn)哪些最新技術(shù)?研究人員已經(jīng)在開發(fā)針對(duì)人和對(duì)象的各種視覺技術(shù)了。全球研究人員正在使用多路徑光分析技術(shù)，探索實(shí)現(xiàn)轉(zhuǎn)角視覺或繞開對(duì)象的視覺途徑。透明研究將帶來可透視對(duì)象和材料的系統(tǒng)，而運(yùn)動(dòng)檢測(cè)系統(tǒng)則將帶來查看人類大腦內(nèi)部的應(yīng)用，從而可檢驗(yàn)一個(gè)人是否在撒謊。

　　3D 視覺與手勢(shì)識(shí)別技術(shù)的發(fā)展會(huì)帶來無盡的可能性。不過，如果沒有支持這些振奮人心的新技術(shù)所必須的硬件及中間件，該研究將沒有任務(wù)意義。提供 GPP+DSP+SIMD(通用處理器+數(shù)字信號(hào)處理器+單指令多數(shù)據(jù)流)架構(gòu)的 SoC(系統(tǒng)芯片)不斷發(fā)展，將提供處理性能、外設(shè)支持以及必要帶寬的完美組合，從而可實(shí)現(xiàn)這種振奮人心的技術(shù)與應(yīng)用。