基于TMS320DM642電子穩(wěn)像算法的實(shí)現(xiàn)
摘要:介紹了一種解決視頻圖像抖動(dòng)問題的電子穩(wěn)像方法,系統(tǒng)利用灰度投影算法和德州儀器公司的定點(diǎn)數(shù)字信號處理器芯片TMS320DM642實(shí)現(xiàn)電子穩(wěn)像。文中提出了電子穩(wěn)像性能的基本要求,介紹了穩(wěn)像的基本原理,根據(jù)要求選擇了穩(wěn)像算法,從而設(shè)計(jì)了系統(tǒng)的硬件框圖,并完成了算法的仿真。實(shí)驗(yàn)結(jié)果表明,該算法穩(wěn)效果好,且達(dá)到準(zhǔn)確性要求。
關(guān)鍵詞:電子穩(wěn)像;灰度投影算法;數(shù)字信號處理器
電子穩(wěn)像集合了計(jì)算機(jī)、數(shù)字圖像處理和數(shù)字信號處理等技術(shù)為一體的新一代實(shí)現(xiàn)圖像序列穩(wěn)定的綜合性技術(shù)。實(shí)時(shí)性和準(zhǔn)確性是衡量電子穩(wěn)像系統(tǒng)的兩個(gè)重要指標(biāo)。因此,電子穩(wěn)像算法要體現(xiàn)其優(yōu)越性,就要滿足實(shí)時(shí)性和準(zhǔn)確性。
1 基于灰度投影的電子穩(wěn)像算法
1.1 電子穩(wěn)像基本原理
電子穩(wěn)像(Electronic Image Stabilization,EIS)是集電子技術(shù)、計(jì)算機(jī)、數(shù)字信號處理、視頻圖像處理等為一體的實(shí)現(xiàn)數(shù)字圖像序列穩(wěn)定的技術(shù)。電子穩(wěn)像技術(shù)中最基本的是像移補(bǔ)償技術(shù)是直接從像面上通過檢測參考圖像和被比較圖像的運(yùn)動(dòng)矢量,然后利用算法進(jìn)行補(bǔ)償?shù)募夹g(shù)。穩(wěn)像的基本原理:(1)根據(jù)圖像序列或視頻的各種信息進(jìn)行局部運(yùn)動(dòng)估計(jì)。(2)進(jìn)行全局運(yùn)動(dòng)估計(jì)。(3)經(jīng)過運(yùn)動(dòng)估計(jì)后取得運(yùn)動(dòng)參數(shù),然后進(jìn)行綜合評價(jià)。(4)根據(jù)綜合評價(jià)的結(jié)果進(jìn)行運(yùn)動(dòng)補(bǔ)償,并最終取得穩(wěn)定的輸出序列。由此可知,獲得圖像的全局運(yùn)動(dòng)矢量是電子穩(wěn)像的前提條件。基本流程如圖1所示。對于全局運(yùn)動(dòng)矢量可以通過灰度投影算法獲得。
1.2 灰度投影算法
灰度投影算法(Projection Algorithm,PA)是利用圖像灰度分布變化的特點(diǎn)得到圖像幀間運(yùn)動(dòng)矢量。對于灰度細(xì)節(jié)豐富、直方圖無明顯特征、對比度差的圖像難以識別特征量,尋找特征量不僅無法保證所需的穩(wěn)像精度,更難以滿足穩(wěn)像的實(shí)時(shí)性要求。針對此種圖像序列,用灰度投影法來實(shí)現(xiàn)圖像運(yùn)動(dòng)矢量的準(zhǔn)確獲取,從而達(dá)到穩(wěn)定圖像序列的目的。視頻圖像序列是圖像的灰度發(fā)生變化的圖像序列,各種運(yùn)動(dòng)矢量估計(jì)算法均是以灰度變化為依據(jù)。投影算法能充分利用圖像的灰度變化這一特點(diǎn),較準(zhǔn)確地估計(jì)出圖像的運(yùn)動(dòng)矢量。此算法的優(yōu)點(diǎn)是:灰度曲線匹配速度快,從而提高了穩(wěn)像速度,適用于圖像照度變化導(dǎo)致的灰度變化的情況?;叶韧队八惴ㄊ菍?shí)現(xiàn)只含平移運(yùn)動(dòng)或旋轉(zhuǎn)運(yùn)動(dòng)較小的圖像序列電子穩(wěn)像的較理想算法。
(1)灰度映射。
灰度映射就是把每一幀輸入的初始的二維圖像信息映射成為兩個(gè)獨(dú)立的一維波形,如下為列投影的映射方法
式(1)~式(3)中,Colk(j)為第k幀圖像第j列的灰度值;Curk(i,j)是第k幀圖像上(i,j)位置上的像素值;NC是列數(shù),ColProjk(j)是第k幀圖像第j列修正后的投影值。行方向灰度投影映射的算法可以同理推出。
(2)投影濾波。
投影濾波是為了降低邊界信息的幅值,保留中間區(qū)域的幅值,使用濾波器經(jīng)行濾波。由于邊緣信息在互相關(guān)計(jì)算時(shí)會對互相關(guān)的峰值產(chǎn)生不利影響,因此要將邊界處的投影值去除。由于圖像移動(dòng)量大時(shí),邊緣信息在每一幅圖像上是惟一的,所以通過對投影值進(jìn)行濾波可提高算法精度。
(3)互相關(guān)運(yùn)算。
互相關(guān)運(yùn)算就是將當(dāng)前幀圖像的行、列投影曲線與參考幀圖像的行、列投影曲線做互相關(guān)計(jì)算。運(yùn)算后得到的相關(guān)值曲線中的惟一峰值即為補(bǔ)償運(yùn)動(dòng)矢量所求的位移值。得到了水平方向和垂直方向的位移矢量后,就將當(dāng)前圖像向位移矢量的反方向平移相應(yīng)大小的像素距離,從而實(shí)現(xiàn)圖像序列的穩(wěn)定。行、列相關(guān)運(yùn)算的計(jì)算如式(4)所示
式(4)中Colk(j)為第k幀圖像第j列的灰度投影值;NC為列的長度;m為位移矢量相對于參考幀在一側(cè)的搜索寬度。設(shè)wmin為C(w)最小時(shí)w的值,則第k幀圖像相對于參考幀圖像在垂直方向的位移矢量如式(5)所示。
得到了水平方向和垂直方向的位移矢量后,就可以把當(dāng)前圖像向位移矢量的反方向運(yùn)動(dòng),響應(yīng)大小的像素距離,從而實(shí)現(xiàn)圖像序列的穩(wěn)定。
2 基于TMS320DM642系統(tǒng)的設(shè)計(jì)
2.1 TMS320DM642介紹
TMS320DM642是TI公司推出的一款DSP芯片,這款芯片是專門面向多媒體應(yīng)用而設(shè)計(jì)開發(fā)的32位定點(diǎn)DSP芯片,是目前業(yè)界公認(rèn)的性能良好的視頻處理器。良好的處理性能和豐富的片上外設(shè),可以滿足實(shí)時(shí)視頻處理的要求。DM642采用兩級緩存結(jié)構(gòu),第一級,包括相互獨(dú)立的L1P(16 kB)和L1D(16 kB),只能作為高速緩存使用。第二級,L2(256 kB)是一個(gè)統(tǒng)一的程序、數(shù)據(jù)空間,可以整體作為SRAM映射到存儲空間,也可以整體作為第二級Cache,或是二者按比例的一種組合來使用。DM642具有64個(gè)獨(dú)立通道的增強(qiáng)型直接存儲器訪問控制器,負(fù)責(zé)片內(nèi)L2與外設(shè)之間數(shù)據(jù)高速傳輸。具有豐富的外圍設(shè)備接口:3個(gè)可配置的雙通道視頻端口Video Port;64 bit的外部內(nèi)存接口EMIF;10/100 Mbit以太網(wǎng)MAC;66 MHz32 bit的PCI接口。
2.2 系統(tǒng)設(shè)計(jì)
本系統(tǒng)的硬件框圖如圖2所示,仿真圖像通過CCD攝像設(shè)備取得,對于取得的圖像信息,通過數(shù)字視頻解碼器處理,把模擬圖像轉(zhuǎn)換成數(shù)字圖像,再將數(shù)字信息存入到DM642芯片中,經(jīng)過DM642芯片的處理,得到相鄰幀之間的運(yùn)動(dòng)矢量,進(jìn)而實(shí)時(shí)準(zhǔn)確地對運(yùn)動(dòng)矢量經(jīng)行補(bǔ)償,得到輸出視頻序列,最后將處理后的視頻圖像顯示到顯示器上。
3 算法仿真結(jié)果分析
如圖3和圖4所示,分別反映的是穩(wěn)像前后圖像的列投影曲線,穩(wěn)像后的列投影曲線的形狀和位置基本一致,說明補(bǔ)償后圖像的相似度提高了,其穩(wěn)定性也提高了。同時(shí),可以使用峰值信噪比(Peak Siginalto Noise Ratio,PSNR)來評價(jià)準(zhǔn)確度的品質(zhì)因子。試驗(yàn)結(jié)果表明,準(zhǔn)確性達(dá)到了好的滿足要求,但實(shí)時(shí)性稍差還需要進(jìn)行程序優(yōu)化,以達(dá)到較好的效果。
4 結(jié)束語
文中使用灰度投影算法,基于TI公司的TMS320DM642嵌入式系統(tǒng)實(shí)現(xiàn)了電子穩(wěn)像。試驗(yàn)結(jié)果表明,文中采用的算法不僅穩(wěn)像效果好,而且達(dá)到了準(zhǔn)確性的要求。對于不同的應(yīng)用場景,具有一定的使用價(jià)值。
評論