基于FPGA+DSP技術(shù)的Bayer格式圖像預(yù)處理

高分辨率圖像實(shí)時(shí)處理在通信、醫(yī)學(xué)、軍事、航天航空、信息安全等領(lǐng)域有著廣泛的應(yīng)用和發(fā)展。在圖像實(shí)時(shí)處理的過程中，下層圖像預(yù)處理的數(shù)據(jù)量大，運(yùn)算簡單，但是要求運(yùn)算速率高，可以用FPGA硬件來處理，上層所處理的數(shù)據(jù)量少，算法結(jié)構(gòu)復(fù)雜，適于運(yùn)算速度快，尋址靈活的DSP數(shù)字信號(hào)處理器進(jìn)行處理。這里提出了一種FPGA+DSP相結(jié)合的實(shí)時(shí)圖像處理系統(tǒng)，并應(yīng)用于傳像光線束傳遞圖像。CMOS實(shí)際采集的是光線束的出端圖像，FPGA將CMOS采集的Bayer格式的圖像轉(zhuǎn)換為RGB格式的亮度信號(hào)。由于光纖出、入端結(jié)構(gòu)不同，需要DSP準(zhǔn)確每根光纖的中心位置，重新排序才能輸出正確的圖像信息。該系統(tǒng)充分發(fā)揮了FPGA和DSP各自的優(yōu)勢，能更好地提高圖像處理的實(shí)時(shí)性，降低成本。

1 Bayer圖像格式
CMOS圖像傳感器作為一種基礎(chǔ)器件可以實(shí)現(xiàn)信息的采集、轉(zhuǎn)換以及視覺功能的擴(kuò)展，并能直觀真實(shí)地給出可視圖像信息。系統(tǒng)中CMOS圖像傳感器輸出2 592x1 944x12 bit的Bayer格式的圖像(該格式的圖像本身就是數(shù)字信號(hào)，因此無需對圖像進(jìn)行模數(shù)轉(zhuǎn)換)，Bayer圖像格式如圖1所示。在圖l中，每個(gè)方格代表一個(gè)像素，并且只含有R、G、B中的一種顏色分量，奇數(shù)行由G、R像素交替構(gòu)成，偶數(shù)行由B、G像素交替進(jìn)行，其中G像素分量占所有像素的一半，R像素和G像素占另一半。因?yàn)镚像素分量是R、B像素分量的2倍，所以如果G像素分量采用好的插值方法，不僅可以提高G像素分量的質(zhì)量，也能提高R和B像素分量的質(zhì)量。由于TMS320DM642的video port capture接口的數(shù)據(jù)總線是8位或者16位(該系統(tǒng)采用了更適合DSP處理的8位數(shù)據(jù))，所以為了后續(xù)的DSP能夠更好的處理數(shù)據(jù)并減少DSP的運(yùn)算量，需要使用FPGA先將輸出的圖像數(shù)據(jù)取高8位，然后依據(jù)每個(gè)像素點(diǎn)與相鄰8個(gè)像素點(diǎn)之間的關(guān)系，使用雙線性插值法將Bayer圖像格式轉(zhuǎn)換成24位的RGB圖像格式和亮度信號(hào)，然后將處理后的數(shù)據(jù)發(fā)送給DSP。

2 圖像數(shù)據(jù)處理的工作原理
2．1 Bayer圖像的格式轉(zhuǎn)換
雙線性插值法具有算法計(jì)算量少，算法結(jié)構(gòu)簡單，易于實(shí)現(xiàn)，占硬件資源少等優(yōu)點(diǎn)，本系統(tǒng)中更適合FPGA實(shí)現(xiàn)。雙線性插值法的基本原理是將每個(gè)像素位置上缺少的另外兩種色彩分量通過該像素本身為中心的領(lǐng)域內(nèi)具有相同分量的像素平均獲得，即將每個(gè)像素的RGB分量都以該點(diǎn)像素為中心的3x3像素矩陣進(jìn)行線性插值而成。按照這種思路可以將圖像中的3x3矩陣分成4類，如表1所示。

每種圖像矩陣中間的像素點(diǎn)為待插值的數(shù)據(jù)源，設(shè)R(x,y)、G(x,y)、B(x,y)為插值計(jì)算后該點(diǎn)紅、綠、藍(lán)像素分量。當(dāng)像素位于奇數(shù)行奇數(shù)列計(jì)算公式為：