紅外圖像處理中平臺實時直方圖均衡器的SoC實現(xiàn)

　　O引言

　　直方圖均衡是紅外圖像處理中簡單有效的一種圖像增強方法［1］。直方圖均衡器在增強目標(biāo)的同時也放大了背景和噪聲信號，因此有人提出了平臺直方圖均衡算法，該算法能達到增強目標(biāo)且較好地抑制背景和噪聲的目的［2，5］，具有很大的應(yīng)用價值。

　　傳統(tǒng)直方圖均衡和平臺直方圖均衡算法都具有計算量和存儲量大的缺點，不利于實時圖像處理應(yīng)用。查找表結(jié)構(gòu)的處理方式可以大幅度減小存儲量和計算量，可以實現(xiàn)實時處理。受電子技術(shù)發(fā)展水平的限制，從公開發(fā)表的論文看，以往的實時直方圖均衡器大都具有硬件結(jié)構(gòu)過于復(fù)雜、成本高、軟件操作不靈活等缺陷，在應(yīng)用中具有很大的局限性［2，4］。

　　某課題中使用了法國Sofradir公司288 x4的線陣紅外探測器，該探測器每列輸出288個圖像數(shù)據(jù)，12位圖像數(shù)據(jù)的傳輸速率為16 MHz／s，每秒大約輸出5萬多列數(shù)據(jù)，實時進行灰度變換是課題的基本要求。經(jīng)過深入研究，在巧妙地引入Altera公司FPGA(現(xiàn)場可編程門陣列)技術(shù)的最新成果NiosⅡ軟核微處理器后，硬件設(shè)計被大幅度簡化，最后，平臺實時直方圖均衡算法能以SOC(片上系統(tǒng))的方式實現(xiàn)。

　　1平臺直方圖均衡算法的原理

　　圖像的灰度直方圖就是圖像中每一個灰度級與其出現(xiàn)頻數(shù)間的統(tǒng)計關(guān)系。它能給出該圖像概貌性的描述，如圖像的灰度范圍、每一級灰度的頻數(shù)等，是一個一維的離散函數(shù)：

　　式中：L為該幅圖像中的灰度等級數(shù)；p(k)為第k個灰度級的概率密度；nk為第k個灰度級中所包含的像素數(shù)；n為該幅圖像中的像素數(shù)。

　　平臺直方圖均衡算法是在直方圖均衡時對灰度的權(quán)重設(shè)上限和下限兩個平臺，當(dāng)某一級灰度的像素數(shù)大于或小于所設(shè)定的上限或下限平臺時，權(quán)重被箝在最大值或最小值，這樣可避免變換后諸如大塊云彩等大面積背景占據(jù)過大的動態(tài)范圍，從而為感興趣的細節(jié)部分留出提升空間。

　　課題要求將4 096的像素級壓縮為256級，而原始圖像數(shù)據(jù)不可能占滿O～4 095的每一級，若原始圖像數(shù)據(jù)中像素級的最大值為Nmax、最小值為Nmin，那么，通過仿真要將像素級從Nmin～Nmax映射到O一255。

　　設(shè)映射后第i級灰度的像素個數(shù)為ni，CDF(i)是累積分布函數(shù)，P1和P2分別為設(shè)定的上限和下限平臺值，其算法如下：

　　2 平臺直方圖均衡器的SOC實現(xiàn)

　　從紅外探測器前端信號預(yù)處理電路輸出的信號有12位數(shù)據(jù)信號data、像素時鐘信號clk_16M、列同步信號clk_l(低電平有效)、幀同步信號clk-f(低電平有效)。圖1是其時序圖，clk一32M和clk一64M是clk一16M經(jīng)鎖相環(huán)2倍頻和4倍頻的輸出時鐘。

　　根據(jù)需要，像素在每個灰度等級上的個數(shù)統(tǒng)計表只需一個24 bit×4 k存儲器即可滿足應(yīng)用要求；灰度查找表只需8 bit×4 k存儲器即可滿足應(yīng)用要求。在實時應(yīng)用場合，像素灰度等級個數(shù)統(tǒng)計表和灰度查找表工作在乒乓方式，因此系統(tǒng)總存儲量為32 bit×8 k。目前很多價格較低的FPGA中都集成了滿足應(yīng)用要求的可編程存儲器資源，因此存儲器可集成在．FPGA中。如果能將算法中的邏輯控制和算術(shù)運算都集成在FP-GA中，那么算法即可以SOC方式實現(xiàn)。

　　算法中涉及到大量的除法運算，除法運算器將消耗FPGA大量的邏輯資源和布線資源(以Altera公司的：FPGA為例，一個16位的并行除法器約消耗l 000個LE(邏輯單元)和芯片大部分布線資源)，為了提高速度性能和電路運行的穩(wěn)定性，加上幾級流水線，邏輯資源和布線資源的消耗量將成倍增加。過度的邏輯資源尤其是布線資源的消耗會使電路的速度性能大幅度降低，有時甚至不能適配器件，使設(shè)計失敗。顯然，這種設(shè)計方案是不合理的。Ahera公司最新推出的NiosⅡ軟核微處理器提供了很好的解決方案。該處理器能以極小的硬件代價換取很高的性能(600～700個LE的邏輯資源和少量的布線資源消耗)，目前，F(xiàn)PGA的容量都比較大，設(shè)計中根本消耗不了那么多資源，芯片中剩余的硬件資源往往比NiosⅡ軟核微處理器所消耗的硬件資源多，所以設(shè)計經(jīng)常不會增加硬件成本。它不同于傳統(tǒng)的微處理器，有如下特點：

　　a)提供大量免費IP核，例如微處理器核NiosⅡ、定時／計數(shù)器、串口、DMA、SDRAM，SRAM，SBRAM、．Flash控制器等，用戶可以根據(jù)需要選擇IP核搭建自己的嵌入式系統(tǒng)，系統(tǒng)具有很大的靈活性。

　　b)提供了界面友好的硬件和軟件設(shè)計開發(fā)環(huán)境，硬件設(shè)計流程與傳統(tǒng)的FPGA設(shè)計相同，軟件設(shè)計支持標(biāo)準(zhǔn)c語言編程，開發(fā)環(huán)境提供了大量的庫函數(shù)供用戶調(diào)用，支持JTAG調(diào)試，軟件調(diào)試方法與現(xiàn)有流行微處理器的調(diào)試方法相同，除此之外，配合硬件環(huán)境，可以完成很多設(shè)計仿真，這項功能是大部分傳統(tǒng)微處理器不具備的。 c)支持嵌入式操作系統(tǒng)的移植。

　　d)支持32級中斷。

　　使用NiosⅡ軟核微處理器后，可避開外擴高性能微處理器的復(fù)雜硬件設(shè)計，平臺實時直方圖均衡器的實現(xiàn)方案如圖2所示。

　　圖2中，統(tǒng)計表1、統(tǒng)計表2、查找表1和查找表2都是雙口RAM，都工作在乒乓方式。將16 MHz的像素時鐘經(jīng)FPGA的鎖相環(huán)倍頻到32 MHz和64 MHz，在像素時鐘的下降沿鎖存列同步、幀同步和數(shù)據(jù)信號，并將鎖存信號和倍頻時鐘給時序控制器，將鎖存的幀同步信號在其下降沿二分頻產(chǎn)生高低電平信號用來區(qū)分奇幀和偶幀。

　　圖2的工作過程如下：當(dāng)工作在奇幀時，統(tǒng)計表1雙口RAM實時完成像素灰度等級個數(shù)的統(tǒng)計工作，統(tǒng)計表2不工作；查找表l完成實時灰度查找工作，查找表2不工作。統(tǒng)計表的工作過程如下：當(dāng)鎖存的列同步信號為低電平時，將鎖存的數(shù)據(jù)信號作為雙口RAM讀端口和寫端口的地址信號，用clk_16M的反相信號作為雙口RAM的讀使能信號，用clk_64M作為雙口RAM的驅(qū)動時鐘信號；當(dāng)clk_16M為高電平且clk一32M為低電平時，在clk一64M的上升沿將讀出的像素灰度個數(shù)加1，當(dāng)clk_16M為高電平且clk一32M為高電平時，用clk_32M作為寫使能信號，在clk-64M的上升沿將灰度個數(shù)寫入灰度統(tǒng)計表1的雙口RAM中。經(jīng)過上面的操作，即可完成一次像素灰度個數(shù)的統(tǒng)計工作。此時，將鎖存的數(shù)據(jù)信號作為查找表l雙口RAM的讀端口地址信號，用elk_16M作為雙口RAM的讀驅(qū)動時鐘，用鎖存的列同步信號的反相信號和該反相信號延時一個像素時鐘周期的信號相與后的信號作為雙口RAM的讀使能信號(因為雙口RAM帶一級流水線，所以不能簡單地將列同步的反相信號作為讀使能信號)，實時地輸出變換的灰度數(shù)據(jù)，列同步和幀同步的輸出同樣要考慮雙口RAM的流水線。當(dāng)幀同步信號為高電平時，時序控制器向NiosⅡ發(fā)出中斷信號1，NiosⅡ接收到中斷信號1后，讀出統(tǒng)計表1中的像素灰度個數(shù)統(tǒng)計值，完成灰度查找表的解算并將解算的灰度查找表寫入查找表1中，同時將統(tǒng)計表1中的數(shù)據(jù)清0。當(dāng)工作在偶幀時，各模塊的工作與奇幀相反。NiosⅡ的串口用來接收設(shè)定的平臺命令和平臺值。串口工作在中斷狀態(tài)下，具有最高的中斷優(yōu)先級。串口以"起始字符+平臺命令+平臺值24位數(shù)據(jù)+結(jié)束字符+校驗和"的通信協(xié)議進行數(shù)據(jù)接收，接收完后，串口發(fā)送口以"起始字符+接收正確與否命令+結(jié)束字符+校驗和"的傳輸協(xié)議向上位機發(fā)回告信號。

　　3設(shè)計中應(yīng)注意的問題和實驗結(jié)果

　　設(shè)計中發(fā)現(xiàn)有兩個問題必須引起高度注意：

　　a)統(tǒng)計表的讀寫端口信號受紅外探測器前端電路輸出信號和NiosⅡ信號的切換控制，如果控制不當(dāng)，很容易產(chǎn)生邏輯混亂。建議每次切換時先將使能控制信號置為無效狀態(tài)，然后將時鐘信號置為一個固定的高電平，切換使能控制信號，再切換時鐘驅(qū)動信號和數(shù)據(jù)信號。而且每次NiosⅡ在讀統(tǒng)計表中的值之前，最好有一個小的延時程序，第1個數(shù)據(jù)讀2遍。由于系統(tǒng)每次切換的時間約1 s，NiosⅡ完成一次灰度解算和清0不需要這么長時間，每次完成解算和清0后，讀寫端口控制信號由探測器前端電路輸出信號控制。經(jīng)過這種處理，系統(tǒng)能穩(wěn)定地工作，不會出現(xiàn)邏輯混