反射式全景視頻實時平面顯示技術的FPGA實現(xiàn)

虛擬現(xiàn)實技術可分為兩類[1]，一類是基于三維圖形生成的虛擬場景技術，另一類則是基于實景采集通過幾何變換獲得近似的真實場景。反射式全景傳感器非常適合于構建實景采集的真實場景。在過去的十年中, 多種反射式全景傳感器相繼問世[2]。反射式全景傳感器由攝像機和曲面反射鏡組成, 與普通攝像機不同的是，它可以一次性采集360°圓周內的全部景象, 因此得到了廣泛應用[3]。

目前，反射式全景技術的研究主要將注意力集中在幾何變換算法和鏡頭校正算法的改進，對采集和顯示的同步性問題研究甚少，如文獻[1]和文獻[4]所做的工作是在圖形工作站實現(xiàn)的，便攜性差，無法適應嵌入式多媒體應用的要求。另一方面，實際應用中往往要求展開后的平面顯示圖像有較高的分辨率，而反射鏡體積的限制使成像分辨率有限，展開后的圖像呈現(xiàn)有規(guī)律的鋸齒失真和灰度階梯化現(xiàn)象。這就需要通過相應的視頻后處理算法生成人眼能夠接受的圖像。上述兩個問題給反射式全景視頻的實時平面顯示在嵌入式視頻處理平臺上的應用帶來挑戰(zhàn)。

1 全景圖像展開算法及其存在的問題

1.1 全景圖像展開算法

1.2 失真現(xiàn)象的產生原因及解決

經過變換展開后的平面圖像，其坐標變換是非線性采樣過程，即采樣點呈環(huán)狀分布，不同半徑的環(huán)狀采樣點數(shù)相同。如果以原圖像最大半徑的采樣點數(shù)作為基準對整幅圖像進行展開，則半徑越小放大倍數(shù)越高，從而導致原圖像中靠近圓心的部分展開后存在明顯的鋸齒化和階梯化失真現(xiàn)象。具體地說，由于像素值的不連續(xù)性，直接放大圖像會使這種不連續(xù)性被放大。鋸齒失真就是由于放大了圖像邊緣的鋸齒狀像素產生的；階梯失真的產生，則是由于不連續(xù)的圖像梯度邊緣像素值直接被復制放大，使原先并不明顯的梯度邊緣像素值被放大為肉眼能夠分辨的一個接一個的階梯。

2 算法的改進和硬件實現(xiàn)

考慮到在平面圖像的放大研究中，為避免圖像失真，常采用經典的雙線性插值和三次線性差值及其改進算法[5～7]。而全景圖像的展開與平面圖像的放大存在不同，每個像素的鄰域位置不固定，是非線性的放大過程。因此經典的差值算法及其改進算法不能應用于全景圖像的展開。根據(jù)上述全景圖像展開的特性，結合FPGA硬件的可實現(xiàn)性，提出算法如下：對展開的圖像采用參數(shù)可變的高斯空間濾波，其基本思路是對展開后的圖像根據(jù)鋸齒和階梯失真的程度，使用不同尺寸的高斯濾波窗進行空間濾波。

3 硬件系統(tǒng)實現(xiàn)

實時反射式全景視頻處理要求高的處理能力。例如，NTSC制式視頻標準要求30幀/s，每幀約0.25 M像素，即每秒7.5 M像素流量；PAL制式視頻標準要求25幀/s，而每幀的像素數(shù)卻更多，總的像素流量與NTSC制式基本相當。而對每個像素的處理量取決于采用的具體算法。通常的方法是使用DSP處理器陣列或單片高端DSP完成?？紤]到本算法的查找表操作，需要大量的存儲器資源，對于DSP處理器來說，由于成本和空間的限制，需要外接DRAM存儲器和復雜控制邏輯，而外接存儲器控制邏輯存在帶寬限制，使其成為DSP高速圖像處理的主要瓶頸之一。另外，考慮到今后更高分辨率顯示導致的更高的數(shù)據(jù)處理量，DSP的實現(xiàn)方案將更加難以實現(xiàn)。FPGA提供了可替代的視頻處理平臺，FPGA支持高效并發(fā)數(shù)據(jù)流結構，這對于圖像處理算法的實時實現(xiàn)至關重要。此外FPGA內部的嵌入式SRAM存儲器是查找表操作的理想選擇。

3.1 整體硬件系統(tǒng)設計

本系統(tǒng)實現(xiàn)平臺以Altera的FPGA芯片Cyclone II EP2C70F896C6為核心。系統(tǒng)的主要模塊結構如圖2所示。

由于平面顯示器一次只能顯示90°場景，故將全景圖像分為四塊，待需要顯示時再通過展開算法模塊進行展開計算并顯示。圖像展開算法及VGA控制模塊為本系統(tǒng)中的核心模塊。由于圖像展開時有效圖像信息占原圖的3/4，為了節(jié)省資源，本文對分塊之后的圖像篩選出有效圖像部分存入M4K存儲器中，利用VGA控制模塊產生的VGA行列掃描信號和正余弦查找表實時產生M4K存儲器讀地址，實現(xiàn)展開算法。模塊結構如圖3所示。

3.2 空間濾波器的硬件設計

圖4為二維圖像濾波器的結構圖。輸入像素在Line Buffer中前移，產生延遲的一行。Buffer的深度依賴于每一行的像素數(shù)。這些延遲的行的像素不斷輸入濾波器組。在每個濾波器節(jié)點，像素被做特定的濾波操作，全部累加器的結果在地址樹疊加后產生濾波器輸出。

一般硬件執(zhí)行效率用累加次數(shù)來衡量。這樣，非對稱濾波器的復雜度就正比于m×m。m×m是卷積和的尺寸。鋸齒失真噪聲抑制功能由m×m的高斯核實現(xiàn)，這個核在圖像上按行滑動。所謂參數(shù)可變的空間濾波器，即m×m的高斯核尺寸是可調節(jié)的?？紤]到高斯函數(shù)的計算涉及三角函數(shù)運算，每次尺寸改變時采用硬件計算生成新的高斯核的方法不妥，且隨著高斯核的尺寸增大計算時間也相應增大。為了滿足時鐘同步的要求就必須提供最大高斯核計算所需的時間，作為每個高斯核計算的固定延時，這樣做顯然在小尺寸的高斯核計算時間中存在大量的冗余等待時間，這對整個系統(tǒng)的實時性十分不利?？紤]視頻圖像的尺寸是一定的，故采用查找表記錄高斯核序列，由于高斯核的尺寸相對于整幅圖像非常小，且其序列個數(shù)與圖像的行數(shù)呈正比，故占用的存儲空間也不大。這里將圖像劃分為12個橫向帶狀區(qū)域，最上方的帶狀區(qū)域采用3×3的高斯核，而下一行則在上一行的基礎上+2，以此類推，最后第n帶狀區(qū)域所使用的高斯核的尺寸為2n+1=25。

4 實驗

4.1 硬件系統(tǒng)實時性

本文中系統(tǒng)的延遲指視頻流進入FPGA到VGA顯示的時間差，在系統(tǒng)中表現(xiàn)為A/D輸出數(shù)據(jù)管腳(iTD1_D)上出現(xiàn)的第一個數(shù)據(jù)和D/A輸入數(shù)據(jù)管腳(oVGA_R，oVGA_G，oVGA_B)上出現(xiàn)的第一個數(shù)據(jù)之間的時間差。

使用Quartus II中集成的SignalTap在線邏輯分析儀對系統(tǒng)延遲進行測量。SignalTap的作用是在系統(tǒng)中添加一個與JTAG接口相連的模塊，將用戶關心的管腳數(shù)據(jù)波形通過JTAG接口上傳。由于FPGA芯片內部SRAM的限制使SignalTap數(shù)據(jù)長度有限，所以本文設計了一個計數(shù)器模塊對上述時間差中的系統(tǒng)時鐘(iTD1_CLK27，27 MHz)進行計數(shù)，從而計算得到系統(tǒng)延遲，以證明本系統(tǒng)的實時性。

由于開機時間的誤差，所以每次計算所得的計數(shù)值都不相同。本文對展開前、展開后無濾波和展開后濾波分別實驗10次，對總共30次的實驗結果進行分析得到系統(tǒng)延遲。30次實驗結果如表1所示。

分別取均值后得到展開前數(shù)據(jù)延遲為2 417 159個系統(tǒng)時鐘，即系統(tǒng)延遲為89.254 ms；展開后無濾波數(shù)據(jù)延遲為2 432 706個系統(tǒng)時鐘，即系統(tǒng)延遲為90.100 ms；展開后濾波數(shù)據(jù)延遲為2 533 135個系統(tǒng)時鐘，即系統(tǒng)延遲為93.820 ms。其中展開算法和濾波算法耗時分別為0.846 ms和3.720 ms。直觀觀察，顯示器顯示內容的移動和實際物體移動基本同時進行。

4.2 實際顯示效果

分別進行直接展開、參數(shù)固定和參數(shù)可變高斯空間濾波器處理后展開說明三者區(qū)別。
在圖5(b)中，展開圖像下部鋸齒和階梯失真非常明顯；圖5(c)中雖然下部鋸齒被消除，但是上部圖像也變得模糊，圖像細節(jié)被嚴重破壞；圖5（d）中使用的參數(shù)可變高斯濾波器保持了圖像上部的細節(jié)，同時消除了下部的鋸齒。

本文以ALTERA主流FPGA為開發(fā)平臺，實現(xiàn)了對反射式全景攝像機所得的視頻流的實時平面展開，并使用參數(shù)可變高斯濾波器對展開后產生的鋸齒和階梯失真進行了有效的抑制，同時保留了圖像的細節(jié)。本系統(tǒng)展開算法耗時0.846 ms，濾波算法耗時3.720 ms，而VGA顯示64.4幀/s，平均每幀為15.528 ms，遠遠大于本系統(tǒng)算法總耗時4.566 ms。本系統(tǒng)可以在一幀的時間內完成算法，能夠滿足絕大多數(shù)高速應用的要求。