利用FPGA實現(xiàn)視頻與影像處理應用設計

許多令人心動的技術創(chuàng)新(如HDTV和數字影院)都是和視頻與影像處理技術以及這種技術的快速發(fā)展分不開的。影像捕獲和顯示分辨率的跳躍式發(fā)展、先進的壓縮技術和視頻智能正是這種技術創(chuàng)新背后源源不斷的驅動力。特別是分辨率在過去幾年里有了顯著的提高。表1顯示了不同的終端設備類型中當前采用的最高分辨率。

表1：終端設備類型的分辨率

從標準清晰度(SD)發(fā)展到高清晰度(HD)，需要處理的數據量增加了6倍。視頻監(jiān)測也從通用中間格式(CIF)(352x288)發(fā)展到了標準要求的D1格式(704x576)，一些工業(yè)攝像機甚至發(fā)展到了1,280x720的高清晰度格式。軍事監(jiān)測、醫(yī)療成像和機器視覺應用也正在向非常高分辨率的影像轉移。

先進的壓縮技術正在取代前一代技術，它能提供更好的數據流性能、給定品質下更高的壓縮率以及更低的延遲。JPEG2000作為數字影院的標準在軍事、醫(yī)療成像和監(jiān)測領域得到了廣泛采納。H.264有望取代廣播電視領域中的MPEG-2、視頻監(jiān)測系統(tǒng)中的MPEG-4第2部分和視頻會議中的H.263。甚至在這些新的壓縮解決方案部署的同時，正在進行中的標準化工作仍在不斷增強H.264和JPEG2000標準。

DICOM醫(yī)療成像標準已經完成了附件105，其中包括了三維醫(yī)療成像壓縮采用的JPEG2000第2部分中的多組件轉換。附件106將包含遠程瀏覽JPEG2000壓縮的醫(yī)療影像所需的JPIP協(xié)議。

MPEG-4第10部分(H.264AVC)的下一個延伸就是可伸縮視頻編碼(SVC)。SVC編碼方案可以滿足在異質網絡上使用現(xiàn)有的系統(tǒng)資源向不同用戶可靠傳送視頻的需要，特別是在下行客戶性能、系統(tǒng)資源和網絡條件無法提前獲知的情況下。例如，客戶機可能有不同的顯示分辨率，系統(tǒng)可能有不同的緩存或中間存儲資源，網絡可能有不同的帶寬、丟包率和盡力而為或服務質量(QoS)性能。聯(lián)合視頻工作組(JVT)正在開發(fā)AVC/H.264的延伸，以提供具有更好壓縮效率的位流級伸縮性，同時允許自由組合各種伸縮模式(如空間、時間和SNR/保真度伸縮能力)。應用領域包括視頻監(jiān)測系統(tǒng)、移動流視頻、無線多通道視頻制作與傳送以及多方視頻電話/會議。

另外一個正在快速發(fā)展的領域是視頻智能。攝像機已經能夠移動拍攝、傾斜拍攝、可變焦拍攝和全景拍攝，但這些功能今后將完全由系統(tǒng)智能代替手工干預。運動檢測功能只存儲那些超過運動門限的視頻幀，從而能更高效地實現(xiàn)硬盤存儲。視頻對象識別功能將需要使用自動監(jiān)測，其效率要比人工監(jiān)測高得多。

隨著分辨率的提高和壓縮算法的進步，對系統(tǒng)性能和架構靈活性提出了更高的要求，以實現(xiàn)系統(tǒng)的快速更新。隨著技術的成熟和產量的增加，成本需要得到進一步降低。

可選擇的系統(tǒng)架構包括標準單元ASIC、ASSP以及各種可編程解決方案，如數字信號處理(DSP)或媒體處理器和FPGA。每種架構都有各自的優(yōu)缺點，最終選擇取決于終端設備要求和解決方案的可用性。根據上面討論的發(fā)展趨勢，理想架構應具有以下特點：高性能、靈活性、易升級性、低開發(fā)成本以及隨著應用成熟和產量增加向更低成本遷移的能力。

FPGA方案的優(yōu)勢

不僅壓縮要求高性能，預處理和后處理功能也要求高性能。事實上，在許多情況下這些功能所需的性能超過壓縮算法本身。這些功能的例子包括縮放調整、去交錯、濾波和色彩空間轉換。

上述市場所需的高性能是無法用單獨處理器的架構實現(xiàn)的。這種架構中的單個器件不能滿足性能需求。最新的工作于1GHz的DSP也無法單獨完成H.264HD解碼，而H.264HD編碼的復雜度還要比解碼高出10倍左右。FPGA是唯一能夠解決這個問題的可編程解決方案。在某些情況下，F(xiàn)PGA和外部DSP處理器的組合可能是最佳的解決方案。

隨著技術的快速發(fā)展，架構必須更加靈活和更易于升級。這就排除了標準單元ASIC和ASSP。ASSP是專門針對很大批量的消費類市場設計的，通常很快就會過時，因此對大多數應用來說選用ASSP要冒很大風險。

而開發(fā)ASIC的成本非常高昂。如果加上掩模和晶圓、軟件、設計驗證和版圖的成本，一個典型的90nm標準單元ASIC的開發(fā)成本可能高達3,000萬美元。只有最大批量的消費類市場才能接受如此之高的開發(fā)成本。

隨著標準的日趨穩(wěn)定和產品數量的增加，解決方案具有低成本遷移路徑會非常重要。通常這意味著針對專門市場開發(fā)的ASSP或標準單元定制ASIC器件。然而，定制硅片成本的上升使得這些解決方案只有在最大批量的消費類應用中才具有經濟上的可行性。大多數芯片公司專注于視頻和成像領域的目標應用，例如攝像機、機頂盒、數碼相機、蜂窩電話和其它便攜產品或液晶電視和顯示器。因此在設計較低批量的應用類型時，最好考慮用FPGA，因為它不像ASSP那樣要求建立確切的功能集合，即使是最好的現(xiàn)成ASSP解決方案也因為存在潛在的過時可能性而面臨極大的風險。

Altera的視頻與影像處理解決方案

基于上述原因，F(xiàn)PGA在滿足許多視頻與影像處理應用的需求時非常適合。Altera的FPGA所具有的以下一些特性使得它們非常適合視頻與影像處理架構：

1.高性能。高清晰(HD)處理能夠在單個Altera的FPGA里實現(xiàn)。

2.靈活性。Altera的FPGA提供了快速升級架構的能力，以滿足不斷發(fā)展的需求，而可伸縮性使其適用于低成本和高性能的系統(tǒng)。

3.低開發(fā)成本。Altera的視頻開發(fā)套件起價只有1,095美元，其中包括了使用AlteraFPGA開發(fā)視頻系統(tǒng)所需要的軟件工具。

4.過時產品提供承諾。Altera的FPGA擁有非常龐大的客戶基礎，他們在新品推出后會持續(xù)提供該產品很多年。另外，F(xiàn)PGA設計很容易從一代工藝節(jié)點遷移到下一代工藝節(jié)點。

5.實現(xiàn)低成本的結構化ASIC的遷移路徑。Altera公司100萬門的結構化ASIC在10萬片時的起價為15美元。

6.Altera的視頻與影像處理解決方案。包括優(yōu)化的DSP設計流程、Altera的視頻與影像處理套件、接口與第三方視頻壓縮IP以及視頻參考設計。

在FPGA/結構化ASIC上實現(xiàn)類似ASSP的功能

隨著解決方案數量的增加，Altera和合作伙伴成功地在FPGA或結構化ASIC上實現(xiàn)了ASSP功能。ATEME的H.264主類(mainprofile)標準清晰度編碼器產品就是其中一個例子。有了這樣的產品，用戶就可以像使用ASSP那樣使用FPGA。與傳統(tǒng)的ASSP方法相比，這種方法的優(yōu)勢在于FPGA解決方案可以快速升級，不存在過時的風險。

DSP設計流程

Altera針對定制開發(fā)提供了優(yōu)化的DSP設計流程，該流程允許用多種不同的方式表達設計，包括VHDL/Verilog、基于模型的設計和基于C的設計。Altera的核心視頻與影像處理套件可以與這些設計流程中的任何一個一起使用。Altera和MathWorks公司合作開發(fā)了一種綜合的DSP開發(fā)流程，允許設計師充分發(fā)揮AlteraFPGA的性價比優(yōu)勢，同時高效地使用MathWorks公司基于模型的設計工具Simulink。Altera的DSPBuilder是一款DSP開發(fā)工具，可以用來連接Simulink和Altera公司先進的QuartusII開發(fā)軟件。

DSPBuilder提供了無縫的設計流程，設計師利用該流程可以在MATLAB軟件環(huán)境中進行算法開發(fā)，并在Simulink軟件中做系統(tǒng)級設計。然后形成硬件描述語言(HDL)，提供給QuartusII軟件使用。DSPBuilder工具緊密集成了SOPCBuilder工具，能幫助用戶構建包含Simulink設計和Altera嵌入式處理器以及知識產權(IP)內核的系統(tǒng)。該開發(fā)流程非常直觀，容易上手，適合在使用可編程邏輯設計軟件方面沒有太多經驗的設計師使用。

視頻與影像處理套件

視頻與影像處理套件由9大功能塊組成，其參數能夠靜態(tài)，或在某些情況下動態(tài)改變。表2對這些功能做了總結。

表2：視頻與影像處理套件中的可用功能

圖1所示的二維濾波器GUI是用戶配置類型的一個例子，它是與視頻與影像處理套件中的內核一起提供的。

圖1：二維濾波器GUI

分辨率、每次采樣的位數、FIR濾波器尺寸、邊緣行為、溢出行為和累加器長度都是二維濾波器內核中支持的靜態(tài)參數。

目前已經有多家第三方公司發(fā)布了針對Altera FPGA和結構化ASIC的視頻壓縮解決方案。表3列出了一些通用視頻壓縮標準和相關的第三方公司名稱。

表3：第三方視頻壓縮解決方案

Altera及其合作伙伴也提供視頻系統(tǒng)中經常要用到的接口內核，包括ASI、SDI、10/100/1000M以太網和DDR/DDR2存儲控制器。表4列出了部分這些類型的內核和參考設計。

表4：視頻接口和系統(tǒng)IP

采用視頻與影像處理套件的典型視頻系統(tǒng)如圖2所示。

視頻開發(fā)套件

Altera有兩款新的視頻開發(fā)套件。其中一款是視頻開發(fā)套件Cyclone II版本。它有一個雙通道復合視頻輸入、VGA輸出端口、96kHz音頻I/O、256MB的DDR2 DRAM和Cyclone II器件。另外一款是音視頻開發(fā)套件Stratix II GX版本，支持四通道的高清SDI、ASI、DVI、USB、千兆以太網、1394和DDR2 SDRAM。使用視頻與影像處理套件、DSP Builder和SOPC Builder開發(fā)工具的視頻參考設計也包含在這兩款套件中。除了這些套件外，還有多個用于視頻解決方案的Altera第三方開發(fā)套件。

性能基準

表5給出了功能實例和實現(xiàn)該功能所需的相應FPGA。

表5：編碼標準基準

Altera的Cyclone II低成本FPGA可最多集成1.1Mb的嵌入式存儲器、300個工作在250MHz的嵌入式9x9乘法器和68,000個邏輯單元(LE)。Cyclone II EP2C35器件是系列里中等規(guī)模的FPGA，25萬片時的報價是22美元。Stratix II高性能、高密度器件最多可集成9Mb的嵌入式存儲器、768個工作在450MHz的9x9嵌入式乘法器和179,000個LE。這些功能也可以用Altera的HardCopy II結構化ASIC器件實現(xiàn)。重要的邏輯、存儲器和DSP資源留給預處理和后處理功能使用(如表6所示)。

表6：預處理和后處理基準

本文小結

FPGA非常適合于視頻與影像處理應用，如廣播基礎設施、醫(yī)療成像、高清晰度視頻會議、視頻監(jiān)測和軍事成像。Altera FPGA的視頻與影像處理解決方案包含了優(yōu)化的開發(fā)工具與套件、參考設計、視頻壓縮IP、接口與系統(tǒng)IP以及Altera的視頻與影像處理IP套件。這些解決方案可以改善許多視頻與成像設備的成本、性能和產能。