采用FPGA實現(xiàn)視頻和圖像處理設計

視頻和圖像處理發(fā)展趨勢

　　以視頻和圖像處理為核心的HDTV和數(shù)字影院等創(chuàng)新技術的進展非常迅速，其推動力量在于圖像采集和顯示分辨率、高級壓縮方法以及視頻智能的跨越式發(fā)展。

　　在過去幾年中，分辨率的發(fā)展最為顯著，表1列出了不同終端設備上目前能夠達到的最高分辨率。從標準清晰度(SD)過渡到高清晰度(HD)，需要處理的數(shù)據(jù)量提高了6倍。視頻監(jiān)控也從普通中間格式(CIF)(352×288)轉向標準要求的D1格式(704×576)，某些工業(yè)攝像機甚至達到1280×720HD。軍事監(jiān)控、醫(yī)療成像和機器視覺也普遍采用了分辨率非常高的圖像。

　　高級壓縮方法逐步替代了以前的技術，在保持一定質量的前提下，能具有更好的數(shù)據(jù)流性能和壓縮比，而且延遲更低。JPEG 2000作為數(shù)字電影的標準，在軍事、醫(yī)療成像和監(jiān)控領域也得到了大量應用。H.264將可能取代廣播電視應用中的MPEG2，以及視頻監(jiān)控系統(tǒng)的MPEG4 Part 2和用于視頻會議的H.263。在應用這些新壓縮方案的同時，H.264和JPEG 2000標準仍然在不斷改進。

　　DICOM醫(yī)療成像標準已經完成了附件105，它包括JPEG 2000第2部分3D醫(yī)療成像壓縮多分量變換。附件106將包括JPIP協(xié)議，遠程瀏覽使用JPEG 2000壓縮的醫(yī)療影像。

　　MPEG 4 Part 10(H.264 AVC)的進一步擴展是可更新視頻編碼(SVC)技術。SVC在現(xiàn)有系統(tǒng)資源情況下，解決了不同網絡中向各種用戶可靠傳送視頻的編碼問題，特別是事先不知道下游客戶端容量、系統(tǒng)資源和網絡狀況的時候。例如，客戶端會有不同的顯示分辨率，系統(tǒng)有不同的緩沖或者中間存儲資源，網絡帶寬、丟包率、最大努力服務質量(QoS)等都在變化。聯(lián)合視頻開發(fā)組(JVT)擴展了AVC/H.264，增強比特流的靈活性，提高壓縮效率，可以自由組合各種壓縮模式(如空域、時域和SNR/保真等)。具體應用領域包括視頻監(jiān)控系統(tǒng)、移動流視頻、無線多通道視頻產生和分配和多方視頻電話/會議等。

　　另一快速發(fā)展的領域是視頻智能。相機已經具有搖攝、俯仰、變焦、全景等拍攝功能，這些功能逐步由系統(tǒng)智能實現(xiàn)而不需要人為干預。移動探測技術能夠更高效的利用硬盤存儲，它只捕獲高于移動閾值的視頻幀。視頻目標識別技術能夠實現(xiàn)自動監(jiān)控追蹤，其效率要遠遠高于人工監(jiān)控。

　　隨著分辨率和壓縮比的提高，不但要提高性能，還需要非常靈活的體系結構，以便能夠迅速進行更新。隨著技術的成熟以及產量的提高，也很有必要進一步降低成本。

視頻和圖像處理系統(tǒng)體系結構

　　系統(tǒng)體系結構的選擇包括標準單元ASIC、ASSP以及數(shù)字信號處理器(DSP)或者媒體處理器和FPGA等可編程解決方案。這些方案都有各自的優(yōu)缺點，最終方案的選用取決于終端設備需求以及方案的可行性?？紤]到上面討論的發(fā)展趨勢，理想的體系結構應具有以下特點：高性能、靈活性、方便更新、低開發(fā)成本，隨著應用的成熟和產量的提高，能夠提供低成本移植途徑等。

1 高性能

　　不僅壓縮需要提高性能，預處理和后處理功能同樣需要提高性能。事實上，在很多情況下，這些功能要比壓縮算法本身對性能的影響更大。這類功能的例子包括縮放、去隔行、濾波和顏色空間轉換等。

　　在上面提到的市場領域中，對高性能的要求排除了單處理器體系結構，因為單個器件難以達到性能要求。目前最好的1GHz DSP還無法實現(xiàn)H.264 HD解碼，而H.264 HD編碼要比解碼復雜10倍。FPGA是唯一能夠解決這種問題的可編程解決方案。在某些情況下，最好的方案是結合FPGA和外部DSP。

2 靈活性使產品快速面市，方便進行產品更新

　　隨著技術的迅速發(fā)展，體系結構必須足夠靈活，能夠方便地進行更新。這些要求排除了在具體應用中選用的標準單元ASIC和ASSP。ASSP一般用于大批量消費類市場，產品很快會過時，對于大部分應用而言，選用這種方案的風險很大。

3 低開發(fā)成本

　　考慮到掩模、晶片、軟件、設計驗證和布板等成本，典型90nm標準單元ASIC的開發(fā)成本會高達3千萬美元。只有產量非常大的消費類市場能夠支撐如此高的開發(fā)成本。

4 降低芯片成本的移植途徑

　　隨著標準的穩(wěn)定和產量的增加，應該過渡到低成本方案。這通常意味著使用面向市場的ASSP或者標準單元定制ASIC器件。然而，定制芯片的成本在不斷攀升，使得這些解決方案只有在大批量消費類應用中才具有較好的經濟性。大部分視頻和圖像應用芯片公司主要關注視頻攝像機、機頂盒、數(shù)碼相機、移動電話等便攜式產品或者LCD電視和監(jiān)視器等應用。因此，對于小批量應用，最好考慮FPGA，它和ASSP不同，ASSP可能非常切合功能需求，但是當需求變化時，由于產品更新?lián)Q代，目前最好的解決方案可能是最冒險的選擇。

采用FPGA的視頻和圖像處理方案

　　考慮到上面闡述的原因，F(xiàn)PGA非常適合視頻和圖像處理應用。以Altera的FPGA為例，因其具有以下特性，非常適合視頻和圖像處理體系結構。

● 高性能：可以在一片F(xiàn)PGA中完成HD處理功能。
● 靈活性：能夠迅速更新體系結構，滿足不斷發(fā)展的需求，同時在低成本和高性能系統(tǒng)中靈活地應用FPGA。
● 低開發(fā)成本：Altera的視頻開發(fā)套件起價只有1095美元，含有開發(fā)視頻系統(tǒng)所需要的軟件工具。
● 不會過時：擁有非常廣泛的客戶基礎，產品從推出以來已經發(fā)售了多年。而且，F(xiàn)PGA設計很容易從一個工藝節(jié)點移植到下一節(jié)點。
● 低成本的結構化ASIC移植途徑：Altera結構化ASIC 1百萬ASIC邏輯門100ku起價為15美元。
● 其視頻和圖像處理方案：包括經過優(yōu)化的DSP設計流程、視頻和圖像處理包、接口和第三方視頻壓縮IP以及視頻參考設計等。

　
圖1 實例設計結構圖

圖1所示為使用視頻和圖像處理包的典型視頻系統(tǒng)。

　　可見，F(xiàn)PGA非常適合視頻和圖像處理應用，如廣播基礎設備、醫(yī)療成像、HD視頻會議、視頻監(jiān)控和軍事成像等。以Altera FPGA的視頻和圖像處理方案為例，它包括經過優(yōu)化的開發(fā)工具和開發(fā)套件、參考設計、視頻壓縮IP、接口和系統(tǒng)IP以及Altera的視頻和圖像處理IP包等。這些解決方案降低了大量視頻和圖像應用的成本，提高了性能和效率。