用FPGA來加速采用OpenCL的多功能打印機(jī)圖像處理

　　在高性能計算、娛樂和科學(xué)計算市場，OpenCL的采用在持續(xù)增長。OpenCL的靈活性和便攜性使之成為了一個開發(fā)圖像處理應(yīng)用的優(yōu)秀平臺。然而，OpenCL尚未應(yīng)用到硬拷貝打印機(jī)和多功能打印機(jī)(MFP)市場。傳統(tǒng)上，打印機(jī)/MFP市場使用全定制系統(tǒng)級芯片(SoC或ASIC)、專用集成電路進(jìn)行圖像處理。在本文中，我們探討了配合Altera SoC FPGA(現(xiàn)場可編程門陣列)的OpenCL在核心MFP圖像處理流水線中的應(yīng)用。核心圖像處理流水線以每分鐘大于90頁信紙大小的全色RGB持續(xù)速率運(yùn)行，圖像分辨率為600DPI(每英寸點(diǎn)數(shù))，同時采用了成本有效的FPGA器件。相比運(yùn)行在嵌入式CPU上的基于C語言的軟件流水線，OpenCL流水線可實(shí)現(xiàn)至少40倍的性能提升，在高端臺式CPU上的運(yùn)行改善了5倍。

　　I.引言

　　歷史上，MFP和打印機(jī)廠商都是開發(fā)定制ASIC或SoC器件來執(zhí)行圖像處理操作。這些ASIC/SoC器件包括圖像流水線，用以接受來自CCD或CIS傳感器的RGB數(shù)據(jù)，執(zhí)行濾波、縮小/放大、色彩空間轉(zhuǎn)換、圖像分割和半色調(diào)操作。然后，由此產(chǎn)生的經(jīng)處理的圖像使用減色著色劑進(jìn)行打?。呵嗌?、品紅、黃色和黑色。其目標(biāo)是在打印副本上精確地再現(xiàn)原始文檔，而不引入視覺假像。

　　在底層技術(shù)(如DDR內(nèi)存和USB連接)變得過時之前，ASIC/SoC器件通常有三年的有限壽命。隨著硅技術(shù)的不斷萎縮，開發(fā)一個定制ASIC/SoC所需的投資在繼續(xù)增加。一個采用雙核處理器、必要的連接、DDR3內(nèi)存控制器、圖像處理、GPU、LCD控制器等的28納米SoC的設(shè)計、開發(fā)和交付需要花費(fèi)超過1000萬美元的成本。

　　取決于許多因素，大型SoC/ASIC器件的開發(fā)周期要花18至30個月，包括新IP的數(shù)量和大小、利用以往設(shè)計的能力、設(shè)計團(tuán)隊經(jīng)驗(yàn)和成熟的有針對性的硅技術(shù)。

　　打印機(jī)/MFP市場的產(chǎn)品周期是24到36個月的時間。打印機(jī)/MFP市場成長速度平緩，增加了以較低成本和較短開發(fā)周期提供更多功能的競爭壓力[1].

　　隨著ASIC/SoC開發(fā)周期接近同一時間MFP產(chǎn)品的生命周期，MFP/打印機(jī)廠商需要一個新的平臺來縮短開發(fā)和部署周期?；赟oC的OpenCL和FPGA的組合為解決這一難題提供了一個有趣的解決方案。

　　II. MFP圖像處理流水線背景

　　一個重要的研究機(jī)構(gòu)已經(jīng)在文檔圖像處理領(lǐng)域積累了近20年的經(jīng)驗(yàn)[2][3].大部分早期工作都側(cè)重于圖像處理的基礎(chǔ)知識，包括提供統(tǒng)一色彩的校準(zhǔn)輸入傳感器數(shù)據(jù)、去除來自傳感器噪聲的濾波，實(shí)現(xiàn)圖像尺寸縮小或放大的縮放算法，以及實(shí)現(xiàn)使用二進(jìn)制像素打印連續(xù)色調(diào)圖像數(shù)據(jù)的半色調(diào)。當(dāng)前的文檔圖像處理研究和開發(fā)處于圖像分析、內(nèi)容提取和數(shù)據(jù)壓縮技術(shù)領(lǐng)域。[4][5][6]

　　所有MFP文檔圖像處理產(chǎn)品都可執(zhí)行一系列基本功能——復(fù)印、掃描和打印。圖1用圖形說明了一臺個MFP設(shè)備的基本功能或流水線。復(fù)印和掃描的操作相類似，開始于從一個掃描設(shè)備到設(shè)備無關(guān)的彩色空間的原始RGB數(shù)據(jù)轉(zhuǎn)換。復(fù)印操作進(jìn)一步處理設(shè)備無關(guān)的色彩空間圖像，并創(chuàng)建用于打印的CMYK圖像。掃描操作在設(shè)備無關(guān)的色彩空間圖像上執(zhí)行一組不同的圖像處理操作。這些操作可以包括：圖像分析、用不同頻率內(nèi)容將圖像分割為多個圖像層、OCR、光學(xué)字符識別和數(shù)據(jù)壓縮。然后，所產(chǎn)生的圖像轉(zhuǎn)被移到任一本地存儲介質(zhì)，如USB閃存驅(qū)動器或網(wǎng)絡(luò)設(shè)備。

　　圖1：簡化的MFP圖像處理流水線

　　圖字：

　　來自CCD或基于CIS掃描儀的RGB;分割

　　掃描儀接口;校準(zhǔn)和調(diào)整;CST(RGB到Lab);濾波器;縮放R E;CST(Lab到CMYK);調(diào)整;誤差擴(kuò)散;無損或有損壓縮;解壓縮調(diào)整和/或操作

　　來自網(wǎng)絡(luò)的PS/PCL/其他PDL;解譯;顯示列表;渲染器;位圖或字節(jié)圖;調(diào)整;半色調(diào);無損壓縮;圖像存儲;無損解壓縮;圖像調(diào)整;引擎接口

　　有損解壓縮;有損壓縮;至引擎

　　出口處理;至網(wǎng)絡(luò)

　　外部接口;微觀圖像處理操作;圖像存儲;通用CPU操作;宏觀圖像處理操作

　　打印功能接收一個采用PDL(頁面描述語言)的編碼，或圖形顯示接口格式的文件。在采用PDL文件的情況下，MFP設(shè)備必須首先解釋文檔語言，并創(chuàng)建一個原始對象列表。渲染器捕獲這些對象，并將其轉(zhuǎn)換成數(shù)字CMYK位圖/位圖圖像。所產(chǎn)生的數(shù)字圖像可被進(jìn)一步處理和隨意壓縮。GDI打印機(jī)不需要解釋過程，因?yàn)閭魉偷酱蛴C(jī)的圖像是一個顯示對象的列表。

　　一旦打印或復(fù)印流水線創(chuàng)建了CMYK位圖/位圖圖像，圖像即被發(fā)送到引擎在所需介質(zhì)上打印。

　　本文的重點(diǎn)是一個OpenCL MFP核心復(fù)印流水線(CCP)的開發(fā)，如圖2所示。

　　圖2：核心復(fù)印流水線

　　圖字：

　　濾波器;縮放R E;CST(Lab到CMYK);調(diào)整;誤差擴(kuò)散

　　圖像存儲

　　源圖像5100x6600x24位LAB;目標(biāo)圖像5100x6600x32位CMYK

　　III. MFP核心復(fù)印流水線

　　CCP由5個內(nèi)核組成：7×7濾波器;用pad/crop縮放或減小與放大;色彩空間轉(zhuǎn)換;調(diào)整和誤差擴(kuò)散。我們將簡要地回顧各個算法和相關(guān)的內(nèi)存需求。

　　A. 7×7濾波器

　　7×7濾波器是一個2D對稱濾波器，可降低圖像噪聲。它的每一行需要跨連續(xù)7行乘連續(xù)7個像素的49個像素的上下文(context)。MFP應(yīng)用通常使用一組系數(shù)來實(shí)現(xiàn)一個平均或銳化濾波器。7×7濾波器的一般形式是：

　　圖3示出了該系數(shù)陣列和輸入像素陣列。系數(shù)C0 - C9足以定義一個7×7濾波器。

　　7×7系數(shù)陣列

　　7×7輸入像素陣列

　　圖3：7×7系數(shù)和輸入濾波器陣列

　　由于系數(shù)值經(jīng)常重復(fù)，濾波處理可以避免重復(fù)的乘法和加法。相反，乘以相同系數(shù)的像素可首先加入，然后與濾波器系數(shù)相乘一次。圖4直觀地顯示了潛在的優(yōu)化。這個數(shù)字僅為了清晰起見，并不代表OpenCL設(shè)計。

　　圖4：濾波器工作矩陣