開發(fā)中的列并行視頻系統(tǒng)

當今，在生產、物流、交通、信息通信、娛樂等各種領域中，高速視覺信息處理正成為重要的技術。但是，目前許多圖像處理系統(tǒng)由于圖像的獲取都使用CCD攝像機，處理速度受到視頻速率(30幀/秒)的限制。換句話說，即使利用多高速的計算機，實時處理都會受到圖像獲取速度的限制。

另一方面，生產自動化機器人等傳動機構的工作速度按ms級控制是可能的，因此，與CCD攝像機結合的機器人控制系統(tǒng)，未能充分發(fā)揮其傳動機構的能力。

近年來，作為解決這一課題的辦法，提出了從傳感器到運算裝置集成化的、采用CMOS半導體工藝的各種功能傳感器。它的結構有圖1示出的3種典型情況。

圖中PD（光二極管）是受光單元，PE（處理單元）是數字運算單元。圖(a)為以往基于計算機技術的結構，來自多個受光單元的信號通過二維順序掃描讀出，一個A/D交換器(ADC)進行模數變換，其圖像數據由DSP及CPU等進行圖像處理運算。

圖(b)為提高圖像獲取速度及運算速度，在每一列都備有ADC和PE的結構。它以各列的并行性實現高速化。所有組件均有市售。

圖?是基于完全并行的結構，每個PD都一對一地對應一個ADC和PE，能實現超高速的圖像獲取與運算處理。

這三種方式從集成性及運算能力看各有長短。圖(a)的結構由于用一個ADC和一個DSP進行處理，在圖像獲取速度與運算速度兩方面都有限制。

圖(b)從集成性與高速性兩方面看可說是一種中庸的結構，但對通信處理包含的許多相鄰運算的能力是個課題。圖?從高速性看可說是理想的結構，但從受光單元的靈敏度及ADC的精度看，對集成化要求很高的技術。

遵循這些結構不同的特性，開發(fā)了具有列并行傳送方式與完全并行運算相結合結構的列并行視覺系統(tǒng)CPV。本文介紹CPV的技術概要及其利用高速運算特性的視覺反饋系統(tǒng)的應用。

本系統(tǒng)的構成如圖2示出。對于高幀速與高分辨率的相悖要求，為同時滿足產業(yè)應用所需的128×128像素、8位灰度等級、ms級的運算處理，對128×128像素的PD陣列和PE陣列的數據傳送，采用了位串行、列并行傳送方式。此即圖1(b)的列并行傳送功能與?完全并行運算功能相結合的方式。PD陣列的輸出，通過每列的放大器和A/D變換器，作為128路并行的位串行數字信號輸出。

試制的受光單元外觀見圖2，在10cm大的底板上按COB(板上芯片)安裝。在128路以8位讀出的情況下，傳送速度實現了大約1ms。PD陣列的特性示于表1。

并行運算裝置由PE陣列與控制單元構成(見圖2）。PE陣列采用了通用性與高速運算性都極好的并行處理算法結構S3PE。S3PE結構基于SIMD(單指令多數據流）型并行運算，用外部的程序可實現通用的運算。PE陣列由于與PD陣列的各像素一一對應，實現了完全并行的高速運算。

各PE由示于圖3的運算器（ALU）、A/B寄存器及24×1位的隨機存取存儲器(內存）構成，利用外部給出的運算指令(程序)便可進行通用的運算。

另外，由于在PE內部，運算與圖像傳送可各自獨立進行，傳送與處理可不間斷地工作?？刂茊卧鐖D4所示，它實現整個系統(tǒng)(PD陣列、PE陣列）的控制及與外部主機的接口。

圖5示出利用本系統(tǒng)進行一般圖像處理的結果。圖左上為按256級灰度拍攝的原圖像，以128ms/幀的幀速獲取圖像。右上是7次背景烘托處理圖像，對X與Y方向反復進行了7次烘托處理運算。左下是2次背景壓紋處理，左下是加邊處理的結果。

這些圖像處理運算證明，可利用完全并行的并行運算機構通過改換程序實現，且如表2所示是高速進行的。表中的步數表示運算所需要的運算步數，在目前系統(tǒng)中運算在CLK=3MHz下工作，步數×0.33ms即為運算時間。圖像處理所需時間在哪一情況下，均約0.1ms即可，在目前每秒1000幀的情況下，可適應高10倍的復雜運算。而且，通過今后的集成化，還可望進一步實現高速時鐘運行。

為了展示本系統(tǒng)具有的高速圖像處理能力的有效性，做了高速反饋所必需的自動跟蹤演示。

實驗系統(tǒng)CPV接到2軸（PAN、TILT)馬達上，其圖像由并行運算機構進行處理，結果反饋給馬達。實驗中對象物為手形模型，在存儲最初見到的物體后便執(zhí)行跟蹤程序。為顯示系統(tǒng)的高速性，以1ms時間的反饋為目標，圖像用1ms獲取3位(8級灰度)的圖像數據，由完全并行運算進行對象物體的識別和重心的計算。實驗證明可實現每秒1000幀的幀速率。

物體跟蹤的運算內容示于表3。首先，傳感器信息的3位圖像數據送入PE，作為前處理去除噪聲和進行2值化運算。接著，采用了利用圖像高速反饋特點的selfwindow法識別對象物體。

這里對提取的圖像，運算X方向和Y方向一次動量的總和，分別進行各自的重心計算處理。從取得圖像到重心計算結果輸出的全部運算，用58.6ms即完成，證明了本系統(tǒng)的高速性和有效性。

這樣高幀速率的圖像處理能力可以解決產業(yè)領域中圖像處理的許多問題。比如說，在傳送帶上的實時檢查及半導體器件的缺陷檢查等的處理速度，都可飛躍地提高。此外，還可望用于迄今圖像處理難以解決的應用，如汽車、電車等移動體中危險感和傳感器的應用，運動分析及運動控制等體育科學的應用等。

今后，該系統(tǒng)將以高速圖像處理范圍極廣的產業(yè)應用為目標，預料在推動系統(tǒng)的小型化和成本降低的同時，將準備便于用戶進行算法開發(fā)的軟件環(huán)境等相關技術。本系統(tǒng)由于具有未來單片化的結構，可望作為小型廉價的智能傳感器產業(yè)化?！?/font> (紹)