前座駕駛員

　　降低相關(guān)復(fù)雜性的一個(gè)好方法是，考慮執(zhí)行NGC內(nèi)核需要的工作量。兩個(gè)數(shù)字圖像的相關(guān)可以定義為：
　
　
　　f(x,y)是一個(gè)函數(shù)，用于描述(x,y )中的8位像素的灰度水平(0-255)，模板t(x-u, y-v)被來自原點(diǎn)的(u,v)像素所取代。模板和圖像在等式中能夠改變位置，因?yàn)榻Y(jié)果對(duì)代數(shù)符號(hào)不敏感。這個(gè)模板的尺寸是按照p像素 x q像素計(jì)算的?？梢钥闯霰磉_(dá)式一個(gè)像素一個(gè)像素地比較f和t，并且假定縮放比例，使模板和圖像尺寸相同。

　　通過擴(kuò)展，我們考慮模板項(xiàng)的平方是一個(gè)常量，圖像項(xiàng)的平方是一個(gè)大致的常量。我們發(fā)現(xiàn)，C(u,v)這個(gè)相關(guān)的近似值仍需要在有用的邊界中定義，使其更加不依賴可見光。
　

　　最后，如果我們把測(cè)試中的模板和圖像區(qū)域轉(zhuǎn)到原點(diǎn)：
　

　　要減少可見光的影響，標(biāo)簽f和標(biāo)簽t是圖像和模板灰度密度的算術(shù)平均，這些圖像和灰度密度取代對(duì)比窗口中的所有的N = p x q像素。用這兩個(gè)函數(shù)的幾何平均值除以這個(gè)分子將得到更好的獨(dú)立結(jié)果和一個(gè)界限。
　　
　　通過Navi2V的加速器GSEU(灰度搜索引擎單元)重新安排處理：

　　通過檢查可以發(fā)現(xiàn)上式有五個(gè)不同的計(jì)算，其中兩個(gè)可以預(yù)先計(jì)算。一個(gè)歸一化相關(guān)可以分配給SH-Navi2V的圖像識(shí)別加速器(見圖3)中的16個(gè)區(qū)域處理器。這16個(gè)區(qū)域處理器中的每一個(gè)處理器被設(shè)置為一個(gè)四處理器MISD(多指令單數(shù)據(jù))引擎。每一個(gè)四處理器GSEU能夠處理正在被收縮的圖像中整個(gè)的指定區(qū)域里歸一化相關(guān)內(nèi)核。如圖3所示，預(yù)備項(xiàng)用作計(jì)算歸一化相關(guān)需要八次運(yùn)算。提供一組已計(jì)算出的項(xiàng)，SH-4A內(nèi)核接收和生成歸一化相關(guān)結(jié)果。它用軟件流水線模式(組裝線)執(zhí)行最后的計(jì)算。其輸入操作數(shù)是圖像識(shí)別引擎早些時(shí)候在一個(gè)積累期計(jì)算的項(xiàng)。SH-4A雙精度協(xié)處理器提供平方根開方和除法運(yùn)算。

　　這個(gè)標(biāo)記可能和鏡頭視點(diǎn)(Camera view)中目標(biāo)體上的臨時(shí)標(biāo)簽一起工作，鏡頭視點(diǎn)至少有一個(gè)匹配的模版。
以300MHz的速度運(yùn)行，這個(gè)圖像識(shí)別引擎每個(gè)循環(huán)周期能夠完成16個(gè)歸一化相關(guān)步驟。每個(gè)周期8次運(yùn)算和16個(gè)引擎并行工作，加速器每秒中可進(jìn)行38.4GOPS計(jì)算，不包括SH-4A執(zhí)行的運(yùn)算，以及預(yù)處理、標(biāo)簽、矩形圖調(diào)整和其他后處理單元(圖3b)以及2D圖像所需要的狀態(tài)機(jī)。除非預(yù)先把匹配的模板安排在計(jì)劃中，否則，搜索只能通過每一個(gè)像素的一次一次的全面計(jì)算實(shí)現(xiàn)。

前景光明

　　由于SH-Navi2V芯片能夠發(fā)揮許多作用，有必要解釋一下它到目前為止做了哪些事情。SH-Navi2V已經(jīng)可以接受來自兩個(gè)攝像機(jī)的輸入信號(hào)；它已經(jīng)可以為一些重要模板搜索了視頻幀，并且在液晶顯示屏上顯示結(jié)果。

　　瑞薩科技把這一過程中分為四個(gè)階段，所有的圖像引擎任務(wù)和相關(guān)控制都是由SH-4A處理的：

　　來自兩臺(tái)攝像機(jī)的視頻幀(NTSC/PAL制式)通過VIN模塊(如圖2所示)接收，并且存儲(chǔ)到DDR SDRAM外部?jī)?nèi)存。

　　圖像識(shí)別引擎從DDR SDRAM內(nèi)存載入下一個(gè)需要處理的視頻幀，并且把這個(gè)結(jié)果傳回內(nèi)存。

　　SH-4A訪問DDR SDRAM外部?jī)?nèi)存，從已經(jīng)完成圖像識(shí)別的堆?？蚣苌厦嫣崛?shù)據(jù)，執(zhí)行高質(zhì)量圖像處理，并且把處理后的圖像傳輸回內(nèi)存。

　　內(nèi)存里SH-4A已經(jīng)處理過的圖像將通過顯示單元(DU)傳輸?shù)今{駛員可以看到的WVGA或者XGA液晶顯示屏。

　　正如瑞薩科技描述的那樣，使用SH-Navi2V的系統(tǒng)能夠向汽車駕駛員提供視頻影像，通過圖像識(shí)別功能突出與交通有關(guān)的物體。這個(gè)視頻影像還包含一個(gè)語音提示，讀出交通標(biāo)志的內(nèi)容，如限速公里數(shù)等。因此，采用這種芯片的系統(tǒng)能夠向駕駛員提供比GPS和地圖更準(zhǔn)確的位置信息。它能夠說明主汽車周圍的環(huán)境狀況，向駕駛員提供有關(guān)行車狀況的信息，如新的或者臨時(shí)的道路標(biāo)志。

　　該系統(tǒng)是提高汽車和駕駛員安全的一個(gè)良好開端，但是還有一些障礙需要克服。灰度歸一化相關(guān)自從90年代初就開始應(yīng)用在機(jī)器人視覺中，也許是80年代末。在大多數(shù)情況下，這個(gè)技術(shù)是在處理一些動(dòng)作緩慢，或者應(yīng)用在對(duì)色彩不太敏感，并且與車輛移動(dòng)時(shí)拍攝視頻所不同的環(huán)境下。圖像縮放和旋轉(zhuǎn)以及透視變形需要高出2到3個(gè)數(shù)量級(jí)的性能。每秒搜索的幀數(shù)必須要提高：汽車在以每小時(shí)50公里的速度行駛時(shí)每秒中前進(jìn)大約73英尺，系統(tǒng)需要處理解決攝像機(jī)抖動(dòng)以及汽車的顛簸搖晃。有些攝像機(jī)的光學(xué)系統(tǒng)已經(jīng)提供了單軸幫助功能(像佳能的IS鏡頭和尼康的VR)，或者通過壓電致動(dòng)器(美能達(dá))實(shí)現(xiàn)的CCD/CMOS傳感器位置控制。

　　此外，圖像穩(wěn)定軟件或者對(duì)前幀中已經(jīng)識(shí)別出的物體的移動(dòng)進(jìn)行預(yù)見性的搜索也能提供幫助。(譯自In-stat微處理器報(bào)告)