輔助駕駛：基于圖像傳感器的汽車(chē)全景環(huán)視系統(tǒng)

背景

1.1概述

汽車(chē)是現(xiàn)代社會(huì)最為有效、使用最為廣泛的交通工具之一，是維持人們正常生活工作所不可或缺的一部分。然而，汽車(chē)的大量涌現(xiàn)，日益頻繁的交通堵塞和交通事故，嚴(yán)重影響到人們?nèi)粘Ｉ畹姆奖愫凸ぷ鞯男?，甚至危害到人們的生命安全。研究分析表明，每個(gè)交通事故均不同程度地涉及到駕駛員、汽車(chē)和道路環(huán)境因素，而與駕駛員因素有關(guān)的事故約占九成，駕駛員的人為失誤已經(jīng)被公認(rèn)為是交通事故的主要原因。如何減少“人”在交通系統(tǒng)中發(fā)揮的不確定因素，已經(jīng)成為汽車(chē)安全領(lǐng)域研究的重點(diǎn)。通過(guò)先進(jìn)的技術(shù)手段增強(qiáng)駕駛員感知能力，甚至替代部分駕駛?cè)蝿?wù)，為車(chē)輛提供日益完善的安全預(yù)警和輔助駕駛功能，逐步實(shí)現(xiàn)車(chē)輛的智能化，并最終走向完全無(wú)人駕駛的智能車(chē)輛，必將是解決交通安全問(wèn)題的根本途徑。

隨著圖像處理和計(jì)算機(jī)視覺(jué)的快速發(fā)展，越來(lái)越多的先進(jìn)技術(shù)被應(yīng)用到汽車(chē)電子領(lǐng)域，傳統(tǒng)的基于圖像的輔助駕駛只在汽車(chē)車(chē)尾安裝倒車(chē)攝像頭，只能覆蓋汽車(chē)周?chē)挠邢迏^(qū)域，而車(chē)兩側(cè)和前方的視覺(jué)盲區(qū)無(wú)疑增加了安全駕駛的隱患。

我們具有自主知識(shí)產(chǎn)權(quán)的車(chē)載全景視覺(jué)技術(shù)是將分布安裝于車(chē)輛周邊的圖像傳感器捕捉的圖像進(jìn)行合成和投影，在人機(jī)界面虛擬一個(gè)單一的全景圖像，并且這個(gè)圖像時(shí)無(wú)盲區(qū)的，能夠360°的觀察車(chē)身周邊的狀況。同時(shí)，這個(gè)圖像經(jīng)過(guò)合成和投影，形成符合人的思維習(xí)慣的全景圖像。

1.2研究現(xiàn)狀

車(chē)載傳感器類(lèi)型如表1所示，在這其中，全景視覺(jué)傳感器技術(shù)受到越來(lái)越多的關(guān)注，并成為車(chē)載電子裝置未來(lái)發(fā)展的主要方向。屬于視覺(jué)感知技術(shù)之一的全景視覺(jué)傳感器技術(shù)是智能感知交通環(huán)境重要的技術(shù)手段，它可以全方位、全天候、全時(shí)段地監(jiān)視、分析和記錄車(chē)內(nèi)外的情況，為報(bào)警系統(tǒng)、控制系統(tǒng)和安全避讓系統(tǒng)提供最直觀的狀態(tài)信息，也為車(chē)輛和乘員的安全保護(hù)提供了事前告之、過(guò)程記錄和事后重現(xiàn)的技術(shù)手段。特別是在復(fù)雜的道路環(huán)境下，通過(guò)全面的視覺(jué)技術(shù)，可以使駕駛者的觀察得以延伸和擴(kuò)大，真正做到“眼觀六路”，掌控全局。

車(chē)載全景視覺(jué)傳感器分為兩種，即把拍攝的圖像提供給駕駛者觀看的“顯示用視覺(jué)傳感器”，以及把拍攝的圖像傳送至計(jì)算機(jī)進(jìn)行處理的“處理用視覺(jué)傳感器”。 車(chē)載全景視覺(jué)傳感器今后的發(fā)展趨勢(shì)有如下幾個(gè)方面：

（1）處理用視覺(jué)傳感器的迅速普及；

（2）處理用視覺(jué)傳感器的多功能化；

（3）顯示用視覺(jué)傳感器和處理用視覺(jué)傳感器的融合。

表1：各種行駛傳感技術(shù)的比較

在BMW和NISSAN的高端車(chē)型上，已經(jīng)開(kāi)始使用多個(gè)攝像頭來(lái)輔助駕駛員的操作和泊車(chē)，在VOLVO的XC60，XC90等概念車(chē)型上，已經(jīng)開(kāi)始使用圖像識(shí)別技術(shù)來(lái)輔助駕駛?cè)藛T的并線和巡航操作。在LEXUS的部分概念車(chē)型上，也有使用單目攝像頭來(lái)進(jìn)行簡(jiǎn)單的自動(dòng)泊車(chē)的演示系統(tǒng)。

根據(jù)第三方的市場(chǎng)研究公司 Techno Systems Research (TSR) 的研究指出，在 2008 年時(shí)約有 20% 的新車(chē)配備整合式攝影機(jī)，而到了 2012 年時(shí)預(yù)計(jì)將增加到接近 70%，并且會(huì)有很大比例新車(chē)安裝至少2個(gè)以上攝像機(jī)，車(chē)用視頻裝置即將成為各類(lèi)車(chē)輛的主流配置。

表2：已采用視覺(jué)感知技術(shù)的汽車(chē)領(lǐng)域應(yīng)用比較

圖像能夠提供給使用者最直觀高效的輔助信息。人類(lèi)大腦的模糊思維和判斷能力決定了，人隨意掃視圖像所獲得的信息量和信息準(zhǔn)確性遠(yuǎn)遠(yuǎn)大于費(fèi)力地觀察若干儀表所能得到的信息量和信息準(zhǔn)確性,并且圖像方式得到的信息更加直觀可靠。如表2所示，可以預(yù)見(jiàn)在不遠(yuǎn)的將來(lái)，基于全景視覺(jué)傳感器技術(shù)和圖像識(shí)別技術(shù)來(lái)實(shí)現(xiàn)輔助駕駛和安全功能的系統(tǒng)將廣泛應(yīng)用于各類(lèi)車(chē)輛，進(jìn)而成為無(wú)人駕駛汽車(chē)和智能導(dǎo)航系統(tǒng)的關(guān)鍵技術(shù)。

本設(shè)計(jì)的最終目標(biāo)就是要給出基于FPGA技術(shù)來(lái)構(gòu)架SOC實(shí)現(xiàn)的以全景視覺(jué)處理為基礎(chǔ)的汽車(chē)環(huán)視系統(tǒng)。通過(guò)4路廣角攝像頭實(shí)時(shí)采集數(shù)據(jù)，并將采集到的4路視頻數(shù)據(jù)進(jìn)行預(yù)處理和配準(zhǔn)拼接等一系列處理實(shí)現(xiàn)360度的實(shí)時(shí)全景視覺(jué)圖像，并通過(guò)VGA顯示器進(jìn)行顯示。

研究方法和技術(shù)路線

在系統(tǒng)構(gòu)成方面，系統(tǒng)主要分為三個(gè)部分，圖像采集、圖像處理及顯示。圖像的采集是使用4路模擬攝像頭，通過(guò)自行設(shè)計(jì)的視頻采集電路板接入圖像，并通過(guò)DMA將實(shí)時(shí)圖像數(shù)據(jù)搬到存儲(chǔ)器中。這里采用了NTSC制式的模擬攝像頭，攝像頭的性能和顯示效果一般。我們的研究重點(diǎn)是采用更加高效的算法和設(shè)計(jì)思路，在目前有限的資源條件下，最大限度的利用資源以達(dá)到最佳的設(shè)計(jì)和顯示效果。

圖像處理部分是采用基于區(qū)域匹配的圖像合成算法，將采集到的圖像數(shù)據(jù)進(jìn)行相關(guān)的算法操作，并最終通過(guò)顯示部分呈現(xiàn)出經(jīng)過(guò)合成算法處理后的全景圖像。在對(duì)現(xiàn)有算法的研究基礎(chǔ)之上，我們對(duì)現(xiàn)有算法進(jìn)行了改進(jìn)，設(shè)計(jì)出了適合現(xiàn)有設(shè)計(jì)平臺(tái)及資源的更加高效的算法，并且還對(duì)算法較為耗時(shí)的部分進(jìn)行了硬件化處理，使圖像處理部分的性能達(dá)到最高。

本系統(tǒng)對(duì)顯示部分采用了硬件實(shí)現(xiàn)，直接將圖像的顯示通過(guò)硬件直接處理，為耗時(shí)更多的圖像處理部分節(jié)約出更多的CPU資源，以使整個(gè)系統(tǒng)的效能達(dá)到最優(yōu)。

系統(tǒng)的實(shí)現(xiàn)是在實(shí)驗(yàn)室環(huán)境下，使用了xilinx公司的Vertex-5 FPGA平臺(tái)，充分利用和發(fā)揮其資源以及FPGA在硬件開(kāi)發(fā)方面的優(yōu)勢(shì)，在小車(chē)模型基礎(chǔ)上進(jìn)行視頻合成，圖像分析的研究和實(shí)現(xiàn)，并搭建相應(yīng)的模擬仿真環(huán)境，進(jìn)行圖像處理和分析算法的設(shè)計(jì)和驗(yàn)證，對(duì)獲取的圖像和視頻進(jìn)行進(jìn)一步的學(xué)習(xí)和分類(lèi)，并根據(jù)分類(lèi)的結(jié)果對(duì)算法的參數(shù)進(jìn)行分類(lèi)和調(diào)整，在實(shí)際應(yīng)用過(guò)程中，系統(tǒng)將根據(jù)實(shí)際條件自動(dòng)調(diào)節(jié)算法的參數(shù)，分路況對(duì)系統(tǒng)進(jìn)行測(cè)試，并根據(jù)實(shí)際測(cè)試的結(jié)果不斷反饋，從而繼續(xù)改進(jìn)和優(yōu)化算法，直到系統(tǒng)達(dá)到最終的效果。

設(shè)計(jì)結(jié)構(gòu)

圖1系統(tǒng)整體設(shè)計(jì)結(jié)構(gòu)圖

系統(tǒng)的原理主要根據(jù)系統(tǒng)的整體結(jié)構(gòu)進(jìn)行劃分，如圖1所示，系統(tǒng)整體分為圖像采集部分、圖像處理部分和顯示控制部分。

圖像采集部分

圖像采集部分采用自行設(shè)計(jì)的視頻采集電路板，視頻數(shù)據(jù)通過(guò)Vertex-5的GPIO接口接入，通過(guò)一個(gè)自行設(shè)計(jì)的硬件BT656解碼器，將圖像數(shù)據(jù)幀的純數(shù)據(jù)提取出來(lái)，然后由DMA將其搬入到Vertex-5平臺(tái)的DDR2 SDRAM中。整個(gè)采集過(guò)程是由硬件獨(dú)立完成，僅在系統(tǒng)的上電初始化階段由CPU參與，在后續(xù)的圖像傳輸過(guò)程中數(shù)據(jù)流可以獨(dú)立運(yùn)行。

圖2視頻采集結(jié)構(gòu)圖

接入FPGA后的數(shù)據(jù)處理如圖3所示，經(jīng)過(guò)轉(zhuǎn)化和解碼后的視頻數(shù)據(jù)首先接入FIFO中，并由DMA從已經(jīng)自行設(shè)計(jì)的流接口控制模塊將FIFO中數(shù)據(jù)搬入DDR2_SDRAM中，后面將由Macroblaze軟核對(duì)圖像數(shù)據(jù)進(jìn)行處理。

圖像處理部分

圖像處理部分基于Macroblaze軟核并結(jié)合用戶自定義設(shè)計(jì)模塊進(jìn)行。圖像處理的工作主要由自定義設(shè)計(jì)的模塊完成，本設(shè)計(jì)中，由于涉及到多路圖像的處理操作，數(shù)據(jù)吞吐量和處理工作都比較巨大，僅靠Macroblaze處理器很難完成預(yù)定的運(yùn)算量，因此，本設(shè)計(jì)的一個(gè)特點(diǎn)在于，將定制大規(guī)模的圖像加速處理自定義硬件模塊，以完成對(duì)圖像處理的操作。

其中Macroblaze主要負(fù)責(zé)進(jìn)行外設(shè)的管理配置，數(shù)據(jù)流控制，以及顯示交互控制。圖像的采集、預(yù)處理部分的工作，需要將視頻視頻解碼并由DMA將傳輸入視頻數(shù)據(jù)搬入DDR2 SDRAM中。

圖3. 系統(tǒng)軟件流程圖

如圖3所示為系統(tǒng)的軟件流程圖，其中標(biāo)紅的部分為待選擇完成的內(nèi)容，今后將對(duì)這幾部分進(jìn)行實(shí)現(xiàn)，視頻的合成算法研究是本系統(tǒng)最終實(shí)現(xiàn)的部分。圖像的合成算法采用了基于區(qū)域匹配的合成算法，本算法在對(duì)兩幅圖像之間的邊緣處理上具有很高的擬合特性，與基于特征點(diǎn)匹配的合成算法相比，圖像的邊緣痕跡更加的淡化，圖像的合成效果更佳。

顯示控制部分

圖4 通過(guò)PC模擬算法的顯示效果

圖4為在PC機(jī)上執(zhí)行算法后的圖像顯示效果。圖像最終通過(guò)Vertex-5的DVI轉(zhuǎn)接VGA接出，后續(xù)的工作還將采用觸屏VGA顯示器，以提高產(chǎn)品人機(jī)交互的易用性和友好性。

系統(tǒng)實(shí)施與測(cè)試

視頻采集部分

1、視頻采集部分的PCB設(shè)計(jì)

視頻采集電路板的設(shè)計(jì)工具為Cadence 16.3，主芯片采用了TVP5150，電路板接入了六路模擬視頻圖像，我們?cè)诒鞠到y(tǒng)中僅使用了其中的4路，另外的兩路是本系統(tǒng)在針對(duì)大型作業(yè)車(chē)輛而設(shè)計(jì)增加的額外的攝像頭。下圖為采集板的設(shè)計(jì)原理圖：

圖5 視頻采集電路板原理圖

視頻的A/D轉(zhuǎn)換部分

此部分選用了六個(gè)TVP5150芯片進(jìn)行視頻解碼。由于其使用簡(jiǎn)易，超低功耗，并且封裝極小，因此被廣泛使用。

此部分的設(shè)計(jì)原理圖如下：

圖6 TVP5150解碼芯片原理圖

電源部分

電源部分的供電主要有3.3V和1.8V。電源芯片采用了X1117芯片，原因上面已經(jīng)講過(guò)了，在這里就不再贅述了。原理圖如下：

圖7 電源芯片

外圍接口及時(shí)鐘

根據(jù)TVP5150芯片資料，時(shí)鐘采用了14.31818MHz的時(shí)鐘芯片。為了保證芯片的時(shí)鐘供應(yīng)的穩(wěn)定性，設(shè)計(jì)中采用了3片時(shí)鐘芯片，每?jī)善灿靡粋€(gè)時(shí)鐘芯片，以保證芯片的工作穩(wěn)定性。

外圍接口和時(shí)鐘原理圖如下:

圖8 時(shí)鐘芯片原理圖

圖9 與Vertex-5平臺(tái)連接接口定義原理圖

本系統(tǒng)的電路板采用了4層板設(shè)計(jì)，布局布線后的效果如圖6所示。

圖10 視頻采集電路板布局、布線圖

最終電路板的實(shí)物圖如圖7所示。

圖11視頻采集電路板實(shí)物圖

2、頻數(shù)據(jù)的采集

這個(gè)部分又可以分為兩部分：1、視頻采集電路、數(shù)據(jù)格式轉(zhuǎn)換及緩沖區(qū)的設(shè)置。2、Microblaze軟核，具體的Microblaze系統(tǒng)結(jié)構(gòu)如圖12所示。

圖12. Microblaze系統(tǒng)結(jié)構(gòu)圖

如圖4所示，攝像頭采集到的數(shù)據(jù)首先通過(guò)A/D芯片，將模擬信號(hào)轉(zhuǎn)換為BT656標(biāo)準(zhǔn)的數(shù)字信號(hào)，這里的信號(hào)主要有8位數(shù)據(jù)線、27MHz的輸出時(shí)鐘、行同步信號(hào)（HS）和場(chǎng)同步信號(hào)（VS）。經(jīng)過(guò)轉(zhuǎn)換模塊將數(shù)據(jù)轉(zhuǎn)換為去消隱后的BT656標(biāo)準(zhǔn)的數(shù)據(jù)，這里的輸出信號(hào)為16位數(shù)據(jù)信號(hào)和寫(xiě)使能信號(hào)。

圖13. TVP5150芯片視頻編碼格式

圖14. ITU-656視頻格式

然后寫(xiě)入到讀寫(xiě)時(shí)鐘異步的FIFO中，F(xiàn)IFO與流控模塊FIFO_ST相連。后續(xù)的數(shù)據(jù)搬移操作就由DMA來(lái)進(jìn)行了。

數(shù)據(jù)的采集處理方式，采用了DMA + FIFO的方式，由于視頻采集的數(shù)據(jù)量較大，這里更適合采用流傳輸模式。因此，此部分使用了適合進(jìn)行流數(shù)據(jù)傳輸和搬移的DMA。

圖像處理與顯示

由于Microblaze軟核的主頻運(yùn)行速率最快只能達(dá)到200MHz，在其上運(yùn)行視頻合成算法每秒不到1幀，因此，我們將原有的算法在PC機(jī)上運(yùn)行，并生成相應(yīng)的數(shù)據(jù)合成映射表，為了提高查表效率，還將大表分解為小表，使查表速率得到了一定的提升。但是此時(shí)系統(tǒng)的運(yùn)行速率依然不能滿足顯示要求，所以，我們充分發(fā)揮了FPGA的優(yōu)勢(shì)，將查表模塊進(jìn)行了硬件化實(shí)現(xiàn)，最終達(dá)到了顯示的要求。

結(jié)論

本系統(tǒng)按照預(yù)期的計(jì)劃，完成了既定的任務(wù)和目標(biāo)。充分發(fā)揮了FPGA平臺(tái)的優(yōu)勢(shì)，并且在這個(gè)過(guò)程中我們也解決了很多技術(shù)難題：通過(guò)自行設(shè)計(jì)的視頻采集電路板，解決了Vertex-5的多路視頻接入的問(wèn)題；解決了大量數(shù)據(jù)的搬移和處理問(wèn)題；設(shè)計(jì)改進(jìn)了現(xiàn)有的圖像合成算法，并加以硬件實(shí)現(xiàn)提高了系統(tǒng)的性能。但在顯示效果和運(yùn)行速率上仍然有提升空間，在后續(xù)的工作中我們還將加入車(chē)道線識(shí)別、并線輔助、自動(dòng)剎車(chē)等功能，不僅如此，還有可能對(duì)現(xiàn)有設(shè)備再進(jìn)行進(jìn)一步的升級(jí)，將原有的模擬攝像頭更換為數(shù)字?jǐn)z像頭，以達(dá)到更好的效果。