基于機(jī)器視覺(jué)的汽車智能駕駛系統(tǒng)

　　1、引言

　　隨著社會(huì)的發(fā)展和人口的增長(zhǎng)，汽車越來(lái)越多的進(jìn)入我們的日常生活，交通也日益擁擠。駕駛汽車是一項(xiàng)復(fù)雜的活動(dòng)，長(zhǎng)時(shí)間的駕駛很容易使人感到疲勞，從而容易導(dǎo)致交通事故。此外一些工程車輛在作業(yè)時(shí)環(huán)境惡劣、勞動(dòng)強(qiáng)度大，這些車輛的駕駛自動(dòng)化是非常有必要的。為了使汽車駕駛操作簡(jiǎn)單、安全、舒適，把人從繁重枯燥的汽車駕駛中解脫出來(lái)，當(dāng)今世界各國(guó)都在積極研究開(kāi)發(fā)自動(dòng)駕駛技術(shù)。

　　德國(guó)、美國(guó)和日本等國(guó)在汽車自動(dòng)駕駛領(lǐng)域開(kāi)展了積極的研究并取得了很大的成績(jī)。我國(guó)國(guó)防科技大學(xué)機(jī)電工程學(xué)院一直在進(jìn)行汽車自動(dòng)駕駛技術(shù)的研究，其與第一汽車集團(tuán)公司聯(lián)合研制的無(wú)人駕駛型“紅旗”CA7460于2003年6月在湖南長(zhǎng)沙試車成功，穩(wěn)定行駛時(shí)速達(dá)130KM/h（美國(guó)最高水平 100KM/h、德國(guó)120 KM/h），最高時(shí)速達(dá)170 KM/h，具備安全超車能力。但他們的系統(tǒng)主要是依靠車載雷達(dá)、紅外測(cè)距儀和圖像傳感器來(lái)識(shí)別測(cè)量路面環(huán)境狀況，所得到的路面環(huán)境信息不豐富，不能滿足汽車智能駕駛的要求，所以這些系統(tǒng)都還只能在路況良好的高速公路上應(yīng)用，無(wú)法適應(yīng)道路環(huán)境惡劣的低級(jí)公路和城市公路。

　　視覺(jué)是人類觀察世界、認(rèn)識(shí)世界的重要功能手段，人類從外界獲得的信息約有75%來(lái)自視覺(jué)系統(tǒng)，特別是駕駛員駕駛需要的信息90%來(lái)自視覺(jué)。在目前汽車輔助駕駛所采用的環(huán)境感知手段中，視覺(jué)傳感器比超聲、激光雷達(dá)等可獲得更高、更精確、更豐富的道路結(jié)構(gòu)環(huán)境信息。隨著計(jì)算機(jī)技術(shù)的發(fā)展和圖像處理/識(shí)別技術(shù)的成熟，機(jī)器視覺(jué)技術(shù)獲得長(zhǎng)足的發(fā)展，目前廣泛的應(yīng)用在三維測(cè)量、三維重建、虛擬現(xiàn)實(shí)、運(yùn)動(dòng)目標(biāo)檢測(cè)和目標(biāo)識(shí)別等方面。在汽車的自動(dòng)駕駛發(fā)面，一個(gè)前提性的問(wèn)題就是路況識(shí)別和車輛、障礙物的距離、速度檢測(cè)，解決了這個(gè)問(wèn)題才可能去控制汽車的駕駛。而機(jī)器視覺(jué)技術(shù)融合三維測(cè)量和圖像識(shí)別技術(shù)于一身。

　　目前，機(jī)器視覺(jué)在智能機(jī)器人領(lǐng)域的研究熱火朝天：Klaus Fleischer等人提出的基于機(jī)器視覺(jué)的城外公路基礎(chǔ)設(shè)施固定對(duì)象的檢測(cè)與跟蹤;D. Brzakovie等人提出道路邊緣檢測(cè)在移動(dòng)機(jī)器人導(dǎo)航中應(yīng)用 ; O.Djekoune等人提出基于神經(jīng)網(wǎng)絡(luò)的視覺(jué)引導(dǎo)機(jī)器人導(dǎo)航。這些研究成果對(duì)機(jī)器視覺(jué)在智能駕駛中應(yīng)用有著重要的啟迪。

　　本文把機(jī)器視覺(jué)技術(shù)為主要的路況感知手段應(yīng)用到車輛自動(dòng)駕駛中去，為實(shí)現(xiàn)車輛智能化駕駛提供一個(gè)不同的思考角度。

　　2、機(jī)器視覺(jué)技術(shù)

　　自從MARR視覺(jué)計(jì)算理論提出以來(lái)，機(jī)器視覺(jué)技術(shù)迅速發(fā)展，是目前智能駕駛領(lǐng)域發(fā)展最快的技術(shù)之一，也是智能駕駛領(lǐng)域研究的主要方向之一。

　　2.1機(jī)器視覺(jué)基本原理

　　獲取場(chǎng)景中各點(diǎn)相對(duì)于攝像機(jī)的距離是立體視覺(jué)系統(tǒng)的重要任務(wù)之一，場(chǎng)景中各點(diǎn)相對(duì)于攝像機(jī)的距離可以用深度圖（depth map）來(lái)表示。機(jī)器視覺(jué)系統(tǒng)主要是依靠雙（多）目CCD在不同的空間位置上上獲取兩（多）幅圖像，通過(guò)這兩（多）幅圖像的深度信息和成像幾何來(lái)生成深度圖（圖1所示）。

　　本文以比較簡(jiǎn)單常用的雙目CCD視覺(jué)系統(tǒng)為例，它的幾何關(guān)系如圖所示。它由兩個(gè)完全相同的CCD攝像機(jī)（攝像頭）構(gòu)成，兩個(gè)圖像平面位于同一個(gè)平面上，兩個(gè)攝像機(jī)（攝像頭）的坐標(biāo)軸相互平行，且x軸重合，攝像機(jī)之間在下x方向上的間距為極限距離B。

　　圖1 雙目立體視覺(jué)幾何模型

　　在圖中，場(chǎng)景點(diǎn)P在左右圖像平面中的投影點(diǎn)分別為P左和P右，假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合，比較相似三角形PMCl和PlLCl得到：

　　 （1）

　　同理，從相似三角形PNCr和PlRCr，得到：

　　 （2）

　　合并上面兩式：

　　 （3）

　　其中F是焦距。

　　由上面推導(dǎo)可知各種場(chǎng)景中的深度信息可以通過(guò)計(jì)算視差來(lái)實(shí)現(xiàn)。在機(jī)器視覺(jué)系中統(tǒng)要能準(zhǔn)確的計(jì)算視差，一個(gè)重要的前提就是能夠找到左右圖像對(duì)中投影點(diǎn)的共軛對(duì)（場(chǎng)景中同一點(diǎn)在不同的圖像中的投影點(diǎn)稱作共軛對(duì)），即立體匹配。匹配的方法主要有邊緣特征匹配、區(qū)域特征匹配和相位匹配三類。立體配對(duì)是機(jī)器視覺(jué)里面研究的一個(gè)重要方向，在這方面有很多有用的研究成果，O.Djekoune等人在文中提出了應(yīng)用神經(jīng)網(wǎng)絡(luò)的方法提高立體像對(duì)的匹配速度和準(zhǔn)確度的新算法。

　　2.2 機(jī)器視覺(jué)技術(shù)在智能駕駛中應(yīng)用

　　在智能駕駛中應(yīng)用機(jī)器視覺(jué)技術(shù)，機(jī)器視覺(jué)技術(shù)必須具備實(shí)時(shí)性、魯棒性、實(shí)用性這三個(gè)特點(diǎn)。實(shí)時(shí)性要求機(jī)器視覺(jué)系統(tǒng)的數(shù)據(jù)處理必須與車輛的高速行駛同步進(jìn)行;魯棒性是要求智能車輛對(duì)不同的道路環(huán)境如高速公路、市內(nèi)公路、普通公路等，復(fù)雜的路面環(huán)境如路面的寬度、顏色、紋理、彎道、坡度、坑洼、障礙與車流等，各種天氣晴、陰、雨、雪、霧等均具有良好的適應(yīng)性;實(shí)用性指智能車輛能夠?yàn)槠胀ㄓ脩羲邮堋?/p>

　　目前，機(jī)器視覺(jué)主要用于路徑的識(shí)別與跟蹤。與其它傳感器相比，機(jī)器視覺(jué)具有檢測(cè)信息量豐富、無(wú)接觸測(cè)量和能實(shí)現(xiàn)道路環(huán)境三維建模等優(yōu)點(diǎn)，但數(shù)據(jù)處理量極大，存在系統(tǒng)實(shí)時(shí)性和穩(wěn)定性問(wèn)題，要靠開(kāi)發(fā)高性能的計(jì)算機(jī)硬件，研究新算法來(lái)解決。隨著計(jì)算機(jī)技術(shù)和圖像處理技術(shù)的飛速發(fā)展，三維重建道路環(huán)境為車輛高速智能駕駛提供強(qiáng)大的信息，在不遠(yuǎn)的將來(lái)具有現(xiàn)實(shí)可行性。

　　機(jī)器視覺(jué)的道路識(shí)別基本原理為，公路路面的環(huán)境（白色路標(biāo)、邊緣、路面顏色、坑洼、障礙物等）的CCD圖像灰度值和圖像紋理、光流有差異。根據(jù)這種差異，經(jīng)圖像處理后可以獲得需要的路徑圖像信息，如方位偏差、側(cè)向偏差、車輛在道路中的位置等信息。將這些信息與車輛的動(dòng)力學(xué)方程相結(jié)合，可構(gòu)成車輛控制系統(tǒng)數(shù)學(xué)模型。

　　3、智能駕駛系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)

　?。?） 機(jī)器視覺(jué)系統(tǒng)

　　機(jī)器視覺(jué)系統(tǒng)的硬件構(gòu)成：主要由參數(shù)、型號(hào)、性能一樣的兩個(gè)CCD攝像頭、兩片同樣的視頻采集卡和計(jì)算機(jī)上的視頻處理軟件構(gòu)成。我們利用左右兩路CCD攝像頭攝取的照片對(duì)進(jìn)行圖像處理而得到相關(guān)的深度信息，必須保證左右兩路CCD攝像頭信號(hào)是同步的，否則攝取的圖片不對(duì)應(yīng)，就無(wú)法正確的提取相關(guān)深度信息。因此我們左右兩路CCD攝像頭是經(jīng)過(guò)同步處理的攝像頭，就是從左路攝像頭的幀同步電路里引出幀同步信號(hào)到右路CCD攝像頭的幀同步電路里，從而保證左右兩路的圖像總是同步的。

　　機(jī)器視覺(jué)處理軟件系統(tǒng)主要是擔(dān)負(fù)著障礙物檢測(cè)識(shí)別、交通信號(hào)檢測(cè)識(shí)別、交通圖案識(shí)別檢測(cè)、公路邊緣識(shí)別檢測(cè)、彎道弧度識(shí)別檢測(cè)和前方車輛距離速度檢測(cè)和路面坑洼坡度識(shí)別檢測(cè)這些主要信息的提取，在這些信息數(shù)據(jù)的基礎(chǔ)上進(jìn)行道路環(huán)境的三維重建。機(jī)器視覺(jué)處理軟件系統(tǒng)處理得到的道路環(huán)境信息和輔助系統(tǒng)的多傳感器的信息進(jìn)行融合，結(jié)合車輛動(dòng)力學(xué)模型（已經(jīng)有很多科學(xué)家在研究模糊控制技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)在車輛動(dòng)力學(xué)模型上的應(yīng)用）和車輛行駛狀態(tài)參數(shù)，由車輛行為決策調(diào)度系統(tǒng)做出合理的決策調(diào)度，然后由路徑規(guī)劃系統(tǒng)生成合理的路徑規(guī)劃和車輛控制命令，對(duì)汽車進(jìn)行控制。

　　公路邊緣識(shí)別檢測(cè)關(guān)系著汽車能否正確識(shí)別公路，尤其是缺乏交通圖案的低等級(jí)公路。我們機(jī)器視覺(jué)檢測(cè)公路的邊緣信息和公路的寬度信息。公路的邊緣檢測(cè)，對(duì)CCD攝取的圖像進(jìn)行二值化處理，就可以提取出公路邊緣;公路寬度信息檢測(cè)，利用左右兩路CCD攝取的公路圖像進(jìn)行立體匹配，提取里面的深度信息，依據(jù)機(jī)器視覺(jué)理論計(jì)算出公路的寬度。依據(jù)其他傳感器的數(shù)據(jù)確定汽車在公路中的位置和汽車的行駛狀態(tài)參數(shù)，做出合理的路徑規(guī)劃，優(yōu)化控制汽車在公路中的位置，做好路徑跟蹤，不至于行駛中偏離公路路面。

　　交通圖案、道路標(biāo)識(shí)、交通信號(hào)的識(shí)別檢測(cè)。交通圖案包括常見(jiàn)的斑馬線、車道線、箭頭等。這些交通圖案都是有固定的顏色（比如斑馬線都是白色的）和固定的形狀，因此對(duì)他們的識(shí)別只要使用簡(jiǎn)單的圖像處理，然后對(duì)照我們預(yù)先建立的交通圖案模型就可以快速的識(shí)別。交通標(biāo)識(shí)識(shí)別就要相對(duì)麻煩一些。有些交通標(biāo)識(shí)上面有文字，我們不僅需要利用圖像處理技術(shù)提取這些文字信息，而且需要分析這些文字蘊(yùn)含的交通信息。交通信號(hào)包括交通信號(hào)燈和交警旗語(yǔ)，他們都有固定的運(yùn)行模式，可以預(yù)先建模，然后根據(jù)圖像處理結(jié)合其他傳感器的信息，進(jìn)行檢測(cè)識(shí)別。

　　前方汽車、障礙物的距離、速度的檢測(cè)和識(shí)別。能否安全準(zhǔn)確的識(shí)別檢測(cè)出前方汽車、障礙物對(duì)汽車智能駕駛是十分關(guān)鍵的。不僅要識(shí)別出前方汽車、障礙物，而且要檢測(cè)出它們的運(yùn)動(dòng)速度、運(yùn)動(dòng)方向和離本車的距離，要能依據(jù)連續(xù)幾次測(cè)定的它們離本車的距離和運(yùn)動(dòng)速度、運(yùn)動(dòng)方向預(yù)測(cè)出它們的可能運(yùn)動(dòng)軌跡，為本車超車、減速、規(guī)避障礙物、降低危險(xiǎn)風(fēng)險(xiǎn)提供可靠的數(shù)據(jù)。利用機(jī)器視覺(jué)技術(shù)，可以使用基于成像模型的對(duì)應(yīng)點(diǎn)估計(jì)三維運(yùn)動(dòng)檢測(cè)方法和基于光流的估計(jì)的三維運(yùn)動(dòng)檢測(cè)方法。模型法、光流法有很多成熟的算法可以選擇，有利于系統(tǒng)程序的實(shí)現(xiàn)。

　　機(jī)器視覺(jué)系統(tǒng)中攝像機(jī)標(biāo)定：攝像機(jī)標(biāo)定的目的是確定攝像機(jī)的內(nèi)外部屬性參數(shù)并建立空間成像模型，以便確定空間坐標(biāo)系中物體點(diǎn)與它在圖像平上像點(diǎn)之間的相應(yīng)關(guān)系。攝像機(jī)的標(biāo)定分為攝像機(jī)內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)確定了攝像機(jī)內(nèi)部的幾何和光學(xué)特征，不隨攝像機(jī)的移動(dòng)而改變;外部參數(shù)是確定攝像機(jī)像平面相對(duì)于客觀世界坐標(biāo)系統(tǒng)的三維位置和朝向，攝像機(jī)移動(dòng)后，需重新校正。本文中攝像機(jī)隨車運(yùn)動(dòng)，但我們所需要的參數(shù)都是內(nèi)部參數(shù)，只需預(yù)先標(biāo)定攝像機(jī)的內(nèi)部參數(shù)就可以。

　　圖2 智能駕駛系統(tǒng)結(jié)構(gòu)框圖

　?。?） 主控制系統(tǒng)

　　整個(gè)智能駕駛系統(tǒng)的核心是主控制系統(tǒng)，它負(fù)責(zé)各種傳感器的信息采集、識(shí)別，然后進(jìn)行處理，最后依據(jù)處理后的信息進(jìn)行車輛行為決策調(diào)度，規(guī)劃路徑并生成汽車控制命令。本文整個(gè)智能駕駛系統(tǒng)的設(shè)計(jì)思想也是基于模擬人工駕駛來(lái)進(jìn)行的，主控制系統(tǒng)是汽車的大腦，機(jī)器視覺(jué)系統(tǒng)好比人的雙眼。主控制系統(tǒng)一旦出現(xiàn)系統(tǒng)死機(jī)或者控制軟件運(yùn)行不穩(wěn)定，則會(huì)帶來(lái)車毀人亡的重大交通事故。而主控制系統(tǒng)計(jì)算機(jī)工作環(huán)境惡劣，汽車在高速行駛的時(shí)候震動(dòng)很大，靠近汽車引擎的部位溫度較高，為了保證主控制系統(tǒng)的安全穩(wěn)定的運(yùn)行，主控制系統(tǒng)計(jì)算機(jī)應(yīng)該選用高性能高穩(wěn)定的工控機(jī)。

　?。?） 輔助測(cè)距定位系統(tǒng)

　　主要包括車載GPS定位系統(tǒng)、測(cè)距雷達(dá)、電子地圖等。隨著交通信息化的發(fā)展，基于GIS的電子地圖已經(jīng)開(kāi)始應(yīng)用在日常汽車駕駛中?；贕IS的電子地圖它包括了大范圍層次的地理位置信息，可以利用它來(lái)設(shè)定大的方向上的汽車駕駛的宏觀路徑。然后通過(guò)車載GPS全球定位系統(tǒng)來(lái)確定汽車當(dāng)時(shí)位置點(diǎn)的地理位置信息，把它跟電子地圖上該點(diǎn)的地理位置信息比較，就可以知道汽車現(xiàn)在處于我們?cè)O(shè)定的宏觀路徑中的什么位置，可以防止汽車在自動(dòng)駕駛的時(shí)候走錯(cuò)路口，走錯(cuò)方向，偏離預(yù)先設(shè)定的宏觀路徑。基于GIS的電子地圖和車載GPS全球定位系統(tǒng)的綜合運(yùn)用，保證了汽車能在宏觀上按照我們預(yù)先設(shè)定的宏觀路徑進(jìn)行自動(dòng)駕駛而不偏離我們預(yù)先設(shè)定的路徑。

　　車載測(cè)距雷達(dá)主要是輔助機(jī)器視覺(jué)系統(tǒng)在一些特殊的環(huán)境下測(cè)定前方車輛的速度和距離，以及路面障礙物的距離。因?yàn)楦艘粯?，由雙CCD構(gòu)成的立體視覺(jué)系統(tǒng)在天陰、大霧、暴雨等能見(jiàn)度不好的條件下，對(duì)前方車輛障礙物的識(shí)別效果會(huì)有很大的降低，測(cè)定車輛（障礙物）速度和距離更存在精度上的誤差，不能測(cè)定能見(jiàn)度外的前方車輛和障礙物。而車載測(cè)距雷達(dá)可以在天氣晴好的時(shí)候輔助立體視覺(jué)系統(tǒng)提高測(cè)量車輛（障礙物）的距離精度和測(cè)量車輛（障礙物）速度的精度，在惡劣天氣可以彌補(bǔ)立體視覺(jué)測(cè)量效果不好的缺點(diǎn)，提高系統(tǒng)的可靠性。

　?。?） 車輛行駛參數(shù)檢測(cè)系統(tǒng)

　　車輛行駛參數(shù)檢測(cè)系統(tǒng)的主要作用是檢測(cè)汽車的前輪轉(zhuǎn)角、后輪速度、油門大小等車輛行駛狀態(tài)的關(guān)鍵參數(shù)，為主控制系統(tǒng)進(jìn)行車輛決策調(diào)度和路徑規(guī)劃提供參數(shù)。這個(gè)系統(tǒng)相對(duì)簡(jiǎn)單，車輛行駛狀態(tài)參數(shù)都被車輛儀表檢測(cè)出，只要想把這些參數(shù)讀取到主控制系統(tǒng)就可以。

　?。?） 執(zhí)行機(jī)構(gòu)

　　整個(gè)車輛的自動(dòng)駕駛執(zhí)行機(jī)構(gòu)主要是電液壓伺服系統(tǒng)，由多個(gè)伺服油缸來(lái)完成各種駕駛汽車的動(dòng)作，它模仿人類駕駛汽車的動(dòng)作，推拉各操縱桿，完成汽車換檔、加速、減速、轉(zhuǎn)向、停車、熄火等一系列工作?？刂齐娨簤核欧到y(tǒng)的核心部件是離合器ECU（electronic control unit），檔位ECU，轉(zhuǎn)向ECU，油門ECU，剎車ECU這五個(gè)各司其職的電子控制器（ECU）來(lái)接收并執(zhí)行主控制計(jì)算機(jī)經(jīng)過(guò)決策調(diào)度計(jì)算后發(fā)出的控制命令，命令的執(zhí)行主要是靠ECU把命令信號(hào)放大然后送達(dá)電液壓伺服系統(tǒng)進(jìn)行機(jī)械執(zhí)行。

　　4、結(jié)語(yǔ)

　　智能駕駛中的機(jī)器視覺(jué)技術(shù)是一項(xiàng)很復(fù)雜的技術(shù)，它需要進(jìn)行更多更細(xì)致的研究。目前的難點(diǎn)和重點(diǎn)主要集中在快速有效的立體配對(duì)、道路環(huán)境的快速三維重建和機(jī)器視覺(jué)處理的實(shí)時(shí)性上，有很多科學(xué)家已經(jīng)在這方面進(jìn)行了深入的研究，新的研究成果無(wú)疑講推動(dòng)機(jī)器視覺(jué)技術(shù)在智能駕駛中引用。