視覺方案做ADAS，單目和雙目到底有什么差別？

目前視覺方案做ADAS既有雙目也有單目，兩者在距離檢測上用了不同的技術(shù)路線，產(chǎn)品化時也存在各自優(yōu)缺點(diǎn)，對此作者談了談自己的看法。本文作者姜安，為中科慧眼CTO。

ADAS功能的第一步是感知，也就是觀察車輛周邊負(fù)責(zé)的路況環(huán)境。在這個基礎(chǔ)上才能做出相應(yīng)的路徑規(guī)劃和駕駛行為決策。目前感知所采用的傳感器包含各種形式的雷達(dá)、單目攝像頭、雙目攝像頭等，或是由這些傳感器進(jìn)行不同組合形成的感知系統(tǒng)，而這些傳感器件各有利弊，傳感器融合是大勢所趨。

在這其中，攝像頭不可或缺，可以通過采集前方道路圖像，實(shí)現(xiàn)車道線障礙物以及行人檢測ADAS功能。關(guān)于ADAS攝像頭選用有哪些講究？單雙目方案存在哪些差異？在此談一談我的看法。

ADAS攝像頭成像哪些要求？

根據(jù)ADAS檢測需要，攝像頭在選擇時需要具備下面2個特點(diǎn)：

一是要看得足夠遠(yuǎn)。看的越遠(yuǎn)就能有更加充裕的時間做出判斷和反應(yīng)，從而避免或者降低事故發(fā)生造成的損失。這類攝像頭關(guān)注的參數(shù)是焦距，焦距越長看的會越遠(yuǎn)。但是焦距越長，帶來的問題是視角越窄，所以需要折衷考慮。

二是要求高動態(tài)。選用具有高動態(tài)范圍的黑白相機(jī)，可以有效抑制光暈現(xiàn)象，并增強(qiáng)暗處的細(xì)節(jié)，從而提高成像質(zhì)量。另外，彩色圖像在鏡頭表面進(jìn)行了鍍膜，雖然提升了人眼的感知體驗(yàn)，但實(shí)際上降低了信噪比或者說信息量。這對后續(xù)的圖像處理不利。

根據(jù)這些要求，很容易發(fā)現(xiàn)目前行業(yè)里的一種炒作現(xiàn)象。很多車上使用的智能硬件多是行車記錄儀、云鏡等產(chǎn)品，會在原來成像系統(tǒng)的基礎(chǔ)上添加ADAS功能，其實(shí)只是廠家賺取噱頭的方式。

因?yàn)樾熊囉涗泝x的目的是記錄車輛周邊的狀況，看的越清晰越好、越全面越好，即“人友好”。這就需要成像系統(tǒng)具有超高的分辨率、超好的色彩還原性、超大的廣角鏡頭，視角增大意味著焦距的縮小。這與ADAS對成像系統(tǒng)的要求截然相反，ADAS要求的圖像質(zhì)量是“機(jī)器友好”，因此在行車記錄儀的成像系統(tǒng)基礎(chǔ)上開發(fā)ADAS功能是不切實(shí)際的。目前很多號稱有ADAS功能的行車記錄儀，一般都只有車道線檢測這一個功能。有的雖然有別的如碰撞預(yù)警的功能，但是用戶體驗(yàn)極差。

單/雙目的測距原理區(qū)別

目前攝像頭ADAS有單目和雙目兩種方案，兩者的共同特點(diǎn)，就是通過攝像頭采集圖像數(shù)據(jù)，然后從圖像數(shù)據(jù)上得到距離信息。ADAS一個很重要的作用是碰撞預(yù)警。碰撞預(yù)警需要關(guān)注距離的變化，需要估計即將碰撞的時間。有了距離測量，才會有距離變化，有距離變化才會有碰撞時間的估計，最后才會有預(yù)警。

單目攝像頭的大致測距原理，是先通過圖像匹配進(jìn)行目標(biāo)識別（各種車型、行人、物體等），再通過目標(biāo)在圖像中的大小去估算目標(biāo)距離。這就要求在估算距離之前首先對目標(biāo)進(jìn)行準(zhǔn)確識別，是汽車還是行人，是貨車、SUV還是小轎車。準(zhǔn)確識別是準(zhǔn)確估算距離的第一步。

要做到這一點(diǎn)，就需要建立并不斷維護(hù)一個龐大的樣本特征數(shù)據(jù)庫，保證這個數(shù)據(jù)庫包含待識別目標(biāo)的全部特征數(shù)據(jù)。比如在一些特殊地區(qū)，為了專門檢測大型動物，必須先行建立大型動物的數(shù)據(jù)庫；而對于另外某些區(qū)域存在一些非常規(guī)車型，也要先將這些車型的特征數(shù)據(jù)加入到數(shù)據(jù)庫中。

如果缺乏待識別目標(biāo)的特征數(shù)據(jù)，就會導(dǎo)致系統(tǒng)無法對這些車型、物體、障礙物進(jìn)行識別，從而也就無法準(zhǔn)確估算這些目標(biāo)的距離。導(dǎo)致ADAS系統(tǒng)的漏報。

而雙目檢測的方式就是通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進(jìn)行距離測量，而無需判斷前方出現(xiàn)的是什么類型的障礙物。所以對于任何類型的障礙物，都能根據(jù)距離信息的變化，進(jìn)行必要的預(yù)警或制動。

雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠(yuǎn)近，是由于兩只眼睛對同一個物體呈現(xiàn)的圖像存在差異，也稱“視差”。物體距離越遠(yuǎn)，視差越??；反之，視差越大。視差的大小對應(yīng)著物體與眼睛之間距離的遠(yuǎn)近，這也是3D電影能夠使人有立體層次感知的原因。

圖中的人和椰子樹，人在前，椰子樹在后，最下方是雙目相機(jī)中的成像?？梢钥闯鲇覀?cè)相機(jī)成像中人在樹的左側(cè)，左側(cè)相機(jī)成像中人在樹的右側(cè)，這是因?yàn)殡p目的角度不一樣。再通過對比兩幅圖像就可以知道人眼觀察樹的時候視差小。而觀察人時視差大，因?yàn)闃涞木嚯x遠(yuǎn)，人的距離近。這就是雙目三角測距的原理。雙目系統(tǒng)對目標(biāo)物體距離感知是一種絕對的測量，而非估算。

單/雙目方案的優(yōu)勢與難點(diǎn)

單目的優(yōu)勢在于成本較低，對計算資源的要求不高，系統(tǒng)結(jié)構(gòu)相對簡單。其缺點(diǎn)在于必須不斷更新和維護(hù)一個龐大的樣本數(shù)據(jù)庫，才能保證系統(tǒng)達(dá)到較高的識別率；無法對非標(biāo)準(zhǔn)障礙物進(jìn)行判斷；距離并非真正意義上的測量，準(zhǔn)確度較低。

雙目系統(tǒng)成本比單目系統(tǒng)要高，但尚處于可接受范圍內(nèi)，并且與激光雷達(dá)等方案相比成本較低；二是沒有識別率的限制，因?yàn)閺脑砩蠠o需先進(jìn)行識別再進(jìn)行測算，而是對所有障礙物直接進(jìn)行測量；三是精度比單目高，直接利用視差計算距離；四是無需維護(hù)樣本數(shù)據(jù)庫，因?yàn)閷τ陔p目沒有樣本的概念。

雙目系統(tǒng)的一個難點(diǎn)在于計算量非常大，對計算單元的性能要求非常高，這使得雙目系統(tǒng)的產(chǎn)品化、小型化的難度較大。所以在芯片或FPGA上解決雙目的計算問題難度比較大。國際上使用雙目的研究機(jī)構(gòu)或廠商，絕大多數(shù)是使用服務(wù)器來進(jìn)行圖像處理與計算的；也有部分將算法進(jìn)行簡化后，使用FPGA進(jìn)行處理。目前，中科慧眼在芯片上的計算效率已經(jīng)達(dá)到15fps，在FPGA+ARM架構(gòu)上的計算效率達(dá)到了40fps。

另一個難點(diǎn)在于雙目的配準(zhǔn)效果。通過雙目攝像頭的圖像配準(zhǔn)可以計算生成表示距離的二維圖像。下圖是中科慧眼雙目方案對實(shí)際場景信息采集與計算得到的距離的對應(yīng)關(guān)系，不同飽和度顏色代表不同距離，從暖色調(diào)至冷色調(diào)為距離由近及遠(yuǎn)。在計算過程中，需要對噪點(diǎn)與空洞做很好的抑制。從右圖可以看出，色調(diào)（距離）是平滑過渡，沒有跳變。

△中科慧眼距離計算獲得的二維圖像

一些FPGA方案中有很多噪點(diǎn)與空洞，對后續(xù)計算不利，存在安全風(fēng)險。對于小障礙物的識別，既要做到?jīng)]有雜點(diǎn)和空洞，又要表現(xiàn)細(xì)節(jié)。否則比如一條橫著的欄桿無法識別，會增加駕駛的風(fēng)險。下面的圖表現(xiàn)的是小物體和行人的探測上中科慧眼雙目方案與國際上其他算法的對比。

△Our為中科慧眼算法小障礙物的雙目配準(zhǔn)效果，其它為國際流行傳統(tǒng)方法的處理效果

小結(jié)

因?yàn)闄z測原理上的差異，雙目攝像頭在距離測算上相比單目有自己的特點(diǎn)，其硬件成本和計算量級的加倍，是難關(guān)也是突破口。就像谷歌自動駕駛汽車不斷積累大量的經(jīng)驗(yàn)和使用數(shù)據(jù)，才可能一步步積累實(shí)現(xiàn)自動駕駛。中科慧眼的雙目產(chǎn)品目前完成了樣機(jī)，也正在進(jìn)行大規(guī)模路測。從產(chǎn)品理論技術(shù)原型走到真正被用戶接受的產(chǎn)品，還有很長的路要走。