雙目立體視覺(jué)帶你進(jìn)入 FCW / LDW 新視野

現(xiàn)今，最火熱的 ADAS 應(yīng)用莫過(guò)于 前方防撞系統(tǒng)(Forward Collision Warning, FCW) 與 車(chē)道偏移系統(tǒng)(Lane Departure Warning, LDW)。
主要作用是預(yù)先偵測(cè)到任何會(huì)發(fā)生事故的物件或車(chē)輛、行人，盡而達(dá)到預(yù)防意外的功效! 以及搭配車(chē)道偏移預(yù)測(cè)加強(qiáng)輔助駕駛者 ! 但因受限于技術(shù)尚未成熟僅能針對(duì)特定的物件進(jìn)行描繪，像是車(chē)輛或是行人。故善用雙目立體視覺(jué)技術(shù)，即可提高物件辨識(shí)率以及辨識(shí)更多種類(lèi)的物件就是未來(lái)的研究一大方向，更是各家學(xué)術(shù)單位、公司百家爭(zhēng)鳴之處。 

雙目立體視覺(jué)應(yīng)用層面相當(dāng)廣泛，能用于前車(chē)偵測(cè)與防撞、車(chē)道偏移、號(hào)志識(shí)別、行人偵測(cè)等等 ADAS 相關(guān)安全應(yīng)用，如下圖1。 即透過(guò)新穎的雙目概念建立新的維度 (物體深度/遠(yuǎn)近)，為車(chē)用安全領(lǐng)域多一種新的發(fā)想與延伸應(yīng)用，更能輕易的識(shí)別標(biāo)的物，以利于提早邁入自動(dòng)駕駛的領(lǐng)域之中。并能配合光學(xué)焦距的設(shè)計(jì)，使識(shí)別物件距離達(dá)到另一種層次提升，替未來(lái)車(chē)輛開(kāi)拓市場(chǎng)。

圖1  雙目立體視覺(jué)應(yīng)用場(chǎng)景

本方案提供一套 Sky Eye 雙目立體視覺(jué) ADAS 產(chǎn)品開(kāi)發(fā)原型與技術(shù)資源，如 "展示板圖片" 所示。要讓初入此領(lǐng)域者的開(kāi)發(fā)者更快速地上手應(yīng)用，縮短開(kāi)發(fā)周期并更能專(zhuān)注于開(kāi)發(fā)算法，設(shè)計(jì)出符合一定水平的 ADAS 產(chǎn)品。目前主要針對(duì)前車(chē)偵測(cè)與辨識(shí)進(jìn)行開(kāi)發(fā)，并搭配 Sony IMX224 車(chē)用感測(cè)器于實(shí)際架設(shè)在車(chē)輛上進(jìn)行道路測(cè)試，如下圖2，能夠偵測(cè)出前方車(chē)輛距離，最遠(yuǎn)偵測(cè)距離約50米。并邁入車(chē)用安全 ADAS 與自動(dòng)駕駛之未來(lái)新領(lǐng)域中，創(chuàng)造更好的應(yīng)用價(jià)值。

圖2  Sky Eye 雙目視覺(jué)前車(chē)偵測(cè)實(shí)測(cè)示意圖

借由專(zhuān)屬的雙目立體視覺(jué)算法創(chuàng)造建立三維空間(景深)。如下圖所示，取得兩顆鏡頭之影像后，由視差概念計(jì)算獲得新的空間 "視差"  ! 同時(shí)，即可推導(dǎo)出車(chē)輛距離 (視差值越大距離越近，反之視差值越小則距離越遠(yuǎn)) !  亦可用彩色方式呈現(xiàn)視差圖，深淺程度由紅、澄、黃、綠、藍(lán)來(lái)表示近到遠(yuǎn)的物件，如 "實(shí)測(cè)結(jié)果與彩色視差示意圖" 所示。

圖3  Sky Eye 雙目視覺(jué)前車(chē)偵測(cè)之視差原理示意圖

本方案提供的技術(shù)核心參考，取得視差圖后就可依照算法流程進(jìn)行分析，由改善視差影像、地面估算、移除天空等步驟構(gòu)成，即可將場(chǎng)景中的物件分類(lèi)出來(lái)。最后統(tǒng)計(jì)資訊并利用條件篩選出車(chē)輛，如同下圖結(jié)果顯示即表示搜尋到前方車(chē)輛 !!  經(jīng)實(shí)際測(cè)試，執(zhí)行速度約可達(dá)到每秒 27 張 FPS，可偵測(cè)到 50 米內(nèi)的車(chē)輛。

圖4  Sky Eye 算法流程大公開(kāi)

最后，亦可善用 S32V234 APEX 視覺(jué)加速器所量身打造的 NXP eIQ Auto 套件與深度學(xué)習(xí)框架來(lái)提高識(shí)別車(chē)輛的辨識(shí)率 !! 達(dá)到辨識(shí)率與檢測(cè)速度更進(jìn)一步的提升!!

圖5  eIQ Auto機(jī)器學(xué)習(xí)軟體套件之應(yīng)用場(chǎng)景

? 場(chǎng)景應(yīng)用圖

? 產(chǎn)品實(shí)體圖

? 展示版照片

? 方案方塊圖

? 實(shí)測(cè)結(jié)果與彩色視差示意圖

? 核心技術(shù)優(yōu)勢(shì)

優(yōu)勢(shì)一 : 能配合雙目視覺(jué)之視差概念，建置深度資訊以利于識(shí)別物件。比起單一鏡頭，雙目視覺(jué)多一個(gè)維度運(yùn)用更能輕易識(shí)別遠(yuǎn)方的車(chē)輛，應(yīng)用前景極為廣闊可識(shí)別車(chē)輛、行人、號(hào)志與道路。 優(yōu)勢(shì)二: 提供兩路 MIPI 接口，其鏡頭相距 30 公分以擴(kuò)大視差效果，如下圖3，搭配 Sony IMX224 鏡頭可偵測(cè) 50 米內(nèi)之車(chē)輛。以視差原理搭配長(zhǎng)焦、窄角鏡頭即可偵測(cè)更遠(yuǎn)的物體(車(chē)輛)，更加強(qiáng)化雙目視覺(jué)的優(yōu)勢(shì)。 優(yōu)勢(shì)三: 提供齊全的周邊配置，如 高畫(huà)質(zhì)多媒體界面(HDMI) 、 乙太網(wǎng)路(Ethernet) 、異步收發(fā)傳輸器(UART) 接口。 優(yōu)勢(shì)四: 可快速上手應(yīng)用 NXP eIQ Auto 深度學(xué)習(xí)套件，與雙目視覺(jué)結(jié)合能增加辨識(shí)速度。亦可配合任何一個(gè)深度學(xué)習(xí)的架構(gòu)作延伸應(yīng)用，提高物件識(shí)別的準(zhǔn)確度

? 方案規(guī)格

1. 主芯片 MPU 規(guī)格 (NXP S32V234)  :

    -  搭配 4 顆  Quad Cortex-A53 高效能處理器，最高時(shí)脈為 1GHz

     - 搭配 ISP 圖形處理器、APEX 視覺(jué)加速器、GPU 圖形加速器等核心

            -  ISP 圖形處理器 提供 HDR、色彩轉(zhuǎn)換、白平衡、自動(dòng)曝光等技術(shù)

            -  APEX 視覺(jué)加速器 由 64 個(gè)小型運(yùn)算器組成的硬體加速器，能提高約 8 倍的運(yùn)算性能。

            -  GPU  圖形加速器(GC3000) ，運(yùn)算速度高達(dá) 800 MHZ 。

   -提供 4MB 內(nèi)部記憶體 與 DDR3/DDR3L/LPDDR2 外部記憶體

   -提供 H.264 影像解碼與編碼技術(shù) (8-12bit)

  - 提供 SD card 、Ethernet 等周邊接口

   -符合車(chē)用安全規(guī)范 ISO 26262 標(biāo)準(zhǔn) 與 車(chē)輛安全等級(jí) ASIL 的要求 2. 鏡頭模組 Camera Module 規(guī)格 (Sony IMX224)  :

    - 提供最高分辨率為 1280(H)x960(V) 共 1.23 百萬(wàn)畫(huà)素

    - 提供最大禎數(shù)率 120 frame/s

    - 提供 10 and 12 bit數(shù)位類(lèi)比轉(zhuǎn)換器

    - 提供低光源時(shí)，良好的高分辨率彩色圖像

    - 符合 AEC-Q100 2級(jí) 3. 外部記憶體 External Memory DDR3 規(guī)格 (MT41K256M16TW-107) :

    - 最高運(yùn)行時(shí)脈為 933 MHZ

    - 儲(chǔ)存容量為 512 Byte

    - 操作電壓為 1.283 至 1.45 V

     -操作溫度為 0 至 95 度 4. 電源管理集成電路 PMIC (PF8100/PF8200) 規(guī)格:

     - 提供 7 個(gè)高效能降壓轉(zhuǎn)換器

     - 提供 4 個(gè)線(xiàn)性穩(wěn)壓器

     - 提供看門(mén)狗監(jiān)控機(jī)制

     - 符合 ISO 26262 標(biāo)準(zhǔn)與 車(chē)輛安全等級(jí) ASIL-B 的要求 5.  低靜態(tài)電流同步降壓控制器 DCDC 規(guī)格（NCV881930）：

     - 工作頻率為 410 KHz，具有同步功能

     - 提供穩(wěn)定的工作電流 30umA

     - 提供熱關(guān)斷(TSD) 機(jī)制

     - 符合 AEC-Q100 與 PPAP 標(biāo)準(zhǔn)