R-Car如何帶來(lái)身臨其境之感
加入技術(shù)交流群
圖2：R-Car V2H的以太網(wǎng)全景視頻傳輸路徑
系統(tǒng)成本的降低有助于全景環(huán)視的廣泛應(yīng)用，而布線成本是不可忽視的一個(gè)部分。近年來(lái)出現(xiàn)了2種降低成本的方法，可減小當(dāng)前基于LVDS的全景環(huán)視系統(tǒng)成本。一種是使用非屏蔽雙絞線上的以太網(wǎng)傳輸，另一種方法是更經(jīng)濟(jì)的同軸電纜的升級(jí)版LVDS傳輸。兩種方法的系統(tǒng)成本差不多。不過(guò)，以太網(wǎng)解決方案不僅有助于降低系統(tǒng)成本而且為之后的應(yīng)用提供了更好的靈活性。例如，隨著行車記錄系統(tǒng)的使用越來(lái)越廣泛，只需增加少量成本即可支持新的功能（如多通道同步錄像），因?yàn)檫@只需要帶有SD卡接口即可實(shí)現(xiàn)。相比LVDS，以太網(wǎng)傳輸?shù)牧硪粋€(gè)好處在于基于AVnu聯(lián)盟的MAC層和基于開(kāi)放聯(lián)盟的PHY層都是標(biāo)準(zhǔn)化的。
最佳視頻延遲控制路徑
在全景環(huán)視應(yīng)用里，其中一個(gè)需要精心設(shè)計(jì)的方面是視頻傳輸(包括壓縮和解壓縮)和視頻處理階段中的延遲。事實(shí)上，從攝像頭采集影像到顯示影像的總體延遲應(yīng)低于100ms，才能使駕駛?cè)藛T能夠?qū)崟r(shí)地感知環(huán)境。
目前，攝像頭工作的幀率為30幀/秒。使用全局快門(mén)時(shí)，傳感器電池在曝光時(shí)同時(shí)進(jìn)行充電，然后成像器開(kāi)始逐個(gè)輸出像素。因此，影像捕捉后大概一幀(33ms)左右傳輸最后一個(gè)像素。這個(gè)首幀延遲，無(wú)法縮短。另一個(gè)不可縮短的延遲是影像顯示，所有像素都必須在顯示影像之前傳輸完畢，這個(gè)延遲也是33ms左右。最后只剩下33ms來(lái)執(zhí)行圖3所描述的其他任務(wù)。
圖3：視頻傳輸和圖像矯正的延遲
這個(gè)數(shù)據(jù)傳輸通路的第一步是數(shù)據(jù)傳輸。以太網(wǎng)協(xié)議并沒(méi)有提供專用機(jī)制來(lái)確保低延遲傳輸和攝像頭同步。這也是瑞薩在R-Car系列產(chǎn)品中首先引入了帶高級(jí)AVB硬件支持的千兆以太網(wǎng)MAC的原因。這為降低CPU負(fù)載和優(yōu)化整個(gè)壓縮視頻接收提供了必要的硬件支持。一些專門(mén)的機(jī)制用于實(shí)現(xiàn)智能數(shù)據(jù)包解封和攝像頭視頻濾波。AVnu聯(lián)盟AVB協(xié)議的汽車規(guī)范里定義了對(duì)錄制視頻的快速啟動(dòng)、低延遲(最大延遲為2ms)等多視圖攝像頭應(yīng)用的關(guān)鍵技術(shù)的考慮。
最早的以太網(wǎng)的多攝像頭系統(tǒng)采用了低延遲的動(dòng)態(tài)JPEG(MJPEG)壓縮技術(shù)。該技術(shù)基于眾所周知的JPEG標(biāo)準(zhǔn)，已被廣泛應(yīng)用于消費(fèi)類數(shù)碼相機(jī)。然而該技術(shù)對(duì)視頻質(zhì)量的影響可能會(huì)限制后續(xù)視覺(jué)處理性能。因此，瑞薩認(rèn)為H.264壓縮技術(shù)是最佳的視頻傳輸解決方案。這項(xiàng)技術(shù)提供了更好的壓縮比，可改進(jìn)視覺(jué)處理性能。目前H.264技術(shù)已經(jīng)廣泛應(yīng)用在各種娛樂(lè)終端設(shè)備，它們也可已通過(guò)瑞薩豐富的汽車娛樂(lè)連接方案連接到汽車上。在R-Car V2H上，瑞薩實(shí)現(xiàn)了首個(gè)支持高清多通道、符合H.264標(biāo)準(zhǔn)且具有低延遲的視頻解碼的汽車SoC。
減少延遲的最后一步是縮短處理數(shù)據(jù)的延遲。事實(shí)上，傳統(tǒng)的基于DSP的系統(tǒng)需要通過(guò)雙緩沖區(qū)來(lái)采集視頻。R-Car V2H具有稱為IMR的專用引擎，可瞬時(shí)完成圖像矯正。此功能支持從最多5個(gè)低延遲視頻解碼器的直接傳輸圖像。由于R-Car V2H具有視頻直通路徑，以太網(wǎng)傳輸網(wǎng)絡(luò)中的總體延遲比傳統(tǒng)的LVDS大大降低了，如圖3所示。
成像與探測(cè)
IMR還可以采用查找表(LUT)即時(shí)進(jìn)行視角轉(zhuǎn)換的二維或三維全景成像?？舍槍?duì)每個(gè)輸入幀更改攝像頭視角，以實(shí)現(xiàn)用戶視角間的動(dòng)態(tài)轉(zhuǎn)換。其本身支持雙線性過(guò)濾，可提供出色的圖像質(zhì)量。通過(guò)此方法，R-Car V2H自身只需極小的內(nèi)存即可支持三維全景成像。R-Car V2H 具有與R-Car H2相同的圖像識(shí)別硬件。因此，它也可同時(shí)實(shí)現(xiàn)SfM計(jì)算，也還可以實(shí)現(xiàn)行人探測(cè)。它可以采用梯度直方圖和支持向量機(jī)分類，對(duì)四個(gè)攝像頭的數(shù)據(jù)同時(shí)進(jìn)行行人探測(cè)。去年9月份在日本舉行的Renesas Developer Conference,11月份在德國(guó)舉行的慕尼黑電子展和今年3月份上海慕尼黑電子展上就對(duì)此功能進(jìn)行了展示(圖4)。
圖4：基于 R-Car V2H的帶行人檢測(cè)功能的三維全景演示
結(jié)論
本文針對(duì)汽車多攝像頭應(yīng)用的趨勢(shì)尤其是泊車輔助系統(tǒng)中的三維全景環(huán)視功能進(jìn)行了討論。介紹了具有豐富可擴(kuò)展性的R-Car汽車SoC系列產(chǎn)品。R-Car H2能夠?qū)崿F(xiàn)汽車周圍環(huán)境即時(shí)的三維全方位成像，使泊車操作更加方便。在R-Car V2H中，引入了獨(dú)到的以太網(wǎng)視頻直通方法和以太網(wǎng)AVB MAC以及多通道H.264低延遲解碼器，從而實(shí)現(xiàn)了超低延遲視頻處理并減小了內(nèi)存帶寬。瑞薩也引入了功能安全所需的關(guān)鍵特性，以使采用該產(chǎn)品的系統(tǒng)在功能安全上能達(dá)到ASIL B級(jí)別。
評(píng)論