瑞薩電子推出為無人駕駛時(shí)代的汽車運(yùn)算SoC而打造的低延遲、高性能和低功耗的攝像頭視頻處理電路模塊

　　全球領(lǐng)先的半導(dǎo)體解決方案供應(yīng)商瑞薩電子株式會(huì)社今日宣布推出用于未來無人駕駛汽車運(yùn)算系統(tǒng)SoC(SoC)的新型視頻處理電路模塊。

　　無人駕駛汽車運(yùn)算系統(tǒng)SoC應(yīng)結(jié)合車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)兩個(gè)系統(tǒng)的功能，并能對(duì)這兩個(gè)系統(tǒng)進(jìn)行平行操作。需特別指出的是，安全駕駛輔助系統(tǒng)必須能夠低延遲地處理來自車載攝像頭的視頻數(shù)據(jù)，并及時(shí)把適當(dāng)?shù)男畔⑼ㄖ{駛員。車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)的研發(fā)者所面臨的一個(gè)問題是需要無延遲并穩(wěn)定地處理大量的視頻數(shù)據(jù)并運(yùn)行無人駕駛車輛的控制功能。

　　新研發(fā)的視頻處理電路模塊用低延遲的方式進(jìn)行車載攝像頭視頻的處理。它可以低功耗地對(duì)大量視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)視頻處理，并不對(duì)CPU和圖形處理單元(GPU)增加任何額外的負(fù)荷，這有利于對(duì)無人駕駛車輛的控制。瑞薩采用16納米FinFET工藝研發(fā)出新的視頻處理電路模塊原型。除了車載攝像頭視頻的70 ms延時(shí)處理功能，它還提供了業(yè)內(nèi)領(lǐng)先的僅197 mW功耗的全高清12路視頻處理功能。

　　最近，預(yù)示未來將出現(xiàn)無人駕駛車輛的車載信息娛樂系統(tǒng)(如汽車導(dǎo)航系統(tǒng)和高級(jí)駕駛員輔助系統(tǒng)(ADAS))已取得顯著的進(jìn)展，讓這些系統(tǒng)更有可能成為結(jié)合車載信息娛樂系統(tǒng)和安全駕駛輔助系統(tǒng)兩者功能的汽車運(yùn)算系統(tǒng)。

　　安全駕駛輔助系統(tǒng)預(yù)計(jì)將在從車載攝像頭傳輸過來的視頻的基礎(chǔ)上進(jìn)行認(rèn)知處理，如識(shí)別障礙、監(jiān)測(cè)駕駛員的狀態(tài)及預(yù)測(cè)和避免危險(xiǎn)。隨著如瑞薩的R-Car T2車載攝像頭網(wǎng)絡(luò)SoC等設(shè)備的出現(xiàn)，我們可以預(yù)見從車載攝像頭傳輸過來的視頻數(shù)據(jù)將被編碼形成視頻流，而安全駕駛輔助系統(tǒng)則必須解碼所接收到的視頻流。為了正確地使用廣角攝像頭提供的圖像進(jìn)行認(rèn)知處理，必須對(duì)視頻數(shù)據(jù)進(jìn)行處理以校正失真。視頻處理要求實(shí)現(xiàn)低延遲功能，使這一系統(tǒng)能夠及時(shí)地把適當(dāng)?shù)男畔⑼ㄖ{駛員。

　　另一方面，車載信息娛樂系統(tǒng)能夠與多種設(shè)備和服務(wù)交互操作(包括智能電話和云服務(wù))，因此系統(tǒng)中被輸入大量外部視頻信號(hào)源的數(shù)據(jù)。同時(shí)，配備多個(gè)內(nèi)部顯示器(包括后座監(jiān)視器)的車輛變得越來越普遍。這意味著該系統(tǒng)必須能夠處理同時(shí)顯示的多個(gè)視頻信號(hào)。車載信息娛樂系統(tǒng)必須具有足夠的實(shí)時(shí)處理和顯示大量的視頻數(shù)據(jù)的性能。

　　新研發(fā)的視頻處理電路模塊能夠低延遲地解碼車載攝像頭傳輸過來的視頻流并進(jìn)行失真校正。它實(shí)時(shí)并低功耗地進(jìn)行汽車運(yùn)算系統(tǒng)所要求的復(fù)雜的視頻處理，但并不對(duì)承擔(dān)認(rèn)知處理任務(wù)的CPU和GPU增加任何額外負(fù)荷。

　　新研發(fā)技術(shù)的主要特點(diǎn)：

　　· (1)與流水線操作相結(jié)合，對(duì)視頻處理器進(jìn)行同步操作以實(shí)現(xiàn)70 ms延時(shí)視頻解碼和失真校正

　　視頻編解碼處理基本上由解析處理和圖像處理構(gòu)成，其中解析處理的處理性能取決于編碼數(shù)據(jù)流的量，圖像處理的處理性能取決于圖像分辨率。新型視頻處理電路模塊采用一個(gè)用于解析處理的流處理器和一個(gè)用于圖像處理的編解碼處理器來實(shí)現(xiàn)視頻編碼和解碼。由于車載信息娛樂系統(tǒng)所處理的典型視頻流數(shù)據(jù)的大小在不同視頻幀之間差異較大，因此處理性能取決于解碼數(shù)據(jù)流大小的流處理器所需的處理時(shí)間在不同視頻幀之間也差異很大。另一方面，處理性能取決于圖像分辨率的編解碼器所需的處理時(shí)間在每個(gè)視頻幀中都是相同的。因此，必須對(duì)流處理器和編解碼處理器進(jìn)行異步操作，但這會(huì)導(dǎo)致嚴(yán)重的延時(shí)從而產(chǎn)生問題。

　　新研發(fā)的視頻處理電路模塊設(shè)有同步運(yùn)行模式，該模式利用了流處理器和編解碼處理器之間的FIFO，并能夠在視頻幀間隔之間處理大致相同量的視頻流數(shù)據(jù)，與安全駕駛輔助系統(tǒng)所期望的情況相同。它還設(shè)有一個(gè)機(jī)制，在這個(gè)機(jī)制中每當(dāng)視頻幀處理期間完成一個(gè)16行的或其倍數(shù)的處理時(shí)，編解碼處理器就會(huì)輸送一個(gè)中斷到CPU，從而允許失真校正在稍后的階段內(nèi)開啟而無須等到視頻幀處理完全結(jié)束。這一同步操作和不完全視頻幀流水線操作的結(jié)合實(shí)現(xiàn)了從視頻流的接收到視頻解碼和失真校正的完成僅為70 ms的低延遲(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了40%)。

　　· (2)汽車運(yùn)算系統(tǒng)優(yōu)化后的六種不同類型的17個(gè)視頻處理器，提供業(yè)內(nèi)領(lǐng)先的全高清12路性能

　　新型視頻處理電路模塊集成了六種不同類型的17個(gè)視頻處理器，在不對(duì)CPU和GPU增加任何額外負(fù)荷的情況下實(shí)現(xiàn)實(shí)時(shí)和低功耗的視頻處理。流處理器和編解碼處理器處理視頻編碼和解碼，渲染處理器進(jìn)行失真校正，視頻處理器進(jìn)行一般的圖像處理，混合處理器進(jìn)行圖像合成，顯示處理器進(jìn)行屏幕上圖像顯示的處理。各視頻處理器通過多級(jí)總線相互連接。

　　視頻處理電路模塊原型采用尖端的16納米FinFET工藝制作并由這些視頻處理器組成，經(jīng)過對(duì)這一模塊原型的評(píng)估，證明其實(shí)現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的全高清12路的性能(比采用28納米工藝的瑞薩現(xiàn)有設(shè)備提高了約3倍)。

　　· (3)兩種類型的數(shù)據(jù)壓縮的結(jié)合，即無損壓縮和有損壓縮，以業(yè)內(nèi)領(lǐng)先的197 mW低功耗減少50%的內(nèi)存帶寬、實(shí)現(xiàn)全高清12路處理

　　當(dāng)進(jìn)行全高清12路視頻所需的大規(guī)模視頻處理時(shí)，數(shù)據(jù)訪問是存儲(chǔ)器性能瓶頸和功耗的主要來源。此外，在汽車運(yùn)算系統(tǒng)中有必要將視頻處理所占用的存儲(chǔ)器帶寬最小化，避免對(duì)CPU和GPU的認(rèn)知處理產(chǎn)生干擾。避免對(duì)必須保持較高安全級(jí)別的安全駕駛輔助系統(tǒng)造成影響是至關(guān)重要的。

　　由此，存儲(chǔ)在存儲(chǔ)器中的圖像數(shù)據(jù)被壓縮以減少存儲(chǔ)器帶寬使用率。無損壓縮不會(huì)改變?cè)谳^大硅片中的像素值和結(jié)果，而有損壓縮會(huì)改變?cè)谳^小的硅片中的像素值和結(jié)果，因此針對(duì)圖像處理的特性，用一種適當(dāng)?shù)姆绞绞褂脽o損壓縮和有損壓縮，就有可能在一個(gè)典型的視頻處理流程中減少50%的存儲(chǔ)器帶寬。特別是，當(dāng)訪問較小的存儲(chǔ)器模塊時(shí)存儲(chǔ)器訪問效率會(huì)降低，這意味著存儲(chǔ)器帶寬并沒有被有效降低，為了避免DDR存儲(chǔ)器的這一特有問題，高速緩存被用于視頻解碼，這就包括對(duì)小數(shù)據(jù)模塊的大量訪問。這使得增加DDR存儲(chǔ)器的訪問容量和減少70%的有效存儲(chǔ)器帶寬成為可能。對(duì)采用尖端的16納米FinFET工藝制作的原型進(jìn)行評(píng)估的結(jié)果顯示，降低存儲(chǔ)器帶寬能夠減少20%的功耗，這與總線上的數(shù)據(jù)處理量成正比，實(shí)現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的197 mW全高清12路功耗(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了60%)。

　　新研發(fā)的視頻處理電路模塊可在不對(duì)CPU和GPU增加任何額外負(fù)荷的情況下進(jìn)行海量視頻處理，這將使它實(shí)現(xiàn)具實(shí)時(shí)性能、低功耗和低延時(shí)的車載信息系統(tǒng)和安全駕駛輔助系統(tǒng)相結(jié)合的汽車運(yùn)算系統(tǒng)。瑞薩計(jì)劃將新的視頻處理電路模塊加入其未來的汽車運(yùn)算系統(tǒng)SoC，有助于讓駕車體驗(yàn)更安全、更方便。

　　2月1日，瑞薩在2016年1月31日至2月4日舊金山舉行的國際固態(tài)電路會(huì)議(ISSCC)上發(fā)表了這一技術(shù)。在演示環(huán)節(jié)，瑞薩通過播放全高清12路視頻內(nèi)容、伴隨存儲(chǔ)器帶寬降低率的實(shí)時(shí)顯示，展示了裝有采用新型視頻處理電路模塊的SoC的測(cè)試板的處理性能。