瑞薩電子推出為無(wú)人駕駛時(shí)代的汽車(chē)運(yùn)算SoC而打造的低延遲、高性能和低功耗的攝像頭視頻處理電路模塊

　　全球領(lǐng)先的半導(dǎo)體解決方案供應(yīng)商瑞薩電子株式會(huì)社今日宣布推出用于未來(lái)無(wú)人駕駛汽車(chē)運(yùn)算系統(tǒng)SoC(SoC)的新型視頻處理電路模塊。

　　無(wú)人駕駛汽車(chē)運(yùn)算系統(tǒng)SoC應(yīng)結(jié)合車(chē)載信息娛樂(lè)系統(tǒng)和安全駕駛輔助系統(tǒng)兩個(gè)系統(tǒng)的功能，并能對(duì)這兩個(gè)系統(tǒng)進(jìn)行平行操作。需特別指出的是，安全駕駛輔助系統(tǒng)必須能夠低延遲地處理來(lái)自車(chē)載攝像頭的視頻數(shù)據(jù)，并及時(shí)把適當(dāng)?shù)男畔⑼ㄖ{駛員。車(chē)載信息娛樂(lè)系統(tǒng)和安全駕駛輔助系統(tǒng)的研發(fā)者所面臨的一個(gè)問(wèn)題是需要無(wú)延遲并穩(wěn)定地處理大量的視頻數(shù)據(jù)并運(yùn)行無(wú)人駕駛車(chē)輛的控制功能。

　　新研發(fā)的視頻處理電路模塊用低延遲的方式進(jìn)行車(chē)載攝像頭視頻的處理。它可以低功耗地對(duì)大量視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)視頻處理，并不對(duì)CPU和圖形處理單元(GPU)增加任何額外的負(fù)荷，這有利于對(duì)無(wú)人駕駛車(chē)輛的控制。瑞薩采用16納米FinFET工藝研發(fā)出新的視頻處理電路模塊原型。除了車(chē)載攝像頭視頻的70 ms延時(shí)處理功能，它還提供了業(yè)內(nèi)領(lǐng)先的僅197 mW功耗的全高清12路視頻處理功能。

　　最近，預(yù)示未來(lái)將出現(xiàn)無(wú)人駕駛車(chē)輛的車(chē)載信息娛樂(lè)系統(tǒng)(如汽車(chē)導(dǎo)航系統(tǒng)和高級(jí)駕駛員輔助系統(tǒng)(ADAS))已取得顯著的進(jìn)展，讓這些系統(tǒng)更有可能成為結(jié)合車(chē)載信息娛樂(lè)系統(tǒng)和安全駕駛輔助系統(tǒng)兩者功能的汽車(chē)運(yùn)算系統(tǒng)。

　　安全駕駛輔助系統(tǒng)預(yù)計(jì)將在從車(chē)載攝像頭傳輸過(guò)來(lái)的視頻的基礎(chǔ)上進(jìn)行認(rèn)知處理，如識(shí)別障礙、監(jiān)測(cè)駕駛員的狀態(tài)及預(yù)測(cè)和避免危險(xiǎn)。隨著如瑞薩的R-Car T2車(chē)載攝像頭網(wǎng)絡(luò)SoC等設(shè)備的出現(xiàn)，我們可以預(yù)見(jiàn)從車(chē)載攝像頭傳輸過(guò)來(lái)的視頻數(shù)據(jù)將被編碼形成視頻流，而安全駕駛輔助系統(tǒng)則必須解碼所接收到的視頻流。為了正確地使用廣角攝像頭提供的圖像進(jìn)行認(rèn)知處理，必須對(duì)視頻數(shù)據(jù)進(jìn)行處理以校正失真。視頻處理要求實(shí)現(xiàn)低延遲功能，使這一系統(tǒng)能夠及時(shí)地把適當(dāng)?shù)男畔⑼ㄖ{駛員。

　　另一方面，車(chē)載信息娛樂(lè)系統(tǒng)能夠與多種設(shè)備和服務(wù)交互操作(包括智能電話(huà)和云服務(wù))，因此系統(tǒng)中被輸入大量外部視頻信號(hào)源的數(shù)據(jù)。同時(shí)，配備多個(gè)內(nèi)部顯示器(包括后座監(jiān)視器)的車(chē)輛變得越來(lái)越普遍。這意味著該系統(tǒng)必須能夠處理同時(shí)顯示的多個(gè)視頻信號(hào)。車(chē)載信息娛樂(lè)系統(tǒng)必須具有足夠的實(shí)時(shí)處理和顯示大量的視頻數(shù)據(jù)的性能。

　　新研發(fā)的視頻處理電路模塊能夠低延遲地解碼車(chē)載攝像頭傳輸過(guò)來(lái)的視頻流并進(jìn)行失真校正。它實(shí)時(shí)并低功耗地進(jìn)行汽車(chē)運(yùn)算系統(tǒng)所要求的復(fù)雜的視頻處理，但并不對(duì)承擔(dān)認(rèn)知處理任務(wù)的CPU和GPU增加任何額外負(fù)荷。

　　新研發(fā)技術(shù)的主要特點(diǎn)：

　　· (1)與流水線(xiàn)操作相結(jié)合，對(duì)視頻處理器進(jìn)行同步操作以實(shí)現(xiàn)70 ms延時(shí)視頻解碼和失真校正

　　視頻編解碼處理基本上由解析處理和圖像處理構(gòu)成，其中解析處理的處理性能取決于編碼數(shù)據(jù)流的量，圖像處理的處理性能取決于圖像分辨率。新型視頻處理電路模塊采用一個(gè)用于解析處理的流處理器和一個(gè)用于圖像處理的編解碼處理器來(lái)實(shí)現(xiàn)視頻編碼和解碼。由于車(chē)載信息娛樂(lè)系統(tǒng)所處理的典型視頻流數(shù)據(jù)的大小在不同視頻幀之間差異較大，因此處理性能取決于解碼數(shù)據(jù)流大小的流處理器所需的處理時(shí)間在不同視頻幀之間也差異很大。另一方面，處理性能取決于圖像分辨率的編解碼器所需的處理時(shí)間在每個(gè)視頻幀中都是相同的。因此，必須對(duì)流處理器和編解碼處理器進(jìn)行異步操作，但這會(huì)導(dǎo)致嚴(yán)重的延時(shí)從而產(chǎn)生問(wèn)題。

　　新研發(fā)的視頻處理電路模塊設(shè)有同步運(yùn)行模式，該模式利用了流處理器和編解碼處理器之間的FIFO，并能夠在視頻幀間隔之間處理大致相同量的視頻流數(shù)據(jù)，與安全駕駛輔助系統(tǒng)所期望的情況相同。它還設(shè)有一個(gè)機(jī)制，在這個(gè)機(jī)制中每當(dāng)視頻幀處理期間完成一個(gè)16行的或其倍數(shù)的處理時(shí)，編解碼處理器就會(huì)輸送一個(gè)中斷到CPU，從而允許失真校正在稍后的階段內(nèi)開(kāi)啟而無(wú)須等到視頻幀處理完全結(jié)束。這一同步操作和不完全視頻幀流水線(xiàn)操作的結(jié)合實(shí)現(xiàn)了從視頻流的接收到視頻解碼和失真校正的完成僅為70 ms的低延遲(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了40%)。

　　· (2)汽車(chē)運(yùn)算系統(tǒng)優(yōu)化后的六種不同類(lèi)型的17個(gè)視頻處理器，提供業(yè)內(nèi)領(lǐng)先的全高清12路性能

　　新型視頻處理電路模塊集成了六種不同類(lèi)型的17個(gè)視頻處理器，在不對(duì)CPU和GPU增加任何額外負(fù)荷的情況下實(shí)現(xiàn)實(shí)時(shí)和低功耗的視頻處理。流處理器和編解碼處理器處理視頻編碼和解碼，渲染處理器進(jìn)行失真校正，視頻處理器進(jìn)行一般的圖像處理，混合處理器進(jìn)行圖像合成，顯示處理器進(jìn)行屏幕上圖像顯示的處理。各視頻處理器通過(guò)多級(jí)總線(xiàn)相互連接。

　　視頻處理電路模塊原型采用尖端的16納米FinFET工藝制作并由這些視頻處理器組成，經(jīng)過(guò)對(duì)這一模塊原型的評(píng)估，證明其實(shí)現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的全高清12路的性能(比采用28納米工藝的瑞薩現(xiàn)有設(shè)備提高了約3倍)。

　　· (3)兩種類(lèi)型的數(shù)據(jù)壓縮的結(jié)合，即無(wú)損壓縮和有損壓縮，以業(yè)內(nèi)領(lǐng)先的197 mW低功耗減少50%的內(nèi)存帶寬、實(shí)現(xiàn)全高清12路處理

　　當(dāng)進(jìn)行全高清12路視頻所需的大規(guī)模視頻處理時(shí)，數(shù)據(jù)訪(fǎng)問(wèn)是存儲(chǔ)器性能瓶頸和功耗的主要來(lái)源。此外，在汽車(chē)運(yùn)算系統(tǒng)中有必要將視頻處理所占用的存儲(chǔ)器帶寬最小化，避免對(duì)CPU和GPU的認(rèn)知處理產(chǎn)生干擾。避免對(duì)必須保持較高安全級(jí)別的安全駕駛輔助系統(tǒng)造成影響是至關(guān)重要的。

　　由此，存儲(chǔ)在存儲(chǔ)器中的圖像數(shù)據(jù)被壓縮以減少存儲(chǔ)器帶寬使用率。無(wú)損壓縮不會(huì)改變?cè)谳^大硅片中的像素值和結(jié)果，而有損壓縮會(huì)改變?cè)谳^小的硅片中的像素值和結(jié)果，因此針對(duì)圖像處理的特性，用一種適當(dāng)?shù)姆绞绞褂脽o(wú)損壓縮和有損壓縮，就有可能在一個(gè)典型的視頻處理流程中減少50%的存儲(chǔ)器帶寬。特別是，當(dāng)訪(fǎng)問(wèn)較小的存儲(chǔ)器模塊時(shí)存儲(chǔ)器訪(fǎng)問(wèn)效率會(huì)降低，這意味著存儲(chǔ)器帶寬并沒(méi)有被有效降低，為了避免DDR存儲(chǔ)器的這一特有問(wèn)題，高速緩存被用于視頻解碼，這就包括對(duì)小數(shù)據(jù)模塊的大量訪(fǎng)問(wèn)。這使得增加DDR存儲(chǔ)器的訪(fǎng)問(wèn)容量和減少70%的有效存儲(chǔ)器帶寬成為可能。對(duì)采用尖端的16納米FinFET工藝制作的原型進(jìn)行評(píng)估的結(jié)果顯示，降低存儲(chǔ)器帶寬能夠減少20%的功耗，這與總線(xiàn)上的數(shù)據(jù)處理量成正比，實(shí)現(xiàn)了真正業(yè)內(nèi)領(lǐng)先的197 mW全高清12路功耗(比采用28納米工藝的現(xiàn)有瑞薩設(shè)備降低了60%)。

　　新研發(fā)的視頻處理電路模塊可在不對(duì)CPU和GPU增加任何額外負(fù)荷的情況下進(jìn)行海量視頻處理，這將使它實(shí)現(xiàn)具實(shí)時(shí)性能、低功耗和低延時(shí)的車(chē)載信息系統(tǒng)和安全駕駛輔助系統(tǒng)相結(jié)合的汽車(chē)運(yùn)算系統(tǒng)。瑞薩計(jì)劃將新的視頻處理電路模塊加入其未來(lái)的汽車(chē)運(yùn)算系統(tǒng)SoC，有助于讓駕車(chē)體驗(yàn)更安全、更方便。

　　2月1日，瑞薩在2016年1月31日至2月4日舊金山舉行的國(guó)際固態(tài)電路會(huì)議(ISSCC)上發(fā)表了這一技術(shù)。在演示環(huán)節(jié)，瑞薩通過(guò)播放全高清12路視頻內(nèi)容、伴隨存儲(chǔ)器帶寬降低率的實(shí)時(shí)顯示，展示了裝有采用新型視頻處理電路模塊的SoC的測(cè)試板的處理性能。