瑞薩為自動(dòng)駕駛開發(fā)車載SoC，視頻處理延遲時(shí)間僅為70ms

　　日本瑞薩電子與瑞薩系統(tǒng)設(shè)計(jì)公司為未來自動(dòng)駕駛開發(fā)了車載計(jì)算SoC，并于2016年2月1日在半導(dǎo)體集成電路技術(shù)國際學(xué)會“ISSCC 2016”上發(fā)表了演講(Session 4.4)。瑞薩還在當(dāng)天的演示會上，演示了使用該SoC同時(shí)處理12通道全高清(1980×1080像素、30幀/秒)影像的情況。這是瑞薩車載信息IC“R-CAR”的第3代產(chǎn)品，預(yù)定2018年3月開始量產(chǎn)。

　　瑞薩開發(fā)的車載SoC

　　演示會現(xiàn)場。近處為車載儀表，遠(yuǎn)處為在顯示器上分12個(gè)畫面顯示了全高清影像。

　　演示時(shí)使用的板卡。據(jù)說中間的散熱片等部件的下方安裝了此次開發(fā)的SoC。

　　據(jù)介紹，這款SoC在一個(gè)芯片上集成了ARM的多個(gè)CPU內(nèi)核、GPU內(nèi)核以及6種(17個(gè))視頻處理用處理器。瑞薩認(rèn)為，到2020年前后，汽車的各種儀表、駕駛輔助系統(tǒng)(ADAS)、音響及多個(gè)顯示器將會整合在一起，為此而開發(fā)了這種可實(shí)現(xiàn)整合的SoC。

　　此次開發(fā)的SoC采用16nm FinFET工藝制造。核心電壓為0.8V，工作頻率為400MHz。外置存儲器設(shè)想使用LPDDR-3200。

　　設(shè)想的使用方法是，利用視頻處理用處理器群來處理車載攝像頭等的影像，用于娛樂用途，同時(shí)面向ADAS以及之后的自動(dòng)駕駛用途，將這些影像數(shù)據(jù)用于物體識別等。每秒可處理的視頻為7.5億像素。如果是30幀/秒的全高清影像，這相當(dāng)于約12個(gè)通道的影像。同時(shí)還支持4K影像，只是通道數(shù)量少一些。

　　處理延遲減少4成，通過流水線處理將總延遲時(shí)間縮短至70ms

　　如果只是單純增加像素，也能通過增加處理器內(nèi)核數(shù)量等方法來實(shí)現(xiàn)。據(jù)瑞薩介紹，此次開發(fā)的關(guān)鍵點(diǎn)之一是減少了視頻處理延遲。原因是就連泊車等低速行駛時(shí)，影像的延遲也必須低于100ms。

　　視頻處理一般首先用流處理器(SP)來處理壓縮的視頻幀，然后用編解碼處理器(CP)來進(jìn)行解碼等。以往的視頻處理IC因使用SP進(jìn)行幀處理的時(shí)間各不相同，為了消除這種偏差，SP處理之后需要數(shù)幀的緩沖。僅這樣的緩沖就會導(dǎo)致近100ms的延遲。

　　瑞薩為了解決這一問題，對視頻編碼技術(shù)進(jìn)行選擇，讓SP等的處理時(shí)間一定，而且不等每幀的SP處理結(jié)束，每隔幾個(gè)像素就將數(shù)據(jù)移交給CP。由此，SP處理之后就不再需要緩沖了，從而實(shí)現(xiàn)了視頻數(shù)據(jù)的流水線處理。SP與CP之間的延遲大幅縮短至1ms。據(jù)介紹，包括之后的失真補(bǔ)償處理等在內(nèi)，視頻處理的總體延遲減小到了70ms。

　　不過，這并不是最終目標(biāo)。沒有駕駛員的完全自動(dòng)駕駛最早有望于2020年代后半期開始，如果實(shí)現(xiàn)自動(dòng)駕駛，就必須進(jìn)一步大幅縮短處理延遲?！皩淼哪繕?biāo)是，通過減少SP處理之前的幀緩沖時(shí)間等措施，使壓縮視頻數(shù)據(jù)的處理延遲降至10ms以下”(瑞薩系統(tǒng)設(shè)計(jì)第一開發(fā)事業(yè)部Cockpit業(yè)務(wù)推進(jìn)部第三科首席工程師、在本屆ISSCC發(fā)表演講的望月誠二)。

　　存儲控制器為CPU內(nèi)核設(shè)置了“后門”

　　該SoC的另一個(gè)關(guān)鍵點(diǎn)是可在SoC向存儲器寫入視頻數(shù)據(jù)時(shí)壓縮數(shù)據(jù)。比如，如果以非壓縮形式將12通道全高清視頻數(shù)據(jù)輸入輸出存儲器，用CP進(jìn)行數(shù)據(jù)編碼及解碼處理時(shí)，需要20GB/秒的帶寬，會占用存儲帶寬的40%。這樣可能會對CPU內(nèi)核及GPU內(nèi)核負(fù)責(zé)的物體識別處理產(chǎn)生不良影響。因此，瑞薩通過在訪問存儲器時(shí)壓縮數(shù)據(jù)，節(jié)約了存儲帶寬。

　　不過，這樣做存在一個(gè)問題。那就是CPU內(nèi)核等使用的視頻數(shù)據(jù)基本上都是非壓縮的，因此保存在存儲器里的壓縮數(shù)據(jù)不能直接使用。針對這一點(diǎn)，瑞薩在存儲控制器中設(shè)置了壓縮數(shù)據(jù)的“影子空間(Shadow space)”。CPU內(nèi)核訪問壓縮數(shù)據(jù)時(shí)，會訪問這一空間，對數(shù)據(jù)進(jìn)行解壓縮。

　　據(jù)介紹，這樣一來，CP訪問存儲器時(shí)的帶寬縮小到了非壓縮時(shí)的30%，其他處理器訪問存儲器時(shí)的帶寬則縮小到了非壓縮時(shí)的50%。由此，連接處理器或存儲器的總線的功耗降低了約50%，SoC的總體功耗也減少20%，降至197mW。

　　此次開發(fā)還有一個(gè)關(guān)鍵點(diǎn)。那就是這款SoC符合車載IC故障頻率等的標(biāo)準(zhǔn)“ISO26262”。關(guān)于這一點(diǎn)，瑞薩在ISSCC 2016的Session 4.5上進(jìn)行了介紹。