瑞薩為自動駕駛開發(fā)車載SoC，視頻處理延遲時間僅為70ms

　　日本瑞薩電子與瑞薩系統(tǒng)設(shè)計公司為未來自動駕駛開發(fā)了車載計算SoC，并于2016年2月1日在半導(dǎo)體集成電路技術(shù)國際學(xué)會“ISSCC 2016”上發(fā)表了演講(Session 4.4)。瑞薩還在當(dāng)天的演示會上，演示了使用該SoC同時處理12通道全高清(1980×1080像素、30幀/秒)影像的情況。這是瑞薩車載信息IC“R-CAR”的第3代產(chǎn)品，預(yù)定2018年3月開始量產(chǎn)。

　　瑞薩開發(fā)的車載SoC

　　演示會現(xiàn)場。近處為車載儀表，遠處為在顯示器上分12個畫面顯示了全高清影像。

　　演示時使用的板卡。據(jù)說中間的散熱片等部件的下方安裝了此次開發(fā)的SoC。

　　據(jù)介紹，這款SoC在一個芯片上集成了ARM的多個CPU內(nèi)核、GPU內(nèi)核以及6種(17個)視頻處理用處理器。瑞薩認為，到2020年前后，汽車的各種儀表、駕駛輔助系統(tǒng)(ADAS)、音響及多個顯示器將會整合在一起，為此而開發(fā)了這種可實現(xiàn)整合的SoC。

　　此次開發(fā)的SoC采用16nm FinFET工藝制造。核心電壓為0.8V，工作頻率為400MHz。外置存儲器設(shè)想使用LPDDR-3200。

　　設(shè)想的使用方法是，利用視頻處理用處理器群來處理車載攝像頭等的影像，用于娛樂用途，同時面向ADAS以及之后的自動駕駛用途，將這些影像數(shù)據(jù)用于物體識別等。每秒可處理的視頻為7.5億像素。如果是30幀/秒的全高清影像，這相當(dāng)于約12個通道的影像。同時還支持4K影像，只是通道數(shù)量少一些。

　　處理延遲減少4成，通過流水線處理將總延遲時間縮短至70ms

　　如果只是單純增加像素，也能通過增加處理器內(nèi)核數(shù)量等方法來實現(xiàn)。據(jù)瑞薩介紹，此次開發(fā)的關(guān)鍵點之一是減少了視頻處理延遲。原因是就連泊車等低速行駛時，影像的延遲也必須低于100ms。

　　視頻處理一般首先用流處理器(SP)來處理壓縮的視頻幀，然后用編解碼處理器(CP)來進行解碼等。以往的視頻處理IC因使用SP進行幀處理的時間各不相同，為了消除這種偏差，SP處理之后需要數(shù)幀的緩沖。僅這樣的緩沖就會導(dǎo)致近100ms的延遲。

　　瑞薩為了解決這一問題，對視頻編碼技術(shù)進行選擇，讓SP等的處理時間一定，而且不等每幀的SP處理結(jié)束，每隔幾個像素就將數(shù)據(jù)移交給CP。由此，SP處理之后就不再需要緩沖了，從而實現(xiàn)了視頻數(shù)據(jù)的流水線處理。SP與CP之間的延遲大幅縮短至1ms。據(jù)介紹，包括之后的失真補償處理等在內(nèi)，視頻處理的總體延遲減小到了70ms。

　　不過，這并不是最終目標。沒有駕駛員的完全自動駕駛最早有望于2020年代后半期開始，如果實現(xiàn)自動駕駛，就必須進一步大幅縮短處理延遲?！皩淼哪繕耸?，通過減少SP處理之前的幀緩沖時間等措施，使壓縮視頻數(shù)據(jù)的處理延遲降至10ms以下”(瑞薩系統(tǒng)設(shè)計第一開發(fā)事業(yè)部Cockpit業(yè)務(wù)推進部第三科首席工程師、在本屆ISSCC發(fā)表演講的望月誠二)。

　　存儲控制器為CPU內(nèi)核設(shè)置了“后門”

　　該SoC的另一個關(guān)鍵點是可在SoC向存儲器寫入視頻數(shù)據(jù)時壓縮數(shù)據(jù)。比如，如果以非壓縮形式將12通道全高清視頻數(shù)據(jù)輸入輸出存儲器，用CP進行數(shù)據(jù)編碼及解碼處理時，需要20GB/秒的帶寬，會占用存儲帶寬的40%。這樣可能會對CPU內(nèi)核及GPU內(nèi)核負責(zé)的物體識別處理產(chǎn)生不良影響。因此，瑞薩通過在訪問存儲器時壓縮數(shù)據(jù)，節(jié)約了存儲帶寬。

　　不過，這樣做存在一個問題。那就是CPU內(nèi)核等使用的視頻數(shù)據(jù)基本上都是非壓縮的，因此保存在存儲器里的壓縮數(shù)據(jù)不能直接使用。針對這一點，瑞薩在存儲控制器中設(shè)置了壓縮數(shù)據(jù)的“影子空間(Shadow space)”。CPU內(nèi)核訪問壓縮數(shù)據(jù)時，會訪問這一空間，對數(shù)據(jù)進行解壓縮。

　　據(jù)介紹，這樣一來，CP訪問存儲器時的帶寬縮小到了非壓縮時的30%，其他處理器訪問存儲器時的帶寬則縮小到了非壓縮時的50%。由此，連接處理器或存儲器的總線的功耗降低了約50%，SoC的總體功耗也減少20%，降至197mW。

　　此次開發(fā)還有一個關(guān)鍵點。那就是這款SoC符合車載IC故障頻率等的標準“ISO26262”。關(guān)于這一點，瑞薩在ISSCC 2016的Session 4.5上進行了介紹。