縱觀AR/VR產業(yè)鏈，解讀處理器及連接技術

作者/ 王瑩 ?王金旺 《電子產品世界》編輯(100036)

摘要：本文邀請AR/VR行業(yè)關鍵廠商及領軍人物，就AR/VR產業(yè)的處理器及連接技術進行了深入的解讀和分析。

處理器IP及顯示

多解決方案滿足不同AR/VR應用需求

　　對于VR，用戶體驗與分辨率、幀速率、延遲和質量等直接相關。因此，我們看到有提高分辨率和幀率的要求;每只眼睛高達4K，每秒刷新率為60到120幀。

　　分辨率和幀速率的同時提高意味著圖形處理單元(GPU)現(xiàn)在要為4K120雙顯示器提供高質量的內容，性能明顯高于目前通常用于移動和電視游戲的1080P60單顯示器。對于一體式頭戴式顯示器，這一切都必須滿足嚴格的功率要求才能實現(xiàn)。所使用的GPU硬件在開始設計時就要考慮好移動供電的限制。

? ?Imagination Technologies的AR解決方案

　　在AR方面，Imagination Technologies正在生產一些能滿足場景理解視覺要求的產品。這包括場景照明、場景映射和物體識別。這些產品符合將現(xiàn)實虛擬物體放到AR環(huán)境中，使物體更好地融入到場景中這一發(fā)展趨勢。為了渲染超現(xiàn)實的虛擬物體，通常需要使用光線追蹤技術，這也可以充分體現(xiàn)我們硬件光線追蹤解決方案的優(yōu)勢。

　　為了在AR中實現(xiàn)場景理解，我們提供了多種解決方案。PowerVR GPU作為圖形處理單元，擁有滿足AR視覺應用需求的并行架構。此外，PowerVR還為視覺處理提供了硬件解決方案，以性能和效能更高的方式處理視覺數(shù)據(jù)。

　　Imagination Technologies目前已經在VR產品中部署了多種PowerVR GPU內核。AR和VR有很多價格點和應用，因此，作為SoC公司的IP提供商，Imagination Technologies必須能提供多種解決方案，以便我們的客戶能夠滿足他們專門針對的細分市場的精確區(qū)域、功能和性能點要求。為滿足各種不同的需求，我們還提供了多種內核。超小型、低功耗Series8XE非常適合入門級專用VR HMD和360°視頻，而升級版Series8XEP進一步提高了入門級VR游戲的處理能力。我們還提供高端Series8XT，既適用于中檔VR解決方案，又適用于支持4K120的最高端VR功能。

支持嵌入式視覺神經網絡的數(shù)字信號處理器(DSP)

　　所有嵌入式應用中，AR/VR和混合現(xiàn)實面臨著獨有的挑戰(zhàn)。上述領域的設備大多屬于智能頭盔、耳機或智能眼鏡等可穿戴設備，依靠電池供電，能耗是選擇神經網絡解決方案時最重要的考量因素之一。AR/VR應用的另一個重要需求是減小延遲，所以神經網絡必須實現(xiàn)設備嵌入。所有這些設備都需要某種圖像識別、手勢識別、立體攝像分割、3D傳感、頭部跟蹤、眼球偵測和眼球跟蹤能力。現(xiàn)在的成像技術多種多樣，但隨著時間的推移，其中某些功能，如語義環(huán)境理解、手勢識別和圖像識別，都將可以通過神經網絡實現(xiàn)。除了成像/視覺神經網絡，這些設備還對聲音/音頻神經網絡提出了要求，以接收語音指令。

　　目前，實現(xiàn)神經網絡有兩個主要選擇：CPU/GPU或使用硬件加速器及匹配的成像DSP。這兩個選擇都可以各自解決設計人員面臨的一些挑戰(zhàn);但又都在開發(fā)的簡易程度、功耗效率、延遲、未來升級空間或性能方面有一些令人不滿意的折衷。硬件加速器與匹配的成像DSP是嵌入式設備的選擇之一，但這一組合效率低下，會產生不必要的功耗。除了開發(fā)困難，軟件還必須在DSP和加速器之間進行分區(qū)。僅卸載卷積層會顯著增加數(shù)據(jù)傳送負擔，并影響效率。另外，硬件在流片時便已固定，所以這些加速器將不具備未來的升級空間。

　　符合嵌入式應用需要的神經網絡DSP解決方案要滿足以下要求：易于開發(fā)、能夠處理龐大的數(shù)據(jù)量、未來具有升級空間、有效地使用能源并實現(xiàn)延遲最小化。

? ?Tensilica Vision C5數(shù)字信號處理器(DSP)

　　Cadence Tensilica Vision C5 DSP是致力于神經網絡處理并適用于多處理器架構的面向視覺和融合傳感器應用優(yōu)化的DSP解決方案。這一解決方案具有存儲器結構共享、允許中斷、同步隊列和同步多處理器調試等特性。Vision C5 DSP可以實現(xiàn)全神經網絡層的計算加速(卷積層、全連接層、池化層和歸一化層)，而不僅僅是卷積層功能。因此，主視覺處理DSP的能力得以釋放，獨立運行圖像增強應用程序;而Vision C5 DSP則運行推理任務。通過移除硬件加速器的冗余數(shù)據(jù)傳輸，Vision C5 DSP的功耗遠低于現(xiàn)有的神經網絡加速器。

　　Vision C5 DSP具備1TMAC/秒的計算能力，可以滿足神經網絡不斷增長的計算要求;計算精確，擁有多核心設計架構，支持多TMAC嵌入式解決方案。Vision C5 DSP針對的是經常運行多個神經網絡的應用。由于其可編程特性，該解決方案具有未來升級空間，并且能夠隨著設計的改變而支持新分層。

用ARM Mali GPU驅動實現(xiàn)移動VR

　　ARM認為移動產品形態(tài)是更容易被客戶接受的產品形態(tài)。VR包括AR(增強現(xiàn)實)都是很好的能夠拉動高端手機市場的應用場景，這類應用對性能的要求非常高，而且性能不只是來自于GPU，也來自于CPU，包括AR可能還需要攝像頭的參與，所以VR/AR是全系統(tǒng)的運算方案。

　　在高端的VR游戲運算的情況下，需要很強的GPU、CPU處理能力以及系統(tǒng)設計，所以對整個硬件的要求是非常高的;而在VR的360°視頻播放的應用場景中，除了對GPU有要求以外，對視頻編/解碼器也有較高的要求，需要高分辨率，配合VR設備得到一個沉浸式的體驗。