本土AI模組及芯片發(fā)展動向

作者 / 王瑩 王金旺 《電子產(chǎn)品世界》編輯(北京 100036)

摘要：AI已成為國家戰(zhàn)略，激勵本土AI研發(fā)企業(yè)不斷探索。實(shí)際上，本土有一小批新銳公司，正面向特定領(lǐng)域推出模組或芯片。為此，本媒體特別采訪了國內(nèi)幾家有代表性企業(yè)，介紹了其AI硬件及相關(guān)算法的最新進(jìn)展。

AI芯片企業(yè)需加強(qiáng)軟硬件協(xié)同能力

　　目前市場上AI主要的商業(yè)應(yīng)用場景有安防監(jiān)控、家居/消費(fèi)電子和自動駕駛汽車。安防監(jiān)控以及消費(fèi)電子市場已經(jīng)較為成熟，且國內(nèi)企業(yè)從產(chǎn)品能力到產(chǎn)業(yè)鏈整合能力均占據(jù)優(yōu)勢地位，是目前國內(nèi)人工智能企業(yè)展開競爭的主戰(zhàn)場。本土的汽車主機(jī)廠和零部件廠商較為弱勢，目前在無人駕駛領(lǐng)域的布局以互聯(lián)網(wǎng)等非傳統(tǒng)汽車產(chǎn)業(yè)鏈內(nèi)企業(yè)為主。針對不同的應(yīng)用場景，國內(nèi)的主流AI企業(yè)已經(jīng)開始從算法與架構(gòu)的實(shí)現(xiàn)向提供特定應(yīng)用場景系統(tǒng)解決方案發(fā)展并不斷向上游的ASIC芯片設(shè)計(jì)延伸。如地平線、深鑒科技等企業(yè)均已開始推出自己的芯片產(chǎn)品。

　　在對服務(wù)的安全性、實(shí)時性要求不高的應(yīng)用領(lǐng)域，云端布局的人工智能服務(wù)將依然會是市場的主流。而在對服務(wù)的安全性、實(shí)時性、隱私性等要求較高的應(yīng)用領(lǐng)域，前端部署已成為市場共識，未來市場空間非常巨大。

　　異構(gòu)算法要求更高的軟硬協(xié)同能力

　　一直以來，GPU、FPGA、ASIC三者就因其鮮明的特點(diǎn)分工在人工智能領(lǐng)域發(fā)揮著巨大的作用。GPU適合大規(guī)模并行運(yùn)算，在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)方面具有優(yōu)勢。FPGA具備可編程、高性能、低功耗、架構(gòu)靈活等特點(diǎn)，方便研究者進(jìn)行模型優(yōu)化，一般被用作芯片原型設(shè)計(jì)和驗(yàn)證，或是用在通信密集型和計(jì)算密集型場景中，諸如通信、軍工、汽車電子、消費(fèi)及醫(yī)療等行業(yè)。ASIC將性能和功耗完美結(jié)合，具有體積小、功耗低、可靠性高、保密性強(qiáng)、成本低等幾方面的優(yōu)勢。

　　國內(nèi)人工智能企業(yè)在從單獨(dú)的架構(gòu)、算法構(gòu)建到行業(yè)應(yīng)用系統(tǒng)解決方案提供的轉(zhuǎn)變過程中，通過異構(gòu)的方式解決優(yōu)化系統(tǒng)各部分的適配性已經(jīng)成為行業(yè)內(nèi)的共識。這一架構(gòu)和算法上的趨勢，將進(jìn)一步提升軟件在人工智能系統(tǒng)中的地位，對公司的軟硬協(xié)同能力提出了更高的要求。

　　AI芯片設(shè)計(jì)要考慮終端需求

　　由于人工智能領(lǐng)域是新興事物，整個產(chǎn)業(yè)鏈還不完整，產(chǎn)業(yè)分工尚未形成，AI芯片企業(yè)必須提供從芯片/硬件、軟件SDK到應(yīng)用的解決方案已基本成為業(yè)內(nèi)共識。

　　這一現(xiàn)狀要求每家AI芯片公司都成為一家軟件加系統(tǒng)公司，這樣才能在市場競爭中取得優(yōu)勢。比如，公司在芯片設(shè)計(jì)時候就需要考慮未來面對的終端用戶的需求，并通過將芯片集成到系統(tǒng)中，使其運(yùn)行更加簡單。此外，應(yīng)盡可能減少第三方協(xié)作以及為用戶提供更多的參考設(shè)計(jì)也是更好地服務(wù)下游用戶的方式之一。

AI芯片能力亟需提高，數(shù)據(jù)仍是AI核心

　　目前AI技術(shù)仍處于起步階段，監(jiān)督學(xué)習(xí)仍是主要的手段。AI的主流分支——深度學(xué)習(xí)技術(shù)也將隨著計(jì)算力的不斷提升，創(chuàng)造出更加智能的落地應(yīng)用。

　　在兆芯看來，短期內(nèi)，AI的發(fā)展趨勢有如下特點(diǎn)：

　　1)網(wǎng)絡(luò)的復(fù)雜度和訓(xùn)練集的規(guī)模將會進(jìn)一步提高，計(jì)算復(fù)雜度將達(dá)到一個新的高度;

　　2)帶label的數(shù)據(jù)將成為AI發(fā)展階段最有價值的資源;

　　3)傳統(tǒng)的AI是在設(shè)計(jì)好的網(wǎng)絡(luò)結(jié)構(gòu)下訓(xùn)練未知參數(shù)，而最新的方法利用GAN類似的機(jī)制，可以將網(wǎng)絡(luò)訓(xùn)練成一個更高精度的全新網(wǎng)絡(luò)框架，而不需要設(shè)計(jì)者參與。這對于做框架算法的人也帶來了巨大的挑戰(zhàn)——他們該如何在這個重?cái)?shù)據(jù)的AI時代突破重圍，將AI帶到更高的臺階;

　　4)CNN等網(wǎng)絡(luò)的安全性問題，例如pixel攻擊(通過干擾讓目標(biāo)識別錯誤，或者認(rèn)定為指定目標(biāo))，這也對現(xiàn)有的應(yīng)用安全落地帶來了極大的挑戰(zhàn)。因?yàn)樵谀承?yīng)用中安全性是致命的決定因素，如自動駕駛;

　　5)另外新興的網(wǎng)絡(luò)如capsule是否有機(jī)會替代現(xiàn)有CNN網(wǎng)絡(luò)，這些對于不能軟件編程的AI芯片來說也許是致命的。

　　AI芯片設(shè)計(jì)面臨速度、安全及兼容的挑戰(zhàn)

　　處理器技術(shù)決定互聯(lián)、智慧與傳統(tǒng)制造業(yè)的融合度，從而帶動產(chǎn)業(yè)鏈上下游企業(yè)競相入局。AI對處理器設(shè)計(jì)提出了更高的要求。如邊緣計(jì)算，AI設(shè)備需要高度集成、低功耗的專用解決方案，因此可以選擇將專用AI模塊集成到SoC內(nèi)部，并對SoC訪存系統(tǒng)進(jìn)行優(yōu)化，滿足AI模塊的高帶寬需求，同時可以通過內(nèi)置硬件編解碼器，提升視頻的處理性能。在云端計(jì)算層面，可以選擇支持多PCIe 3.0接口，連接GPU或AI加速卡，構(gòu)建AI運(yùn)算平臺。傳統(tǒng)行業(yè)設(shè)計(jì)人員可以復(fù)用部分原始軟件代碼，將智能功能調(diào)用AI完成，從而降低軟件的開發(fā)成本，并大幅縮短新產(chǎn)品設(shè)計(jì)周期。

　　而在AI芯片設(shè)計(jì)方面，具體有如下挑戰(zhàn)：

　　1)網(wǎng)絡(luò)復(fù)雜度提高，意味著需要更高的計(jì)算能力。

　　2)由深度學(xué)習(xí)產(chǎn)生的非規(guī)則的網(wǎng)絡(luò)結(jié)構(gòu)，雖然效果好，但是復(fù)雜的連接關(guān)系會令傳統(tǒng)ASIC AI芯片更加難以優(yōu)化加速。

　　3)安全性問題是AI最為敏感話題，也是新的網(wǎng)絡(luò)結(jié)構(gòu)的需求，或者說下一代的AI網(wǎng)絡(luò)結(jié)構(gòu)需要解決的問題。

　　4)新興網(wǎng)絡(luò)，如capsule，雖然解決了CNN網(wǎng)絡(luò)諸多問題，也引出了與現(xiàn)有硬件不太適應(yīng)的問題。如何提好訓(xùn)練效率，如何設(shè)計(jì)硬件讓其在可編程性和高效之間達(dá)到一個平衡點(diǎn)，來滿足不斷演進(jìn)的算法需求，是芯片設(shè)計(jì)商的設(shè)計(jì)原則。

　　x86+外接AI PCIe加速卡及AI計(jì)算芯片

　　面對AI需求的迅速崛起，兆芯正在思考如何對這些產(chǎn)品形態(tài)進(jìn)行智能升級，通過x86+外接AI PCIe加速卡的方式構(gòu)建運(yùn)算平臺加速應(yīng)用落地。

　　與此同時，兆芯已經(jīng)利用自己GPU技術(shù)的獨(dú)特優(yōu)勢，設(shè)計(jì)了全新的AI計(jì)算芯片：

　　1)基于兆芯GPU的AI硬件加速框架很好的解決了多計(jì)算單元的并行性管理和可擴(kuò)展性問題，以及軟件生態(tài)的兼容性問題，支持OpenCL、CUDA等GPGPU API;

　　2)獨(dú)有專用加速器在能效比和可編程性之間做了很好的折中;

　　3)新型壓縮技術(shù)大幅降低了芯片的帶寬需求，從而有效地提高了計(jì)算單元和加速器利用率。

　　總之，對于AI來講，目前仍處于一個開始的階段，數(shù)據(jù)仍是整個AI的核心，硬件和軟件架構(gòu)都在不斷地相互變化中，每一次硬件變革都會帶來軟件變化，軟件變化、工藝變化又會促進(jìn)硬件的進(jìn)一步改良。對于兆芯來講，我們一方面會不斷演進(jìn)加速器設(shè)計(jì)，讓其更好地加速主流算法，同時會保留足夠通用編程靈活性，給新的算法創(chuàng)造好的并行計(jì)算環(huán)境，也為國內(nèi)AI高端芯片自主可控發(fā)展貢獻(xiàn)力量。

華夏芯全新架構(gòu)的人工智能專用處理器內(nèi)核

　　安防領(lǐng)域一直被認(rèn)為是人工智能最先落地的行業(yè)，智能駕駛正在成為另一個高速發(fā)展以及炙手可熱的人工智能的典型應(yīng)用場景。以智能駕駛和智能安防為例，“云邊結(jié)合”正逐步取代“中心分析”成為AI應(yīng)用發(fā)展的趨勢。針對不同人工智能應(yīng)用場景的AI終端芯片有望在今后數(shù)年內(nèi)成為芯片廠商的主戰(zhàn)場。云端的計(jì)算需求主要是支持海量數(shù)據(jù)下的計(jì)算開銷。因此，由超級性能的CPU、GPU、FPGA、專用加速器組成的超高計(jì)算性能的芯片組成為主要的芯片平臺。在云端芯片市場，Intel 約占71%、英偉達(dá)約占16%的市場。而終端側(cè)的計(jì)算需求更多的是要考慮有限功耗下的系統(tǒng)開銷。因此，高性能、低功耗的CPU、GPU、DSP、專用芯片組成的高集成度的SoC芯片成為首選。在這一市場，Intel、英偉達(dá)并無優(yōu)勢，相反，Arm、Ceva、華夏芯這樣的公司有優(yōu)勢。面對這一趨勢，華夏芯公司立足于為其客戶的芯片定制提供包括CPU、DSP和人工智能在內(nèi)的系列內(nèi)核和完整解決方案。

　　華夏芯公司新年伊始正式向業(yè)界公開了其全新架構(gòu)的嵌入式人工智能專用處理器的內(nèi)核方案。作為少數(shù)具備全系列處理器內(nèi)核設(shè)計(jì)能力的高科技企業(yè)，華夏芯公司之前已經(jīng)陸續(xù)發(fā)布了其自主設(shè)計(jì)的64位體系的CPU(Central Processing Unit)和DSP(Digital Signal Processor )內(nèi)核方案，首次在嵌入式處理器領(lǐng)域引入了可變長矢量處理(Variable Length Vector，VLV)技術(shù)。因此，本次針對人工智能專用處理器內(nèi)核方案的公開發(fā)布，進(jìn)一步展露了華夏芯在人工智能領(lǐng)域的龐大戰(zhàn)略，即華夏芯公司立足于為其客戶的芯片定制提供完整的包括CPU、DSP和人工智能在內(nèi)的系列內(nèi)核，并希望在芯片整體性能、功耗、成本、編程、生態(tài)和開發(fā)周期方面占據(jù)領(lǐng)先的位置。

　　此次，華夏芯公司推出的人工智能專用處理器內(nèi)核方案，預(yù)計(jì)2018年下半年第一款全部采用華夏芯CPU/DSP/人工智能處理器內(nèi)核的量產(chǎn)芯片開始下線，進(jìn)入市場。

完全卷積神經(jīng)網(wǎng)絡(luò)IP——DPU “聽濤”系列 SoC

　　算法、數(shù)據(jù)和算力并稱為新AI時代三大驅(qū)動力。如何在追求更好性能的同時實(shí)現(xiàn)低功耗、低延遲和低成本，逐漸成為擺在所有AI從業(yè)者面前的艱巨挑戰(zhàn)之一。

　　很多硬件平臺都展示了自身所具備的強(qiáng)大算力，然而當(dāng)用戶在真正運(yùn)行一個應(yīng)用時，卻發(fā)現(xiàn)在讀取數(shù)據(jù)時會產(chǎn)生比較明顯的卡頓現(xiàn)象。這表明，即便用戶在掌握大量數(shù)據(jù)的前提下，依然不能將AI運(yùn)算單元填滿，從而導(dǎo)致計(jì)算硬件的計(jì)算效力低下。以谷歌第一代TPU為例，其平均硬件乘法陣列使用率只有28%，這意味著72%的硬件在大部分時間內(nèi)是沒有任何事情可以做的。

　　另外，如果將完成16位整數(shù)加法能量消耗定義為1，那么將32比特的數(shù)據(jù)從DDR內(nèi)存?zhèn)鬏數(shù)叫酒?，就將花費(fèi)1萬倍的能量消耗。因此，過大的訪問帶寬增加了數(shù)據(jù)的復(fù)用性，導(dǎo)致AI芯片功耗高居不下。

　　而要提升計(jì)算效率、降低功耗，總結(jié)起來有三條路徑：首先，優(yōu)化計(jì)算引擎，增加計(jì)算并行度;其次，優(yōu)化訪存系統(tǒng);第三，利用神經(jīng)網(wǎng)絡(luò)稀疏性，實(shí)現(xiàn)軟硬件協(xié)同設(shè)計(jì)。這樣的產(chǎn)品規(guī)劃路線能走得通的一個關(guān)鍵因素，就在于用戶在未來的ASIC芯片和之前的FPGA模組上使用的是同樣的編程和軟件開發(fā)環(huán)境，能實(shí)現(xiàn)在應(yīng)用上的無縫切換。

　　DPU “聽濤”系列 SoC

　　深鑒科技正式發(fā)布基于自主研發(fā)的人工智能處理器核心DPU 的“聽濤”系列 SoC。該DPU屬于完全卷積神經(jīng)網(wǎng)絡(luò)IP，支持傳統(tǒng)的1X1和3X3卷積層，能夠?qū)崿F(xiàn)高效的目標(biāo)識別和加速。在該架構(gòu)基礎(chǔ)之上，深鑒科技做出了第一代5X5 FPGA產(chǎn)品，并在攝像頭市場實(shí)現(xiàn)了批量出貨。

　　DPU計(jì)算核心采用全流水設(shè)計(jì)結(jié)構(gòu)設(shè)計(jì)，內(nèi)部集成了大量的卷積運(yùn)算器、加法器、非線性Pulling/ReLu之類的運(yùn)算算子，在確保每一個運(yùn)算單元都能夠被充分的調(diào)動起來的前提下，可同時支持不同動態(tài)精度的量化方法。像VGG16比較重的應(yīng)用中，深鑒科技DPU的運(yùn)算器利用率可以達(dá)到85%，對主流算法可以達(dá)到50%以上，功耗方面則低出競爭對手一個數(shù)量級。

　　相比Zynq 7020每瓦230 GOPS的算力、ZU9 2.7 TOPS的峰值算力，將于年中交付的“聽濤”SoC產(chǎn)品的預(yù)期功耗約為3 W，峰值算力4 TOPS，考慮到網(wǎng)絡(luò)壓縮部分，這個數(shù)字應(yīng)該再擴(kuò)大5~10倍。

　　參考文獻(xiàn)：

　　[1]胡郁.人工智能與語音識別技術(shù)[J].電子產(chǎn)品世界,2016(4):23-25.

　　[2]王瑩.“CPU+”異構(gòu)計(jì)算時代，華夏芯通過HSA搶占高地[J].電子產(chǎn)品世界,2016(9):15-17.

　　[3]陳俊穎,周順風(fēng),閔華清.基于CAPI FPGA的醫(yī)學(xué)超聲成像算法異構(gòu)加速[J].電子產(chǎn)品世界,2016(10):41-44.

　　[4]王瑩,王金旺.異構(gòu)計(jì)算帶來AI視覺新突破[J].電子產(chǎn)品世界,2017(7):28-29.

　　本文來源于《電子產(chǎn)品世界》2018年第4期第22頁，歡迎您寫論文時引用，并注明出處。