布局AI邊緣運(yùn)算商機(jī) IP/芯片/儲(chǔ)存業(yè)者各有千秋

　　AI迅速崛起，運(yùn)算分析已開(kāi)始從云端邁向終端裝置，邊緣運(yùn)算勢(shì)在必行，其發(fā)展備受半導(dǎo)體產(chǎn)業(yè)關(guān)注，且各領(lǐng)域業(yè)者也競(jìng)相投入開(kāi)發(fā)關(guān)鍵組件/技術(shù)，而Computex 2018更成為各技術(shù)陣營(yíng)的火力展示場(chǎng)合。

　　人工智能(AI)發(fā)展愈加快速，并開(kāi)始大舉進(jìn)軍終端裝置，運(yùn)算分析已開(kāi)始從云端轉(zhuǎn)向終端節(jié)點(diǎn)，邊緣運(yùn)算發(fā)展可說(shuō)是目前半導(dǎo)體產(chǎn)業(yè)熱門(mén)議題，而2018臺(tái)北國(guó)際計(jì)算機(jī)展(Computex 2018)也成為各領(lǐng)域業(yè)者(如IP、芯片、儲(chǔ)存) 火力展示的絕佳場(chǎng)合，紛紛于展會(huì)期間發(fā)布新的解決方案或市場(chǎng)布局規(guī)畫(huà)。

　　搶攻邊緣運(yùn)算市場(chǎng) Arm動(dòng)作頻頻

　　Arm IP產(chǎn)品事業(yè)群總裁Rene Haas(圖1)表示，隨著物聯(lián)網(wǎng)的蓬勃發(fā)展，Arm預(yù)測(cè)至2035年全球?qū)?huì)有超過(guò)1兆臺(tái)的聯(lián)網(wǎng)裝置，運(yùn)用于醫(yī)療、汽車、燈具及道路等范疇， 而聯(lián)網(wǎng)裝置數(shù)量的大幅成長(zhǎng)也將帶領(lǐng)終端及云端運(yùn)算的持續(xù)發(fā)展。 智能運(yùn)算將持續(xù)推動(dòng)物聯(lián)網(wǎng)嶄新時(shí)代，帶領(lǐng)AI變革，促使物聯(lián)網(wǎng)智能運(yùn)算無(wú)所不在。

　　圖1 Arm IP產(chǎn)品事業(yè)群總裁Rene Haas表示，物聯(lián)網(wǎng)蓬勃發(fā)展將使聯(lián)網(wǎng)裝置快速增加，智能運(yùn)算未來(lái)將無(wú)所不在。

　　因應(yīng)此一趨勢(shì)，且為整合生態(tài)系統(tǒng)的AI/機(jī)器學(xué)習(xí)(ML)應(yīng)用、演算與框架，并結(jié)合軟件優(yōu)化與硬件IP產(chǎn)品，讓各式裝置及平臺(tái)都能支持最常使用的機(jī)器學(xué)習(xí)框架，Arm近期宣布推出三款全新IP產(chǎn)品，分別為Cortex-A76 CPU、 Mali-G76 GPU，以及Mali-V76 VPU，以提升游戲與AR/VR體驗(yàn)，AI和機(jī)器學(xué)習(xí)能力。 透過(guò)這三款新產(chǎn)品，Arm將持續(xù)強(qiáng)化該公司于行動(dòng)領(lǐng)域的競(jìng)爭(zhēng)優(yōu)勢(shì)，也再度增強(qiáng)了智能手機(jī)、平板計(jì)算機(jī)、PC等行動(dòng)終端裝置的運(yùn)算效能。

　　Arm副總裁暨客戶事業(yè)部總經(jīng)理Nandan Nayampally(圖2)表示，未來(lái)5G將推動(dòng)整個(gè)行動(dòng)產(chǎn)業(yè)創(chuàng)新，即將到來(lái)的5G聯(lián)網(wǎng)應(yīng)用，包含VR、AI或是手機(jī)游戲等將會(huì)帶動(dòng)更多運(yùn)算量成長(zhǎng)，未來(lái)將會(huì)有更多不同運(yùn)算需求產(chǎn)生。

　　圖2 Arm副總裁暨客戶事業(yè)部總經(jīng)理Nandan Nayampally指出，5G加AI將推動(dòng)整個(gè)行動(dòng)產(chǎn)業(yè)創(chuàng)新，Arm為此推出全新IP產(chǎn)品因應(yīng)市場(chǎng)需求。

　　Nayampally進(jìn)一步指出，游戲也是推動(dòng)行動(dòng)裝置運(yùn)算持續(xù)攀升的關(guān)鍵因素之一。 游戲產(chǎn)業(yè)已成目前全球營(yíng)收規(guī)模最大的市場(chǎng)之一，預(yù)計(jì)在2018年可達(dá)到1,379億美元的產(chǎn)值，這也驅(qū)動(dòng)了消費(fèi)者對(duì)于運(yùn)算效能的需求。

　　據(jù)悉，Cortex-A76是基于Arm旗下的DynamIQ技術(shù)打造，和去年所發(fā)布的Cortex-A75相比，提升了35%的效能與40%的效率;可為終端裝置上的AI/ML提供4倍的運(yùn)算效能， 于PC和智能手機(jī)上實(shí)現(xiàn)快速且安全的體驗(yàn)。

　　Mali-G76則比前一代的Mali-G72 GPU提升30%運(yùn)算效能，以及增加了30%的效能密度，不僅可滿足消費(fèi)者隨時(shí)游玩高階游戲的需求，也為開(kāi)發(fā)人員提供更多的效能空間，使他們能編寫(xiě)更多新的應(yīng)用程序， 為行動(dòng)應(yīng)用帶來(lái)更多高階游戲，或是將AR/VR整合至生活當(dāng)中。

　　最后，隨著UHD 8K需求逐漸攀升，為確保IP能支持智能手機(jī)和其他裝置編碼譯碼運(yùn)算，Arm便推出Mali-V76，可支持高達(dá)60fps的8K分辨率或四部60fps的4K串流影片，消費(fèi)者能同時(shí)串流四部4K分辨率的電影、 在視頻會(huì)議中錄制影片，或者以4K觀看四場(chǎng)比賽;或在較低分辨率的狀況下，仍能呈現(xiàn)高分辨率畫(huà)質(zhì)(Full HD)，并能支持多達(dá)16部串流影片組成4×4的電視墻。

　　Project Trillium亮相 加速建構(gòu)ML生態(tài)系

　　與此同時(shí)，為提升終端裝置機(jī)器學(xué)習(xí)效能，Arm也于2018年初發(fā)表Project Trillium平臺(tái)，包含全新機(jī)器學(xué)習(xí)處理器(ML Processor)、對(duì)象偵測(cè)處理器(Objects Processor)， 以及Arm神經(jīng)網(wǎng)絡(luò)軟件(Arm NN)。 相較于獨(dú)立CPU、GPU與加速器，Project Trillium平臺(tái)效能更遠(yuǎn)遠(yuǎn)超越傳統(tǒng)DSP的可編程邏輯。

　　Arm副總裁、院士暨機(jī)器學(xué)習(xí)事業(yè)群總經(jīng)理Jem Davies(圖3)指出，邊緣運(yùn)算發(fā)展?jié)摿κ铸嫶?，目前市面上的確有許多獨(dú)立的解決方案，像是ASIC加速器、CPU/GPU等。 終端業(yè)者當(dāng)然可以選擇自己想要的方案，不過(guò)缺點(diǎn)在于須花費(fèi)時(shí)間自行進(jìn)行硬件與軟件(TensorFlow、Caffe)的整合。

　　圖3 Arm副總裁、院士暨機(jī)器學(xué)習(xí)事業(yè)群總經(jīng)理Jem Davies認(rèn)為，Project Trillium可望為終端裝置打造完整的機(jī)器學(xué)習(xí)生態(tài)系。

　　Davies說(shuō)明，Project Trillium的優(yōu)勢(shì)在于，是以平臺(tái)的架構(gòu)呈現(xiàn)，硬件方面不僅有ML Processor和Objects Processor可供選擇，同時(shí)也能透過(guò)Arm NN軟件， 協(xié)助用戶簡(jiǎn)化TensorFlow、Caffe與Android NN等神經(jīng)網(wǎng)絡(luò)框架和Arm Cortex CPU、Arm Mali GPU與機(jī)器學(xué)習(xí)處理器之間的鏈接整合。

　　Davies進(jìn)一步指出，軟件整合是發(fā)展機(jī)器學(xué)習(xí)其中一個(gè)關(guān)鍵要素，許多加速器業(yè)者或許有辦法提供相關(guān)硬件處理器(CPU、GPU)，但卻少有資源可以提供一個(gè)完善的平臺(tái)架構(gòu)，協(xié)助客戶進(jìn)行軟硬件整合或是提升ML模型運(yùn)算， 而Project Trillium包含全新的Arm IP處理器及神經(jīng)網(wǎng)絡(luò)軟件，從硬件和軟件面都能滿足現(xiàn)今市場(chǎng)需求，而這種方式也有助于Arm建構(gòu)完善的邊緣運(yùn)算生態(tài)系。

　　另外，Davies也觀察到，MCU對(duì)機(jī)器學(xué)習(xí)的需求也十分強(qiáng)勁。 他透露，在Project Trillium上線，Arm NN軟件開(kāi)發(fā)工具包開(kāi)放用戶下載的第一天，就有超過(guò)5,000名用戶開(kāi)始使用CMSIS NN，嘗試以Cortex-M執(zhí)行機(jī)器學(xué)習(xí)算法。

　　Davies說(shuō)，這個(gè)結(jié)果其實(shí)出乎Arm的預(yù)料，也顯示MCU用戶群對(duì)機(jī)器學(xué)習(xí)的需求跟興趣，是不容忽視的。 這也促使Arm決定在未來(lái)推出的新版Cortex-M核心中，進(jìn)一步強(qiáng)化這類核心執(zhí)行ML算法的效率。

　　CMSIS NN是Arm神經(jīng)網(wǎng)絡(luò)軟件開(kāi)發(fā)工具包Arm NN SDK下的一個(gè)運(yùn)算函式庫(kù)(Compute Library)，可以提升Cortex-M執(zhí)行機(jī)器學(xué)習(xí)算法的效率。 即便是現(xiàn)有的Cortex-M核心，在CMSIS NN的幫助下，也可以執(zhí)行一些很簡(jiǎn)單的機(jī)器學(xué)習(xí)推論，例如判讀傳感器輸出數(shù)據(jù)所代表的意義。 當(dāng)然，由于MCU的運(yùn)算效能跟內(nèi)存空間都不是很充裕，因此不可能執(zhí)行非常復(fù)雜機(jī)器學(xué)習(xí)推論，但如果是對(duì)單一傳感器節(jié)點(diǎn)輸出的數(shù)據(jù)做簡(jiǎn)單判讀，還是有機(jī)會(huì)實(shí)現(xiàn)的。

　　Davies指出，MCU如果無(wú)法支持某些基本的ML算法，AI應(yīng)用無(wú)所不在的未來(lái)是難以實(shí)現(xiàn)的。 目前透過(guò)云端數(shù)據(jù)中心提供的人工智能應(yīng)用服務(wù)，其實(shí)有很明顯的應(yīng)用局限，只有把AI不斷往邊緣推進(jìn)，才能讓AI應(yīng)用更加普及。 而為了讓MCU能更有效率地執(zhí)行ML算法，在Arm未來(lái)的產(chǎn)品發(fā)展路線圖里面，Cortex-M執(zhí)行ML的效率將會(huì)進(jìn)一步提升。

　　邊緣運(yùn)算走入自動(dòng)駕駛 高效能處理器不可或缺

　　另一方面，汽車產(chǎn)業(yè)未來(lái)也將是邊緣運(yùn)算的重點(diǎn)應(yīng)用領(lǐng)域之一。 根據(jù)Arm預(yù)測(cè)，至2020年平均一臺(tái)汽車中將會(huì)嵌入多達(dá)200多個(gè)傳感器，并經(jīng)由100多個(gè)發(fā)動(dòng)機(jī)控制器(ECU)或微控制器(MCU)處理，而如何快速處理如此龐大的數(shù)據(jù)、實(shí)時(shí)做出回應(yīng)并同時(shí)維持系統(tǒng)的穩(wěn)定性與安全性， 打造符合用戶需求的自動(dòng)駕駛車，將成為未來(lái)汽車電子市場(chǎng)的一大挑戰(zhàn)。

　　對(duì)此，Arm副總裁暨嵌入式及車用事業(yè)部總經(jīng)理John Ronco(圖4)指出，邊緣運(yùn)算興起，使得終端裝置不用再回傳大量數(shù)據(jù)到云端處理，但這也代表一般的CPU或機(jī)器學(xué)習(xí)芯片需要更高的處理效能，而這也是Arm推出Project Trillium和Cortex-A76的原因，而這些產(chǎn)品也相當(dāng)適合放在汽車電子組件之中。

　　圖4 Arm副總裁暨嵌入式及車用事業(yè)部總經(jīng)理John Ronco表示，CPU、GPU等處理器須具備更高效能才可因應(yīng)自動(dòng)駕駛安全需求。

　　此外，為實(shí)現(xiàn)自動(dòng)駕駛，一輛汽車上除了雷達(dá)、光達(dá)外，往往也會(huì)搭載視覺(jué)傳感器，也因此需要更高的GPU因應(yīng)龐大的影像運(yùn)算。

　　Ronco表示，自動(dòng)駕駛的視覺(jué)運(yùn)算需求，和一般IP網(wǎng)絡(luò)攝影機(jī)差別在于，IP網(wǎng)絡(luò)攝影機(jī)大多是單一的鏡頭，且不常移動(dòng)，通常是安置在屋內(nèi)/外某個(gè)角落監(jiān)看。 但對(duì)汽車而言，會(huì)須要搭載數(shù)個(gè)攝影鏡頭，偵測(cè)路況和環(huán)境，所接收的影像信息十分龐大，且由于汽車一直在移動(dòng)，周遭景物也會(huì)跟著不停變化，這會(huì)使得運(yùn)算更加復(fù)雜，因此便需要完善的解決方案。

　　Ronco透露，像是Project Trillium內(nèi)的對(duì)象偵測(cè)處理器主要是用于IP網(wǎng)絡(luò)攝影機(jī)，而要滿足汽車視覺(jué)運(yùn)算需求，則是須靠如Mali-G76這類的高效GPU，具備更高的運(yùn)算效能，才能因應(yīng)汽車行駛時(shí)快速的環(huán)境變化， 避免事故發(fā)生。

　　總而言之，AI時(shí)代為各項(xiàng)應(yīng)用領(lǐng)域帶來(lái)新商機(jī)，而邊緣運(yùn)算也勢(shì)將會(huì)走入汽車產(chǎn)業(yè)當(dāng)中，但若要將邊緣運(yùn)算建構(gòu)于汽車中，必須嵌入更高階的技術(shù)才能達(dá)到更優(yōu)異的性能表現(xiàn)，使汽車能夠更智能、安全、有效率。

　　帶動(dòng)儲(chǔ)存需求 WDC具一條龍生產(chǎn)優(yōu)勢(shì)

　　邊緣運(yùn)算興起，不僅促使處理器效能須跟著增加，就連儲(chǔ)存需求也跟著攀升，儲(chǔ)存業(yè)者因而加速產(chǎn)品布局腳步。 Western Digital嵌入式應(yīng)用解決方案事業(yè)部副總裁Christopher Bergey(圖5)指出，邊緣運(yùn)算、機(jī)器學(xué)習(xí)等技術(shù)，皆讓儲(chǔ)存和運(yùn)算變得相當(dāng)復(fù)雜。

　　圖5 Western Digital嵌入式應(yīng)用解決方案事業(yè)部副總裁Christopher Bergey表示，因應(yīng)邊緣運(yùn)算市場(chǎng)，該公司一條龍的生產(chǎn)模式為市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)。

　　Bergey進(jìn)一步說(shuō)明，邊緣運(yùn)算會(huì)隨著不同的應(yīng)用情境，對(duì)儲(chǔ)存產(chǎn)品有不同要求，像是在汽車上特別重視溫度、可靠性，在近年來(lái)又添加了成本和穩(wěn)定供貨5年的考慮因素;另外在行動(dòng)裝置應(yīng)用上，以智能手機(jī)為例， 像是現(xiàn)在消費(fèi)者對(duì)拍照越來(lái)越要求，照片的畫(huà)素提高，也連帶使得手機(jī)儲(chǔ)存容量須跟著變大，邊緣儲(chǔ)存的需求將跟著變大，因此相關(guān)的嵌入式閃存(EFD)產(chǎn)品性能也隨之提升。

　　因應(yīng)此一趨勢(shì)，像是Western Digital便推出新款iNAND產(chǎn)品系列--iNAND8521/iNAND7550，采用該公司64層3D NAND技術(shù)以及先進(jìn)的UFS與e.MMC接口，提供較佳的數(shù)據(jù)效能與龐大的儲(chǔ)存容量。 用于智能型手機(jī)與輕薄運(yùn)算裝置時(shí)，這兩款產(chǎn)品能加速實(shí)現(xiàn)以數(shù)據(jù)為中心的各式應(yīng)用，包括擴(kuò)增實(shí)境(AR)、高解析視訊的擷取、社群媒體體驗(yàn)，以及近期崛起的AI與物聯(lián)網(wǎng)邊緣體驗(yàn)。

　　Bergey透露，未來(lái)行動(dòng)裝置的發(fā)展趨勢(shì)無(wú)庸置疑會(huì)朝更高性能邁進(jìn)，因?yàn)?G世代到來(lái)后，傳輸數(shù)據(jù)越來(lái)越快，創(chuàng)新應(yīng)用會(huì)愈來(lái)愈多，加上AI興起，兩者若相結(jié)合后，對(duì)工作負(fù)載的要求也會(huì)隨之提升，儲(chǔ)存容量勢(shì)將會(huì)因而大增。 該公司也會(huì)持續(xù)跟手機(jī)業(yè)者密切合作，好針對(duì)需求提供合適的產(chǎn)品。

　　Bergey也指出，因應(yīng)邊緣運(yùn)算發(fā)展，該公司其實(shí)具備很好的戰(zhàn)略優(yōu)勢(shì)。 原因在于，WDC具備完整的產(chǎn)品線(從低階產(chǎn)品到高性能產(chǎn)品)，另外，WDC是采用一條龍的生產(chǎn)策略，從晶圓、控制器、韌體和軟件等，都是自行負(fù)責(zé)，因此可以快速的針對(duì)市場(chǎng)變化推出產(chǎn)品，或是滿足設(shè)備商客制化需求， 這是WDC在競(jìng)爭(zhēng)激烈的邊緣運(yùn)算市場(chǎng)中所擁有的優(yōu)勢(shì)。

　　NXP攜手合作伙伴 加速開(kāi)發(fā)安全邊緣方案

　　至于NXP，則是從安全著手，攜手生態(tài)系合作伙伴，如新漢、IMAGO、智邦科技、神準(zhǔn)科技等，共同投入邊緣運(yùn)算安全基礎(chǔ)架構(gòu)的部署工作，支持在邊緣進(jìn)行連接的新興AI和機(jī)器學(xué)習(xí)，以及部署于云端的安全邊緣處理。

　　協(xié)力合作的系統(tǒng)供貨商將以NXP的Layerscape與i.MX應(yīng)用處理器系列為基礎(chǔ)，進(jìn)行產(chǎn)品開(kāi)發(fā)，以符合需要本機(jī)處理能力與云端聯(lián)機(jī)功能的各種應(yīng)用上。 開(kāi)發(fā)出的平臺(tái)提供運(yùn)算能力、聯(lián)機(jī)功能及儲(chǔ)存容量之間的完善平衡，適合同時(shí)在企業(yè)及工業(yè)環(huán)境運(yùn)作。

　　透過(guò)NXP的EdgeScale技術(shù)及Docker與Kubernetes的開(kāi)放原始碼軟件，可在常見(jiàn)云端架構(gòu)上執(zhí)行各種邊緣應(yīng)用，包括Amazon Web Services(AWS)、Greengrass、Google Cloud IoT、微軟Azure IoT、阿里巴巴及私有云端架構(gòu)。

　　NXP指出，EdgeScale是包含裝置和云端服務(wù)的套件，透過(guò)該產(chǎn)品可以簡(jiǎn)化安全運(yùn)算資源在網(wǎng)絡(luò)邊緣的布建;而NXP將會(huì)與這些伙伴共同合作，為物聯(lián)網(wǎng)與企業(yè)內(nèi)部部署(On-Premises)的運(yùn)算平臺(tái)提供具擴(kuò)展性、安全性， 以及部署方便性，以實(shí)現(xiàn)安全部署與管理。

　　恩智浦?jǐn)?shù)字網(wǎng)絡(luò)事業(yè)部資深副總裁暨總經(jīng)理Tareq Bustami表示，建立安全的邊緣解決方案對(duì)于物聯(lián)網(wǎng)及工業(yè)4.0的成功發(fā)展極為重要，因此，該公司致力于與眾多設(shè)備制造商合作，提供容易使用且支持云端鏈接的安全邊緣運(yùn)算解決方案。 透過(guò)合作，該公司將協(xié)助推出更智能、更多功能的邊緣解決方案，加入可進(jìn)行大規(guī)模部署及管理的強(qiáng)大安全功能。

　　綜上所述，可看出不論是IP商、儲(chǔ)存業(yè)者或是芯片供貨商，皆積極布局邊緣運(yùn)算市場(chǎng)，各自開(kāi)發(fā)開(kāi)放平臺(tái)與硬件架構(gòu)，期能讓AI走入各種終端裝置中，并且建構(gòu)完善的生態(tài)圈。