Arm：致力于成為邊緣AI發(fā)展與創(chuàng)新的堅實基石

邊緣智能是人工智能的一種部署形式，無論中央人工智能，還是邊緣智能，都需要算力支撐。而集中和分布式計算呈現(xiàn)出相互促進和交替發(fā)展的趨勢。作為移動處理器領(lǐng)域市場的引領(lǐng)者，Arm 的各類處理器內(nèi)核在邊緣端的MCU、NPU 和MPU 等領(lǐng)域引領(lǐng)著技術(shù)發(fā)展的未來。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬健

談到邊緣智能，Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，伴隨著Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調(diào)效率都有了質(zhì)的突破，加上低功耗的AI 加速器和專用芯片被集成到終端和邊緣設(shè)備中，邊緣智能正變得越來越自主和強大。未來自動駕駛與機器人的大規(guī)模部署，更需要邊緣智能的強大支撐。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷進步和底層平臺的支持，視覺和音頻處理技術(shù)等經(jīng)典用例將會不斷優(yōu)化，從而實現(xiàn)性能上的飛躍，為用戶提供更好的體驗。

除此之外，邊緣AI也將隨著大模型和生成式AI的崛起，用戶體驗的持續(xù)提升，數(shù)據(jù)量激增以及企業(yè)對數(shù)據(jù)價值的認可，成為行業(yè)變革的主要動力，例如特定工業(yè)場景中對種類繁雜的問題進行工業(yè)知識回答等。隨著大模型持續(xù)通過量化、剪枝和聚類技術(shù)來縮減優(yōu)化模型，使大模型適于在邊緣和超級終端設(shè)備部署，大小模型云邊端結(jié)合成為未來AI 產(chǎn)品的重要發(fā)展趨勢，也是AI應(yīng)用賦能行業(yè)發(fā)展的重要方向。例如，我們已經(jīng)看到生態(tài)系統(tǒng)中的開發(fā)者在樹莓派設(shè)備上評估運行包括LLaMA等在內(nèi)的大模型。邊緣部署大模型和生成式AI用例指日可待，而Arm已經(jīng)為此做好準(zhǔn)備，來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI 結(jié)合的性能與效率極限。

與此同時，隨著ML 方法和模型愈加復(fù)雜，標(biāo)準(zhǔn)也在不斷提高，在不久的將來，諸如ChatGPT 或Gemini的多種衍生產(chǎn)品將在邊緣AI 設(shè)備上運行，通過實際應(yīng)用帶來更多益處。

邊緣智能對算力和功耗要求都更為苛刻。在產(chǎn)品設(shè)計中實現(xiàn)低功耗設(shè)計是Arm 與生俱來的DNA，能幫助廣大的合作伙伴降低能耗和成本。馬健直言，Arm一貫秉承構(gòu)建通用計算平臺和生態(tài)的策略，不僅平衡性能與能效，更將軟件的可擴展性和系統(tǒng)應(yīng)用的開發(fā)成本作為一個關(guān)鍵的考量因素，進而助力生態(tài)系統(tǒng)合作伙伴實現(xiàn)最低的總擁有成本 (TCO)。

在邊緣側(cè)的物聯(lián)網(wǎng)領(lǐng)域，Arm擁有非常成熟的處理器IP，比如適用于MCU和一些低功耗終端嵌入式設(shè)備的Cortex-M系列處理器，Arm也通過優(yōu)化工具鏈以及增加對AI和ML的支持，不斷對其進行優(yōu)化。例如，Arm最新的Armv8.1-M架構(gòu)就增加了Helium矢量擴展。

目前Cortex-M52、Cortex-M55和Cortex-M85均引入了Helium技術(shù)，由此助力嵌入式和IoT 開發(fā)者設(shè)計出更多支持ML和AI的低功耗芯片和解決方案。

芯片面積和成本對于嵌入式及物聯(lián)網(wǎng)視覺應(yīng)用至關(guān)重要，為實現(xiàn)視覺用例高性能低功耗的持續(xù)性發(fā)展，Arm推出的Mali-C55是Arm目前面積最小、可配置性最高的圖像信號處理器。Mali-C55 的芯片面積僅為前幾代產(chǎn)品的近一半，并且可提供更強大的功能，大幅減少功耗并延長電池續(xù)航時間，與此同時，還降低了這些設(shè)備的成本。

在NPU方面，ArmEthos系列AI加速器可以滿足更高性能和更復(fù)雜的AI工作負載。近日，Arm推出了全新第三代面向邊緣AI的NPU產(chǎn)品Arm Ethos-U85 NPU，支持低功耗MCU系統(tǒng)中的AI加速；此外，為了幫助合作伙伴簡化系統(tǒng)開發(fā)，Arm同時推出了全新的物聯(lián)網(wǎng)參考設(shè)計平臺Arm Corstone-320，集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP 和 Ethos-U85 NPU，為語音、音頻和視覺等廣泛的邊緣AI應(yīng)用提供所需的性能。該參考設(shè)計平臺涵蓋了軟件、工具和支持，其中包括Arm虛擬硬件。該平臺的軟硬件結(jié)合特性將使開發(fā)者能夠在物理芯片就緒前便啟動軟件開發(fā)工作，從而加速推進產(chǎn)品進程，為日益復(fù)雜的邊緣AI設(shè)備縮短上市時間。

無論是IP、ISP、AI加速器亦或是物聯(lián)網(wǎng)參考設(shè)計平臺的推出，在面積和功率受限的邊緣側(cè)應(yīng)用中如何實現(xiàn)最佳性能和功耗的平衡，是Arm始終關(guān)注的焦點，也是不斷突破技術(shù)，推動邊緣AI創(chuàng)新的初衷。

相較于在云端進行數(shù)據(jù)處理而言，邊緣智能在更接近數(shù)據(jù)采集源的端側(cè)或邊緣側(cè)物聯(lián)網(wǎng)網(wǎng)關(guān)完成數(shù)據(jù)處理的方式，可以加快決策速度、減少延遲、解決數(shù)據(jù)隱私問題、降低成本并提高能效，而且隨著AI和ML提升本地智能化水平，在端側(cè)完成決策的制定也得以實現(xiàn)。在設(shè)計邊緣AI芯片和系統(tǒng)時，需要在計算能力和能效之間找到合適的平衡。高性能的處理能力往往伴隨著更高的功耗，而邊緣設(shè)備往往對功耗和成本都有著嚴(yán)格限制。

Arm此前發(fā)布的多種物聯(lián)網(wǎng)參考設(shè)計包括Corstone-300、Corstone-310、Corstone-1000，及Arm智能視覺參考設(shè)計等，這些參考設(shè)計不僅包括了Arm或集成了合作伙伴IP的子系統(tǒng)，還提供工具鏈，尤其是一些ML的工具鏈。每一個參考設(shè)計都依據(jù)一些現(xiàn)有的用例進行設(shè)計，在支持這些用例的時候Arm也提供了一些軟件參考設(shè)計和適用于這些用例的AI模型，都通過開源的模式提供給生態(tài)系統(tǒng)以及參考設(shè)計的用戶。最新發(fā)布的Corstone-320不僅提供芯片計算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫和開發(fā)工具，以實現(xiàn)軟件的復(fù)用，同時也利用了Arm強大的生態(tài)系統(tǒng)。它還附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨的CPU和NPU的固定虛擬平臺(FVP)模型，以簡化開發(fā)并加速產(chǎn)品設(shè)計，支持軟硬件并行協(xié)同開發(fā)。這種提供邊緣AI和智能物聯(lián)網(wǎng)計算子系統(tǒng)全套軟硬件和工具鏈的方法，使得合作伙伴能夠在一系列性能點上快速開發(fā)，并聚焦于打造差異化價值。

此外，ArmEthosNPU在軟件工具鏈的一致性、易用性方面都有非常強大的優(yōu)勢。Arm生態(tài)系統(tǒng)合作伙伴們在使用最新的Ethos-U85時，可沿用之前Ethos的一系列工具鏈，例如Vela Compiler以及ML EvaluationKit都可從此前推出的Ethos-U55和Ethos-U65延展到Ethos-U85上，為開發(fā)者提供一致性的無縫開發(fā)體驗。

在這里，馬健著重強調(diào)Arm虛擬硬件對部署邊緣智能的助力作用。在云端進行AI開發(fā)時，相對來講，資源極其豐富，并且可以實現(xiàn)彈性擴展，所以開發(fā)者們不用擔(dān)心AI應(yīng)用程序在云端跑不起來。但是如果把AI應(yīng)用部署在邊緣側(cè)或端側(cè)，就會面臨硬件設(shè)備五花八門，外設(shè)和內(nèi)存配置不統(tǒng)一等諸多問題，但開發(fā)者又不可能買來所有配置的芯片和開發(fā)板進行測試。在這種情況下，使用基于Arm虛擬硬件對計算子系統(tǒng)或芯片開發(fā)板的仿真平臺，可以迅速便捷地實現(xiàn)模型與目標(biāo)硬件的適配。

Arm虛擬硬件已經(jīng)在本土的百度智能云上落地，并且在國內(nèi)的開發(fā)者社區(qū)中也正在進行基于Arm虛擬硬件的AI開發(fā)體驗創(chuàng)造營，歡迎志同道合的開發(fā)小伙伴一起加入。

在算力分配方面，不論是將AI的處理全權(quán)交給CPU，或是結(jié)合GPU或NPU等協(xié)同處理器一起提供支持，馬健很直接的表示，邊緣AI 的發(fā)展趨勢都與CPU相關(guān)。應(yīng)邊緣AI和嵌入式AI的市場需求，Arm推出了業(yè)界首款A(yù)I微加速器Ethos-U NPU， 包括Ethos-U55、Ethos-U65，以及最新發(fā)布的Ethos-U85。AI技術(shù)發(fā)展迅速，新模型、新算子還在不斷涌現(xiàn)，而NPU AI加速器無法完全保證支持所有AI應(yīng)用需要的算子。在這時CPU 是一個完美的補充，使應(yīng)用得以持續(xù)運行。而引入Helium 矢量擴展甚至是矩陣拓展的Arm Cortex-A應(yīng)用處理器和Cortex-M嵌入式處理器更需要在CPU處理器上實現(xiàn)高效的執(zhí)行。

展望未來，AI正處于非常迅速的發(fā)展初期，尤其是邊緣AI。Arm將持續(xù)通過強大的產(chǎn)品組合，對新的Transformer模型提供原生的支持，對工具鏈保持一致、易用的特性，幫助整個物聯(lián)網(wǎng)生態(tài)更容易實現(xiàn)AI和ML的轉(zhuǎn)型。在幫助生態(tài)減少碎片化方面，Arm作為一個領(lǐng)先的基礎(chǔ)計算平臺，始終聚焦軟件生態(tài)標(biāo)準(zhǔn)以及硬件標(biāo)準(zhǔn)的投入。例如，SystemReady標(biāo)準(zhǔn)的建立就是實現(xiàn)在不同的、有差異化的Arm計算平臺和芯片平臺上，實現(xiàn)標(biāo)準(zhǔn)的軟件包，比如Linux Ubuntu標(biāo)準(zhǔn)軟件包和Yocto等其他軟件包，無需改變就能運行在不同的Arm計算平臺上。

在中國本土市場，Arm和百度飛槳 (PaddlePaddle)這一主流的AI框架也做了和Arm生態(tài)鏈、工具鏈的整合，所有這些努力都是使生態(tài)能夠更加統(tǒng)一，使技術(shù)能夠更加標(biāo)準(zhǔn)化，最終目的是使 AI 和軟件開發(fā)者能夠更便利地基于Arm架構(gòu)、從云、邊、端打造統(tǒng)一的計算平臺，迅速地開發(fā)出所期望的新應(yīng)用。

基于此，馬健坦言，Arm 將成為未來邊緣 AI 發(fā)展與創(chuàng)新的堅實基石。

（本文來源于《EEPW》2024.5）