TinyML前進物聯(lián) MCU深度學習成為可能

物聯(lián)網(wǎng)正加速帶動人工智能走向終端裝置，我們可以看到市場繼續(xù)保持積極的成長趨勢。市場也期待有更多的人工智能物聯(lián)網(wǎng)設(shè)備在市場上普及，并深入包括消費性物聯(lián)網(wǎng)設(shè)備、工業(yè)應用和網(wǎng)絡(luò)、還有與視覺、語音和聲音影像相關(guān)的邊緣應用。

AI的應用案例正在推動著龐大的物聯(lián)網(wǎng)運算需求，而這背后都需要透過MCU來釋放這些運算能量。我們也可以看出市場上的MCU解決方案基本上有兩大發(fā)展趨勢，用以支持新一代的機器學習（Machine Learning；ML）運算能力。一是提高MCU本身的運算性能及能力，例如從Arm Cortex M0+提升到M4、M33和M7等。另一種則是透過在MCU中整合機器學習加速器或DSP等，來強化ML運算能力。

智能系統(tǒng)主架構(gòu)
恩智浦半導體大中華區(qū)資深營銷經(jīng)理黃健洲指出，物聯(lián)網(wǎng)對于未來智能化系統(tǒng)的重要性不言可喻。物聯(lián)網(wǎng)被視為未來各種智能化系統(tǒng)的主要架構(gòu)，透過底層感測網(wǎng)絡(luò)、中間通訊傳輸與上層云端平臺的組合，讓信息無縫流動，進而延伸出更多應用，賦予更智能的生活體驗。不過隨著物聯(lián)網(wǎng)應用多元化、許多應用或因功能安全或因直觀需要實時反應，集中式運算的物聯(lián)網(wǎng)架構(gòu)已難因應所有領(lǐng)域，因此系統(tǒng)終端開始被賦予一定程度的運算能力，以提升實時反應功能。

 

圖一 : 恩智浦半導體大中華區(qū)資深營銷經(jīng)理黃健洲

過去的物聯(lián)網(wǎng)架構(gòu)中，數(shù)據(jù)需要從底層傳回云端平臺，再從云端平臺下指令由終端設(shè)備動作，對工廠、汽車或智能家電這類需要高實時性的系統(tǒng)來說，一來一往的訊息傳遞極為耗時，因此具備運算能力的終端設(shè)備。這類終端設(shè)備可在本地處理指令，快速響應用戶需求。

但最重要的是，因為物聯(lián)網(wǎng)的應用多元，每一類型的應用架構(gòu)都可找到最適合的效能架構(gòu)，如何讓資源使用優(yōu)化，落實物盡其用的愿景，是目前設(shè)計工程師最需要的考慮的方向。

先進制程將幫助打造更快速、更有效率的運算架構(gòu)，能夠有效管理實時分析及運用大量由終端裝置所產(chǎn)生的數(shù)據(jù)數(shù)據(jù)，因應用戶在不同情境下的需求，在短時間內(nèi)精確處理海量的數(shù)據(jù)，并做出最正確的判斷與實時的反應。

TinyML打造智能聯(lián)網(wǎng)設(shè)備
TinyML可望在未來五年內(nèi)獲得超過700億美元的收益，其目的就在提升物聯(lián)網(wǎng)設(shè)備易用性，并改變智能物聯(lián)的未來前景。
將運算從云端轉(zhuǎn)移至邊緣端，甚至是終端裝置，一直是這幾年產(chǎn)業(yè)的大趨勢，這使得Edge AI及End-point AI成為近幾年熱門的話題。當然產(chǎn)業(yè)也開始重視MCU-based AI應用，從嵌入式機器學習（Embedded ML）到微型機器學習（TinyML）都開始受到關(guān)注。TinyML被視為是快速發(fā)展的機器學習技術(shù)應用領(lǐng)域，從硬件、算法到應用軟件，都能以極低的功耗來執(zhí)行設(shè)備上的傳感器數(shù)據(jù)分析，并實現(xiàn)各種長時間運作的應用，滿足電池長期供電的設(shè)備需求，因此特別適合用于物聯(lián)網(wǎng)設(shè)備。

TinyML將邊緣AI更進一步深化，使得在微控制器（MCU）上運行深度學習模型成為可能。比起一些小型的處理器，MCU的資源受限得多。目前MCU價格很便宜，平均銷售價格約低于0.50美元，而且它們無所不在，嵌入到消費端和工業(yè)設(shè)備之中。因此，如果在MCU上導入深度學習模型，就可以為許多應用開啟新的應用。

深度學習模型最初的成功，要歸功于具有海量存儲器和GPU資源的大型服務器。深度學習的前景催生了整個深度神經(jīng)網(wǎng)絡(luò)的云端運算產(chǎn)業(yè)，在幾乎無限制的云端資源上運行超大型神經(jīng)網(wǎng)絡(luò)是件很酷的事情，特別是針對那些有能力支付大筆開銷的大型企業(yè)。然而在此同時，近年來我們也看到了新的趨勢，也就是在邊緣設(shè)備上也開始需要導入機器學習模型。這些模型就是TinyML，這適合用在記憶容量與運算能力有限的物聯(lián)網(wǎng)設(shè)備上。

隨著半導體技術(shù)的快速提升，現(xiàn)在可以說是在物聯(lián)網(wǎng)終端裝置上，設(shè)計與部署真正智能的好時機。具備感知環(huán)境能力的裝置，能為其搜集到的數(shù)據(jù)與促成的服務，創(chuàng)造極大的價值。硬件與軟件近年來的發(fā)展，能夠為原本資源受限的終端裝置平臺增添更多的運算效能，促成大幅度的改變，讓開發(fā)人員可以為終端裝置導入真正的智能，并打造出視覺、語音與震動的能力。

智能聯(lián)網(wǎng)組件的選擇考慮
實時性與低延遲
Arm AIoT方案資深經(jīng)理黃晏祥指出，許多情況下，將數(shù)據(jù)發(fā)送回云端進行處理是不可行的。減少數(shù)據(jù)往返時間不僅可以提高響應時間，而且在工業(yè)制造等作業(yè)中，實時處理對安全和營運相當重要。同樣的原則也適用于車聯(lián)網(wǎng)的場景。因此，在智慧化的物聯(lián)網(wǎng)應用當中，可運用ML來更快獲得訊息，并以極低延遲的效率傳遞給人或機器。

 

圖二 : Arm AIoT方案資深經(jīng)理黃晏祥

安全與隱私保護
當物聯(lián)網(wǎng)裝置被廣泛部署，而裝置上又收集到許多數(shù)據(jù)數(shù)據(jù)，甚至有些機敏的數(shù)據(jù)，使得信息安全對于物聯(lián)網(wǎng)從端到云的整個過程也都極為重要。企業(yè)在布署物聯(lián)網(wǎng)時，對于遵從哪套標準也可能莫衷一是。Arm推動的PSA認證制度，就是希望能提供業(yè)界一致的安全標準。

規(guī)?；c經(jīng)濟效益
物聯(lián)網(wǎng)最大的挑戰(zhàn)之一就是碎片化。之前許多企業(yè)傾向采用專用（proprietary）系統(tǒng)，造成物聯(lián)網(wǎng)不易擴大規(guī)模，導致經(jīng)濟效益不彰。Arm Project Centauri目的在于建立一套開放標準架構(gòu)，可以先就底層作業(yè)預作處理，并簡化設(shè)計流程，物聯(lián)網(wǎng)開發(fā)者可針對特定應用場景進行差異化開發(fā)。同時，物聯(lián)網(wǎng)相關(guān)應用也能更容易地進行開發(fā)，更快的反應市場趨勢并掌握商機，以提高企業(yè)的投資報酬率。

低功耗及易于使用
TinyML的導入，在硬件層面需要解決對于極低功耗的要求，在軟件層面則需要滿足易于使用與移植的特性。

結(jié)語
根據(jù)預測，到2030年，大約有20億臺設(shè)備將透過TinyML技術(shù)進入市場，并透過具有成本效益的方式，創(chuàng)造智能設(shè)備來造福市場使用者。至于在經(jīng)濟方面，TinyML可望在未來五年內(nèi)獲得超過700億美元的收益。TinyML目的就在于提升物聯(lián)網(wǎng)設(shè)備的應用易用性，并且改變智能化物聯(lián)設(shè)備的未來前景。