機(jī)器學(xué)習(xí)趨向邊緣：性能與成本的平衡帶來更廣泛的應(yīng)用

作者：Alexandra Dopplinger，恩智浦工業(yè)產(chǎn)品市場營銷經(jīng)理、注冊工程師

一直以來，科幻小說和電影都將機(jī)器刻畫成擁有完全自主能力和智慧的存在，遠(yuǎn)超普通人類。這些內(nèi)容讓人倍感激動，并提出了一些具有挑戰(zhàn)性的問題，但是我們距離能將這些虛擬構(gòu)建的內(nèi)容變成能夠在真實世界中存在的機(jī)器還有多遠(yuǎn)呢？

就像每部優(yōu)秀的電影一樣，技術(shù)進(jìn)步的條件也是：具有足夠的利益驅(qū)動、基礎(chǔ)足夠牢靠、商業(yè)案例切實可行并有優(yōu)秀的人才配合實施計劃?，F(xiàn)在，所有這些條件都已經(jīng)具備，機(jī)器學(xué)習(xí)的發(fā)展勢頭也非常迅猛，已經(jīng)廣泛用于各種范圍的應(yīng)用，例如，語音識別和控制、人臉識別和身份識別、智能檢測和手勢控制、物體檢測和識別、異常檢測和增強(qiáng)現(xiàn)實等。

在我們深入探討之前，需要先解釋一些常見的機(jī)器學(xué)習(xí)術(shù)語。

人工智能(AI)是一個非常寬泛的概念，是指使用機(jī)器完成“智能”的事情并像人一樣能夠決策和行動。在這一領(lǐng)域的解決方案一直都非常專業(yè)且門檻很高。

機(jī)器學(xué)習(xí)(ML)是實施AI的眾多方法之一。這個概念是如果您向自學(xué)習(xí)機(jī)器發(fā)送大量數(shù)據(jù)，讓它們學(xué)習(xí)如何自行判斷并完成任務(wù)，而不需要針對每個行為進(jìn)行明確編程。這樣的事情正在發(fā)生，并且迅速得到廣泛應(yīng)用。

深度學(xué)習(xí)是實施機(jī)器學(xué)習(xí)的眾多方法之一，通常使用神經(jīng)網(wǎng)絡(luò)(NN)完成學(xué)習(xí)階段，來自動決定最相關(guān)的數(shù)據(jù)部分，加以分析，進(jìn)而推理出最合適的響應(yīng)。NN技術(shù)在訓(xùn)練階段需要海量數(shù)據(jù)，因此，這一方面的研究和發(fā)展還有很大的提升空間。

平衡機(jī)器學(xué)習(xí)的性能與成本

機(jī)器學(xué)習(xí)研究和開發(fā)之初使用的是全球最強(qiáng)大的計算機(jī)，而且許多訓(xùn)練和推理仍需在云端的超級計算機(jī)和服務(wù)器區(qū)上完成。但是現(xiàn)在，技術(shù)已經(jīng)進(jìn)步到足以將機(jī)器學(xué)習(xí)從云端移動到邊緣，這樣更實用。

我們?yōu)槭裁匆谶吘墝嵤C(jī)器學(xué)習(xí)？主要是為了提升用戶體驗。人們不希望設(shè)備花費太長時間來識別人臉和服從命令。如果在云端完成識別和響應(yīng)，這很可能出現(xiàn)延遲、降低可靠性，并且更可能出現(xiàn)不合適的響應(yīng)。

服務(wù)型機(jī)器人、無人機(jī)和自動駕駛車輛等可以移動的機(jī)器對邊緣端機(jī)器學(xué)習(xí)具有更大的需求，因為它們必須持續(xù)收集傳感器輸入、推理出設(shè)備目前的狀態(tài)并在毫秒內(nèi)決策下一步行動。物理定律限制了通過無線連接到遙遠(yuǎn)的云端服務(wù)器來進(jìn)行如此密集的數(shù)據(jù)收集和實時響應(yīng)。簡而言之，可以移動的自動化機(jī)器需要完全獨立、可靠的機(jī)載學(xué)習(xí)和決策制定。

許多人和機(jī)器都需要保護(hù)隱私、保護(hù)重要數(shù)據(jù)和通信內(nèi)容，以防遭受黑客攻擊和復(fù)制。我們發(fā)現(xiàn)，防止未經(jīng)授權(quán)的應(yīng)用使用語音、視頻和傳感器數(shù)據(jù)的需求越來越高。顯而易見，當(dāng)原始數(shù)據(jù)存放在本地邊緣機(jī)器上時，很少甚至不需要向云端傳輸數(shù)據(jù)，這樣更容易保護(hù)用戶的安全與隱私。

最后，技術(shù)成本已經(jīng)降低到足夠低的水平，以便將機(jī)器學(xué)習(xí)處理應(yīng)用在樓宇、家庭和車內(nèi)的邊緣設(shè)備中?，F(xiàn)有的云端帶寬、處理和存儲費用可在以后進(jìn)一步降低甚至消除，這可以抵消將機(jī)器學(xué)習(xí)從云端遷移到各類型邊緣設(shè)備或傳感器節(jié)點所帶來的成本。

開啟機(jī)器學(xué)習(xí)革新

恩智浦及其和合作伙伴一直以來不斷合作，提供集成式硬件、軟件和工具，開始為實際應(yīng)用開發(fā)價格合理且實用的機(jī)器學(xué)習(xí)解決方案。通過合作，我們正在構(gòu)建業(yè)內(nèi)最廣泛、可擴(kuò)展性最高、基于Arm?技術(shù)的處理平臺，它可以允許任何開發(fā)擴(kuò)展或收縮，以針對每個特定用例制定高性價比解決方案。這會使軟件和平臺得以高度再利用，并降低維護(hù)和擁有成本。

作為開展機(jī)器學(xué)習(xí)的第一步，許多NN解決方案在復(fù)雜的集中式計算平臺上建造訓(xùn)練模型或推理引擎，之后還可以在邊緣端的小型設(shè)備上運(yùn)行。訓(xùn)練模型或推理引擎是一組數(shù)學(xué)等式，可以檢測或識別對象、語言或預(yù)期行為中的變化。TensorFlow和Caffe是使用應(yīng)用編程接口(API)來解決復(fù)雜數(shù)學(xué)問題的框架示例，使在不同平臺和硬件資源類型之間遷移訓(xùn)練模型和應(yīng)用變得更加簡單。

下一步是從大量市面上已經(jīng)存在的平臺中選擇一個并將訓(xùn)練模型遷移到這個平臺。用于低帶寬傳感器輸入的機(jī)器學(xué)習(xí)通常可以由基于Arm Cortex?-M4或Cortex-M7技術(shù)的超低成本MCU（例如恩智浦的i.MX RT跨界處理器）處理。典型功能包括關(guān)鍵詞聲學(xué)檢測、特殊聲音或異常情況偵測，例如振動或環(huán)境異常變化。  對于有限數(shù)量的人或單詞，人臉和語音識別也可以使用基于Cortex-M的微控制器運(yùn)行。

隨著復(fù)雜性的增加，尤其是在使用攝像頭傳感器輸入的情況下，可能會需要使用具有多核處理能力的設(shè)備，例如，具有一到四個Arm Cortex-A53內(nèi)核、以及一個Cortex-M7內(nèi)核的i.MX 8M Nano應(yīng)用處理器，具有OpenCL功能的GPU，MIPI-CSI攝像頭輸入和許多其他集成功能?，F(xiàn)在只需149.00美元，您就可以在https://coral.withgoogle.com上購買完整的Google Coral?開發(fā)板，用于高速和低功耗機(jī)器學(xué)習(xí)推理。通過該平臺，您能夠利用小尺寸(40 x 48 mm)量產(chǎn)型片上系統(tǒng)(SoC)快速從原型擴(kuò)展到生產(chǎn)，該系統(tǒng)內(nèi)置運(yùn)行Linux?操作系統(tǒng)的i.MX 8M四核應(yīng)用處理器、eMMC內(nèi)存、LPDDR4 RAM、Wi-Fi?和藍(lán)牙無線電以及Google強(qiáng)大的Edge TPU協(xié)處理器。Edge TPU是Google設(shè)計的一款小型ASIC，可在低功耗（4 TOPS，2W）下提供高性能的機(jī)器學(xué)習(xí)推理，并能夠以高于每秒100幀的速度運(yùn)行MobileNet v2等移動視覺模型。

為了獲得更高的對象識別能力，您也可以使用i.MX 8QuadMax等應(yīng)用處理器，這類處理器集成了兩個Cortex-A72、四個Cortex-A53、兩個Cortex-M4內(nèi)核、兩個具有OpenCL和OpenVX視覺擴(kuò)展的GPU、一個DSP、最多可處理八個單通道攝像頭的八個MIPI-CSI通道以及其他多通道攝像頭組合。Basler（德國）和Congatec（德國）在i.MX 8QuadMax上展示了其組合的機(jī)器視覺和對象識別購物解決方案，并且正在遷移到i.MX 8M系列以進(jìn)一步優(yōu)化成本。

有了這些可供選擇的硬件解決方案后，接下來我們還需要工具來優(yōu)化性能、降低系統(tǒng)成本、增加響應(yīng)時間和準(zhǔn)確性，以及優(yōu)化每個訓(xùn)練模型或推理引擎使用片上資源的方式。

機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境

隨著機(jī)器學(xué)習(xí)遷移到邊緣，最大的挑戰(zhàn)之一是在資源受限的設(shè)備上部署機(jī)器學(xué)習(xí)應(yīng)用，尤其是已經(jīng)在云中構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用的情況下。為了直接在邊緣設(shè)備上運(yùn)行，必須優(yōu)化這些模型并將其與支持特定計算機(jī)硬件類型的推理引擎（即CPU、GPU、DSP或機(jī)器學(xué)習(xí)加速器）進(jìn)行匹配。

Au-Zone Technologies Inc.提供了許多帶工具的機(jī)器學(xué)習(xí)演示，可以優(yōu)化各種設(shè)備的解決方案。他們的DeepView?機(jī)器學(xué)習(xí)工具包和RunTime推理引擎可幫助開發(fā)人員在各種嵌入式MCU、CPU、GPU和機(jī)器學(xué)習(xí)加速器上快速設(shè)計、訓(xùn)練和部署深度學(xué)習(xí)網(wǎng)絡(luò)。Au-Zone的智能物聯(lián)網(wǎng)開發(fā)套件建立在機(jī)器學(xué)習(xí)工具包的基礎(chǔ)上，提供一系列經(jīng)過驗證的傳感器、處理器和模型組合，以支持極其快速的原型制作、定制和商業(yè)部署。

恩智浦的eIQ?機(jī)器學(xué)習(xí)軟件開發(fā)環(huán)境支持具有推理引擎、神經(jīng)網(wǎng)絡(luò)編譯器和優(yōu)化庫的機(jī)器學(xué)習(xí)算法，這些算法專門針對恩智浦MCU、i.MX RT跨界處理器和i.MX應(yīng)用處理器。eIQ利用了開源技術(shù)，并且已完全集成到恩智浦MCUXpresso軟件開發(fā)套件(SDK)和Yocto開發(fā)環(huán)境中。可以處理所有機(jī)器學(xué)習(xí)軟件的依賴關(guān)系，包括將先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)連接到底層計算引擎所需的必要硬件抽象層，從而幫助開發(fā)者更輕松地開發(fā)完整的系統(tǒng)級應(yīng)用。

在此視頻中，Arcturus Networks Inc.介紹了他們使用eIQ開發(fā)環(huán)境遷移ArmNN和OpenCV模型以確保公共安全的經(jīng)驗。

eIQ軟件開發(fā)環(huán)境正在迅速擴(kuò)展。  我們已經(jīng)部署并優(yōu)化了其對多種技術(shù)的支持，例如CMSIS-NN、TensorFlow、TensorFlow Lite、OpenCV和Arm NN。eIQ軟件結(jié)合示例應(yīng)用進(jìn)行對象檢測和語音識別，為在邊緣部署機(jī)器學(xué)習(xí)奠定了基礎(chǔ)。正在進(jìn)行或計劃進(jìn)行進(jìn)一步開發(fā)以提供：

?      基于目前熱門的的神經(jīng)網(wǎng)絡(luò)框架（例如TensorFlow、Caffe和ONNX）導(dǎo)入預(yù)訓(xùn)練模型的準(zhǔn)則

?      端到端示例應(yīng)用演示了典型的客戶用例，例如，攝像頭推理引擎

?      支持新興的神經(jīng)網(wǎng)絡(luò)編譯器，例如，GLOW

?      一套傳統(tǒng)機(jī)器學(xué)習(xí)算法，例如支持矢量機(jī)器(SVM)和隨機(jī)森林

云端解決方案

盡管在本地計算機(jī)上運(yùn)行機(jī)器學(xué)習(xí)模型有明顯的好處，但是我們不能忽視由Amazon和Microsoft等領(lǐng)先服務(wù)供應(yīng)商提供、基于云的熱門機(jī)器學(xué)習(xí)解決方案的優(yōu)勢。他們提供語音、視覺和其他機(jī)器學(xué)習(xí)服務(wù)，以及強(qiáng)大的開發(fā)工具包，這些工具包易于使用、成本低廉且工作量最少。

Amazon的參考解決方案可以幫助您使用內(nèi)置的Alexa?語音服務(wù)(AVS)來創(chuàng)建交互式產(chǎn)品。這些工具包包括芯片組、語音處理技術(shù)和客戶端軟件，經(jīng)過認(rèn)證可以利用在各種處理器上運(yùn)行的AVS應(yīng)用編程接口，可從官網(wǎng)訂購。

Microsoft通過由恩智浦i.MX RT106C跨界處理器支持的Azure IoT異常檢測解決方案，為Azure IoT用戶帶來了人工智能(AI)和機(jī)器學(xué)習(xí)(ML)功能。該工具箱提供一整套傳感器和相關(guān)的異常檢測工具箱，利用各種機(jī)器學(xué)習(xí)算法，如隨機(jī)森林和簡單向量機(jī)(SVM)，模擬設(shè)備的正常行為，并通過本地和云組合機(jī)制，檢測異常行為。對于旋轉(zhuǎn)組件、狀態(tài)檢測和入侵檢測的預(yù)測性維護(hù)應(yīng)用等，這樣可以在保持完整的在線日志記錄和處理能力的同時大幅降低云帶寬要求。

微軟和恩智浦還宣布攜手合作，提供新的Microsoft Azure Sphere認(rèn)證跨界應(yīng)用處理器，以在邊緣節(jié)點處理器上無縫運(yùn)行Azure Sphere安全平臺，該處理器將提供多核異構(gòu)計算、豐富的圖形體驗和低功耗音頻處理能力。

恩智浦將繼續(xù)與領(lǐng)先的軟件和硬件公司、研究人員和分銷商合作，提供機(jī)器學(xué)習(xí)解決方案，涵蓋范圍從通用示例代碼和參考設(shè)計，到經(jīng)認(rèn)證的即用型專用平臺，可以讓您靈活地添加自定義功能。

技術(shù)已經(jīng)準(zhǔn)備就緒，恩智浦也已經(jīng)準(zhǔn)備就緒，助您將機(jī)器學(xué)習(xí)理念發(fā)展為現(xiàn)實世界中價格合理且安全的產(chǎn)品。