MCX N系列微處理器之NPU使用方法簡介

MCX N系列是高性能、低功耗微控制器，配備智能外設(shè)和加速器，可提供多任務(wù)功能和高能效。部分MCX N系列產(chǎn)品包含恩智浦面向機器學習應(yīng)用的eIQ? Neutron神經(jīng)處理單元(NPU)。低功耗高速緩存增強了系統(tǒng)性能，雙塊Flash存儲器和帶ECC檢測的RAM支持系統(tǒng)功能安全，提供了額外的保護和保證。這些安全MCU包含恩智浦EdgeLock?安全區(qū)域Core Profile，根據(jù)設(shè)計安全方法構(gòu)建，提供具有不可變信任根和硬件加速加密的安全啟動。

MCX N系列微型處理器：MCXN94xMCXN54x基于兩個高性能的Arm? Cortex?-M33核心構(gòu)建，核心運行速度可達150 MHz。它配備了2MB的板載閃存（Flash），并可選擇配置完整的ECC（錯誤校正碼）RAM，同時集成了一款專屬的神經(jīng)處理單元（eIQ Neutron NPU）。該NPU在機器學習（ML）任務(wù)處理速度上，比M33核心快出40倍，顯著減少了設(shè)備的喚醒時間，并有效降低了總體功耗。

eIQ Neutron NPUs能夠支援包括CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、TCN（時間卷積網(wǎng)絡(luò)）以及Transformer等多種類型的神經(jīng)網(wǎng)絡(luò)。利用eIQ Neutron NPU進行機器學習應(yīng)用的開發(fā)，將得到eIQ機器學習軟件開發(fā)環(huán)境的全方位支持。eIQ Neutron NPU系統(tǒng)框圖如下所示：

NPU由計算單元，權(quán)重解碼器，量化器，優(yōu)化函數(shù)加速器，RAM以及DMA快速訪問接口組成，其ML算力可達4.8G。強大的算力給ML推理帶來極大的加速，在TinyML Perf benchmark測試模型上的性能對比如下圖所示：

圖中表示NPU的性能提升倍數(shù)，綠色柱體代表M33，藍色柱體代表NPU基于M33的提升倍數(shù)。從圖中可以看到Anomaly Detect異常檢測模型NPU提供8倍的性能提升，Keyword spotting關(guān)鍵詞檢測模型NPU提供15倍的提升，Resnet圖像分類模型NPU提供38倍的性能提升，Visual Wake Word模型NPU提供28倍的性能提升。

對于不同類型的模型，NPU的加速效果略有不同。Resnet主要是由卷積網(wǎng)絡(luò)構(gòu)成，NPU的主要計算單元是乘累加計算器，并且通道間權(quán)重是共享的，所以NPU對卷積網(wǎng)絡(luò)性能提升是最大的，異常檢測模型主要由全連接網(wǎng)絡(luò)組成，全連接網(wǎng)絡(luò)的權(quán)重無法共享故而無法最大限度的利用NPU，所以全連接網(wǎng)絡(luò)的加速是最小的。

推理速度的提升必然會減少核心的運行時間從而降低了整體的功耗，打開NPU會額外增加1.4mA（3.3V）的電流，相比運算速度的提升，這個增量可以忽略不記。

從運行時序圖上看，NPU使能后Core的大部分時間是在休眠狀態(tài)，如果不在NPU上推理模型，Core基本一直處于運行狀態(tài)，NPU節(jié)能效果顯而易見。

（作者：Tony Zhang 來源：恩智浦MCU加油站）