人工智能機(jī)器視覺(jué)需求猛增，sensAI重塑深度情境感知

智能手機(jī)和各類物聯(lián)網(wǎng)設(shè)備的指數(shù)級(jí)增長(zhǎng)推動(dòng)了網(wǎng)絡(luò)邊緣計(jì)算的發(fā)展，這些設(shè)備無(wú)處不在，但如果將其產(chǎn)生的全部數(shù)據(jù)都向云端發(fā)送，毫無(wú)疑問(wèn)將為云端處理帶來(lái)極大的負(fù)擔(dān)。因此，基于網(wǎng)絡(luò)邊緣的處理十分必要，不僅可以降低云端的網(wǎng)絡(luò)通信成本和云存儲(chǔ)成本，還能避免云端數(shù)據(jù)通道過(guò)載。

目前，網(wǎng)絡(luò)邊緣產(chǎn)品和應(yīng)用的開(kāi)發(fā)人員越來(lái)越多地采用人工智能和機(jī)器學(xué)習(xí)(AI/ML)算法來(lái)匹配和識(shí)別復(fù)雜的模式，以幫助分析數(shù)據(jù)并據(jù)此做出決策。事實(shí)上，AI/ML技術(shù)的使用增長(zhǎng)極其迅猛，ABI Research的數(shù)據(jù)顯示，預(yù)計(jì)到2024年，設(shè)備端AI推理功能將覆蓋60%的設(shè)備。

但許多可以利用AI/ML功能的網(wǎng)絡(luò)邊緣設(shè)備，往往需要在極其嚴(yán)苛的功耗限制下運(yùn)行，充一次電或者僅依靠收集和存儲(chǔ)能量就要工作幾個(gè)月甚至幾年。另一方面，近十年來(lái)AI模型快速發(fā)展，不斷有新的實(shí)現(xiàn)方式產(chǎn)生，需要有更出色的硬件來(lái)承載，這就需要硬件和算法上的優(yōu)化。

作為萊迪思推出的業(yè)界第一款用于網(wǎng)絡(luò)邊緣設(shè)備端AI處理的完整解決方案集合，SensAITM提供了供開(kāi)發(fā)人員評(píng)估、開(kāi)發(fā)和部署基于FPGA的機(jī)器學(xué)習(xí)/人工智能解決方案所需的全部資源，包括模塊化硬件平臺(tái)、演示示例、參考設(shè)計(jì)、神經(jīng)網(wǎng)絡(luò)IP核、軟件開(kāi)發(fā)工具和定制化設(shè)計(jì)服務(wù)，旨在解決系統(tǒng)對(duì)于日益嚴(yán)格的功耗和小尺寸(5mm2到100mm2)的要求，目前已演進(jìn)到最新的6.0版本。

初識(shí)sensAI 6.0

增強(qiáng)對(duì)高性能機(jī)器視覺(jué)AI解決方案的支持，是此次sensAI 6.0版本推出的初衷。根據(jù)IoT Analytics報(bào)告，2020年，制造業(yè)和工業(yè)中的人工智能機(jī)器視覺(jué)市場(chǎng)規(guī)模約為41億美元，預(yù)計(jì)到2025年將增加至152億美元，年復(fù)合年增長(zhǎng)率(GAGR)為30%，而傳統(tǒng)機(jī)器視覺(jué)部署的年復(fù)合增長(zhǎng)率僅為6.5%。

如此高的年復(fù)合增長(zhǎng)率是因?yàn)橄乱淮鷮?shí)時(shí)邊緣人工智能機(jī)器視覺(jué)的應(yīng)用，不僅限于質(zhì)量保證和產(chǎn)品檢測(cè)應(yīng)用，還要幫助制造商和使用者獲得更多的正常運(yùn)行時(shí)間、獲得預(yù)防性維護(hù)的能力、提高生產(chǎn)力和確保工人安全等諸多受益。

為順應(yīng)這一趨勢(shì)，sensAI 6.0對(duì)硬件平臺(tái)的支持從最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant，這也是萊迪思新推出的低功耗中端FPGA平臺(tái)。與此前的產(chǎn)品相比，Avant平臺(tái)在性能和硬件資源方面得到了進(jìn)一步的強(qiáng)化，例如邏輯單元容量達(dá)到了500K，相比以往100K-150K的配置，提升了5倍；帶寬提升了10倍，計(jì)算性能提升30倍。它的面世不但意味著萊迪思邁入了中端FPGA供應(yīng)商的行列，還打開(kāi)了一扇通往30億美元增量市場(chǎng)的新大門。

萊迪思sensAI 6.0解決方案集合

萊迪思sensAI 6.0解決方案集合中的IP核包括多種類型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一個(gè)CNN協(xié)處理器引擎，能讓開(kāi)發(fā)人員使用其他人發(fā)布的廣泛使用的各類CNN，例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)(ML)訓(xùn)練平臺(tái)，或者根據(jù)需要自定義CNN模型，再依托萊迪思FPGA的并行處理能力、分布式存儲(chǔ)器和DSP資源，極大簡(jiǎn)化了超低功耗AI設(shè)計(jì)的實(shí)現(xiàn)。

SensAI支持多種AI算法模型

軟件工具層面，sensAI Studio設(shè)計(jì)環(huán)境是一種基于圖形用戶界面(GUI)的工具，擁有AI模型庫(kù)，經(jīng)過(guò)配置和訓(xùn)練可適用于各類主流應(yīng)用場(chǎng)景，可幫助開(kāi)發(fā)人員快速構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用，此番在sensAI 6.0中與編譯器工具一起獲得更新，用以支持新的AI加速引擎。

Glance by Mirametrix^?計(jì)算機(jī)視覺(jué)軟件(V10.0)的更新，則主要集中在對(duì)用戶界面、攝像頭功能、外部用戶界面(UI)模式的優(yōu)化和低功耗FPGA的支持，是本次更新的重點(diǎn)內(nèi)容之一。

Glance是由Mirametrix公司開(kāi)發(fā)的注意力感應(yīng)軟件，軟件配合IR Camera(紅外攝像頭)可捕捉用戶的面部、眼睛和凝視動(dòng)作，從而了解用戶的意識(shí)和注意力。利用這項(xiàng)獨(dú)特的技術(shù)開(kāi)發(fā)的智能設(shè)備，能提供更自然和沉浸式的用戶體驗(yàn)和設(shè)備交互。2021年，萊迪思通過(guò)全現(xiàn)金方式交易收購(gòu)Mirametrix公司，將Mirametrix的專業(yè)知識(shí)與萊迪思創(chuàng)新的硬件和軟件解決方案堆棧相結(jié)合，從而創(chuàng)建出了一個(gè)從硬件到應(yīng)用層的端到端AI和計(jì)算機(jī)視覺(jué)解決方案。

塑造深度情境感知能力

萊迪思FPGA提供可編程I/O，經(jīng)配置可支持傳感器接口常用的多種電氣接口標(biāo)準(zhǔn)，公司還提供許多硬核和軟核IP模塊以支持不同的傳感器通信協(xié)議。由于FPGA長(zhǎng)期以來(lái)在傳感器融合方面具有顯著優(yōu)勢(shì)，因此萊迪思sensAI 6.0解決方案集合包括許多參考設(shè)計(jì)示例，演示了多種智能傳感器融合的應(yīng)用案例，它們可以同時(shí)運(yùn)行，實(shí)現(xiàn)深入的情景感知，例如：

●   人員偵測(cè)

該參考設(shè)計(jì)使用CMOS圖像傳感器持續(xù)檢測(cè)人員的存在。基于此設(shè)計(jì)的AI系統(tǒng)可以使用深度學(xué)習(xí)框架（例如Caffe或Tensorflow）更新所提供的訓(xùn)練模型來(lái)檢測(cè)和定位任何感興趣的目標(biāo)。該參考設(shè)計(jì)包括一個(gè)神經(jīng)網(wǎng)絡(luò)模型、一個(gè)訓(xùn)練數(shù)據(jù)集和可使用常用訓(xùn)練工具訓(xùn)練的腳本。

●   條形碼檢測(cè)和讀取

條形碼檢測(cè)和讀取是一種應(yīng)用程序，通常使用混合了傳統(tǒng)和基于AI/ML的算法的加速工業(yè)PC運(yùn)行。由于設(shè)計(jì)者希望降低部署成本，具有內(nèi)置條形碼讀取功能的攝像頭可以更簡(jiǎn)單地實(shí)現(xiàn)應(yīng)用程序。因此，此參考設(shè)計(jì)演示了使用CertusPro NX FPGA語(yǔ)音和視覺(jué)機(jī)器學(xué)習(xí)板的條形碼檢測(cè)，該板實(shí)現(xiàn)了基于Yolov5 NN模型的攝像頭條形碼檢測(cè)功能。

資料顯示，該參考設(shè)計(jì)允許640 x 480的圖像分辨率輸入，裁剪并縮小到160 x 120進(jìn)行處理，檢測(cè)結(jié)果可在FPGA內(nèi)疊加至輸入圖像的頂部。同時(shí)，使用Yolov5型網(wǎng)絡(luò)，實(shí)現(xiàn)了在小占地面積內(nèi)提高精度的目標(biāo)。

條形碼檢測(cè)和讀取參考設(shè)計(jì)

●   目標(biāo)檢測(cè)、分類、追蹤和計(jì)數(shù)

該參考設(shè)計(jì)提供了目標(biāo)檢測(cè)、分類、追蹤和計(jì)數(shù)的示例，擁有完整的設(shè)計(jì)，包括用于萊迪思開(kāi)發(fā)板的FPGA RTL、神經(jīng)網(wǎng)絡(luò)模型、示例訓(xùn)練數(shù)據(jù)集以及用于重新創(chuàng)建和更新設(shè)計(jì)的腳本。

目標(biāo)分類參考設(shè)計(jì)

●   手勢(shì)檢測(cè)

該參考設(shè)計(jì)使用IR圖像傳感器，實(shí)現(xiàn)了一個(gè)基于AI的低功耗手勢(shì)檢測(cè)系統(tǒng)。該參考設(shè)計(jì)提供了一個(gè)訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò)模型，方便用戶進(jìn)行修改。

●   人臉檢測(cè)

該參考設(shè)計(jì)使用圖像傳感器實(shí)現(xiàn)基于CNN的人臉識(shí)別，并且可以通過(guò)修改訓(xùn)練數(shù)據(jù)庫(kù)來(lái)識(shí)別其他類型的目標(biāo)。

●   關(guān)鍵詞檢測(cè)

該參考設(shè)計(jì)使用數(shù)字MEMS麥克風(fēng)持續(xù)檢測(cè)關(guān)鍵詞話語(yǔ)。設(shè)計(jì)人員可以使用深度學(xué)習(xí)框架（例如Caffe、Tensorflow或Keras）更新提供的訓(xùn)練數(shù)據(jù)集，為系統(tǒng)添加喚醒詞功能。參考設(shè)計(jì)包括一個(gè)訓(xùn)練數(shù)據(jù)集、可使用常用神經(jīng)網(wǎng)絡(luò)訓(xùn)練工具訓(xùn)練的腳本以及一個(gè)神經(jīng)網(wǎng)絡(luò)模型，方便用戶進(jìn)行修改。

與此同時(shí)，萊迪思還正與合作伙伴和客戶合作，利用多模式、智能傳感器融合和AI/ML技術(shù)，不斷提升PC/筆記本電腦用戶的體驗(yàn)，并顯著降低筆記本電腦的運(yùn)行功耗，在某些應(yīng)用中，電池使用時(shí)間最多提高了28%。

結(jié)語(yǔ)

此次更新的Automate?3.0和sensAI?6.0解決方案集合，均在萊迪思低功耗FPGA上運(yùn)行，可實(shí)現(xiàn)高效、靈活和安全的工業(yè)應(yīng)用開(kāi)發(fā)，同時(shí)帶來(lái)低功耗和小尺寸優(yōu)勢(shì)。設(shè)計(jì)人員可以在不依賴云端的情況下，快速為網(wǎng)絡(luò)邊緣設(shè)備提供更多計(jì)算資源，從而最大程度幫助客戶實(shí)現(xiàn)最新的工廠自動(dòng)化和工業(yè)機(jī)器視覺(jué)應(yīng)用。