賽靈思AI產(chǎn)品方向及市場應(yīng)用

1   嵌入式開發(fā)挑戰(zhàn)及賽靈思的解決方案

在嵌入式AI 產(chǎn)品落地的過程中，開發(fā)者遇到最多的問題或者說挑戰(zhàn)主要有三個(gè)：①該方案是否靈活可擴(kuò)展，能夠適配不同規(guī)模的產(chǎn)品？②是否有簡單易用的AI 開發(fā)工具以降低FPGA 開發(fā)門檻？③如何突破瓶頸，在算力有限的邊緣端實(shí)現(xiàn)最大性能？ 

賽靈思在2020 年初正式推出了Vitis^TM AI 解決方案，它是一套面向賽靈思自適應(yīng)  Zynq? SoC，Zynq? MPSoC，Alveo?及Versal? ACAP 的AI開發(fā)平臺(tái)，它能夠?yàn)橛脩魩碜顝?qiáng)大的機(jī)器學(xué)習(xí)加速性能，這主要通過方案中的神經(jīng)網(wǎng)絡(luò)加速引擎DPU、一系列自動(dòng)化軟件工具（定點(diǎn)器、編譯器、優(yōu)化器）和AI運(yùn)行時(shí)來實(shí)現(xiàn)。 

與傳統(tǒng)的基于RTL語言開發(fā)AI加速IP方案的最大不同在于，VitisTMAI 向用戶提供一個(gè)通用的且可配置的神經(jīng)網(wǎng)絡(luò)加速引擎DPU，同時(shí)，所配套的軟件工具也都完全一致，這就保證了開發(fā)者在不同大小的器件、甚至不同工藝制程的器件上靈活切換的可能。其次，VitisTM AI支持主流的機(jī)器學(xué)習(xí)框架，如Pytorch，Tensorflow 和Caffe；在開放模型庫AI model zoo中涵蓋了上百個(gè)經(jīng)過充分優(yōu)化、驗(yàn)證及部署的模型文件，其中不乏業(yè)界最先進(jìn)的3D目標(biāo)檢測算法、多任務(wù)學(xué)習(xí)算法、超分辨率增強(qiáng)算法，或時(shí)下最流行的Yolo、Mobilenet、RefineDet、ResNet 系列，用戶可以免費(fèi)下載或重新訓(xùn)練；此外，對(duì)賽靈思AI部署環(huán)節(jié)的軟件庫AI Library 也做了專門的優(yōu)化，除了用自動(dòng)化的定點(diǎn)器和編譯器將模型轉(zhuǎn)化為可部署形式外，用戶還可以直接調(diào)用相應(yīng)的軟件API，無需額外開發(fā)，從而實(shí)現(xiàn)快速部署。最后，為了幫助客戶實(shí)現(xiàn)邊緣端的性能突破，賽靈思在基于VitisTM 統(tǒng)一軟件開發(fā)平臺(tái)環(huán)境中，集成了大量經(jīng)過底層優(yōu)化的加速庫，通過C++、OpenCL library 的方式提供給用戶，所以除了DPU 對(duì)AI 部分的加速以外，我們對(duì)包括前處理、后處理的整體應(yīng)用（全流程）都可以加速，從而可實(shí)現(xiàn)邊緣端應(yīng)用的性能最大化。 

2   關(guān)注汽車、智慧城市、工業(yè)等領(lǐng)域

 賽靈思（Xilinx）在嵌入式人工智能領(lǐng)域主要關(guān)注ADAS 及自動(dòng)駕駛，智慧城市，醫(yī)療，工業(yè)視覺這幾個(gè)領(lǐng)域。

 1）賽靈思在汽車領(lǐng)域已深耕多年，隨著汽車產(chǎn)業(yè)向高度自動(dòng)化和全自動(dòng)駕駛方向發(fā)展，賽靈思也不斷在探索提供符合汽車質(zhì)量要求的自適應(yīng)系列芯片及AI 解決方案。具體來說，賽靈思主要關(guān)注前視、后視、環(huán)視、盲區(qū)檢測、自動(dòng)泊車、智能座艙及多傳感器融合等，覆蓋從L2 到L5 級(jí)別的ADAS 及自動(dòng)駕駛領(lǐng)域的應(yīng)用。 

2）我們知道，汽車是一個(gè)特殊的場景，它對(duì)整個(gè)ADAS 或自動(dòng)駕駛系統(tǒng)的實(shí)時(shí)性和正確性有極高的要求，這就需要嵌入式芯片具備卓越的AI加速能力，以實(shí)現(xiàn)低時(shí)延、靈活應(yīng)變的芯片架構(gòu)，以適配不同的軟硬件工作負(fù)載，此外還需要滿足行業(yè)最高的可靠性測試標(biāo)準(zhǔn)，而賽靈思恰恰具備了這些能力。賽靈思在2021年6 月推出7 nm VersalTM AI Edge  系列，和當(dāng)前Zynq UltraScale+? MPSoC 系列，都涵蓋了汽車等級(jí)，并提供行業(yè)領(lǐng)先的算力及靈活性。 

其實(shí)，賽靈思在目前基于Zynq UltraScale+ MPSoC 的16nm 器件上，已經(jīng)取得了許多量產(chǎn)成績，例如斯巴魯?shù)腅yeSight選擇了賽靈思產(chǎn)品實(shí)現(xiàn)其ADAS系統(tǒng)中自適應(yīng)巡航控制、車道保持輔助和預(yù)碰撞制動(dòng)等功能；在低速駕駛方案中，自動(dòng)泊車輔助（AVA）和代客自動(dòng)泊車（AVP）也有多家客戶選擇XA 系列芯片及VitisTM AI 來實(shí)現(xiàn)環(huán)視系統(tǒng)的AI加速。 

對(duì)于ADAS和自動(dòng)駕駛而言，為了保證車輛行駛中決策和控制的快速性及正確性，多傳感器融合是一個(gè)必然的趨勢(shì)。如今，汽車搭載了越來越多的傳感器，如攝像頭、雷達(dá)、激光雷達(dá)、毫米波雷達(dá)、超聲波等，賽靈思也為這種多傳感器架構(gòu)帶來了巨大價(jià)值。賽靈思產(chǎn)品一方面能夠增強(qiáng)高級(jí)信號(hào)處理、點(diǎn)云預(yù)處理，另一方面，通過Vitis AI還可以實(shí)現(xiàn)點(diǎn)云機(jī)器學(xué)習(xí)加速、Image-Lidar  融合算法加速、4D 雷達(dá)機(jī)器學(xué)習(xí)加速等；這些在汽車多傳感器方案，甚至5G結(jié)合AI的車路協(xié)同中都扮演重要的角色。

3）賽靈思產(chǎn)品在智慧城市領(lǐng)域已有廣泛的應(yīng)用，如智慧交通、智慧零售、智慧樓宇等。賽靈思產(chǎn)品除了本身具備靈活的I/O，支持MIPI、LVDS和多種傳感器接口、靈活的ISP 支持策略、H264/H265 視頻編解碼處理單元等能力以外，還具備強(qiáng)大的實(shí)時(shí)AI處理能力。2021年4 月，賽靈思面向邊緣計(jì)算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260 視覺開發(fā)套件。同樣得益于VitisTM AI 所帶來的AI性能加速，用戶能夠在相關(guān)的邊緣設(shè)備上實(shí)現(xiàn)多路、最高分辨率達(dá)4k、60幀的實(shí)時(shí)人臉檢測、ID跟蹤等功能；此外，Kria SoM 也完全兼容賽靈思開放式AI 模型庫，用戶可以從中選取模型任意切換或重新訓(xùn)練部署，總之，Kria SoM 非常適合智能相機(jī)、嵌入式視覺及其它安全、零售分析、智慧城市和機(jī)器視覺應(yīng)用的生產(chǎn)和原型開發(fā)。 

4）醫(yī)療及工業(yè)視覺也是賽靈思嵌入式AI 落地的重要場景。在醫(yī)療領(lǐng)域，我們可以提供基于深度學(xué)習(xí)的醫(yī)療影像分析或超分辨率增強(qiáng)，用AI為醫(yī)護(hù)人員在內(nèi)窺鏡、超聲、核磁、X光檢測等場景提供更準(zhǔn)確的判斷。自2019 年新冠病毒蔓延以來，賽靈思及業(yè)內(nèi)合作伙伴Spline.ai 利用VitisTMAI，將集成了深度學(xué)習(xí)處理單元DPU 的MPSoC 邊緣器件和AWS物聯(lián)網(wǎng)服務(wù)結(jié)合，針對(duì)肺部感染及新冠病毒預(yù)測系統(tǒng)開發(fā)了可擴(kuò)展的智能解決方案。在工業(yè)視覺領(lǐng)域，賽靈思產(chǎn)品也在智慧工廠、智能工業(yè)相機(jī)、視覺控制等方面發(fā)揮重要的影響力，AI的作用主要體現(xiàn)在如缺陷檢測、文字識(shí)別、實(shí)時(shí)分析等機(jī)器學(xué)習(xí)支持的預(yù)測性維護(hù)控制、遠(yuǎn)程診斷等端上智能化。 

(注：本文部分內(nèi)容來源于《電子產(chǎn)品世界》2021年9月期)