Xilinx 發(fā)布reVISIONTM堆棧的背景資料

　　reVISION: 將全可編程技術(shù)擴展至廣泛的視覺導(dǎo)向機器學(xué)習(xí)應(yīng)用

　　機器學(xué)習(xí)的應(yīng)用正迅速地擴展至越來越多的終端市場，在用戶端、在云端或者在那些基于端處理與基于云的數(shù)據(jù)分析相結(jié)合的混合解決方案中。面向云應(yīng)用，賽靈思最近推出了可重配置加速堆棧(2016年11月推出)，目標(biāo)直指包括機器學(xué)習(xí)推斷在內(nèi)的各種計算加速應(yīng)用。 面向端應(yīng)用，賽靈思現(xiàn)在宣布憑借Xilinx? reVISION? 堆棧大幅擴展至廣泛的視覺導(dǎo)向機器學(xué)習(xí)應(yīng)用。 全新的reVISION堆棧能夠支持更廣泛的很少或沒有硬件設(shè)計專業(yè)知識的嵌入式軟件和系統(tǒng)工程師，使其也能利用賽靈思的技術(shù)更輕松、更快速地開發(fā)視覺導(dǎo)向的機器學(xué)習(xí)應(yīng)用。

　　圖1 賽靈思擴大機器學(xué)習(xí)應(yīng)用從端到云的部署

　　(來源：Machine Learning Landscape - Moor Insights & Strategy Research Paper)

　　廣泛的賽靈思視覺和機器學(xué)習(xí)應(yīng)用

　　如圖2 所示， 放眼全球，賽靈思已經(jīng)成為眾多企業(yè)構(gòu)建先進嵌入式視覺系統(tǒng)的最佳選擇。 截至今天，全球已經(jīng)有23 家汽車制造商在 85 款不同車型的 ADAS 系統(tǒng)中部署了賽靈思先進的嵌入式視覺系統(tǒng)，另外還有數(shù)百家嵌入式視覺客戶在其他數(shù)千種應(yīng)用中也部署了賽靈思的先進嵌入式視覺系統(tǒng)。其中至少有40家已經(jīng)在開發(fā)或部署機器學(xué)習(xí)技術(shù)以大幅提高系統(tǒng)的智能?，F(xiàn)在，大多數(shù)的賽靈思視覺客戶包括具有很強硬件專長的工程師們，都看準(zhǔn)了 Zynq? All Programmable SoC 和 MPSoC 的應(yīng)用。

　　圖 2 賽靈思嵌入式視覺行業(yè)成就

　　reVISION 的目標(biāo)應(yīng)用和使命

　　賽靈思正在為一些熱門市場的應(yīng)用提供支持。在這些市場中，差異化至關(guān)重要，系統(tǒng)必須響應(yīng)迅速，最新算法和傳感器必須能夠被快速部署。這些應(yīng)用包括“專業(yè)消費類”應(yīng)用、汽車、工業(yè)、醫(yī)療、航空航天、軍用以及高端前沿消費者應(yīng)用。這些應(yīng)用通常不包括部署在差異化較低的“夠用就好”或者發(fā)展成熟的技術(shù)之上的非常大批量的消費類應(yīng)用或者主流商品化應(yīng)用在。

　　如圖 3 所示，眾多的傳統(tǒng)嵌入式視覺應(yīng)用通過采用機器視覺和傳感器融合技術(shù)后都在發(fā)生巨變。

　　圖3 從嵌入式視覺到視覺導(dǎo)向的自主系統(tǒng)

　　下一代應(yīng)用包括協(xié)作機器人、具有感應(yīng)和躲避功能的無人機、增強現(xiàn)實、自動駕駛汽車、自動化監(jiān)視和醫(yī)療診斷等。這些系統(tǒng)通常具有三大使命：

　　1. 系統(tǒng)不僅要會思考，而且還能對情境立即做出“響應(yīng)”。這就要求一個從感應(yīng)到處理、分析、決策、通信和控制整個流程中更一致的視圖。同時還要高效實施、部署最新機器學(xué)習(xí)技術(shù)，滿足8位及更深層面的精確性要求。注意，針對機器學(xué)習(xí)訓(xùn)練優(yōu)化的技術(shù)繼續(xù)偏離對機器學(xué)習(xí)推斷優(yōu)化的技術(shù)。 賽靈思已經(jīng)專門為推斷技術(shù)優(yōu)化了其全可編程器件系列。

　　2. 圖4 下一代視覺導(dǎo)向系統(tǒng)的應(yīng)用使命

　　鑒于神經(jīng)網(wǎng)絡(luò)和相關(guān)算法的快速變化以及傳感器的快速發(fā)展，必須實現(xiàn)靈活性，能通過軟硬件的可重配置性升級系統(tǒng)。

　　3. 由于許多新系統(tǒng)都連接到了一起(物聯(lián)網(wǎng))，因此需要既能與傳統(tǒng)的已有設(shè)備通信，也能與未來推出的新設(shè)備通信，同時還要能夠進行云端通信。賽靈思將此定義為任意互聯(lián)。

　　賽靈思器件可以獨特地支持以上所有三大使命， 且比其它替代方案擁有顯著的和可測量的優(yōu)勢。 通過高效的推斷和控制，賽靈思實現(xiàn)了傳感器的最快響應(yīng)時間，支持最新的神經(jīng)網(wǎng)絡(luò)，算法和傳感器的可重構(gòu)性，并支持與傳統(tǒng)或新機器、網(wǎng)絡(luò)和云的任意連接。

　　圖5 賽靈思獨特的應(yīng)用優(yōu)勢

　　圖6 廣泛應(yīng)用的障礙

　　然而，賽靈思器件的這些優(yōu)勢原來只有那些擁有硬件或者RTL 設(shè)計專長的專業(yè)用戶才能受益，對于更廣泛的應(yīng)用和支持使用行業(yè)標(biāo)準(zhǔn)庫和框架進行軟件定義編程，還存在巨大的障礙。 reVISION堆棧的誕生， 解決了這個通往廣泛應(yīng)用的障礙。

　　reVISION STACK

　　圖7 賽靈思reVISION 堆棧

　　賽靈思 reVISION 堆棧包括用于平臺、算法和應(yīng)用開發(fā)的豐富的開發(fā)資源，支持最流行的神經(jīng)網(wǎng)絡(luò)(諸如 AlexNet、GoogLeNet、SqueezeNet、SSD 和 FCN)以及庫元素(如 CNN 網(wǎng)絡(luò)層的預(yù)定義優(yōu)化型實現(xiàn)方案，這也是構(gòu)建定制神經(jīng)網(wǎng)絡(luò) DNN/CNN 所需的)。配合豐富的滿足加速要求的 OpenCV 功能，支持機器視覺處理。對應(yīng)用層面的開發(fā)來說，賽靈思支持流行的框架，包括用于機器學(xué)習(xí)的 Caffe 和用于計算機視覺的 OpenVX(將于 2017 年下半年推出)。reVISION 堆棧還包括賽靈思和第三方提供的基于 Zynq SoC 和 MPSoC 的開發(fā)平臺。

　　移除了通往廣泛應(yīng)用的障礙

　　reVISION 堆棧支持一大批廣泛的設(shè)計團隊無需深層的硬件專業(yè)技術(shù)，使用軟件定義開發(fā)流程就能將機器學(xué)習(xí)和計算機算法的高效實現(xiàn)方案整合到響應(yīng)迅速的系統(tǒng)中。

　　如圖 8 所示，reVISION 開發(fā)流程從 熟悉的C、C++ 和/或 OpenCL 語言及相關(guān)編譯器技術(shù)的基于 eclipse 的開發(fā)環(huán)境(即 SDSoC 開發(fā)環(huán)境)啟動。在 SDSoC 環(huán)境中，軟件工程師和系統(tǒng)工程師能以 reVISION 硬件平臺為目標(biāo)，并采用大量的加速就緒型計算機視覺庫，很快還能采用OpenVX框架，從而快速構(gòu)建應(yīng)用。

　　圖8 reVISION 的軟件定義設(shè)計流程

　　對于機器學(xué)習(xí)，我們可用 Caffe 等流行的框架來培訓(xùn)神經(jīng)網(wǎng)絡(luò)，用 Caffe 生成的 .prototxt 文件對基于 ARM 的軟件調(diào)度器進行配置，從而驅(qū)動專門為可編程邏輯預(yù)先優(yōu)化的CNN 推斷加速器。

　　對計算機視覺和其他專有算法來說，用戶可對軟件代碼進行特征分析，發(fā)現(xiàn)瓶頸，并在代碼中標(biāo)出希望加速并進行“硬件優(yōu)化”的特定功能?！跋到y(tǒng)優(yōu)化編譯器”則用來創(chuàng)建加速的實現(xiàn)方案，包括處理器/加速器接口(數(shù)據(jù)移動器)和軟件驅(qū)動器。結(jié)合計算機視覺和機器學(xué)習(xí)功能，該編譯器能創(chuàng)建優(yōu)化的融合實現(xiàn)方案。

　　如圖 9 左側(cè)所示，專家級賽靈思用戶采用傳統(tǒng) RTL 設(shè)計流程，與 ARM 軟件開發(fā)人員合作，要花大量設(shè)計時間才能開發(fā)出高度差異化的機器學(xué)習(xí)和計算機視覺應(yīng)用。

　　圖9 reVISION 堆棧 —— 移除通往廣泛應(yīng)用的障礙

　　為進一步加快設(shè)計進程，減少對硬件專家的依賴，賽靈思大約在兩年前推出了基于 C、C++ 和 OpenCL 語言的 SDSoC 開發(fā)環(huán)境。雖然這幫助其它上千名能夠開發(fā)自己的基礎(chǔ)平臺、庫和應(yīng)用的用戶大幅縮短了開發(fā)周期，但仍無法滿足廣泛機器學(xué)習(xí)應(yīng)用推廣與部署的要求，而且機器學(xué)習(xí)也帶來了復(fù)雜問題。