從嵌入式視覺(jué)到視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)的挑戰(zhàn)

　　今天我們討論終端的計(jì)算和嵌入式計(jì)算的時(shí)候，也需要來(lái)討論機(jī)器學(xué)習(xí)的推斷，再加上計(jì)算機(jī)視覺(jué)，還有傳感器融合和任意互聯(lián)，來(lái)實(shí)現(xiàn)新一代的視覺(jué)導(dǎo)向自主和智能系統(tǒng)。

機(jī)器學(xué)習(xí)概況

　　根據(jù)Moor Insight & Strategy提供的機(jī)器學(xué)習(xí)范圍圖(如圖1)，在縱軸上主要是行業(yè)領(lǐng)域，橫軸上主要是關(guān)于應(yīng)用的位置，看它是嵌入式的應(yīng)用還是更多靠近云端。但是也有一些應(yīng)用是既在邊緣/終端，又在云上，也就是說(shuō)它首先進(jìn)行本地智能的處理，之后還要到云端進(jìn)行分析，使得它的解決方案能夠更加強(qiáng)大。

圖1 機(jī)器學(xué)習(xí)從端到云覆蓋的視覺(jué)領(lǐng)域

　　關(guān)于右側(cè)列的深色應(yīng)用區(qū)塊，2016年底，Xilinx推出的可重配置加速堆棧更多是關(guān)注這部分，當(dāng)然也可以適用于中間一些混合解決方案。不久前Xilinx推出的reVISION堆棧，希望把它應(yīng)用于左側(cè)列非常廣泛的機(jī)器學(xué)習(xí)領(lǐng)域，也有中間的一些少量的應(yīng)用，即圖1的淺色區(qū)塊部分?？梢妑eVISION加上可重配置加速堆棧，能夠?qū)崿F(xiàn)從終端到云的全面覆蓋和布局，推動(dòng)下一代的機(jī)器學(xué)習(xí)。

　　具體地，現(xiàn)在在出現(xiàn)這樣一種轉(zhuǎn)型，即越來(lái)越多的從圖2左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用。左邊的應(yīng)用都是非常簡(jiǎn)單的傳感器的配置，一般是各種各樣的攝像頭，并有一個(gè)非常核心的技術(shù)，也就是計(jì)算機(jī)視覺(jué)處理技術(shù)來(lái)識(shí)別整個(gè)框架環(huán)境中的物體。右邊的應(yīng)用會(huì)越來(lái)越使用各種不同類型的傳感器技術(shù)，再加上圖像傳感器，還要和機(jī)器學(xué)習(xí)實(shí)現(xiàn)智能的融合。例如，過(guò)去在工廠里有機(jī)器人在籠子里來(lái)完成它們的工作，但是現(xiàn)在已經(jīng)有了新一代的協(xié)作機(jī)器人，它們是與人肩并肩一起在工作，而且它們是可以移動(dòng)的。同樣，在汽車ADAS(高級(jí)駕駛員輔助系統(tǒng))里包含有前視攝像頭。但是現(xiàn)在為了要支持自動(dòng)駕駛汽車的發(fā)展，攝像頭也是多種多樣，會(huì)有不同的傳感器，例如遠(yuǎn)程雷達(dá)、中程雷達(dá)、短程雷達(dá)，還有激光雷達(dá)、毫米波雷達(dá)等不同類型的傳感器。再加上機(jī)器學(xué)習(xí)的融合，使得這些車輛在行駛時(shí)能夠做出自己的決策。所以，現(xiàn)在客戶更多地要求從左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用，這個(gè)過(guò)程中就出現(xiàn)了一個(gè)很大的轉(zhuǎn)型。

圖2 從嵌入式視覺(jué)向視覺(jué)導(dǎo)向的自主系統(tǒng)演變

　　客戶的三個(gè)主要的應(yīng)用使命或要求是：1.智能性及高效的立即響應(yīng)性，比如行人從車前經(jīng)過(guò)。2.升級(jí)到最新算法和傳感器的靈活性。3.在一個(gè)萬(wàn)物互聯(lián)的物聯(lián)網(wǎng)世界，還需要實(shí)現(xiàn)隨時(shí)與其他機(jī)器及云保持連接。

　　很多開發(fā)視覺(jué)產(chǎn)品的客戶通常采用傳統(tǒng)的RTL流程(圖3)，需要具備相應(yīng)的硬件方面的專有知識(shí)。所以要真正實(shí)現(xiàn)非常廣泛的視覺(jué)應(yīng)用，就必須要支持新的編程模式，也就是軟件定義的編程，同時(shí)還要滿足相應(yīng)行業(yè)標(biāo)準(zhǔn)庫(kù)和新型的框架來(lái)支持機(jī)器學(xué)習(xí)的應(yīng)用。所以，通過(guò)軟件定義的編程以及符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架，就能夠擴(kuò)展視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用范圍。

　　reVISION堆棧包含一些基礎(chǔ)的平臺(tái)，可以支持算法的開發(fā)，而且它帶有非常符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和元素，針對(duì)于計(jì)算機(jī)視覺(jué)以及機(jī)器學(xué)習(xí)都是非常重要的。而且，它又更進(jìn)一步采用的是應(yīng)用的開發(fā)商喜聞樂(lè)見的平臺(tái)。這些框架包括在機(jī)器學(xué)習(xí)領(lǐng)域是Caffe，在計(jì)算機(jī)視覺(jué)領(lǐng)域就是OpenVX(如圖3右側(cè))。

圖3 從傳統(tǒng)RTL流程到一站式開發(fā)(注：此圖以Xilinx產(chǎn)品為例)

　　圖3縱軸上表現(xiàn)的是開發(fā)應(yīng)用時(shí)所需要的時(shí)間和精力，橫軸上顯示的是開發(fā)這些應(yīng)用所使用的方法。大約在2010年以前，Xilinx推出了新的提高產(chǎn)率的工具，也就是基于RTL的硬件設(shè)計(jì)的工作流程。2015年下半年，Xilinx推出軟件定義的編程環(huán)境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應(yīng)用。通過(guò)2017年上半年推出的reVISION堆棧，開發(fā)時(shí)間可以大大壓縮。所以，傳統(tǒng)的模式是Xilinx提供芯片以及開發(fā)環(huán)境中20%的解決方案，剩下的80%要由客戶來(lái)完成。但是有了reVISION堆棧以后，Xilinx能夠完成解決方案當(dāng)中80%的工作，剩下的客戶只要完成20%，就可以實(shí)現(xiàn)其應(yīng)用。

　　經(jīng)Xilinx測(cè)算，相比同類產(chǎn)品(諸如英偉達(dá)的Tegra和典型SoC)，Xilinx reVISION將機(jī)器學(xué)習(xí)推斷的單位功耗圖像捕獲速度提升了6倍，將計(jì)算機(jī)視覺(jué)處理的單位功耗幀速度提升了42倍。在實(shí)時(shí)快速響應(yīng)的系統(tǒng)當(dāng)中，更重要的一個(gè)參數(shù)是時(shí)延，Xilinx在時(shí)延方面只有同類產(chǎn)品的1/5。

軟硬件的可重配置性和可編程性

　　圖4顯示的是不同類別的傳感器演進(jìn)的過(guò)程，如果Xilinx看一下這些視覺(jué)導(dǎo)向應(yīng)用，比如圖像，Xilinx可以看到在傳感器的類型和配置方面是出現(xiàn)了一個(gè)爆炸，這種情況Xilinx把它稱作傳感器的融合。Xilinx可以看到是人工智能和機(jī)器學(xué)習(xí)的不斷擴(kuò)展驅(qū)動(dòng)了這種傳感器融合的趨勢(shì)，所以也需要可重配置性來(lái)跟上這些變化的步伐。

圖4 神經(jīng)網(wǎng)絡(luò)演進(jìn)速度

　　如果把所有這些元素都放在圖5里。縱軸體現(xiàn)的是系統(tǒng)的響應(yīng)時(shí)間，橫軸體現(xiàn)的是系統(tǒng)可重新配置的能力來(lái)適應(yīng)新的神經(jīng)網(wǎng)絡(luò)、算法和傳感器。為了做到全面完整，在這里也包含了CPU和大型的GPU。這些器件在推斷方面表現(xiàn)是非常優(yōu)異的，但是在時(shí)延方面就不是那么理想，但是由于它們精度非常高，所以它們非常適用于在一些數(shù)據(jù)中心的研發(fā)方面的訓(xùn)練，所以它們響應(yīng)的時(shí)間方面是非常低的，但是因?yàn)樗鼈冃枰潭ǖ挠布鼈兊目芍嘏渲眯苑矫嬉埠艿?。而reVISION具有很強(qiáng)的可重配置性和可編程性。

圖5 傳感器的演進(jìn)趨勢(shì)