<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁(yè) > 專題 > 智慧視覺(jué)的算法、研發(fā)和產(chǎn)品動(dòng)向

          智慧視覺(jué)的算法、研發(fā)和產(chǎn)品動(dòng)向

          作者:迎九 金旺 時(shí)間:2017-06-28 來(lái)源:電子產(chǎn)品世界 收藏
          編者按:人工智能(AI)開(kāi)始由科研走向行業(yè)應(yīng)用,其中嵌入式視覺(jué)是重要的應(yīng)用場(chǎng)景,例如汽車、監(jiān)控、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)診斷、工業(yè)視覺(jué)、無(wú)人機(jī)和移動(dòng)市場(chǎng)等。為此,筆者探訪了業(yè)內(nèi)部分相關(guān)企業(yè),請(qǐng)他們介紹了部分算法、研發(fā)和產(chǎn)品動(dòng)向。

          作者 迎九 金旺 《電子產(chǎn)品世界》編輯

          本文引用地址:http://www.ex-cimer.com/article/201706/361119.htm

          摘要:人工智能(AI)開(kāi)始由科研走向行業(yè)應(yīng)用,其中嵌入式是重要的應(yīng)用場(chǎng)景,例如汽車、監(jiān)控、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)診斷、工業(yè)、無(wú)人機(jī)和移動(dòng)市場(chǎng)等。為此,筆者探訪了業(yè)內(nèi)部分相關(guān)企業(yè),請(qǐng)他們介紹了部分、研發(fā)和產(chǎn)品動(dòng)向。

          從嵌入式到視覺(jué)導(dǎo)向機(jī)器學(xué)習(xí)的挑戰(zhàn)

            今天我們討論終端的計(jì)算和嵌入式計(jì)算的時(shí)候,也需要來(lái)討論機(jī)器學(xué)習(xí)的推斷,再加上計(jì)算機(jī)視覺(jué),還有傳感器融合和任意互聯(lián),來(lái)實(shí)現(xiàn)新一代的視覺(jué)導(dǎo)向自主和智能系統(tǒng)。

          機(jī)器學(xué)習(xí)概況

            根據(jù)Moor Insight & Strategy提供的機(jī)器學(xué)習(xí)范圍圖(如圖1),在縱軸上主要是行業(yè)領(lǐng)域,橫軸上主要是關(guān)于應(yīng)用的位置,看它是嵌入式的應(yīng)用還是更多靠近云端。但是也有一些應(yīng)用是既在邊緣/終端,又在云上,也就是說(shuō)它首先進(jìn)行本地智能的,之后還要到云端進(jìn)行分析,使得它的解決方案能夠更加強(qiáng)大。

            關(guān)于右側(cè)列的深色應(yīng)用區(qū)塊,2016年底,Xilinx推出的可重配置加速堆棧更多是關(guān)注這部分,當(dāng)然也可以適用于中間一些混合解決方案。不久前Xilinx推出的reVISION堆棧,希望把它應(yīng)用于左側(cè)列非常廣泛的機(jī)器學(xué)習(xí)領(lǐng)域,也有中間的一些少量的應(yīng)用,即圖1的淺色區(qū)塊部分??梢?jiàn)reVISION加上可重配置加速堆棧,能夠?qū)崿F(xiàn)從終端到云的全面覆蓋和布局,推動(dòng)下一代的機(jī)器學(xué)習(xí)。

            具體地,現(xiàn)在正在出現(xiàn)這樣一種轉(zhuǎn)型,即越來(lái)越多的從圖2左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用。左邊的應(yīng)用都是非常簡(jiǎn)單的傳感器的配置,一般是各種各樣的攝像頭,并有一個(gè)非常核心的技術(shù),也就是計(jì)算機(jī)視覺(jué)技術(shù)來(lái)識(shí)別整個(gè)框架環(huán)境中的物體。右邊的應(yīng)用會(huì)越來(lái)越使用各種不同類型的傳感器技術(shù),再加上圖像傳感器,還要和機(jī)器學(xué)習(xí)實(shí)現(xiàn)智能的融合。例如,過(guò)去在工廠里有機(jī)器人在籠子里來(lái)完成它們的工作,但是現(xiàn)在已經(jīng)有了新一代的協(xié)作機(jī)器人,它們是與人肩并肩一起在工作,而且它們是可以移動(dòng)的。同樣,在汽車ADAS(高級(jí)駕駛員輔助系統(tǒng))里包含有前視攝像頭。但是現(xiàn)在為了要支持自動(dòng)駕駛汽車的發(fā)展,攝像頭也是多種多樣,會(huì)有不同的傳感器,例如遠(yuǎn)程雷達(dá)、中程雷達(dá)、短程雷達(dá),還有激光雷達(dá)、毫米波雷達(dá)等不同類型的傳感器。再加上機(jī)器學(xué)習(xí)的融合,使得這些車輛在行駛時(shí)能夠做出自己的決策。所以,現(xiàn)在客戶更多地要求從左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用,這個(gè)過(guò)程中就出現(xiàn)了一個(gè)很大的轉(zhuǎn)型。

            客戶的三個(gè)主要的應(yīng)用使命或要求是:1.智能性及高效的立即響應(yīng)性,比如行人從車前經(jīng)過(guò);2.升級(jí)到最新和傳感器的靈活性;3.在一個(gè)萬(wàn)物互聯(lián)的物聯(lián)網(wǎng)世界,還需要實(shí)現(xiàn)隨時(shí)與其他機(jī)器及云保持連接。

            很多開(kāi)發(fā)視覺(jué)產(chǎn)品的客戶通常采用傳統(tǒng)的RTL流程(圖3),需要具備相應(yīng)的硬件方面的專有知識(shí)。所以要真正實(shí)現(xiàn)非常廣泛的視覺(jué)應(yīng)用,就必須要支持新的編程模式,也就是軟件定義的編程,同時(shí)還要滿足相應(yīng)行業(yè)標(biāo)準(zhǔn)庫(kù)和新型的框架來(lái)支持機(jī)器學(xué)習(xí)的應(yīng)用。所以,通過(guò)軟件定義的編程以及符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和框架,就能夠擴(kuò)展視覺(jué)導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用范圍。

            reVISION堆棧包含一些基礎(chǔ)的平臺(tái),可以支持的開(kāi)發(fā),而且它帶有非常符合行業(yè)標(biāo)準(zhǔn)的庫(kù)和元素,針對(duì)于計(jì)算機(jī)視覺(jué)以及機(jī)器學(xué)習(xí)都是非常重要的。而且,它又更進(jìn)一步采用的是應(yīng)用的開(kāi)發(fā)商喜聞樂(lè)見(jiàn)的平臺(tái)。這些框架包括在機(jī)器學(xué)習(xí)領(lǐng)域是Caffe,在計(jì)算機(jī)視覺(jué)領(lǐng)域就是OpenVX(如圖3右側(cè))。

            圖3縱軸上表現(xiàn)的是開(kāi)發(fā)應(yīng)用時(shí)所需要的時(shí)間和精力,橫軸上顯示的是開(kāi)發(fā)這些應(yīng)用所使用的方法。大約在2010年以前,Xilinx推出了新的提高產(chǎn)率的工具,也就是基于RTL的硬件設(shè)計(jì)的工作流程。2015年下半年,Xilinx推出軟件定義的編程環(huán)境——SDSoC,基于Xilinx的Zynq SoC芯片,主要是嵌入式的應(yīng)用。通過(guò)2017年上半年推出的reVISION堆棧,開(kāi)發(fā)時(shí)間可以大大壓縮。所以,傳統(tǒng)的模式是Xilinx提供芯片以及開(kāi)發(fā)環(huán)境中20%的解決方案,剩下的80%要由客戶來(lái)完成。但是有了reVISION堆棧以后,Xilinx能夠完成解決方案當(dāng)中80%的工作,剩下的客戶只要完成20%,就可以實(shí)現(xiàn)其應(yīng)用。

            經(jīng)Xilinx測(cè)算,相比同類產(chǎn)品(諸如英偉達(dá)的Tegra和典型SoC),Xilinx的解決方案在機(jī)器學(xué)習(xí)的效率方面能夠提升6倍,在計(jì)算機(jī)視覺(jué)領(lǐng)域要提高40倍以上。在實(shí)時(shí)快速響應(yīng)的系統(tǒng)當(dāng)中,更重要的一個(gè)參數(shù)是時(shí)延,Xilinx在時(shí)延方面只有同類產(chǎn)品的1/5。

          軟硬件的可重配置性和可編程性

            圖4顯示的是不同類別的傳感器演進(jìn)的過(guò)程,如果Xilinx看一下這些視覺(jué)導(dǎo)向應(yīng)用,比如圖像,Xilinx可以看到在傳感器的類型和配置方面是出現(xiàn)了一個(gè)爆炸,這種情況Xilinx把它稱作傳感器的融合。Xilinx可以看到是人工智能和機(jī)器學(xué)習(xí)的不斷擴(kuò)展驅(qū)動(dòng)了這種傳感器融合的趨勢(shì),所以也需要可重配置性來(lái)跟上這些變化的步伐。

            如果把所有這些元素都放在圖5里??v軸體現(xiàn)的是系統(tǒng)的響應(yīng)時(shí)間,橫軸體現(xiàn)的是系統(tǒng)可重新配置的能力來(lái)適應(yīng)新的神經(jīng)網(wǎng)絡(luò)、算法和傳感器。為了做到全面完整,在這里也包含了CPU和大型的GPU。這些器件在推斷方面表現(xiàn)是非常優(yōu)異的,但是在時(shí)延方面就不是那么理想,但是由于它們精度非常高,所以它們非常適用于在一些數(shù)據(jù)中心的研發(fā)方面的訓(xùn)練,所以它們響應(yīng)的時(shí)間方面是非常低的,但是因?yàn)樗鼈冃枰潭ǖ挠布鼈兊目芍嘏渲眯苑矫嬉埠艿?。而reVISION具有很強(qiáng)的可重配置性和可編程性。

          Cadence的視覺(jué)、雷達(dá)、融合傳感器計(jì)算

            在神經(jīng)網(wǎng)絡(luò)的器件方面,英偉達(dá)主宰了通用GPU。而Cadence Tensilica發(fā)布的神經(jīng)網(wǎng)絡(luò)DSP IP則是面向嵌入式芯片。

            最新的Cadence Tensilica Vision C5 DSP由于可配置,可以面向多種CNN。因?yàn)镃NN更新很快,但從拿到IP到芯片上市通常要兩三年時(shí)間,因此固化硬件的方案會(huì)導(dǎo)致不能滿足未來(lái)的需求變化,所以并不合適,而DSP IP的靈活性使其適合嵌入式系統(tǒng)中的NN(神經(jīng)網(wǎng)絡(luò))實(shí)現(xiàn)。

            通常的NN加速器中,HW(硬件) NN ACC(加速器)與Imaging(圖像)DSP、CPU或GPU的通訊/連接很繁瑣,可能占整個(gè)計(jì)算工作量的40%。而由于Cadence重新設(shè)計(jì)了NN加速器,C5的計(jì)算能力可達(dá)1T MAC/s,面積在1mm2以內(nèi)(注:16nm工藝)。

          C5與友商的差異化

            實(shí)際上,專用芯片/ASIC的功耗更低,大批量制造成本也更低。另外,F(xiàn)PGA支持的運(yùn)行頻率較低,只有幾十MHz,而Vision C5可以支持幾百M(fèi)Hz的運(yùn)行頻率。

            相比同是器IP廠商的Synopsys與CEVA,后兩者的CNN方案需要三部分:控制、Imaging處理器、HW NN ACC(加速器)。而C5把后兩部分集成在一起,因此只需要兩大塊,方案更為簡(jiǎn)潔,同時(shí)提高了Imaging處理的效率。

          Mobileye自動(dòng)駕駛的下一步計(jì)劃

            Mobileye(現(xiàn)被Intel收購(gòu))現(xiàn)在做的是三大技術(shù)支柱:1.視覺(jué)感知;2.做適用于自動(dòng)駕駛的地圖;3.教會(huì)車如何去行駛,即和現(xiàn)有的人開(kāi)車的車流去混合行進(jìn)。

            視覺(jué)感知

            Mobileye是一個(gè)以單目攝像頭做視覺(jué)的技術(shù), Mobileye現(xiàn)在是做三目,再后來(lái)是八目,在前方是三個(gè)攝像頭,側(cè)邊一邊兩個(gè),后面一個(gè),加起來(lái)是八個(gè),不同于現(xiàn)在的環(huán)視系統(tǒng),Mobileye開(kāi)發(fā)的這款產(chǎn)品不管是哪個(gè)攝像頭獲取的信息都要進(jìn)行判斷。從這個(gè)角度看,需要判斷的東西非常多。即使Mobileye做三攝像頭的解決方案,三個(gè)焦距,其實(shí)它是三個(gè)不同焦距的攝像頭,定位遠(yuǎn)、中、近,每個(gè)攝像頭的角度不一樣,這樣,三個(gè)攝像頭之間是互相覆蓋和冗余的,從而可以做到在城市道路上不同的攝像頭會(huì)起到作用,做到更寬、更遠(yuǎn)、更精準(zhǔn)的判斷。

            Mobileye接下來(lái)將可以做到3D(立體),也就是車不管什么角度,Mobileye都是可以識(shí)別出來(lái),預(yù)計(jì)2018年可用于量產(chǎn)的車。

          美光:適用于視頻監(jiān)控行業(yè)的創(chuàng)新邊緣存儲(chǔ)解決方案

            邊緣存儲(chǔ)技術(shù)是指錄制視頻并存儲(chǔ)在攝像頭或直連存儲(chǔ)設(shè)備中,而不是通過(guò)網(wǎng)絡(luò)存儲(chǔ)到集中式記錄設(shè)施中。這項(xiàng)技術(shù)迅速得到了認(rèn)可,并在IP 視頻監(jiān)控應(yīng)用中得到了廣泛的采用。

            IP視頻監(jiān)控中邊緣存儲(chǔ)面臨的挑戰(zhàn)

            目前市場(chǎng)上的絕大多數(shù) microSD 卡都是消費(fèi)級(jí)產(chǎn)品,而不是為 IP 視頻監(jiān)控?cái)z像頭中的商業(yè)和工業(yè)邊緣存儲(chǔ)設(shè)計(jì)的。因此,許多系統(tǒng)集成商和安裝 者認(rèn)為邊緣存儲(chǔ)“不可靠”。大多數(shù)用戶都不了解, 邊緣錄制中使用的 microSD 卡的壽命和質(zhì)量可能千差萬(wàn)別,具體取決于所選卡的質(zhì)量。選擇質(zhì)量不佳 的microSD 卡可能會(huì)導(dǎo)致在部署完成后的幾個(gè)月內(nèi) 就發(fā)生代價(jià)不菲的現(xiàn)場(chǎng)故障。

            適用于邊緣存儲(chǔ)應(yīng)用的美光工業(yè)卡

            憑借閃存技術(shù)方面的專業(yè)知識(shí)和監(jiān)控應(yīng)用知識(shí),美光科技開(kāi)發(fā)了一種監(jiān)控專用的工業(yè)級(jí)存儲(chǔ)卡,用于 IP 視頻監(jiān)控應(yīng)用中的邊緣存儲(chǔ)。這種卡具備高耐用性、卓越的錄制性能、工業(yè)級(jí)質(zhì)量、可監(jiān)控運(yùn)行狀況的智能工具等優(yōu)勢(shì)。

            參考文獻(xiàn):

            [1]王瑩.眾廠商談智能制造的技術(shù)市場(chǎng)動(dòng)向[J].電子產(chǎn)品世界,2016(42-3):13-18.

            [21]胡郁.人工智能與語(yǔ)音識(shí)別技術(shù)[J].電子產(chǎn)品世界,2016(4):23-25.

            [3]Tom Austin,陳勇.智能機(jī)器:區(qū)分事實(shí)與虛幻[J].電子產(chǎn)品世界,2016(10):7-8.

            [4]王瑩,王金旺.智能感知的市場(chǎng)與發(fā)展[J].電子產(chǎn)品世界,2016(10):13-19.

            本文來(lái)源于《電子產(chǎn)品世界》2017年第7期第24頁(yè),歡迎您寫論文時(shí)引用,并注明出處。



          關(guān)鍵詞: 視覺(jué) 處理 算法 201707

          評(píng)論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();