嵌入式視覺和網(wǎng)絡(luò)邊緣智能應(yīng)用市場前景愈加明朗

　　十年前，嵌入式視覺技術(shù)主要用于比較少見、高度專業(yè)化的應(yīng)用。今天，設(shè)計工程師們在越來越多新興的工業(yè)、汽車和消費電子應(yīng)用中為視覺應(yīng)用找到了用武之地。制造商一直以來都依賴于工業(yè)應(yīng)用中的機(jī)器視覺系統(tǒng)，但隨著先進(jìn)機(jī)器人技術(shù)和機(jī)器學(xué)習(xí)技術(shù)的涌現(xiàn)以及向工業(yè)4.0制造模式的轉(zhuǎn)變，嵌入式視覺應(yīng)用的疆土在逐步擴(kuò)大?，F(xiàn)代汽車采用的電子產(chǎn)品，尤其是高級駕駛輔助系統(tǒng)(ADAS)和車載信息娛樂系統(tǒng)的快速發(fā)展也為嵌入式視頻應(yīng)用帶來了契機(jī)。無人機(jī)、游戲系統(tǒng)、監(jiān)控和安防等消費電子解決方案的開發(fā)工程師看到了嵌入式視覺技術(shù)的優(yōu)勢。隨著網(wǎng)絡(luò)邊緣應(yīng)用領(lǐng)域?qū)χ悄芄δ艿男枨蟛粩嗌仙屡d的AI解決方案將越來越依賴于嵌入式視覺技術(shù)。

　　我們已經(jīng)可以看到許多改變。首先，對于快速部署低成本嵌入式視覺解決方案而言至關(guān)重要的許多關(guān)鍵組件和工具終于面世了。如今，設(shè)計工程師可以從各種成本較低的處理器中進(jìn)行選擇，這些處理器具備小尺寸、高性能、低功耗的特性。同時，得益于快速增長的移動市場，設(shè)計工程師得以從攝像頭和傳感器的普及中受益。與此同時，軟件和硬件工具的改進(jìn)有助于簡化開發(fā)并加速上市進(jìn)程。本文將探討如何使用嵌入式視覺技術(shù)、采用嵌入式視覺技術(shù)的理由以及近期哪些應(yīng)用最有希望采用嵌入式視覺技術(shù)。

　　更強(qiáng)處理能力

　　根據(jù)定義，嵌入式視覺系統(tǒng)實際上涵蓋了執(zhí)行圖像信號處理算法或視覺系統(tǒng)控制軟件的任何設(shè)備或系統(tǒng)。智能視覺系統(tǒng)中的關(guān)鍵部分是進(jìn)行實時高清數(shù)字視頻流處理的高性能計算引擎、大容量固態(tài)存儲、智能攝像頭或傳感器以及高級分析算法。這些系統(tǒng)中的處理器可以執(zhí)行圖像采集、鏡頭校正、圖像預(yù)處理和分割、目標(biāo)分析以及各種啟發(fā)式(heuristics)功能。嵌入式視覺系統(tǒng)設(shè)計工程師采用各種處理器，包括專為視覺應(yīng)用設(shè)計的通用CPU、圖象處理單元(GPU)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)和專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)。上述處理器架構(gòu)具備明顯的優(yōu)勢和短板。在許多情況下，設(shè)計工程師將多種處理器整合到一個異構(gòu)計算環(huán)境中。有時候，處理器則被集成到一個組件中。此外，一些處理器使用專用硬件來盡可能實現(xiàn)最高的視覺算法性能。諸如FPGA之類的可編程平臺為設(shè)計工程師提供了高度并行的計算密集型應(yīng)用架構(gòu)以及用于I/O擴(kuò)展等其他應(yīng)用的資源。

　　在攝像頭方面，嵌入式視覺系統(tǒng)設(shè)計工程師使用模擬攝像頭和數(shù)字圖像傳感器。數(shù)字圖像傳感器通常是需要可見光環(huán)境的CCD或CMOS傳感器陣列。嵌入式視覺系統(tǒng)也可用于感測其他數(shù)據(jù)，如紅外、超聲波、雷達(dá)和激光雷達(dá)。

　　越來越多的設(shè)計工程師開始轉(zhuǎn)向采用攝像頭或各種傳感器的“智能攝像頭”作為視覺系統(tǒng)中所有邊緣電子設(shè)備的核心。其他系統(tǒng)將傳感器數(shù)據(jù)傳輸?shù)皆贫艘詼p少系統(tǒng)處理器的負(fù)載，在這個過程中系統(tǒng)功耗、占用空間和成本降至最低。但是，當(dāng)需要基于圖像傳感器數(shù)據(jù)進(jìn)行低延遲的關(guān)鍵決策時，這種方法將面臨問題。

　　利用移動優(yōu)勢

　　盡管嵌入式視覺解決方案早已面市多年，但該技術(shù)的發(fā)展速度受到了很多因素的限制。首先也是最重要的是，這項技術(shù)的關(guān)鍵要素仍沒有能夠以低成本的方式實現(xiàn)。特別是能夠?qū)崟r處理高清數(shù)字視頻流的計算引擎尚未普及。高容量固態(tài)存儲和高級分析算法的限制也帶來了挑戰(zhàn)。

　　最近市場上的三種發(fā)展趨勢有望徹底改變嵌入式視覺系統(tǒng)的面貌。首先，移動市場的高速發(fā)展為嵌入式視覺設(shè)計工程師提供了海量的處理器可選方案，能夠以低功耗提供相對較高的性能。其次，MIPI聯(lián)盟推出的移動行業(yè)處理器接口(MIPI)能夠為設(shè)計工程師提供替代方案，使用符合標(biāo)準(zhǔn)的硬件和軟件組件來構(gòu)建創(chuàng)新且具有成本效益的嵌入式視覺解決方案。最后，針對移動應(yīng)用的低成本傳感器和攝像頭的激增，幫助嵌入式視覺系統(tǒng)設(shè)計工程師實現(xiàn)更好的解決方案并降低成本。

　　工業(yè)應(yīng)用

　　工業(yè)應(yīng)用領(lǐng)域中的機(jī)器視覺系統(tǒng)一直以來都是嵌入式視覺領(lǐng)域最有前景的應(yīng)用方向之一。機(jī)器視覺技術(shù)是其中最成熟和數(shù)量最多的應(yīng)用。它被廣泛用于制造過程和質(zhì)量管理應(yīng)用。通常，這些應(yīng)用領(lǐng)域中的制造商采用由一個或多個智能攝像頭與處理器模塊組成的緊湊型視覺系統(tǒng)。Transparency Market Research的分析師預(yù)測，機(jī)器視覺市場將從2014年的157億美元增長至285億美元(2021年)。

　　今天，設(shè)計工程師為這項技術(shù)找到很多潛力無限的全新應(yīng)用領(lǐng)域。例如，圖1中的機(jī)器視覺智能攝像頭非常適合用于監(jiān)控生產(chǎn)線上的制造設(shè)備。設(shè)計工程師可以使用FPGA實現(xiàn)圖像傳感器橋接，用作一個完整的攝像頭圖像信號處理流水線(ISP)，以及提供GeVision或USB Vision等互連解決方案。

　　圖1：機(jī)器視覺智能攝像頭中的FPGA

　　另一個例子是基于FPGA的視頻采集卡(圖2)，它聚合了來自多個攝像頭的數(shù)據(jù)，并進(jìn)行圖像預(yù)處理，然后通過PCIe接口將數(shù)據(jù)發(fā)送到主處理器。

　　圖2：視頻采集卡

　　隨著越來越多的制造商采用工業(yè)4.0模式，工業(yè)市場對視覺系統(tǒng)的需求也將越來越大。在這個新時代，制造商將把先進(jìn)的機(jī)器人、機(jī)器學(xué)習(xí)、3D深度測繪和工業(yè)物聯(lián)網(wǎng)(IIoT)整合到一起以提高組織和生產(chǎn)能力。在2011年發(fā)布的一篇題為“工業(yè)4.0--未來智能制造”的文章中首次提出，工業(yè)4.0代表了工業(yè)革命歷史上的第四個階段。2012年，工業(yè)4.0工作組向德國聯(lián)邦政府提出了一套實施建議。

　　工業(yè)革命的第一階段工業(yè)1.0在制造業(yè)中引入了水和蒸汽動力機(jī)械。勞動分工環(huán)境下首次出現(xiàn)的電力驅(qū)動批量生產(chǎn)技術(shù)奠定了工業(yè)2.0的基礎(chǔ)。工業(yè)的第三個時代從采用計算機(jī)開始，初次涉足自動化領(lǐng)域，在裝配線上用自動化機(jī)器逐漸取代人類。

　　今天，制造商期望工業(yè)4.0能夠幫助他們實現(xiàn)又一次的飛躍，進(jìn)一步提高生產(chǎn)力。在“智慧工廠”這個概念的驅(qū)動下，工業(yè)4.0將引入物理網(wǎng)絡(luò)系統(tǒng)來監(jiān)控智能工廠的生產(chǎn)過程并實現(xiàn)分權(quán)決策。這種模式將通過整合大數(shù)據(jù)與分析、IT與物聯(lián)網(wǎng)融合、機(jī)器人技術(shù)的最新進(jìn)展以及數(shù)字供應(yīng)鏈的迭代發(fā)展等理念推動行業(yè)向著數(shù)字化轉(zhuǎn)型。最后，通過互聯(lián)網(wǎng)，這些物理系統(tǒng)將實現(xiàn)系統(tǒng)交互和人機(jī)交互，成為工業(yè)物聯(lián)網(wǎng)(IIoT)的一部分。

　　一個工業(yè)4.0智慧工廠將會是什么樣子?首先，它將為機(jī)器、設(shè)備、傳感器和人員提供廣泛的互操作性和高水平的通信能力。其次，它將具有很高的信息透明度，系統(tǒng)通過傳感器數(shù)據(jù)創(chuàng)建物理世界的虛擬映射，使得信息情境化。第三，智能工廠的決策行為將高度分散，物理網(wǎng)絡(luò)系統(tǒng)盡可能自主運行。第四，這些工廠將提供高水平的技術(shù)援助，系統(tǒng)可以幫助彼此解決問題、做出決策并幫助人類完成太難或危險的任務(wù)。幾乎在所有情況下，制造商都將比以往更依賴嵌入式視覺系統(tǒng)。

　　當(dāng)然，采用這種新模式的制造商也將面臨諸多挑戰(zhàn)。他們必須要開發(fā)可靠性極高和延遲極低的嵌入式視覺系統(tǒng)以確保物理網(wǎng)絡(luò)通信的正常工作。工業(yè)4.0將迫使制造商保持生產(chǎn)過程的完整性，同時減少人為監(jiān)管。當(dāng)他們在部署這些新系統(tǒng)時會面臨資深人員不足的問題。但好處遠(yuǎn)遠(yuǎn)超過了挑戰(zhàn)。工業(yè)4.0將會大幅提升危險工作環(huán)境中工作人員的健康和安全保障。來自制造過程中各個層面的數(shù)據(jù)可幫助制造商能夠更簡單有效地控制其供應(yīng)鏈。

　　汽車應(yīng)用

　　鑒于汽車領(lǐng)域中電子應(yīng)用的迅速增長，汽車市場無疑是嵌入式視覺應(yīng)用最有潛力的發(fā)展領(lǐng)域。高級駕駛輔助系統(tǒng)和信息娛樂功能的推出有望快速推動相關(guān)市場的增長。Research and Markets.com的分析師預(yù)測，2016年至2021年間，ADAS市場將以10.44%的復(fù)合年增長率增長。這些應(yīng)用中最常用的嵌入式視覺產(chǎn)品是攝像頭模塊。供應(yīng)商要么自己開發(fā)分析工具和算法，要么采用來自外部開發(fā)工程師的第三方IP。新興的汽車應(yīng)用領(lǐng)域之一是駕駛員監(jiān)控系統(tǒng)，該系統(tǒng)使用視覺應(yīng)用追蹤駕駛員頭部和身體動作以進(jìn)行疲勞狀態(tài)識別。另一個是視覺系統(tǒng)，通過監(jiān)測看短信或飲食等潛在的駕駛員分心因素提高車輛操作安全。

　　但是汽車中的視覺系統(tǒng)可以做的遠(yuǎn)不止是監(jiān)控車內(nèi)發(fā)生的事情。從2018年起，有一些國家的法規(guī)將要求新車必須配備后視攝像頭，以幫助司機(jī)看到車輛后方的情況。像車道偏離預(yù)警系統(tǒng)這樣的新應(yīng)用將視頻和車道檢測算法結(jié)合起來，以評估汽車的位置。此外，市場需求也推動了閱讀警示標(biāo)志、撞擊緩沖、盲點檢測、自動泊車、倒車輔助等功能的發(fā)展。所有這些功能都有助于讓駕駛變得更安全。

　　汽車視覺和傳感系統(tǒng)的發(fā)展為實現(xiàn)真正的自動駕駛奠定了基礎(chǔ)。例如，凱迪拉克將在2018年將其嵌入式視覺子系統(tǒng)集成到CT6轎車中，以實現(xiàn)業(yè)界首款解放雙手的駕駛技術(shù)SuperCruise。通過不斷分析駕駛員和道路情況，精確的LIDAR數(shù)據(jù)庫提供道路情況，而先進(jìn)的攝像頭、傳感器和GPS實時反應(yīng)道路的動態(tài)狀況細(xì)節(jié)，這項新技術(shù)將使駕駛變得更加安全。總體而言，汽車制造商已經(jīng)形成了一致的想法，即現(xiàn)代車輛中的ADAS系統(tǒng)將需要前置攝像頭進(jìn)行車道檢測、行人檢測、交通標(biāo)志識別和緊急制動功能。同時還需要側(cè)面和后面的攝像頭來支持停車輔助、盲點檢測和交叉車流警報功能。

　　汽車制造商面臨的一個挑戰(zhàn)是現(xiàn)有電子設(shè)備中的I/O數(shù)量有限。目前主流處理器僅具備兩個攝像頭接口。然而，許多ADAS系統(tǒng)需要多達(dá)8臺攝像頭才能滿足圖像質(zhì)量要求。設(shè)計工程師需要的解決方案要能夠為他們提供協(xié)同處理資源，將來自多個攝像頭的視頻流拼接在一起，或基于攝像頭輸入執(zhí)行圖像處理功能，如白平衡、魚眼校正和除霧等，并通過單個數(shù)據(jù)流將數(shù)據(jù)發(fā)送到應(yīng)用處理器(AP)。例如，許多汽車制造商提供的ADAS系統(tǒng)中都具備鳥瞰視圖功能，駕駛員可以看到車輛上方20英尺處向下的現(xiàn)場視頻。ADAS系統(tǒng)通過將來自4個或更多攝像頭的數(shù)據(jù)拼接為寬視野圖像實現(xiàn)這一功能。

　　以前，設(shè)計工程師在驅(qū)動每個顯示屏?xí)r都要使用一個處理器。而現(xiàn)在，設(shè)計工程師可以使用單個FPGA替代多個處理器，聚合所有攝像頭數(shù)據(jù)，將圖像拼接在一起，執(zhí)行預(yù)處理和后處理功能，并將圖像發(fā)送到系統(tǒng)處理器。圖3展示了360度鳥瞰汽車攝像系統(tǒng)的簡化架構(gòu)，該系統(tǒng)從位于汽車周圍的4個攝像頭(前方、后方和兩側(cè))收集數(shù)據(jù)。系統(tǒng)使用單個FPGA進(jìn)行各種預(yù)處理和后處理功能以及視頻數(shù)據(jù)拼接，提供顯示車輛周圍環(huán)境的360度視圖。在這種情況下，單個FPGA將取代多個處理器。

　　圖3：車輛360度鳥瞰攝像系統(tǒng)

　　消費電子應(yīng)用

　　無人機(jī)、增強(qiáng)現(xiàn)實/虛擬現(xiàn)實(AR / VR)和其他消費電子應(yīng)用為嵌入式視覺解決方案開發(fā)者提供了巨大的機(jī)遇。今天，無人機(jī)設(shè)計工程師已經(jīng)知道同步無人機(jī)上的6個或更多攝像頭以創(chuàng)建全景視圖比構(gòu)建采用2個攝像頭并將其移動180度的機(jī)械解決方案更便宜。同樣，AR / VR設(shè)計工程師將單個視頻流進(jìn)行快速轉(zhuǎn)化并將內(nèi)容分割為雙視頻流輸出。他們充分利用低成本移動相關(guān)技術(shù)的優(yōu)勢，使用兩個MIPI DSI顯示屏，每個顯示屏對準(zhǔn)用戶的一只眼睛，實現(xiàn)低延遲、低功耗，增強(qiáng)深度感，為用戶提供更加身臨其境的體驗(圖4)。

　　圖4：基于FPGA的虛擬現(xiàn)實系統(tǒng)

　　隨著游戲機(jī)行業(yè)的不斷發(fā)展，傳統(tǒng)的游戲控制器將被圖像傳感器和視頻分析器所取代，通過檢測身體動作和面部表情來控制游戲。預(yù)計這些智能控制器將逐漸引入到其他消費電子產(chǎn)品中，如電視機(jī)、個人電腦、智能手機(jī)和平板電腦。此外，智能家居應(yīng)用(如照明、加熱和空調(diào)設(shè)備)可能會采用類似的功能并添加圖像傳感器。最終這些攝像頭將取代傳統(tǒng)物理控制器。

　　總結(jié)

　　不久之前，嵌入式視覺技術(shù)還在很大程度上受到組件性能的限制。智能視覺解決方案中的許多關(guān)鍵組件，特別是實時處理高清數(shù)字視頻所需的計算引擎，價格高昂超出可接受的范圍。那些日子已經(jīng)一去不復(fù)返了!隨著移動處理器的發(fā)展，低功耗FPGA和ASSP的出現(xiàn)，MIPI接口標(biāo)準(zhǔn)的推廣以及低成本攝像頭和傳感器的普及，設(shè)計工程師可將曾經(jīng)高度專業(yè)化的技術(shù)應(yīng)用到智能工廠自動化、汽車電子和消費電子領(lǐng)域。顯然嵌入式視覺技術(shù)將在這里發(fā)揮十分重要的作用。

　　題外話：

　　如何加速產(chǎn)品的上市進(jìn)程

　　對于快速發(fā)展的嵌入式視覺市場而言，有一點勿庸置疑：競爭將會源源不斷。對于那些希望快速進(jìn)行開發(fā)的設(shè)計工程師來說，萊迪思半導(dǎo)體為嵌入式視覺解決方案提供了一個易于使用的快速原型設(shè)計開發(fā)平臺。該嵌入式視覺開發(fā)工具套件包括一個由三塊開發(fā)板組成的模塊化平臺，其中包括CrossLink VIP輸入橋接板、ECP5 VIP處理器板以及HDMI VIP輸出橋接板 。

　　CrossLink VIP輸入橋接板提供2個用于連接索尼IMX高清攝像頭傳感器的MIPI CSI-2接口。ECP5 VIP處理器板包含一片ECP5 FPGA，專為預(yù)處理和后處理進(jìn)行了優(yōu)化。該處理器板還通過NanoVestor連接器與Helion Vision的高清(HD)圖像信號處理(ISP)IP支持外部圖像傳感器視頻輸入。憑借Sil1136 IC，HDMI VIP輸出板可連接標(biāo)準(zhǔn)HDMI顯示器。

　　上述由三塊開發(fā)板組成的開發(fā)平臺提供了開發(fā)機(jī)器人、無人機(jī)、ADAS、智能監(jiān)控和AV / VR系統(tǒng)等應(yīng)用所需的設(shè)計靈活性和低功耗特性。該套件已預(yù)先內(nèi)置雙CSI-2至HDMI演示。CrossLink橋接器件接收兩路攝像頭輸入信號，并將它們合并成單個數(shù)據(jù)流，然后通過并行接口將數(shù)據(jù)發(fā)送到ECP5 FPGA。ECP5-85 FPGA接收輸入圖像數(shù)據(jù)，并在將數(shù)據(jù)發(fā)送到HDMI輸出板之前執(zhí)行基本的圖像處理功能。然后輸出板將數(shù)據(jù)轉(zhuǎn)換為HDMI格式并將圖像呈現(xiàn)到標(biāo)準(zhǔn)顯示屏上。