3D視覺的市場技術概覽

1   視覺正從2D向3D升級

機器視覺起源于上世紀50年代。隨著傳感和計算等技術的發(fā)展，機器視覺憑借其分辨率高、速度快、范圍寬、適應性強、精度高、可量化及可持續(xù)工作等優(yōu)勢，將圖像處理應用于工業(yè)、商業(yè)和人們的日常生活中，成為這些行業(yè)發(fā)展的助推力。

隨著智能制造的不斷深入，面對復雜的物件辨識和尺寸量度任務，以及人機互動所需要的復雜互動，2D視覺在精度和距離測量方面均出現(xiàn)部分技術局限，市場對3D視覺的需求開始與日俱增。

3D空間計算概念大概15~20年前就已經(jīng)有了，近年來隨著3D傳感器、AI、大數(shù)據(jù)和機器人過程自動化等領域的蓬勃發(fā)展，帶來了實時、準確的3D目標檢測，為機器人的物體識別、物體檢測、物體分揀、視覺定位/導航、有效避障等各項任務提供保障。以正在興起的人形機器人應用領域為例，3D視覺傳感器可以幫助機器人高效完成人臉識別、距離感知、避障、導航等功能，使其更加智能化。

圖1   2024-2029年全球機器視覺市場規(guī)模預測（單位：億美元）

2   機器視覺市場

據(jù)前瞻產業(yè)研究院預測，全球機器視覺市場2024—2029年的復合年增長率將在20%左右，至2029 年，全球機器視覺市場規(guī)模將有望接近400億美元。

據(jù)GGII（高工產業(yè)研究院）數(shù)據(jù)顯示，2021年全球機器視覺市場規(guī)模約為804億元，同比增長12%，預計至2025年該市場規(guī)模將超過1200億元。2022-2025年的年均增長率約為12%。在這期間，中國的增長速度尤其快。2021年，中國機器視覺市場規(guī)模138億元（注：該數(shù)據(jù)未包含自動化集成設備規(guī)模），同比增長47%，其中2D 視覺市場規(guī)模約為127 億元，3D 視覺市場約為12億元。預計2025年，我國機器視覺市場規(guī)模將達到469億元，其中2D視覺市場規(guī)模將超過360億元，3D視覺市場規(guī)模將超過100億元。

圖2 2D與3D圖比對（圖源：奧比中光官網(wǎng)）

可見，我國不僅機器視覺市場高速發(fā)展，而且3D視覺市場異軍突起，市占率從2021年的9%，增加到2025年的21%，是一個妥妥的朝陽行業(yè)。

3D傳感器是3D視覺的重要組成部分，據(jù)Allied Market Research（AMR，聯(lián)合市場研究）預計，到2031年，全球3D傳感器市場預計將達到570億美元，自2022年起復合年增長率為13%。該技術的首次商業(yè)用途是在游戲領域的3D成像和檢測，在過去10年中，受智能手機需求以及3D面部識別解鎖手機功能的推動，消費設備中的3D傳感技術不斷增加。

3D傳感器及信號調理廠商眾多，本文涉及了英飛凌、Teledyne e2v、安森美、羅姆、ADI、奧比中光等公司的采訪與網(wǎng)上信息摘錄。

圖3 部分3D測量方案

3   3D視覺的特點

過去數(shù)十年中，2D成像技術有了長足的發(fā)展，分辨率從幾十萬像素發(fā)展到現(xiàn)在的上億像素，色彩還原更真實，逆光環(huán)境下也能通過HDR 技術提升圖像質量。

然而，2D圖像僅能夠提供紋理（色彩）信息，無法提供實現(xiàn)更精準識別、追蹤等功能所需的空間形貌、幾何尺寸、位姿等信息。

3D視覺技術相對于2D技術提供了更豐富的被攝目標信息，可以在六個自由度（x、y、z、旋轉、俯仰、橫擺）上定位被攝目標，還原人眼視角的三維立體世界（如圖2）?；?D視覺傳感器采集的信息，不但有紋理（色彩）信息，還增加深度信息，也就是視場內的空間幾何尺寸信息。這樣圍繞著物體、空間掃描一圈，就能得到點云圖和精準的1∶1 還原的3D 模型。而有了這些信息作為輸入，應用場景會大為增多，性能也會大幅提升。

●   結構光方案;

●   深度傳感器。種類有：iToF（間接飛行時間）/dToF（直接飛行時間）、FMCW（調頻連續(xù)波）、超聲波及雷達/ 激光雷達（Lidar）。

這些方法適用于不同的應用場景。以人形機器人為例，視覺傳感技術主要使用多目立體視覺和iToF 法。多目立體視覺是立體視覺方法中的一種，最少使用3 個相機，用單個或多個相機從多個視點獲取同一個目標場景的多幅圖像，重構目標場景的三維信息，特斯拉和UCLA（加州大學洛杉磯分校）Artemis、優(yōu)必選使用3個相機實現(xiàn)多目立體視覺。ToF相機通過測量光源發(fā)送到場景中，并經(jīng)由物體反射到感測組件來獲取深度信息，若是通過發(fā)射波形和反射接收的時間差是dToF，而測量的是發(fā)射波形和反射接收波形之間的相位移則是iToF。小米和波士頓動力使用iToF。

4   3D視覺傳感器

3D視覺傳感器的分類如表1所示。

表1   3D視覺感知技術差異（來源：奧比中光）

●   結構光

通過光學投射模塊將具有編碼信息的結構光投射到物體表面，在被測物表面形成光條圖像。圖像采集系統(tǒng)采集光條圖像后，通過算法處理得出被測物表面的三維輪廓數(shù)據(jù)，以還原目標物體三維空間信息（如圖4）。結構光技術是一種主動的三維測量技術。

圖4 各種結構光原理

其特點是：由于結構光是主動光，優(yōu)勢是在昏暗環(huán)境和夜間可用，不需要根據(jù)場景的變化而有變化，降低了匹配的難度。但劣勢是在強光環(huán)境中會受到干擾，室外基本不可用。另外，由于主動結構光是帶編碼的，所以多個結構光相機同時使用也是有問題的。在實測中，結構光在角度比較小的側面上反射比較嚴重，經(jīng)常出現(xiàn)較大的黑洞，當然黑色物體和玻璃是結構光的大BUG，一個吸光一個透光。

●   立體視覺法

指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結構或深度信息。目前立體視覺 3D 可以通過單目、雙目、多目實現(xiàn)。雙目機器視覺是指使用兩個 RGB 彩色相機采集圖像，并通過后端的雙目匹配和三角測量等算法，計算得到深度圖的技術方法。雙目技術使用的是物體本身的特征點，由于每一次雙目匹配都面對不同的圖像，都需要重新提取特征點，計算量非常大。雙目是一種被動的三維測量技術。

特點是：硬件復雜度較低，弱光或目標特征不明顯時幾乎不可用。同時，雙目相機的運算復雜度也非常高，對硬件計算性能要求極高。因為計算能力要求高，雙目相機極少在嵌入式系統(tǒng)設備中使用，雙目相機在通用場景中表現(xiàn)也并不太好，像諸如SLAM（同步定位與地圖構建）導航等應用。但在工業(yè)自動化領域和x86 系統(tǒng)中，雙目相機應用廣泛，因為工業(yè)自動化中，雙目相機可以解決特定場景中的特定問題。

●   飛行時間(ToF)

由發(fā)射和反射光信號之間的時間延遲來測量，給定固定的光速。為了精確地測量時延，經(jīng)常使用短光脈沖。這種技術與3D 激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而ToF 相機則是同時得到整幅圖像的深度信息。

特點是：和結構光方式相比，ToF 并不需要對光的圖案做復雜解析，只需要反射回來即可，這大大提高了魯棒性，深度信息還原度比結構光好很多，點云的完整性更好。主要表現(xiàn)在：深度圖質量要高于結構光，抗強光的干擾能力也更強一些，精度也要更高一些。但對于玻璃，是光技術的死穴，只能靠其他技術來彌補了。ToF速度高，但精度只有毫米級。ToF技術的難度較高，成本也較高。

5   工程師該如何選型？

這取決于要以3D 形式可視化的目標應用/ 產品。

首先，選擇正確的技術可能有挑戰(zhàn)性。Teledyne e2v公司的發(fā)言人告訴EEPW記者，通過研究所考慮場景的要求來完成的，諸如分辨率、距離范圍（最小和最大）、視場、幀速率、環(huán)境和照明方案（室內、室外或混合），當然還有所需的準確性和可重復性。

其次，評估全局系統(tǒng)，包括光學系統(tǒng)、照明（如果使用主動技術）、處理等。并綜合考慮參數(shù)以做出正確的權衡，從而盡可能地優(yōu)化最終系統(tǒng)。

Teledyne e2v擁有廣泛的3D傳感器和模塊產品組合，有用于激光三角測量、立體視覺、結構光的傳感器，還有用于飛行時間和角度敏感像素（即5D技術）的傳感器的3D技術，可滿足從低端到高端產品的多個市場，諸如AGV/AMR、機械臂、工廠過程控制、物流和倉庫自動化等。

6   以ToF解鎖3D立體空間

ToF分為dToF 和iToF。dToF和iToF在傳感器原件上的區(qū)別是：iToF是使用CMOS工藝開發(fā)的圖像傳感器，而dToF需要使用單光子雪崩二極管（SPAD）的傳感器。dToF有長距離與抗干擾性的特點，較適用于長距離的量測。而iToF由于有成本與空間圖像分辨率的優(yōu)勢，很適合AI應用。

由于iToF除了對于距離與空間的重現(xiàn)具有高度的可靠度外，還有分辨率的優(yōu)勢，近年發(fā)展很快?！癷ToF的應用市場非常廣闊，從消費類到工業(yè)類，再到汽車電子市場都有非常多的應用場景?！?英飛凌科技大中華區(qū)消費、計算與通訊業(yè)務高級市場經(jīng)理張訓彬告訴EEPW記者，其iToF專注于智能手機、智能掃地機和智能汽車應用。其3D ToF傳感器廣受市場好評，目前每年的出貨量都在幾百萬片以上。

iToF之所以流行，因為相比于結構光、多目等3D感知方案，iToF是相對簡單的。但是，工程師們仍然面對著很多行業(yè)內的技術挑戰(zhàn)，比如多路徑干擾、飛點、HDR、運動模糊等。為此，英飛凌積極與合作伙伴合作，例如與pmd公司（湃安德）合作，其為英飛凌提供了先進的深度算法，校準、測試方案；歐菲光公司創(chuàng)新性地提出了雙光源（hToF）的解決方案，解決了很多行業(yè)內的難點、痛點問題，從而為3D ToF在機器人的智能化的發(fā)展提供應用價值。

7   多種技術組合，使3D視覺還原“真像”

僅有3D傳感器還不夠，還需要相關的芯片等技術配合。

●   LiDAR 激光二極管與GaN器件匹配

物流行業(yè)正進入智慧物流時代，需要越來越多的AGV（無人搬運車）和AMR（自主移動機器人），能精準地感測更遠距離、不易受到陽光干擾的LiDAR（3D感測和距離感測）技術備受矚目。

為了使LiDAR支持更遠的距離并實現(xiàn)更高的精度，羅姆開發(fā)出了可實現(xiàn)更窄激光線寬的自有專利技術。并且與之配合，還有能驅動LiDAR 激光二極管的高速開關GaN HEMT。該GaN器件能夠以1 ns左右的超窄脈沖驅動激光器，而這是以往的Si 器件無法實現(xiàn)的。1 ns的時間偏差相當于30 cm的距離偏差，因此如果脈沖寬度過寬將無法進行高精度的距離檢測，而使用GaN 器件則可以攻克這一難題。另外，由于電流流動時間變短，發(fā)熱量降低，因此可實現(xiàn)更大電流驅動，從而可以檢測更遠的距離。

●   傳感器及連接解決方案組合

工業(yè)自動化正經(jīng)歷一場重要變革，機器人和機械設備正從能夠執(zhí)行高精度重復任務的全自動設備，逐步演變?yōu)槟軌蜃灾鞣磻⑦m應環(huán)境變化和新輸入的智能自主化機器。隨著工業(yè)自動化技術向自主化不斷發(fā)展，機器能夠準確、可靠、安全地感知其周圍環(huán)境以有效執(zhí)行任務變得至關重要。ADI機器人與工業(yè)視覺產品線總監(jiān)Maurizio Granato稱，這往往需要多項技術解決方案。

ADI能夠將深度感測（飛行時間）技術與連接解決方案（如TSN以太網(wǎng)、GMSLTM 和Gigaspeed 隔離）相結合，應用于機器人、智能機械設備和數(shù)字工廠等領域。ADI工業(yè)視覺技術部總監(jiān)Erik Barnes以ToF應用舉例，ADI不僅提供高性能的傳感器，還提供帶有深度處理芯片和算法支持的子系統(tǒng)級解決方案，幫助客戶將ToF技術快速集成至其產品中。例如，ADI率先推出了一百萬像素（1 MP）的ToF深度傳感模塊，ADI的深度圖像信號處理器（ISP）提供了一個專用的數(shù)字計算引擎。在視頻數(shù)據(jù)傳輸領域也擁有關鍵創(chuàng)新技術，諸如ADI的千兆位多媒體串行鏈路(GMSL) 是一種性價比高、簡單且可擴展的SerDes 技術。

●   SoC計算芯片與模組

2D升級到3D以后，一種比較傳統(tǒng)的做法是用一個性能較強的通用芯片或FPGA去運行軟件化的3D算法，其優(yōu)點是靈活性高，但也存在一些缺板：①延時、功耗、系統(tǒng)成本較大。②對于一些較高的性能需求，諸如低延時、高分辨率/ 高幀率，用常規(guī)的軟件算法或FPGA 很難實現(xiàn)。③隨著很多應用對真實世界的感知越來越復雜，這些設備加在一起的價格比較昂貴。

為了解決此矛盾，芯明智能把3D 算法做成了芯片。副總裁周凡指出，目前核心量產的芯片有：NU4100和NU4000，都是12 nm制程，它們作為系統(tǒng)的協(xié)處理器，有較強的邊緣計算能力，可以幫助大幅降低整個系統(tǒng)的成本和功耗。NU4500是最新款的芯片，今年會去做tape out。此外，由于很多機器人客戶很難直接使用芯片，為此，芯明智能推出了各種視覺模組，覆蓋不同的視覺范圍、接口要求、防水防塵等級等。

8 機器視覺的發(fā)展歷史

機器視覺起源于上世紀50年代，Gilson提出了“光流”概念，并在相關統(tǒng)計模型的基礎上發(fā)展了逐像素計算模型，標志著二維圖像統(tǒng)計模型的發(fā)展（如圖5）。

圖5 機器視覺發(fā)展歷程

主要驅動如圖6所示。

圖6

2   機器視覺的成長因素

機器視覺的優(yōu)勢是顯而易見的，與人眼相比，機器不僅不會疲勞，具有人所不具有的一致性和重復性，而且機器可以看到和使用可見光以外的其它光源信息。檢測速度和精確性也是機器視覺檢測具備的一個明顯優(yōu)勢。

表2 機器視覺比人類視覺更有優(yōu)勢

由上表可見，機器視覺性能優(yōu)勢顯著。隨著技術持續(xù)創(chuàng)新，未來機器視覺將朝向3D視覺方向不斷發(fā)展和精進。

參考文獻：

[1]智能制造的“眼睛”：機器視覺發(fā)展的“前世今生”-OFweek工控網(wǎng).(2021-6-4).

[2] 前瞻產業(yè)研究院.中國機器視覺產業(yè)發(fā)展前景與投資預測分析報告.

[3] 王兵.人形機器人產業(yè)鏈分析——3D視覺.(2024-1-15).與非網(wǎng).

（本文來源于《EEPW》202411）