雙目立體賦能3D機器視覺，銀牛攜芯片模組登陸中國市場

1   幾種3D深度感知技術比較

3D深度感知主要有3個技術方向：雙目立體，結構光，飛行時間（ToF），結構光起步比較早，但是技術的局限性較大，而雙目立體的發(fā)展速度較快，勢頭迅猛。

從物理原理上，雙目立體和結構光二者都用了三角測距，但是雙目立體是依靠自然的紅外反射在攝像頭上產(chǎn)生特征點，來計算對象物深度的數(shù)據(jù)。結構光需要有一個發(fā)射光的發(fā)射源，帶編碼的光到了對象物體再反射回來來計算這個深度。結構光的弱點是在室外時，結構光發(fā)射帶編碼的光經(jīng)常受到環(huán)境的干擾；而雙目立體不容易受到室外光的干擾，因此室內(nèi)室外都可以用。所以結構光只能在室內(nèi)使用而且距離比較近；而雙目立體具有明顯優(yōu)勢。

2   雙目立體將是3D機器視覺等高精尖領域的主角

盡管結構光或ToF有它們各自的技術優(yōu)勢和特點，例如成本、近距離，但是隨著機器視覺、AI的不斷發(fā)展，最終會要求更高的精度、處理速度/刷新率、分辨率等，例如機器人、VR/AR等應用，較適合雙目立體，因為雙目立體的優(yōu)勢在于能夠提供更高的精度和更快的處理速度。

因此，如果把3D機器視覺比喻為一場演出，ToF、結構光只是暖場的，真正的主角和演出將由雙目立體來主導。不過，未來會是二者或三者融合的方案。當然融合也是有主有輔，雙目立體會占最主要的角色，可以配合結構光和/或ToF、激光測距等，以實現(xiàn)更完善的解決方案。

哪些領域有望最先用到雙目立體技術？銀牛微電子公司看好4個技術應用方向：①避障和自主導航，例如無人機、消毒機器人、送餐機器人、巡檢機器人，包括部分的安防機器人，還有自動駕駛范疇內(nèi)的老年代步車。② 3D掃描重建，例如用于醫(yī)學、醫(yī)美，口腔牙齒建模為矯正帶來劃時代的變革。③人臉識別。人臉識別不僅僅是比對照片進行人臉的識別，更重要的是今后在金融支付/刷臉支付場合用于防偽。④盡管目前雙目立體在中國的應用主要集中于定位，但是將來會有一些非常巧妙而非常難做的勞動機器人出現(xiàn)，例如歐美有客戶用雙目模組做自動摘葡萄、摘桃子，有一些國外公司與中國客戶接觸做自動采茶，這需要精準識別茶葉，再用剪刀準確控制和剪切下來。

3   銀牛3D芯片及模組登陸中國市場

從感知到計算，再到系統(tǒng)一體化，是每個機器視覺必須要具備的環(huán)節(jié)。實際上，機器視覺不僅是你看到了什么，其次還要明白你的機器視覺需要達到什么目的？機器要理解這個世界，因此機器要有分析能力，即要有強大的計算能力；之后，還要進行判斷、決策、執(zhí)行，因此需要系統(tǒng)的整體設計?？梢?，感知、計算、系統(tǒng)都是缺一不可的。如何獲得這樣一攬子的解決方案？

近日，3D芯片的引領者Inuitive的母公司——銀牛微電子宣布，面向機器人行業(yè)重磅推出旗下全新產(chǎn)品“3D機器視覺模組C158”。該產(chǎn)品基于銀牛（Inuitive）NU4000芯片設計，高度集成3D深度感知、高精度姿態(tài)跟蹤、SLAM（實時定位建圖）引擎與強大的AI算力于一體，可為業(yè)界提供從實時3D感知、計算到系統(tǒng)一體化的解決方案。

C158具備業(yè)內(nèi)領先的深度感知能力，深度分辨率可達1280 x 800 @60fps，感知距離達到6m，深度感知精度誤差僅為1%，滿足了對3D深度性能有高要求的應用。在AI性能方面，該產(chǎn)品擁有2 TOPs的AI運算能力和靈活配置，不但能有效地支撐從感知到運算的各種需求，還能減少主控芯片 / 系統(tǒng)的負擔，提高實時性。

在功耗方面，C158僅以0.5 W即可實現(xiàn)5~6 TOPS算力，可輕松滿足設備端功耗要求，并且產(chǎn)品內(nèi)置的通用型ARM核，支持系統(tǒng)的獨立性，使系統(tǒng)可以同時兼顧協(xié)處理器和主控系統(tǒng)，為設計提供極大的靈活性。

圖 C158模組：從感知到計算到系統(tǒng)一體化的解決方案

那么，市場上已有一些雙目先驅，相比他們，銀牛/Inuitive的特色是什么？為此，電子產(chǎn)品世界記者采訪了銀牛微電子領導：董事長兼CEO 曲冠誠、聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸、聯(lián)合創(chuàng)始人兼副總裁何火高。

從左至右：銀牛微電子聯(lián)合創(chuàng)始人兼首席戰(zhàn)略官白逸，董事長兼CEO曲冠誠，聯(lián)合創(chuàng)始人兼副總裁何火高

4   銀牛與Inuitive的關系 

銀牛是2020年為并購Inuitive而成立的。Inuitive在以色列已經(jīng)有近10年的歷史，是世界上第1家把雙目、SLAM功能（實時定位與建圖）技術、深度學習功能集成于芯片里的企業(yè)，這個芯片就是NU4000。

Inuitive具有豐富的設計經(jīng)驗，所有人員的從業(yè)經(jīng)歷平均超過25年，涉及到8個頂尖學科，例如光學、計算機視覺、嵌入式系統(tǒng)等，僅僅光學的儲備能力，在中國都很難找到相匹配的團隊。眾所周知，全球第1個3D結構光芯片技術是以色列PrimeSense公司推出的，后來該公司被蘋果公司并購，蘋果于2017年推出了具有支付安全級的人臉識別結構光手機iPhone X。后來PrimeSense的CTO、項目負責人加入了Inuitive。

2020年，銀牛微電子并購了Inuitive?？梢?，銀牛為并購而成立，站在了巨人肩膀上。

并購后，銀牛在Inuitive國際客戶驗證的基礎上，進一步根據(jù)中國客戶的需求來調(diào)優(yōu)產(chǎn)品，發(fā)布了新模組C158。其中“C”代表“China”，代表滿足中國客戶的需求。

 銀牛的戰(zhàn)略定位是成為雙目視覺領域的異構平臺解決方案提供商。為此，銀牛推出芯片和模組等底層技術，在此基礎之上再加上各種應用算法，以滿足不同行業(yè)的需求。

2022年銀牛看好三個行業(yè)能夠落地：①輔助駕駛（低速的），②各類的機器人，讓機器人更像人，增強跟人的交互，③ AR/VR。下一步，銀牛還看好醫(yī)療等方面的應用。

市場上還有一些廠商做類似產(chǎn)品，例如英特爾RealSense是雙目的先驅，多年來并購了很多公司，有十幾年的儲備，在機器人行業(yè)頗有建樹。銀牛認為和友商不是競爭的關系，目前在3D市場興起的時候，參與的開發(fā)者越多越好。

在此領域，銀牛提供差異化的產(chǎn)品。首先銀牛不認為自己是一家單純的AI通用芯片或3D感知芯片供應商，銀牛要做人工智能3D計算時代IoT和邊緣端完整的異構計算平臺，以及在這個平臺之上的生態(tài)系統(tǒng)，這就是銀牛的芯片不僅僅能提供3D感知，還有AI、DSP、音視頻處理等功能的原因。

5   技術挑戰(zhàn)是如何攻克的？

5.1集成了AI等功能，如何降低功耗？

銀牛會持續(xù)在工藝節(jié)點上不斷追求更高。NU4000是12nm工藝制程，未來該系列產(chǎn)品還會不斷的升級迭代，從現(xiàn)在到2023年的時間，工藝會從12nm前進到7nm甚至5nm。

從芯片設計角度，低功耗是創(chuàng)始人的特色，從創(chuàng)始人第一天開始設計芯片就考慮到的，芯片歷來都是功耗最低的，他在設計里把運行起來的過程，包括從原子層怎么消耗做得非常透徹，這是Inuitive的核心競爭力。為了做到這種程度，很多廠商做3D是在開源上改，而Inuitive是用自己的IP，都是從根兒上重新設計。

圖 Inuitive的創(chuàng)始人及聯(lián)合創(chuàng)始人

5.2視覺SLAM對比激光SLAM的優(yōu)勢

二者各有優(yōu)勢，是相互補充的關系，尤其視覺SLAM成本各方面有非常大的優(yōu)勢。

銀牛微電子聯(lián)合創(chuàng)始人兼副總裁何火高判斷，視覺SLAM和激光SLAM可能是一種融合狀態(tài)，會采用激光SLAM+視覺SLAM。如果是融合方案，就能把自主導航應用場景做得更完整。

Inuitive在芯片上做的是視覺SLAM加速的引擎，能夠讓客戶更有效地把他們的SLAM移植到Inuitive芯片上，以實現(xiàn)想要的功能。

5.3 未來允許第三方廠商直接用芯片設計模組嗎？

銀牛也有芯片客戶，至于選擇哪種，會是一種商業(yè)的考量。

3D機器視覺是剛剛起步的技術，從目前生態(tài)的成熟度、解決方案成熟度、參與度來看，還遠遠無法到拿一個芯片可以直接用起來的程度。而且和其他芯片不同的是：3D感知異構計算平臺因為有3D感知部分，它不僅僅是電的問題，還是跨學科的系統(tǒng)工程，從對光學系統(tǒng)的了解，對視覺算法，到后面一整套的從生產(chǎn)制造到標定，要求都是非常高的。因此，目前從客戶和生態(tài)成熟度來講，去使用芯片的難度非常高，必須要把這些問題包裝在起來，才能賦能整個3D機器視覺生態(tài)里的客戶以更低的門檻、更低的成本加快研發(fā)和應用的落地。

例如三維空間數(shù)學，盡管很多人都在做，把三維空間數(shù)學添加在應用里的門檻就很高。有了深度圖給你，有三維空間，而且每個場景的應用都不一樣，把這個應用起來門檻是非常高的。

5.4 未來支持結構光和ToF嗎?

銀牛微電子董事長兼CEO曲冠誠稱，目前我們可以支持結構光，也支持雙目立體，，但是我們更看好雙目未來的發(fā)展。我們認為結構光的技術門檻不是很高，現(xiàn)在雙目的市場需求呈爆發(fā)式增長。雙目有著天然的優(yōu)勢，因為人的眼睛就是最自然的、感知世界最好的工具，加上我們AI的能力，把眼睛和大腦結合在一起，讓整個機器能夠更好地感知、理解以及執(zhí)行任務。。

實際上，NU4000現(xiàn)在就可以支持結構光，同時也支持部分ToF（注：不是全支持TOF，因為TOF有很多種）。最終的解決方案發(fā)展會是融合的方案，融合也是有主有輔，即使是融合方案，雙目會是占最主要的角色，比如配合結構光，或者是TOF，或者是激光測距等等去做更完善的解決方案。我們也是有充足的準備，首先我們的芯片支持結構光，目前TOF也是可以支持，只不過因為目前看到市場需求，我們相信雙目有它最大的價值，而且它是更持久、更有生命力的技術。