<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 業(yè)界動態(tài) > “3D 空間計算”助力機器人“慧眼識界”

          “3D 空間計算”助力機器人“慧眼識界”

          —— 根據(jù)芯明副總裁周凡博士的講演整理
          作者: 時間:2024-12-23 來源:EEPW 收藏

          3D空間計算是機器人的基本要素,是智能識別、自主決策、精確控制的基礎(chǔ)。

          本文引用地址:http://www.ex-cimer.com/article/202412/465716.htm

          3D空間計算的關(guān)鍵技術(shù)是“3D 視覺+AI”。只有依靠AI 的3D 視覺和強大的算力,才可以支撐開發(fā)更智能、性價比更高的新一代機器人應(yīng)用。

          2024 年4 月,芯明副總裁周凡博士在上海“2024中國人形機器人生態(tài)大會”上,介紹了該公司在3D 空間計算方面的技術(shù)及解決方案。

          1734906800650347.png

          1   3D空間技術(shù)——人機交互的新起點

          隨著各種芯片、AI 技術(shù)的成熟和落地,人機交互的方式也在發(fā)生變革,從過去PC 時代到現(xiàn)在的移動時代,操控方式從鍵盤鼠標,到觸摸屏、語音、手勢識別等,這些看似小小的改變已為我們的生活方式帶來了翻天覆地的變化。

          現(xiàn)在我們正處于空間智能的時代——是對我們生活方式的又一場大變革的起點。因為3D 空間計算能夠?qū)崿F(xiàn)真實物理世界和虛擬世界的融合,包括智能設(shè)備與真實世界之間的互動。

          空間計算概念大概15~20 年前就已經(jīng)有了,專注人和機器的交互,通過機器操縱真實世界的標的物。為了達到這個目的,芯明深耕3D 空間計算技術(shù)。

          3D 空間計算技術(shù)可用于很多行業(yè),包括人形機器人/自主移動機器人在內(nèi)的泛機器人、自動駕駛、智能制造以及人們的娛樂社交等,在未來幾年會帶來翻天覆地的變化。

          2   3D空間計算的痛點及解決方案

          3D空間計算的基礎(chǔ)是機器視覺。因為機器人/ 人形機器人要能去理解真實的物理世界,就需要機器視覺。機器視覺技術(shù)已越來越成熟,但還有三個痛點:首先,2D視覺已經(jīng)無法滿足越來越復(fù)雜的終端需求,很多行業(yè)需要從2D升級到3D。其次,升級到3D 以后,傳統(tǒng)的做法是用性能較強的通用芯片或FPGA 去運行軟件化的3D 算法。這種方法的優(yōu)點是靈活性高,但也存在一些缺板:①延時、功耗、系統(tǒng)成本較大。②對于一些較高的性能需求,諸如低延時、高分辨率/ 高幀率,用常規(guī)的軟件算法或FPGA 很難實現(xiàn)。③隨著很多應(yīng)用對真實世界的感知越來越復(fù)雜,這些設(shè)備加在一起的價格比較昂貴。第三個痛點是適用于復(fù)雜場景的3D 感知設(shè)備價格昂貴,傳統(tǒng)的多傳感器融合會大幅增加系統(tǒng)成本及復(fù)雜度。

          因此行業(yè)的共識是:必須要完成2D到3D的技術(shù)升級,最好的方法是3D算法芯片化,因為只有從最底層的芯片去關(guān)注需求和進行創(chuàng)新,才能更好地去服務(wù)于應(yīng)用和提高產(chǎn)品力。而且芯片的集成度要高,最好做成單芯片方案,把系統(tǒng)/ 機器人的需求全部在設(shè)計芯片時就開始進行考量,這樣整體的解決方案才能有競爭力。

          3   人形機器人的解決方案

          對于人形機器人,芯明的3D 空間計算單芯片解決方案主要是從兩個維度來賦能: ①幫助實現(xiàn)具身智能;②幫助實現(xiàn)更多的精細操作。

          ●   具身智能

          對于具身智能,芯明的解決方案主要從兩個方面來幫助人形機器人去更好地實現(xiàn)。

          首先,芯明專注空間智能技術(shù)的創(chuàng)新和研發(fā),能夠提供高精度實時的空間計算,幫助機器人更好地去感知周圍的真實世界。

          在傳統(tǒng)的語音、文本和圖像等基本模態(tài)基礎(chǔ)之上,芯明可以幫助加入3D 點云的模態(tài),從而用增強多模態(tài)的關(guān)鍵技術(shù),幫助人形機器人提高智能水平和邏輯自洽,以提高機器人對物理世界的理解和判斷,實現(xiàn)更好的認知和互動。

          現(xiàn)在國內(nèi)外研究表明,3D 空間多模態(tài)大模型實現(xiàn)的難點是需要海量數(shù)據(jù)用作訓(xùn)練,對算力和訓(xùn)練數(shù)據(jù)要求非常高。例如,很多機器人,包括訓(xùn)練疊衣服、做飯、倒咖啡等,最缺乏的是一個可以用作訓(xùn)練的數(shù)據(jù)庫。芯明擁有三維空間多模態(tài)大模型數(shù)據(jù)庫,借助三維空間數(shù)據(jù),大幅降低多模態(tài)大模型對訓(xùn)練數(shù)據(jù)的海量要求,大幅提高訓(xùn)練結(jié)果的準確度,幫助大模型的發(fā)展擺脫對算力和數(shù)據(jù)量的過度依賴,幫助機器人針對特定應(yīng)用來提高訓(xùn)練效果和準確度。

          芯明能夠提供不同的視覺子系統(tǒng)解決方案,例如有的安裝在頭部,可做前視和環(huán)視,其芯片和模組有很強的邊緣計算能力,幀速率、分辨率很高,以幫助機器人在頭部對周圍的物理世界做3D 感知和理解。

          ●   更精細的操作

          為了幫助機器人做更精細的操作,芯明在機器人的手腕、指尖也有相應(yīng)的解決方案。例如在指尖,可以提供一個定制化的超短基線的模組。芯明的空間計算技術(shù)已應(yīng)用于牙科的口掃儀(牙醫(yī)用來掃牙、做牙模等)。把該技術(shù)經(jīng)過優(yōu)化后,可應(yīng)用到機器人的指尖,在幫助機器人做精細操作的同時,還能做很精確的物理距離識別和判斷。

          總之,針對機器人的頭、手、腰和手腕,芯明有全套的視覺解決方案,幫助機器人實現(xiàn)更精確的操作。

          (本文來源于《EEPW》



          關(guān)鍵詞: 202412

          評論


          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();