<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁(yè) > 設(shè)計(jì)應(yīng)用 > “3D空間計(jì)算”助力機(jī)器人“慧眼識(shí)界”

          “3D空間計(jì)算”助力機(jī)器人“慧眼識(shí)界”

          —— 根據(jù)芯明副總裁周凡博士的講演整理
          作者:王瑩(EEPW) 時(shí)間:2024-11-19 來源:EEPW 收藏

          3D空間計(jì)算是機(jī)器人的基本要素,是智能識(shí)別、自主決策、精確控制的基礎(chǔ)。

          本文引用地址:http://www.ex-cimer.com/article/202411/464719.htm

          3D空間計(jì)算的關(guān)鍵技術(shù)是“3D視覺+AI”。只有依靠AI的3D視覺和強(qiáng)大的算力,才可以支撐開發(fā)更智能、性價(jià)比更高的新一代機(jī)器人應(yīng)用。

          2024年4月,芯明副總裁周凡博士在上?!?024中國(guó)人形機(jī)器人生態(tài)大會(huì)”上,介紹了該公司在3D空間計(jì)算方面的技術(shù)及解決方案。

          1732000472443233.png

          1   3D空間技術(shù)——人機(jī)交互的新起點(diǎn)

          隨著各種芯片、AI技術(shù)的成熟和落地,人機(jī)交互的方式也在發(fā)生變革,從過去PC時(shí)代到現(xiàn)在的移動(dòng)時(shí)代,操控方式從鍵盤鼠標(biāo),到觸摸屏、語(yǔ)音、手勢(shì)識(shí)別等,這些看似小小的改變已為我們的生活方式帶來了翻天覆地的變化。

          現(xiàn)在我們正處于空間智能的時(shí)代——是對(duì)我們生活方式的又一場(chǎng)大變革的起點(diǎn)。因?yàn)?D空間計(jì)算能夠?qū)崿F(xiàn)真實(shí)物理世界和虛擬世界的融合,包括智能設(shè)備與真實(shí)世界之間的互動(dòng)。

          空間計(jì)算概念大概15~20年前就已經(jīng)有了,專注人和機(jī)器的交互,通過機(jī)器操縱真實(shí)世界的標(biāo)的物。

          為了達(dá)到這個(gè)目的,芯明深耕3D空間計(jì)算技術(shù)。3D空間計(jì)算技術(shù)可用于很多行業(yè),包括包含人形機(jī)器人/自主移動(dòng)機(jī)器人在內(nèi)的泛機(jī)器人、自動(dòng)駕駛、智能制造以及人們的娛樂社交等,在未來幾年會(huì)帶來翻天覆地的變化。

          2   3D空間計(jì)算的痛點(diǎn)及解決方案

          3D空間計(jì)算的基礎(chǔ)是機(jī)器視覺。因?yàn)闄C(jī)器人/人形機(jī)器人要能去理解真實(shí)的物理世界,就需要機(jī)器視覺。機(jī)器視覺技術(shù)已越來越成熟,但還有三個(gè)痛點(diǎn):首先,2D視覺已經(jīng)無(wú)法滿足越來越復(fù)雜的終端需求,很多行業(yè)需要從2D升級(jí)到3D。其次,升級(jí)到3D以后,傳統(tǒng)的做法是用性能較強(qiáng)的通用芯片或FPGA去運(yùn)行軟件化的3D算法。這種方法的優(yōu)點(diǎn)是靈活性高,但也存在一些缺板:①延時(shí)、功耗、系統(tǒng)成本較大。②對(duì)于一些較高的性能需求,諸如低延時(shí)、高分辨率/高幀率,用常規(guī)的軟件算法或FPGA很難實(shí)現(xiàn)。③隨著很多應(yīng)用對(duì)真實(shí)世界的感知越來越復(fù)雜,這些設(shè)備加在一起的價(jià)格比較昂貴。第三個(gè)痛點(diǎn)是適用于復(fù)雜場(chǎng)景的3D感知設(shè)備價(jià)格昂貴,傳統(tǒng)的多傳感器融合會(huì)大幅增加系統(tǒng)成本及復(fù)雜度。

          因此行業(yè)的共識(shí)是:必須要完成2D到3D的技術(shù)升級(jí),最好的方法是3D算法芯片化,因?yàn)橹挥袕淖畹讓拥男酒リP(guān)注需求和進(jìn)行創(chuàng)新,才能更好地去服務(wù)于應(yīng)用和提高產(chǎn)品力。而且芯片的集成度要高,最好做成單芯片方案,把系統(tǒng)/機(jī)器人的需求全部在設(shè)計(jì)芯片時(shí)就開始進(jìn)行考量,這樣整體的解決方案才能有競(jìng)爭(zhēng)力。

          3   芯明的3D空間計(jì)算單芯片解決方案

          ●   芯片層面

          芯明是專門做空間計(jì)算及人工智能芯片和產(chǎn)品設(shè)計(jì)的高科技企業(yè),是全球少有的已大規(guī)模量產(chǎn)單芯片解決方案的公司,包括3D視覺感知、AI引擎、實(shí)時(shí)定位和建圖的硬件引擎。

          芯明的全球總部坐落于合肥,并在上海、以色列、北京和深圳設(shè)有子公司和分公司。在空間計(jì)算的專利方面,已經(jīng)在美國(guó)和中國(guó)有專利保護(hù)墻,有超過110項(xiàng)專利。目前量產(chǎn)的芯片是12nm制程。

          芯明在3D空間計(jì)算方面的核心競(jìng)爭(zhēng)力是從客戶的需求/終端應(yīng)用場(chǎng)景出發(fā),把需求帶到芯片設(shè)計(jì)里。因此,芯明芯片的實(shí)時(shí)3D立體視覺感知能力很強(qiáng),F(xiàn)HD(全高清,1080p)可以達(dá)到60幀,720p可以做到120幀??紤]到很多行業(yè)應(yīng)用的需要,包括SLAM(同步定位和地圖構(gòu)建),芯明還做了芯片內(nèi)建模塊的支持方案,包括運(yùn)動(dòng)到顯示的延時(shí)——異步時(shí)間扭曲延遲做到1 ms;而傳統(tǒng)用 GPU進(jìn)行訓(xùn)練去做的方案一般在20~30 ms。芯明芯片內(nèi)部也自建了一個(gè)神經(jīng)網(wǎng)絡(luò)的引擎,目前量產(chǎn)的芯片算力可達(dá)到3.5TOPS,且功耗很低,最低可小于1 W,能夠同時(shí)支持6路攝像頭,這意味著從3D視覺感知角度,可以同時(shí)支持3個(gè)獨(dú)立的深度流。

          芯明已量產(chǎn)的芯片有:NU4000和NU4100,它們作為系統(tǒng)的協(xié)處理器,有較強(qiáng)的邊緣計(jì)算能力,可以幫助大幅降低整個(gè)系統(tǒng)的成本和功耗。

          NU4500是芯明即將推出的最新款芯片,預(yù)計(jì)今年年底會(huì)去做tape out。其核心算力及AI引擎將做大幅提升。對(duì)于很多應(yīng)用,NU4500可以作為主控芯片來應(yīng)用。

          ●   視覺模組

          由于很多機(jī)器人客戶很難直接使用芯片,為此,芯明推出了搭載其自研空間計(jì)算芯片的視覺模組,可覆蓋不同的視覺范圍,諸如長(zhǎng)、中、短距離;適合不同的接口要求,諸如以太網(wǎng)、USB、GSM等。根據(jù)不同的應(yīng)用,芯明的視覺模組可滿足不同的防水防塵等級(jí),諸如IP65、IP67等;也有不同的技術(shù)支持,可提供全套的解決方案,包括人形機(jī)器人的3D視覺感知系統(tǒng)、低空物流無(wú)人機(jī)、虛擬數(shù)字人(注:數(shù)字人也是真實(shí)世界和物理世界的一種轉(zhuǎn)換),包括現(xiàn)在較為火爆的3D手持空間掃描儀、MR頭顯和養(yǎng)老終端/機(jī)器人等,芯明都能夠提供端到端的全棧解決方案。

          ●   算法庫(kù)

          多年來,芯明也積累了眾多算法庫(kù),它們都是基于真實(shí)的應(yīng)用和解決方案,經(jīng)過不斷的迭代,形成可以復(fù)用的算法庫(kù),使客戶可以比較快速地開發(fā)產(chǎn)品和推出他們的新應(yīng)用。

          4   人形機(jī)器人的解決方案

          對(duì)于人形機(jī)器人,芯明的3D空間計(jì)算單芯片解決方案主要是從兩個(gè)維度來賦能: ①幫助實(shí)現(xiàn)具身智能;②幫助實(shí)現(xiàn)更多的精細(xì)操作。

          ●   具身智能

          對(duì)于具身智能,芯明的解決方案主要從兩個(gè)方面來幫助人形機(jī)器人去更好地實(shí)現(xiàn)。

          首先,芯明專注空間智能技術(shù)的創(chuàng)新和研發(fā),能夠提供高精度實(shí)時(shí)的空間計(jì)算,幫助機(jī)器人更好地去感知周圍的真實(shí)世界。

          在傳統(tǒng)的語(yǔ)音、文本和圖像等基本模態(tài)基礎(chǔ)之上,芯明可以幫助加入3D點(diǎn)云的模態(tài),從而用增強(qiáng)多模態(tài)的關(guān)鍵技術(shù),幫助人形機(jī)器人提高智能水平和邏輯自洽,以提高機(jī)器人對(duì)物理世界的理解和判斷,實(shí)現(xiàn)更好的認(rèn)知和互動(dòng)。

          現(xiàn)在國(guó)內(nèi)外研究表明,3D空間多模態(tài)大模型實(shí)現(xiàn)的難點(diǎn)是需要海量數(shù)據(jù)用作訓(xùn)練,對(duì)算力和訓(xùn)練數(shù)據(jù)要求非常高。例如,很多機(jī)器人,包括訓(xùn)練疊衣服、做飯、倒咖啡等,最缺乏的是一個(gè)可以用作訓(xùn)練的數(shù)據(jù)庫(kù)。芯明擁有三維空間多模態(tài)大模型數(shù)據(jù)庫(kù),借助三維空間數(shù)據(jù),大幅降低多模態(tài)大模型對(duì)訓(xùn)練數(shù)據(jù)的海量要求,大幅提高訓(xùn)練結(jié)果的準(zhǔn)確度,幫助大模型的發(fā)展擺脫對(duì)算力和數(shù)據(jù)量的過度依賴,,幫助機(jī)器人針對(duì)特定應(yīng)用來提高訓(xùn)練效果和準(zhǔn)確度。

          芯明能夠提供不同的視覺子系統(tǒng)解決方案,例如有的安裝在頭部,可做前視和環(huán)視,其芯片和模組有很強(qiáng)的邊緣計(jì)算能力,幀速率、分辨率很高,以幫助機(jī)器人在頭部對(duì)周圍的物理世界做3D感知和理解。

          ●   更精細(xì)的操作

          為了幫助機(jī)器人做更精細(xì)的操作,芯明在機(jī)器人的手腕、指尖也有相應(yīng)的解決方案。例如在指尖,可以提供一個(gè)定制化的超短基線的模組。芯明的空間計(jì)算技術(shù)已應(yīng)用于牙科的口掃儀(牙醫(yī)用來掃牙、做牙模等)。把該技術(shù)經(jīng)過優(yōu)化后,可應(yīng)用到機(jī)器人的指尖,在幫助機(jī)器人做精細(xì)操作的同時(shí),還能做很精確的物理距離識(shí)別和判斷。

          總之,針對(duì)機(jī)器人的頭、手、腰和手腕,芯明有全套的視覺解決方案,幫助機(jī)器人實(shí)現(xiàn)更精確的操作。

          5   結(jié)束語(yǔ)

          在客戶合作方面,芯明已經(jīng)和國(guó)內(nèi)眾多人形機(jī)器人的頭部企業(yè)和高校進(jìn)行了深入合作。

          從3D視覺系統(tǒng)和三維多模態(tài)大模型這兩個(gè)維度,芯明可幫助機(jī)器人實(shí)現(xiàn)感知和識(shí)別,包括平穩(wěn)的步態(tài)和精細(xì)操作。通過大模型幫助機(jī)器人更好地認(rèn)識(shí)和理解真實(shí)的三維世界,去提高機(jī)器人的整體運(yùn)動(dòng)能力、操作能力,包括AI、類人的認(rèn)知水平,助力人形機(jī)器人的發(fā)展。



          關(guān)鍵詞:

          評(píng)論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();