MR整合現(xiàn)實(shí)與虛擬 創(chuàng)造元宇宙數(shù)字生態(tài)系
在Connect2021的開(kāi)發(fā)者大會(huì)上,F(xiàn)acebook公布了Metaverse計(jì)劃,構(gòu)筑出基于元宇宙的下一代3D空間社交網(wǎng)絡(luò)平臺(tái)。此后,元宇宙被視為現(xiàn)實(shí)空間和虛空間的融合,未來(lái)人們可以在這里展開(kāi)互動(dòng)和各種商業(yè)。同時(shí)Meta(Facebook母公司)也將Metaverse定位為下一個(gè)行動(dòng)平臺(tái),繼Apple和Google之后,又另一新創(chuàng)建的網(wǎng)絡(luò)平臺(tái)。
Meta構(gòu)建元宇宙的基礎(chǔ)技術(shù)與概念是,整合增強(qiáng)實(shí)境(AR)和虛擬現(xiàn)實(shí)(VR)后所產(chǎn)生混合實(shí)境(MR)。而這些MR相關(guān)的應(yīng)用技術(shù)都在元宇宙研究所「Facebook Reality Labs」積極的開(kāi)發(fā)中。
創(chuàng)造虛擬世界的技術(shù):Presence Platform
Meta開(kāi)發(fā)的Metaverse是期望讓現(xiàn)實(shí)社會(huì)和虛擬社會(huì)的平滑融合,而創(chuàng)造出這種社會(huì)的技術(shù)則被稱(chēng)為「Presence Platform」。這個(gè)平臺(tái)是以視覺(jué)運(yùn)算和人工智能為核心,將虛擬對(duì)象整合到現(xiàn)實(shí)空間的數(shù)據(jù)處理模塊。具體來(lái)說(shuō),它提供了產(chǎn)生MR、對(duì)象互動(dòng)和語(yǔ)音互動(dòng)的能力。如前所述,MR是一種混合實(shí)境的環(huán)境,融合了真實(shí)空間和虛空間,成為元宇宙的核心功能。
Presence Platform 由三個(gè)SDK組成,包括了「Insight SDK」:在現(xiàn)實(shí)空間中嵌入虛擬對(duì)象來(lái)產(chǎn)生MR環(huán)境的技術(shù)?!窱nteraction SDK」:手動(dòng)操作虛擬對(duì)象的技術(shù)?!竀oice SDK」:使用對(duì)話語(yǔ)音來(lái)對(duì)虛擬對(duì)象進(jìn)行操控的技術(shù)。
圖一 : Mixed Reality 全球市場(chǎng)規(guī)模預(yù)測(cè)(兆日?qǐng)A)。(source:PWC;作者整理)
MR空間生成技術(shù):Insight SDK
Insight SDK是元宇宙的核心技術(shù),目的在產(chǎn)生高質(zhì)量的MR空間。Insight SDK包含兩個(gè)函數(shù),「Passthrough」和「Spatial Anchors」,以及Scene Understanding功能。
Passthrough是一種透過(guò)VR耳機(jī)來(lái)創(chuàng)建出MR空間,并在現(xiàn)實(shí)空間中描繪虛擬物體的技術(shù)。圖二顯示了利用「Oculus Quest 2」來(lái)進(jìn)行鋼琴課程。鋼琴鍵盤(pán)上會(huì)顯示一個(gè)圓形的虛擬對(duì)象,操作者可以用手指輕敲它來(lái)播放音樂(lè)。
同時(shí),「Oculus Quest 2」還內(nèi)建了攝影鏡頭,可以黑白方式看到前方的影像。因此,「Oculus Quest 2」不僅可以用作VR,還可以用以當(dāng)作MR玻璃。
圖二 : 透過(guò)MR技術(shù)將實(shí)體物品與虛擬圖像結(jié)合后進(jìn)行鋼琴課程。(source:META)
Spatial Anchors是一種透用手機(jī)映像出真實(shí)空間的功能。它能利用Oculus手機(jī),讓操作者利用手指沿著家具移動(dòng),繪制出房間內(nèi)部的地圖。經(jīng)由這個(gè)功能,可以了解真實(shí)空間的結(jié)構(gòu),并顯示出相對(duì)應(yīng)的虛擬對(duì)象。
Scene Understanding是對(duì)用戶空間進(jìn)行理解的功能,判斷出空間的位置關(guān)系及其意義。使用此場(chǎng)景模型時(shí),可在房間中建立出一個(gè)MR空間。
利用這種方式,可以整合Passthrough、Spatial Anchors和 Scene Understanding來(lái)開(kāi)發(fā)可判斷物理空間含義的高度復(fù)雜Metaverse。
表達(dá)手部動(dòng)作的技巧:Interaction SDK
Interaction SDK是針對(duì)手或手機(jī)在虛空間中移動(dòng)的處理和控制操作,例如用手抓握、觸摸和指向虛擬對(duì)象。圖三顯示了一個(gè)虛擬的咖啡杯被用手抓著。Interaction SDK是利用視覺(jué)運(yùn)算、AI追?手部動(dòng)作并判斷出與對(duì)象的互動(dòng)程度。
圖三 : 一個(gè)虛擬的咖啡杯被用手抓著。(source:META)
理解語(yǔ)音的技巧:Voice SDK
Voice SDK是一種自然語(yǔ)言分析功能,可透過(guò)聲音來(lái)進(jìn)行語(yǔ)音操控。當(dāng)應(yīng)用于游戲時(shí),可以透過(guò)語(yǔ)音來(lái)進(jìn)行操控。除了語(yǔ)音導(dǎo)航外,Voice SDK還提供語(yǔ)音搜索和語(yǔ)音問(wèn)答功能。例如當(dāng)操作者說(shuō)出虛擬角色的名字「Oppy」時(shí),系統(tǒng)就會(huì)明白這個(gè)詞的意思并接近它。
行動(dòng)MR技術(shù)正積極被開(kāi)發(fā)
行動(dòng)MR具有許多明顯的優(yōu)勢(shì),因此備受全球所注目,也吸引了相當(dāng)多業(yè)者投入開(kāi)發(fā)相關(guān)的各項(xiàng)技術(shù)。目前許多潛在的用戶已經(jīng)擁有一款可支持MR的智能型手機(jī),因此無(wú)需耗費(fèi)金錢(qián)購(gòu)買(mǎi)昂貴且笨重的耳機(jī)。就其本質(zhì)而言,今天的行動(dòng)設(shè)備已經(jīng)非常便于攜帶,也相當(dāng)容易進(jìn)入任何空間。
Apple ARKIT 5
Apple的最新版本AR/MR開(kāi)發(fā)工具集開(kāi)放原始碼行動(dòng)ARKit5,進(jìn)行了重大改進(jìn)。其中最重要的功能,包括對(duì)位置錨點(diǎn)(Anchors)的擴(kuò)充支原、改進(jìn)的運(yùn)動(dòng)追?,以及在超廣角攝影鏡頭中可提供更好的臉部跟?,App Clip Codes還可支持快速掃描啟動(dòng)體驗(yàn)。
自從在ARKit 4中加入位置錨點(diǎn)后,允許APP開(kāi)發(fā)人員可以將具有特定緯度、經(jīng)度和高度的虛擬對(duì)象放置在屏幕上,并且可相對(duì)于現(xiàn)實(shí)環(huán)境中的位置。例如,位置錨點(diǎn)可在標(biāo)志性建筑旁邊的空間中,顯示三維圖標(biāo)或文字。在ARKit 5中,此功能的支持性已擴(kuò)展到倫敦和美國(guó)的其他城市。
擴(kuò)充的臉部追?技術(shù),允許一次最多追?三個(gè)人的臉部,現(xiàn)在可支持所有配備A12Bionic處理器,以及更高版本的設(shè)備,即使沒(méi)有真深度鏡頭(TrueDepth Camera)也可以應(yīng)用。
而App Clip Codes則是應(yīng)用在類(lèi)似于QR Code的影像,可以透過(guò)掃描來(lái)啟動(dòng)APP的lightweight,并且能與 ARKit整合,允許從任何地方啟動(dòng)AR/MR,而無(wú)需下載其他軟件。
Google ARCORE
Android的ARKit-ARCore提供了開(kāi)發(fā)人員在Android設(shè)備上,雖然可以開(kāi)發(fā)出AR/MR APP所需的開(kāi)放原始碼工具集,但由于需要注意Android設(shè)備上各種硬件的兼容性,因此這通常被視為也些挑戰(zhàn)性。
2021年,Google在ARCore中加入了一些新功能,例如錄制和播放API等。這些功能可以讓開(kāi)發(fā)人員使用AR原始數(shù)據(jù)錄制視訊片段,在透過(guò)深度和IMU運(yùn)動(dòng)傳感器數(shù)據(jù),來(lái)以重新建立與視訊中相同的環(huán)境,同時(shí)也為開(kāi)發(fā)人員能更輕松地測(cè)試特定環(huán)境的方式。
錄制和播放API不僅是開(kāi)發(fā)人員所需要,對(duì)使用者來(lái)說(shuō)也有一定的用處,這項(xiàng)技術(shù)提供用戶可以錄制視訊,應(yīng)用在以后的AR/MR效果中,因?yàn)檫@些視訊可以包含環(huán)境原始數(shù)據(jù)。
ARKit和ARCore之間的競(jìng)爭(zhēng)并不如外界想象中的明顯。由于APPLE掌控了所有的設(shè)備組件,因此ARKit在軟件和硬件之間有著較佳的兼容性。但是在市場(chǎng)上,并非每個(gè)使用者都擁有iPhone或iPad。因此對(duì)于其他的用戶或行動(dòng)產(chǎn)品業(yè)者來(lái)說(shuō),ARCore就變得非常重要。盡管由于采用的硬件的不同,不能保證每臺(tái)Android設(shè)備都能獲得完全支持和兼容,但Google仍舊盡可能讓其眾多用戶擁有一定程度的競(jìng)爭(zhēng)力。
就實(shí)際效能而言,這兩個(gè)平臺(tái)背后的技術(shù)幾乎是一樣的。例如,對(duì)于場(chǎng)景檢測(cè)等應(yīng)用,這兩種技術(shù)使用相同的方法,但差異最大還是在硬件的部分,與兼容能力。
手機(jī)增強(qiáng)實(shí)境:Spark AR
Spark AR是一款針對(duì)行動(dòng)終端的AR/MR開(kāi)發(fā)環(huán)境,這款行動(dòng)終端AR/MR,可以整合到智能手機(jī)的APP中來(lái)使用。例如,Spark AR可應(yīng)用在臉部插入特殊效果,像是用Spark AR對(duì)臉部進(jìn)行特殊化妝,并將其轉(zhuǎn)變?yōu)楣治锏膽?yīng)用。
Project Aria
Meta也正在開(kāi)發(fā)AR/MR眼鏡「Project Aria」。這是一個(gè)在眼鏡上內(nèi)建攝影鏡頭和顯示器產(chǎn)品,并在面前的真實(shí)空間中強(qiáng)行加入一個(gè)虛擬對(duì)象。AR/MR眼鏡可被當(dāng)數(shù)字助理應(yīng)用,透過(guò)AI來(lái)了解周?chē)矬w的類(lèi)型和含義,例如識(shí)別沙發(fā)和桌子。此外,也可利用人工智能掌握用戶的想法,并協(xié)助進(jìn)行下一步行動(dòng)。例如,當(dāng)操作者看著燈時(shí),開(kāi)關(guān)就會(huì)被自動(dòng)打開(kāi)。
智能眼鏡的輸入:Electromyography
但是挑戰(zhàn)在于如何將數(shù)據(jù)輸入AR/MR眼鏡,因此Meta正在開(kāi)發(fā)一種稱(chēng)為Electromyography(肌電圖)的技術(shù)。
這個(gè)想法是將設(shè)備戴在手腕上后,并測(cè)量肌電圖,再透過(guò)人工智能分析肌肉中產(chǎn)生的弱電場(chǎng)來(lái)預(yù)測(cè)操作者的意圖。例如當(dāng)您用手指書(shū)寫(xiě)字母時(shí),此設(shè)備會(huì)將其轉(zhuǎn)換為文字(圖四)。
圖四 : 利用肌肉的電位變化轉(zhuǎn)換稱(chēng)操控方式。(source:META)
MR在工業(yè)領(lǐng)域的潛力和未來(lái)
第一個(gè)實(shí)現(xiàn)MR的產(chǎn)品是,HoloLens于2015年1月所發(fā)布的產(chǎn)品。這是一款無(wú)需外接控制器的獨(dú)立頭戴式顯示器,可透過(guò)手部追?和語(yǔ)音輸入進(jìn)行操作。HoloLens的產(chǎn)品透過(guò)攝影鏡頭和深度傳感器,來(lái)對(duì)周?chē)h(huán)境進(jìn)行識(shí)別,并經(jīng)由透射式顯示器在真實(shí)空間中加迭內(nèi)容來(lái)提供新體驗(yàn)的設(shè)備。
隨后,Magic Leap One也于2017年12月發(fā)表一款新技術(shù),將需要處理數(shù)據(jù)的機(jī)制,轉(zhuǎn)移到外部的獨(dú)立計(jì)算設(shè)備,大幅度減輕顯示器的重量,并且利用數(shù)字內(nèi)容,以更真實(shí)的方式強(qiáng)化顯示能力,例如擴(kuò)大視角,和根據(jù)視線切換影像,在發(fā)表之后便大大威脅HoloLens的領(lǐng)先地位。
面對(duì)此一挑戰(zhàn),HoloLens也于2年后發(fā)表第二代產(chǎn)品-HoloLens 2。與初代的HoloLens相比,無(wú)論是顯示視角、縱橫比、分辨率、運(yùn)算和佩戴感等,多項(xiàng)性能都獲得了大幅度的提升。此外,傳感器的加入更使得佩戴者五根手指的動(dòng)作都可以被檢測(cè)到,來(lái)達(dá)到捏握等全影像操作,提高了實(shí)用性。
雖然這些主要用于工業(yè)用途的MR設(shè)備,性能相當(dāng)卓越,但價(jià)格卻是非常昂貴。因此針對(duì)消費(fèi)者使用的MR設(shè)備商品化更是備受期待,市場(chǎng)上終于在2020年8月,出現(xiàn)了一款專(zhuān)為消費(fèi)者使用而開(kāi)發(fā)的MR產(chǎn)品-Nreal Light。這款產(chǎn)品可與智能型手機(jī)連接,將處理數(shù)據(jù)的工作轉(zhuǎn)移到智能型手機(jī),來(lái)達(dá)到減輕頭戴式顯示器重量,雖然在攝影鏡頭數(shù)量、畫(huà)素?cái)?shù)、環(huán)境偵測(cè)與掌握,和各種跟?的精度等性能方面不如工業(yè)設(shè)備,但它實(shí)現(xiàn)了大幅降低售價(jià),讓消費(fèi)者在低價(jià)格負(fù)擔(dān)下就能輕松體驗(yàn)MR(表一)。
MR技術(shù)的未來(lái)
未來(lái)將有很多業(yè)者進(jìn)入MR設(shè)備市場(chǎng),透過(guò)提高性能和減輕重量來(lái)增強(qiáng)現(xiàn)有產(chǎn)品,就像前述高整合度的HoloLens 2。雖然頭戴式顯示器是目前MR設(shè)備的主流,但掛戴眼鏡式和隱形眼鏡式等,無(wú)需考慮佩戴舒適度的顯示器設(shè)備,也有業(yè)者積極的投入開(kāi)發(fā)。不過(guò),目前MR的主要用途主要是還是工業(yè)用,根據(jù)PWC預(yù)測(cè)工業(yè)用市場(chǎng)短期內(nèi)將會(huì)持續(xù)擴(kuò)大。
從中長(zhǎng)期來(lái)看,市場(chǎng)有機(jī)會(huì)在各種應(yīng)用領(lǐng)域擴(kuò)大,例如數(shù)字內(nèi)容和虛擬全影像顯示、醫(yī)療領(lǐng)域醫(yī)師與患者僅行互動(dòng)、減壓和復(fù)健等醫(yī)療,都將可在MR平臺(tái)上僅行。此外,MR在娛樂(lè)應(yīng)用和商業(yè)產(chǎn)業(yè)的應(yīng)用也將進(jìn)一步擴(kuò)大,因此不僅工業(yè)市場(chǎng),包括普通消費(fèi)者的市場(chǎng)的成長(zhǎng)也將持續(xù)增加。
評(píng)論