看不懂6DoF，還想談AR？深入淺出講解6DoF四種流行方案

6DoF追蹤帶給AR眼鏡怎樣的體驗(yàn)飛躍？如何在設(shè)計(jì)一款AR眼鏡時(shí)，實(shí)現(xiàn)六自由度追蹤？Rokid R-Lab研究科學(xué)家霍志宇從成本和性能角度出發(fā)，對(duì)目前流行的四種6DoF追蹤解決方案進(jìn)行了比較。

6DOF追蹤的進(jìn)化：從標(biāo)識(shí)追蹤到SLAM定位，帶給AR體驗(yàn)質(zhì)的飛越

好的增強(qiáng)現(xiàn)實(shí)體驗(yàn)首先要是一種互動(dòng)體驗(yàn)，實(shí)現(xiàn)現(xiàn)實(shí)環(huán)境和虛擬世界的結(jié)合，而這種體驗(yàn)離不開(kāi)6 DOF追蹤（Six degrees of freedom tracking）的加入。

6DoF追蹤為用戶(hù)提供了前所未有的互動(dòng)體驗(yàn)和對(duì)虛擬世界的控制，可以說(shuō)，6DoF追蹤是虛擬世界與現(xiàn)實(shí)世界建立聯(lián)系的基礎(chǔ)，是AR實(shí)現(xiàn)顛覆式體驗(yàn)的前提。近年來(lái)，隨著技術(shù)的指數(shù)級(jí)的增長(zhǎng)，這種新型的AR互動(dòng)體驗(yàn)正在以超出我們想象的態(tài)勢(shì)發(fā)展。

AR領(lǐng)域六自由度（6DoF）追蹤的應(yīng)用，最早可以追溯到2003年, 由ARToolKit所支持的首個(gè)移動(dòng)端AR應(yīng)用就出現(xiàn)在了WinCE平臺(tái)上，但早期運(yùn)體驗(yàn)并沒(méi)有那么優(yōu)秀。

早期的AR利用標(biāo)識(shí)圖來(lái)跟蹤攝像機(jī)的位置和姿態(tài)，實(shí)現(xiàn)6DoF追蹤。使用者必須將標(biāo)識(shí)圖保留在視野范圍內(nèi)，虛擬內(nèi)容也只能覆蓋在標(biāo)識(shí)圖上，使用者稍微移動(dòng)便會(huì)失去對(duì)標(biāo)識(shí)物的追蹤，虛擬內(nèi)容便無(wú)法對(duì)現(xiàn)實(shí)進(jìn)行覆蓋，虛擬與現(xiàn)實(shí)的融合停留在比較淺層的階段，無(wú)法給予使用者沉浸式的體驗(yàn)。

3DoF與6DoF技術(shù)對(duì)比圖

隨著SLAM (simultaneous localization and mapping)技術(shù)的普遍應(yīng)用，6DoF追蹤與SLAM相結(jié)合，沉浸式的AR體驗(yàn)時(shí)代終于來(lái)臨了。使用者可以擺脫標(biāo)識(shí)圖的束縛，進(jìn)行實(shí)時(shí)定位與地圖構(gòu)建，從而在虛擬內(nèi)容上產(chǎn)生更加沉浸和逼真的體驗(yàn)。

微軟Holoens設(shè)備的SLAM功能演示

早期的AR眼鏡，為了在任意場(chǎng)景下都能提供最為精確和可靠的追蹤體驗(yàn)，需要裝備由多個(gè)魚(yú)眼攝像頭、深度攝像頭和其他傳感器驅(qū)動(dòng)的高性能追蹤系統(tǒng)。不過(guò)這會(huì)讓設(shè)備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的AR眼鏡,也會(huì)因?yàn)槠涓甙旱某杀竞驮愀獾呐宕黧w驗(yàn)而遭到市場(chǎng)拒絕。

2016年面世的Meta 2 AR眼鏡

因此，想在輕量級(jí)AR設(shè)備領(lǐng)域取得成功，產(chǎn)品需要結(jié)合舒適性、經(jīng)濟(jì)性和技術(shù)可行性來(lái)進(jìn)行研發(fā)。很多AR眼鏡研發(fā)公司，正在嘗試通過(guò)有限的視覺(jué)設(shè)備和更少的算力來(lái)實(shí)現(xiàn)6DoF追蹤。

在AR眼鏡上實(shí)現(xiàn)6DoF追蹤，這4種流行方案到底誰(shuí)更好？

讓我們從成本和性能出發(fā)，比較以下四種流行的6DoF追蹤解決方案：

1、單攝像頭

●     硬件成本低

●     易于集成到多種眼鏡設(shè)計(jì)中

●     需要更專(zhuān)業(yè)的優(yōu)化和定制

●     適用于偏靜態(tài)場(chǎng)景

單攝像頭

視頻攝像頭是AR眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個(gè)相機(jī)安裝在眼鏡上相對(duì)簡(jiǎn)單。

但是，視頻攝像機(jī)通常以低頻率（<60fps，大多數(shù)<30fps）運(yùn)行，無(wú)法在運(yùn)動(dòng)中捕捉的高質(zhì)量圖像。 “果凍效應(yīng)”和其他扭曲使得位置追蹤失敗。

2、單眼魚(yú)眼攝像頭

●     為6DoF追蹤所預(yù)留的傳感器

●     持續(xù)高頻刷新6DoF追蹤結(jié)果

●     會(huì)出現(xiàn)尺度漂移，使得虛擬物體會(huì)在場(chǎng)景中意外移動(dòng)

單魚(yú)眼攝像頭

一些AR眼鏡會(huì)配備用于6DOF追蹤的單個(gè)魚(yú)眼鏡頭。此解決方案會(huì)產(chǎn)生一些額外的功耗，但通常會(huì)為設(shè)備提供更好的6DOF追蹤效果。魚(yú)眼攝像頭的高相機(jī)幀更新率（> 90fps）和全局快門(mén)功能，可以使得SLAM系統(tǒng)在運(yùn)動(dòng)場(chǎng)景中保持可靠的追蹤位置。但單個(gè)魚(yú)眼攝像機(jī)應(yīng)放置在眼鏡前面，這會(huì)產(chǎn)生一些設(shè)計(jì)限制。

單魚(yú)眼攝像頭比較不足的的地方在于它所支持的場(chǎng)景規(guī)模有限。一旦移動(dòng)范圍過(guò)大，SLAM系統(tǒng)就容易產(chǎn)生尺度漂移，導(dǎo)致虛擬對(duì)象在場(chǎng)景中意外移動(dòng)。

3、雙目魚(yú)眼攝像頭

●   高功耗

●   追蹤、尺度估算準(zhǔn)確

●   眼鏡的工業(yè)設(shè)計(jì)會(huì)面臨挑戰(zhàn)

基于雙目魚(yú)眼的6DoF追蹤系統(tǒng)已被不同的AR / VR頭戴式設(shè)備制造商證明是一種可以量產(chǎn)的解決方案，高通已經(jīng)使用雙目魚(yú)眼視覺(jué)在其VR頭盔上展示了高質(zhì)量的6DoF位置追蹤功能。

雙目魚(yú)眼攝像頭模組

由于它提供實(shí)時(shí)的地圖初始化、強(qiáng)大的追蹤和對(duì)環(huán)境尺度的準(zhǔn)確測(cè)量，因此額外增加攝像機(jī)所產(chǎn)生的功耗和成本是值得的。與單眼解決方案相比，雙目魚(yú)眼攝像頭可以更快地?cái)U(kuò)展場(chǎng)景，并能更準(zhǔn)確的測(cè)量環(huán)境尺度從而防止漂移。即使傳感器數(shù)量加倍，計(jì)算復(fù)雜度也不比單眼視覺(jué)系統(tǒng)高很多。但該方案的實(shí)現(xiàn)需要高質(zhì)量?jī)?yōu)化和定制工作，并且功耗高、發(fā)熱大，需要更強(qiáng)的系統(tǒng)和硬件支持。

4、運(yùn)用邊緣計(jì)算

●     成本高昂

●     能實(shí)現(xiàn)高質(zhì)量的6DoF追蹤

●     穩(wěn)定性高，可兼容不同平臺(tái)

英特爾推的定位追蹤實(shí)感攝像頭T265  可在邊緣執(zhí)行計(jì)算任務(wù)

邊緣計(jì)算在AR設(shè)備中變得越來(lái)越流行，例如，Hololens已經(jīng)通過(guò)邊緣計(jì)算來(lái)運(yùn)行其SLAM功能，使CPU和OS在用戶(hù)應(yīng)用程序上更高效地工作。對(duì)于輕量級(jí)AR眼鏡，通過(guò)邊緣計(jì)算來(lái)運(yùn)行SLAM不僅可以減少計(jì)算負(fù)荷，還可以使AR眼鏡兼容不同類(lèi)型的主機(jī)平臺(tái)。

這個(gè)解決方案的最優(yōu)之處就在于，它可以在任何主機(jī)平臺(tái)上均衡性能，無(wú)需定制優(yōu)化算法。然而，輕量級(jí)AR眼鏡通過(guò)邊緣計(jì)算運(yùn)行6DoF并不容易。這些類(lèi)型的AR眼鏡上的芯片通常僅設(shè)計(jì)用于驅(qū)動(dòng)顯示器并傳輸傳感器數(shù)據(jù)而無(wú)剩余資源用于其他計(jì)算工作。因此可行的解決方案是將成熟的6DoF追蹤模塊集成到AR眼鏡板上。

目前還沒(méi)有關(guān)于哪種解決方案對(duì)于輕型眼鏡“完美”的結(jié)論。設(shè)計(jì)人員需要根據(jù)AR眼鏡的應(yīng)用場(chǎng)景，來(lái)定義其產(chǎn)品的功能和預(yù)期用途，以便做出最佳的軟硬件選擇。

隨著輕量級(jí)AR眼鏡的逐漸普及，具有6DoF追蹤功能的產(chǎn)品是能夠給消費(fèi)者帶去優(yōu)質(zhì)體驗(yàn)的基礎(chǔ)，也是AR產(chǎn)品走向千家萬(wàn)戶(hù)的關(guān)鍵技術(shù)之一。

作者：霍志宇，美國(guó)密蘇里大學(xué)計(jì)算機(jī)和電子工程系博士畢業(yè)，研究機(jī)器人及人機(jī)交互方向?，F(xiàn)就職于位于美國(guó)舊金山的Rokid R-Lab，擔(dān)任研究科學(xué)家。

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

原文章地址為看不懂6DoF，還想談AR？深入淺出講解6DoF四種流行方案