Facebook新論文說明對(duì)鏡面在虛擬場(chǎng)景中的重建

　　基于傳感器的掃描技術(shù)已經(jīng)可以很成功的重建室內(nèi)場(chǎng)景，但在這些掃描方案的應(yīng)用中，鏡子和玻璃等表面的重建成了顯著的問題，一個(gè)鏡子會(huì)在其中形成現(xiàn)實(shí)世界的鏡像，而對(duì)于掃描系統(tǒng)來說，鏡像世界和現(xiàn)實(shí)世界實(shí)際上很難區(qū)分，玻璃也會(huì)產(chǎn)生與鏡子很相似的效果，然而這兩者都是在掃描生活場(chǎng)景是不可避免的成分，由于它們?cè)斐傻睦щy，最近場(chǎng)景重建方法(如Matterport3D)甚至都需要用戶在掃描時(shí)手動(dòng)選擇窗戶和鏡子。

　　最近，Facebook的研究人員發(fā)表了一篇論文，用于在掃描過程中自動(dòng)識(shí)別鏡子和玻璃等容易產(chǎn)生鏡像的表面，并且對(duì)該表面平面實(shí)現(xiàn)精確的識(shí)別和邊界的檢測(cè)。

　　根據(jù)論文，Facebook的研究人員采用的是一種稱為AprilTag的標(biāo)記方案。這個(gè)AprilTag實(shí)際上是一種用于機(jī)器人視覺等的技術(shù)，看起來就像是一個(gè)二維碼，在機(jī)器人視覺的運(yùn)用中，AprilTag可以貼于障礙物上，傳感器對(duì)這個(gè)“二維碼”進(jìn)行識(shí)別，就可以了解前方的障礙，并做出應(yīng)對(duì)。

　　在論文中，對(duì)AprilTag的運(yùn)用更有趣一些，簡(jiǎn)單地說，它沒有選擇將AprilTag貼在鏡子和玻璃表面再由掃描設(shè)備識(shí)別(可能這樣還不如直接在掃描過程中選擇鏡面方便)，而是在掃描裝置的下方的一個(gè)畫有AprilTag的薄片上，對(duì)于可以形成鏡像的物品，掃描設(shè)備即可識(shí)別鏡像中的AprilTag，對(duì)于不能形成鏡像的物品，就沒有AprilTag的鏡像了。

　　關(guān)于鏡面表面和邊緣的識(shí)別，鏡面表面是通過將Slam裝置精確的姿勢(shì)估計(jì)和觀測(cè)AprilTag的鏡面圖像在空間的移動(dòng)兩者結(jié)合起來運(yùn)算得到的。

　　而對(duì)于的邊緣的識(shí)別，則是依靠多個(gè)功能通道的識(shí)別實(shí)現(xiàn)的，其中包括幾何識(shí)別、圖像強(qiáng)度識(shí)別、AprilTag特征識(shí)別等等，通過將這些不同特征的識(shí)別計(jì)算，即可估計(jì)出鏡面邊緣的位置和樣式，這還被用來區(qū)分玻璃和鏡面的反射，因?yàn)椴ＡУ姆瓷涓：?，圖像范圍更大，而鏡面反射則更加保真。

　　當(dāng)然這里只是簡(jiǎn)單的解釋，實(shí)際上，為了均勻的鏡面反射和更好地識(shí)別，對(duì)于照明光線、畫有AprilTag的薄片的組成都有更為嚴(yán)謹(jǐn)?shù)囊?，而如果去看鏡面表面識(shí)別和邊緣估計(jì)的論文部分，就會(huì)看到大量的公式計(jì)算。

　　那么，這種方法的效果如何呢?Facebook的研究人員在i7-5930K 、NVIDIA TITAN Xp GPU和Ubuntu16.04的環(huán)境下實(shí)現(xiàn)了重建系統(tǒng)的配備，其中深度圖的分辨率為960×640像素，RGB圖像的分辨率為1224×1024像素。包括深度提取，深度融合，幾何使用雙輪廓提取，紋理生成在內(nèi)的重建系統(tǒng)可以在在大約37Hz的頻率下運(yùn)行;在使用12個(gè)線程時(shí)，系統(tǒng)可以以大約70Hz估算RGB圖像中的AprilTag位置。

　　另外，對(duì)于邊界提取的特征計(jì)算在大約38Hz的頻率下運(yùn)行;邊界分割優(yōu)化的吞吐量是每秒60k像素，640×480像素的特征通道集需要約5.12秒進(jìn)行分割，在700幀下重建一面面積大約0.5平方米的鏡子大約需要90秒，而且單個(gè)鏡面觀察的幾何誤差基本始終為零。

　　這種方法當(dāng)然也有它的局限性，首先它對(duì)于無框鏡面或者遮擋鏡面的邊緣識(shí)別并不好;再者，由于它對(duì)鏡面的識(shí)別完全基于AprilTag，如果輸入裝置沒有觀測(cè)到或者無法識(shí)別圖像質(zhì)量很差的AprilTag，那對(duì)于鏡面的重建就會(huì)出現(xiàn)問題。比如雖然這種方法可以在單個(gè)的觀察中精確觀測(cè)鏡面，但它在門、玻璃、或者是彎曲非常嚴(yán)重的表面(凸面鏡、凹面鏡等)的觀測(cè)效果很明顯更差，就是由于檢測(cè)到的AprilTag的投影位置變化、扭曲了的緣故;另外，如果掃描裝置快速移動(dòng)，也有可能會(huì)造成AprilTag圖像的失真，系統(tǒng)無法檢測(cè)到該圖像，導(dǎo)致重建失敗。