多相機(jī)實(shí)時(shí)拼接視頻影像技術(shù)

摘要：?jiǎn)我幌鄼C(jī)分辨率有限，不利于大范圍場(chǎng)景的監(jiān)視。本文基于不變特征拼接算法，提出多相機(jī)實(shí)時(shí)拼接視頻影像技術(shù)。該技術(shù)首先利用SIFT進(jìn)行特征提取，獲得的各相機(jī)圖像間的投影矩陣，然后通過(guò)不同相機(jī)幀間信息投影及拼接，獲得實(shí)時(shí)的成像結(jié)果。該技術(shù)已投入使用，實(shí)踐驗(yàn)證取得了良好的成像效果，視頻幀率可達(dá)24fps。

引言

　　拼接成像相對(duì)于普通成像技術(shù)可獲得更加寬闊的視野，能夠更廣范圍地探測(cè)監(jiān)視環(huán)境，并從圖像中獲得更加豐富的信息。因此越來(lái)越受到研究人員的重視。

　　Junhong Gao^[1]等人提出了對(duì)一幅圖像使用兩個(gè)單應(yīng)性進(jìn)行描述的無(wú)縫圖像拼接方法，減少拼接圖像的接縫影響。Minsoo Kim^[2]等人提出一種魯邦和漸進(jìn)的圖像拼接方法，使用圖像的旋轉(zhuǎn)信息，達(dá)到了與使用光束平差法進(jìn)行拼接的效果。DeCarufel^[3]等人提出一種在對(duì)于在城市環(huán)境中有序捕獲的全向圖像集的匹配方案，提高了拼接圖像的匹配效果。目前，拼接視頻成像系統(tǒng)廣泛應(yīng)用于軍事偵察、臨床醫(yī)學(xué)、地質(zhì)勘測(cè)、管道檢查、公安警戒以及生活中的各類(lèi)娛樂(lè)體驗(yàn)項(xiàng)目。然而，實(shí)時(shí)的圖像拼接效率及對(duì)于拍攝環(huán)境的魯棒性仍是拼接成像系統(tǒng)的挑戰(zhàn)。

　　由于監(jiān)控或拍攝場(chǎng)景的復(fù)雜性，以及相機(jī)視角的多樣性，在進(jìn)行圖像拼接時(shí)需要能夠較好地抵御包括噪聲、旋轉(zhuǎn)等因素的干擾。不變特征的圖像拼接算法恰具有以上優(yōu)勢(shì)，因此本論文將以基于不變特征的圖像拼接算法作為依據(jù)，獲取不同相機(jī)間的投影關(guān)系實(shí)現(xiàn)拼接，并通過(guò)優(yōu)化執(zhí)行步驟達(dá)到實(shí)時(shí)的拼接成像要求。本論文分為3個(gè)部分：(1)基于不變特征的圖像拼接算法;(2)實(shí)時(shí)圖像拼接系統(tǒng);(3)實(shí)時(shí)成像結(jié)果。

1 不變特征的圖像拼接算法

　　不變特征的圖像拼接算法是一種采用圖像不變局部特征點(diǎn)和似然模型來(lái)判定圖像匹配，并能夠?qū)斎雸D像實(shí)施拼接而無(wú)需提供用戶(hù)輸入的算法。該算法以一組具有重疊區(qū)域的不同拍攝視角圖像作為輸入，首先采用SIFT算法尋找對(duì)光照、旋轉(zhuǎn)等因素具有不變性的圖像特征點(diǎn)同時(shí)進(jìn)行匹配，接著，使用RANSAC算法對(duì)特征點(diǎn)進(jìn)行篩選，同時(shí)獲得基于特征點(diǎn)的4參數(shù)相機(jī)模型，通過(guò)矩陣參數(shù)的相乘以及向量參數(shù)與矩陣參數(shù)的計(jì)算得到各圖像與參考圖像之間的單應(yīng)矩陣，進(jìn)而利用單應(yīng)矩陣對(duì)原圖像實(shí)施拼接，獲得預(yù)期結(jié)果。

　　Autostitch是英屬哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)學(xué)院的Matthew Brown和David G.Lowe^[7-8]共同開(kāi)發(fā)的一種利用多幅圖像拼接生成軟件。該軟件實(shí)現(xiàn)了基于不變特征的圖像拼接算法，運(yùn)行結(jié)果包括圖像分辨率 、用于描述相機(jī)光心到成像平面的距離的焦距 ，以及通過(guò)對(duì)相機(jī)標(biāo)定得到的兩個(gè)相機(jī)外參數(shù)矩陣。外參數(shù)矩陣描述了所拍攝圖像從相機(jī)坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，包括平移矩陣

　　(1)

　　公式(1)中a₁₃和a₂₃為二維圖像在進(jìn)行上述坐標(biāo)系轉(zhuǎn)換時(shí)在x、y方向上的平移量，通過(guò)相機(jī)標(biāo)定獲得。以及旋轉(zhuǎn)矩陣R

　(2)

　　公式(2)中各元素的值通過(guò)二維圖像在進(jìn)行上述坐標(biāo)系轉(zhuǎn)換時(shí)分別繞x軸、y軸和z軸旋轉(zhuǎn)的3個(gè)角度的正余弦所構(gòu)造的3個(gè)矩陣相乘得到，旋轉(zhuǎn)角度通過(guò)相機(jī)標(biāo)定獲得。Autostitch基于不變特征的圖像拼接算法，對(duì)輸入圖像進(jìn)行拼接。

2 實(shí)時(shí)視頻拼接系統(tǒng)

2.1 拼接成像算法

　　實(shí)時(shí)圖像拼接系統(tǒng)的成像過(guò)程如圖1所示，運(yùn)行過(guò)程主要分為兩部分：參數(shù)計(jì)算包括步驟(1)、(2)、(3)、(4)和視頻合成包括步驟(5)、(6)。具體過(guò)程如下：

　　(1)假設(shè)采集系統(tǒng)共有k個(gè)相機(jī)，分別為。在初次使用實(shí)時(shí)拼接視頻系統(tǒng)或多相機(jī)間相對(duì)位置發(fā)生改變時(shí)，需首先使用多相機(jī)同時(shí)拍攝一幀圖像，其中選取為參考圖像，即在拼接的過(guò)程中，同一時(shí)刻的都以為參照，與其進(jìn)行特征匹配和單應(yīng)關(guān)系的計(jì)算。本文選取。

　　(2)將圖像作為輸入，應(yīng)用Autostitch尋找特征點(diǎn)、進(jìn)行特征匹配并計(jì)算I_i的分辨率d_i及f_i、T_i、R_i。

　　(3)利用T_i、R_i、f_i計(jì)算圖像I_i的投影轉(zhuǎn)換矩陣P_i且 (3)

　　式(3)中，P_i為I_i的投影矩陣，描述了I_i 從相機(jī)坐標(biāo)系投影到世界坐標(biāo)系下所進(jìn)行的平移及旋轉(zhuǎn)變換。矩陣k_i：

　　(4)

　　(4)使用P_i計(jì)算I_i的單應(yīng)矩陣H_i：

(5)

　　用以表示I_i與I_r進(jìn)行圖像匹配時(shí)各像素點(diǎn)之間的坐標(biāo)對(duì)應(yīng)關(guān)系。inv(P_i)為矩陣P_i的逆矩陣。

　　(5)計(jì)算經(jīng)過(guò)單應(yīng)變換后的圖像IW_i。首先利用I_i與H_i相乘得到Ii相對(duì)于I_r各像素點(diǎn)的坐標(biāo)對(duì)應(yīng)關(guān)系，再根據(jù)對(duì)應(yīng)關(guān)系為IW_i的像素點(diǎn)賦值得結(jié)果。將IW_i中各像素點(diǎn)的坐標(biāo)值(x,y,1)'轉(zhuǎn)化為齊次坐標(biāo) ，與I_i的矩陣H_i 進(jìn)行計(jì)算：

(7)

　　　　(8)

　　　(9)

　　式(7)中x、y為IW_i中某點(diǎn)的坐標(biāo)值，(x,y,1)'為(x,y)的齊次坐標(biāo)，為H_i與(x,y,1)'相乘的結(jié)果，將z化為1后向量的前兩個(gè)值即為式(8)、(9)中的x'、y'。(x',y')即為I_i中與IW_i的(x,y)對(duì)應(yīng)的坐標(biāo)值，若(x',y')均在I_i分辨率的坐標(biāo)范圍之內(nèi)，則將I_i中(x',y')處的像素點(diǎn)的值賦給IW_i的(x',y')處的像素點(diǎn)，完成圖像的單應(yīng)變換的操作。