多相機實時拼接視頻影像技術(shù)
加入技術(shù)交流群
(6)將(5)中得到的所有IWi移動到同一坐標(biāo)系下，對重疊部分像素點的值進行求均處理，得到拼接圖像并顯示。
本文引用地址：http://www.ex-cimer.com/article/276356.htm
為了提高圖像拼接效率，達(dá)到實時的要求，計算出Hi之后，定義一個與拼接圖像同分辨率的矩陣，稱為pixelData。該矩陣的每個位置存放3個數(shù)值，分別為拼接圖像矩陣每一個位置(x,y)對應(yīng)單應(yīng)變換的圖像的相機序號Ci及Ii中與(x,y)對應(yīng)的像素點坐標(biāo)值x'、y'，重疊部分取序號較小的圖像像素信息。由于圖像選取不變特征點以及相機間相對位置保持不變，在拼接視頻合成之前，首先計算pixelData并保存以重復(fù)利用，然后與視頻圖像共同作為輸入，對于不同相機同時采集的一組圖像，分配固定分辨率的拼接圖像矩陣，遍歷圖像中每一個像素，在pixelData中對應(yīng)位置得到相機序號Ci及x'、y'，在Ii中搜索對應(yīng)圖像及(x',y')處像素對拼接圖像進行賦值，完成圖像拼接。該做法顯著提高了圖像拼接的效率，保證系統(tǒng)實現(xiàn)實時拼接的要求。
2.2 系統(tǒng)的硬件平臺
系統(tǒng)采用12臺同步精度小于1ms的PointGrey Flea3相機作為視頻采集設(shè)備，并將12臺相機排成一列，每個相機間保持10cm的間距，主機使用32GB內(nèi)存和64位CPU計算機，從硬件條件上滿足了圖像采集和實時系統(tǒng)的要求。相機組架構(gòu)如圖2所示。
3 實時成像結(jié)果
通過實驗，基于不變特征的多相機實時視頻拼接成像系統(tǒng)的處理速率可達(dá)到24fps。圖3為室外環(huán)境下相機陣列中某一相機所拍攝圖像，圖4為該組圖像成像結(jié)果。圖5、圖6分別為室外場景實時采集與成像結(jié)果。通過實驗結(jié)果可以看出在室內(nèi)和室外的不同場景下都具有較好的拼接效果。經(jīng)圖3場景實驗，合成圖像的分辨率為1557×833，原輸入圖像分辨率均為640×480，由此證明拼接圖像分辨率比原圖像有較大提高。同時作者使用OPENCV所提供的stitch方法進行測試，使用本系統(tǒng)采集的一組圖像執(zhí)行拼接，處理一幀圖像的時間約為8秒。實驗證明，對于相同的輸入圖像，采用本論文方法拼接效率約是OPENCV stitch方法效率的190倍，符合實時拼接成像的要求。
4 結(jié)論
以多相機為實驗基礎(chǔ)，采用基于不變特征的圖像拼接算法，實現(xiàn)了多相機實時視頻拼接系統(tǒng)。該系統(tǒng)直接利用Autostitch獲得圖像的分辨率、焦距、平移矩陣和旋轉(zhuǎn)矩陣進行計算，避免重復(fù)尋找特征點及圖像匹配等過程，降低時間成本，處理速率可達(dá)24fps，滿足了實時視頻系統(tǒng)的要求。同時，由于缺少圖像接縫處理、圖像融合等后期操作，拼接效果仍然有待提高，在后續(xù)的研究中將借鑒研究人員對于提高圖像拼接效果的處理方法，引入使拼接圖像接縫更加自然平滑。
參考文獻(xiàn):
[1]Junhong Gao, Seon Joo Kim,BROWN MS. Constructing image panoramas using dual-homography warping. Proceedings of Computer Vision and Pattern Recognition (CVPR), 2011[C], Providence, RI:IEEE, 2011: 49-56
[2]Minsoo Kim,Sunjung Kim,Jinyoung Choi. Robust and incremental stitching and calibration with known rotation on pan-tilt-zoom camera. Proceedings of Image Processing (ICIP), 2013 [C], Melbourne, VIC ,IEEE,2013: 2247-2251
[3]DE Carufel, J, Laganiere, R.Matching cylindrical panorama sequences using planar reprojections. Proceedings of Computer Vision Workshops (ICCV Workshops),2011[C], Barcelona,IEEE,2011: 320-327
[4]M Brown D Lowe. Automatic Panoramic Image Stitching using Invariant Features.International Journal of Computer Vision. 2007,74(1), 59-73
[5]M Brown,D G Lowe.Recognizing Panoramas.Proceedings of International Conference onComputerVision(ICCV),2003[C].Nice,France:IEEE,2003:1218-1225
評論