無(wú)人機(jī)航拍建筑物視圖網(wǎng)絡(luò)融合目標(biāo)識(shí)別分析

基金項(xiàng)目：江西省教育廳科學(xué)技術(shù)研究項(xiàng)目，項(xiàng)目編號(hào)：GJJ2208301

城市道路坍塌事故隨著城市地下空間資源開(kāi)發(fā)程度不斷增加而持續(xù)增加。通過(guò)調(diào)研得出，地下隱性病害是造成道路坍塌的主要因素，這點(diǎn)可通過(guò)調(diào)查大量路面質(zhì)量所得^[1]。作為道路病害檢測(cè)的重要手段，無(wú)人機(jī)航拍技術(shù)可實(shí)現(xiàn)快速無(wú)損檢測(cè)地下介質(zhì)分布，以電磁波反射作為主要依據(jù)^[2]。

李海峰等^[3]融合了GPR 與B-scan 三維數(shù)據(jù)特征，充分利用卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)高效率識(shí)別機(jī)場(chǎng)跑道病害。Moalla等^[4]在檢測(cè)埋藏危險(xiǎn)物時(shí)選取視圖方向?yàn)闄M斷面和縱斷面，利用GPR 三維數(shù)據(jù)以及CNN 和遞歸神經(jīng)網(wǎng)絡(luò)CNN。目標(biāo)識(shí)別方法以試圖融合為基礎(chǔ)，三維數(shù)據(jù)由無(wú)人機(jī)航拍獲取，視圖特征主要運(yùn)用該方法提取，獲取得到3 個(gè)2DCNN 并融合，有利于促進(jìn)目標(biāo)識(shí)別準(zhǔn)確率的提高。

應(yīng)用視圖融合方法實(shí)現(xiàn)地下多目標(biāo)分類(lèi)主要應(yīng)用3DGPR 數(shù)據(jù)。2DCNN 的輸入包含GPR 三維數(shù)據(jù)的俯視圖、側(cè)視圖及正視圖立方體，實(shí)施特征分類(lèi)時(shí)需充分融合3 個(gè)2DCNN 的特征。相比于B-scan 圖像方法，現(xiàn)有三平面方法經(jīng)實(shí)驗(yàn)證明表現(xiàn)出的多目標(biāo)分類(lèi)性能更好。室內(nèi)實(shí)驗(yàn)數(shù)據(jù)數(shù)量較小時(shí)，GPR 實(shí)測(cè)數(shù)據(jù)集被標(biāo)記的數(shù)量較少。為了對(duì)視圖融合方法性能進(jìn)行驗(yàn)證分析，十分有必要利用多種CNN 架構(gòu)和大量實(shí)測(cè)數(shù)據(jù)。

1 視圖融合原理

作為一種通用的網(wǎng)絡(luò)體系結(jié)構(gòu)，將2DCNN 與視圖融合方法相結(jié)合。為驗(yàn)證該方法性能，2DCNN 由VGG16 和Alexnet 兩個(gè)深度神經(jīng)網(wǎng)絡(luò)的主干網(wǎng)絡(luò)構(gòu)成，均具有全連接層^[6]。分別按照227×227×K、224×224×K（K 為通道數(shù)）調(diào)整Alexnet 網(wǎng)絡(luò)、VGG16 網(wǎng)絡(luò)的輸入圖像大小，為減少特征圖尺寸和提取特征，需要通過(guò)池化層和利用連續(xù)卷積實(shí)現(xiàn)^[7]。

2 實(shí)驗(yàn)方案

2.1 數(shù)據(jù)采集

步進(jìn)頻連續(xù)波GPR 系統(tǒng)以VN A 為基礎(chǔ)，完成三維數(shù)據(jù)的采集實(shí)驗(yàn)。設(shè)定步進(jìn)頻步長(zhǎng)為8 MHz，頻率處于（1.8~5）GHz。在干沙表面放置收發(fā)天線(xiàn)，高5~10 cm，中心距離為18 cm。共有5 種地下目標(biāo)：無(wú)埋地物背景、多芯電力電纜4 根、含水量不同的塑料瓶、聚氯乙烯（PVC）塑料管1 根、金屬管共2 根。模含水地下空洞選用含水塑料瓶實(shí)現(xiàn)。本次實(shí)驗(yàn)中涉及的場(chǎng)景有14 個(gè)，深度和位置不一致，采用隨機(jī)方式在內(nèi)部埋入2~3 個(gè)目標(biāo)，采集的B-scan 圖像為平行狀態(tài)，共20個(gè)，231×74×20（深度× 長(zhǎng)度× 寬度）為GPR 原始3D 數(shù)據(jù)的采集尺寸。

2.2 控制流程

Alexnet 網(wǎng)絡(luò)各層數(shù)據(jù)大小情況如1 所示。首先，依次按照227×227×60、227×227×30 及227×227×5尺寸采用雙線(xiàn)性插值法調(diào)整輸入視圖立方體。2D 圖像的通道數(shù)在前兩個(gè)2DCNN 分支中依次為正視圖立方體寬度和側(cè)視圖立方體長(zhǎng)度，在第3 個(gè)2DCNN 分支中是俯視圖立方體深度。然后再依次按照11×11×60、11×11×30 和11×11×5 大小設(shè)置第1 個(gè)卷積層在3 個(gè)分支中的內(nèi)核尺寸。FC4 層重組（Concatenation）FC1、FC2 和FC3 這3 個(gè)全連接層的輸出，經(jīng)3 個(gè)2DCNN 分支獲取視圖立方體，充分融合3 種網(wǎng)絡(luò)分支的特征。最后利用softmax 函數(shù)在分類(lèi)層輸出，F(xiàn)C4 通過(guò)FC5 實(shí)現(xiàn)。對(duì)比分析傳統(tǒng)方法與本文方法，按4 096 的標(biāo)準(zhǔn)設(shè)置各層神經(jīng)元數(shù)量，包括FC1、FC2、FC3 及FC5，softmax層所含神經(jīng)元因分類(lèi)目標(biāo)有5 種數(shù)量也為5。

圖1 基于Alexnet網(wǎng)絡(luò)的視圖融合目標(biāo)識(shí)別方法示意圖

3 結(jié)果分析

對(duì)比分析基于B-scan 圖像的傳統(tǒng)方法與單視圖方法。評(píng)估分類(lèi)性能時(shí)主要以F-score 準(zhǔn)確度和平均值作為重要參考依據(jù)。利用Alexnet 結(jié)構(gòu)調(diào)整所有方法。如表1 所示，測(cè)試集和訓(xùn)練集在不同方法下顯示的數(shù)據(jù)。測(cè)試集和訓(xùn)練集在選用單視圖法和視圖融合法時(shí)的數(shù)量依次為250 和750。但是當(dāng)立方體寬帶為w，選用傳統(tǒng)方法以B-scan 圖像為基礎(chǔ)時(shí)，將w 乘以250 和750 作為訓(xùn)練集與測(cè)試集的數(shù)量。

表1 不同寬度下的訓(xùn)練集和測(cè)試集數(shù)量

3D 立方體不同寬度采用不同方法獲取的數(shù)據(jù)如下表2 所示。通過(guò)對(duì)比分析得出，不論是從F-score 還是從準(zhǔn)確度數(shù)據(jù)結(jié)果來(lái)看，視圖融合方法顯優(yōu)勢(shì)較為突出。大量信息提取方式采用視圖融合方法完成，保證分類(lèi)結(jié)果更佳。相比于基于B-scan 圖像的傳統(tǒng)方法，在分類(lèi)性能方面?zhèn)纫晥D立方體與正視圖立方體占據(jù)更大優(yōu)勢(shì)，大量目標(biāo)空間信息可通過(guò)組合多個(gè)D-scan 圖像與B-scan 圖像獲取。

表2 各方法在不同寬度下的分類(lèi)結(jié)果

4 結(jié)束語(yǔ)

本文開(kāi)展了無(wú)人機(jī)航拍建筑物視圖網(wǎng)絡(luò)融合目標(biāo)識(shí)別分析，研究得到如下結(jié)果：

1）不論是從F-score 還是從準(zhǔn)確度數(shù)據(jù)結(jié)果來(lái)看，視圖融合方法顯優(yōu)勢(shì)較為突出，保證分類(lèi)結(jié)果更佳。

2）相比于基于B-scan 圖像的傳統(tǒng)方法，在分類(lèi)性能方面?zhèn)纫晥D立方體與正視圖立方體占據(jù)更大優(yōu)勢(shì)。

參考文獻(xiàn)：

[1] 張力文, 聶俊麗. 利用改進(jìn)的f-k濾波方法壓制無(wú)人機(jī)航拍中的線(xiàn)性干擾[J].電子學(xué)報(bào), 2022, 50(6): 1444-1450.

[2] 杜文靜, 劉慶華, 歐陽(yáng)繕. 一種復(fù)塊稀疏貝葉斯無(wú)人機(jī)航拍成像算法[J].現(xiàn)代雷達(dá), 2022, 44(5): 33-39.

[3] LI H,LI N,WU R,et al.GPR-RCNN: an algorithm of subsurface defect detection for airport runway based on GPR[J].IEEE Robotics and Automation Letters,2021,6(2):3001-3008.

[4] MOALLA M, FRIGUI H, KAREM A, et al. Application of convolutional and recurrent neural networks for buried threat detection using ground penetrating radar data[J].IEEE Transactions on Geoscience and Remote Sensing,2020,58(10):7022-7034.

[5] 丁曉雯,丁強(qiáng),顧君垚,等.基于1DCNN-DS的冷水機(jī)組故障診斷[J].低溫與超導(dǎo),2022,50(7): 69-76.

[6] 金守峰,侯一澤,焦航,等.基于改進(jìn)AlexNet模型的抓毛織物質(zhì)量檢測(cè)方法[J].紡織學(xué)報(bào),2022,43(6):133-139.

[7] 杜翠,王寧,劉杰,等.無(wú)人機(jī)航拍鐵路檢測(cè)大數(shù)據(jù)多線(xiàn)程并行處理方法[J].鐵道建筑,2022,62(4):126-129.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2023年8月期）