基于深度學習的交通場景中行人檢測方法*

*基金項目：湖南省自然科學基金(No.2018JJ4074,No.2018JJ4077)；湖南省教育廳科學研究項目(No.19A139)。

作者簡介: 舒小華(1965－),男,博士,副教授,碩士生導師,研究領域為圖像處理、智能交通,E-mail: sxhdata@126.com。

何許梅(1996－),女, 碩士生,研究領域為圖像處理、智能信息處理。

0   引言

行人檢測是目標檢測領域中重要的研究課題，其在智能駕駛系統(tǒng)、視頻監(jiān)控、人流量密度監(jiān)測等領域有廣泛應用^[1-2]。但由于行人背景的復雜以及個體本身的差異，行人檢測成為目標檢測領域的研究難點之一。

目前行人檢測方法主要分為兩類：傳統(tǒng)的行人識別主要通過人工設計特征結合分類器的方式進行。比較經(jīng)典的方法有HOG+SVM^[3]、HOG+LBP^[4] 等。此類方法可以避免行人遮擋帶來的影響，但是泛化能力和準確性較低^[5]，難以滿足實際需求。另一類是基于深度學習的方法。通過多層卷積神經(jīng)網(wǎng)絡(CNN) 對行人進行分類和定位。與傳統(tǒng)特征算子相比，CNN 能根據(jù)輸入的圖像自主學習特征，提取圖像中更豐富和更抽象的特征。目前已有許多基于深度學習的目標檢測框架，如R-CNN(Region Convolutional Neural Network) 系列^[6-8]、YOLO(You Look at Once) 系列[9-12]。R-CNN 系列算法又被稱為二階段算法^[13]，該類算法通過網(wǎng)絡找出待檢測目標可能存在的位置，即疑似區(qū)域，然后利用特征圖內的特征信息對目標進行分類，優(yōu)點是檢測準確率較高，但實時性較差。YOLO 系列算法又稱為一階段算法^[14]，此類算法所有工作過程在一個網(wǎng)絡內實現(xiàn)，采用端到端的方式，將目標檢測問題轉換為回歸問題，使其網(wǎng)絡的實時性得到了較好的提高，但準確率卻不及Faster R-CNN（Faster Region Convolutional Neural Network,更快速的區(qū)域卷積神經(jīng)網(wǎng)絡）。

本論文借鑒目標檢測的R-CNN 系列算法，在Faster R-CNN 網(wǎng)絡的第一層卷積層前加入一個預處理層，其次使用K-means 算法聚類分析anchor 框中行人的寬高比，選出適合行人的寬高比作為anchor 的尺寸，提出交通場景下基于Faster R-CNN 的行人檢測算法。所提方法在自制的交通場景下的數(shù)據(jù)集上進行測試，實驗表明網(wǎng)絡的檢測效果有明顯提升。

1   Faster R-CNN檢測方法

Faster R-CNN 的檢測框架如圖1 所示。其檢測流程主要分為4 部分：卷積網(wǎng)絡、RPN(Region Proposal Network)、感興趣區(qū)域池化(RoI Pooling) 以及目標檢測分類。

卷積網(wǎng)絡由卷積層、池化層和輸出層構成，各網(wǎng)絡層之間權值共享，從訓練的數(shù)據(jù)集中學習并自動提取目標特征。與傳統(tǒng)手工設計特征相比，具有更好的泛化能力。

RPN 使用一個3×3 的塊在最后一個卷積層輸出的特征圖上滑動來獲得區(qū)域建議框即anchor 框，F(xiàn)asterR-CNN中的anchor 框有3 種比例尺寸，分別為0.5、1、2。

Faster R-CNN 的全連接層需要固定大小的輸入，因此通過RoI 池化將不同大小的RoI 轉成固定的大小。圖2 為RoI 的池化過程。

在檢測分類階段，分類函數(shù)計算得分，得到目標的所屬類別，同時通過邊界框回歸計算出檢測框的位置偏移量，得到更精確的位置。

2   改進的行人檢測方法

Faster R-CNN 是針對通用目標的檢測網(wǎng)絡，識別的類別數(shù)為20，但在行人檢測中只需要識別“行人”及“背景”這兩個類別。由于圖片中的行人在圖片中所占的比例較小，因此設計一個預處理層，提取一層底層特征（本文提取紋理特征），再與原始圖像一起輸入到卷積網(wǎng)絡中，能夠減少訓練所需的時間。

2.1 預處理層

選擇傳統(tǒng)行人檢測方法中的紋理特征(LBP 特征) 作為預處理部分要提取的特征。LBP 特征描述了圖片的局部紋理，它以

每個像素值為中心取一個局部鄰域區(qū)域，比較該區(qū)域內的每個像素的灰度值與中心像素的灰度值，得到一個二進制碼，即該中心像素的LBP 值。但會導致二進制模式種類過多，所以等價模式(Uniform Pattern) 應運而生。等價LBP[15-16] (ULBP) 在LBP 算子的基礎上，統(tǒng)計二進制數(shù)中“01”或“10”跳變的次數(shù)，若跳變次數(shù)在2 次以內，則稱為一個等價模式類，定義式為：

式中， gp 表示鄰域像素值， gc 表示中心像素值，U(LBP ) _P,R 代表“01”或“10”的跳變次數(shù)。

從圖3 中可以看出，圖像中行人與背景的區(qū)別轉換成了紋理上的差異。

(a)原圖

(b)ULBP圖

圖3 原圖與ULBP圖

2.2 anchor框聚類分析

使用k-means 聚類對訓練集中所有行人目標的真實框進行聚類分析。anchor 框聚類分析算法的主要流程：

Step1：將訓練集中所有目標框的寬高構成數(shù)據(jù)集D，再從D 中隨機選擇一個聚類中心ci false；

Step2：求D 中每個樣本s 到ci 的距離，記為di ，將使di 最小的那個樣本歸到ci 中；

Step4：循環(huán)執(zhí)行Step2 和Step3，直到聚類中心不變。

取出所有行人標注框的坐標信息，計算出每一個標注框的寬和高，并對其進行聚類統(tǒng)計，這里取聚類數(shù)k = 3 。隨后，計算寬與高的比值，使用統(tǒng)計直方圖的方法求出其均值，得到寬高比的均值μ = 0.39 ，也就是說訓練集中目標的anchor 框的合適的寬高比是0.39，即w ≈ 0.39h。圖 4 為行人 anchor 框的寬高統(tǒng)計結果。

因此，本文將原Faster R-CNN 算法中anchor 框的寬高比修改為(0.39:1)。

a)寬高統(tǒng)計圖

(b)寬高比統(tǒng)計圖

圖4 寬高聚類分析

3   實驗結果與分析

3.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)集來源有：車載攝像頭拍攝的圖片、手機拍攝的圖片，選取光照條件比較好的圖片作為數(shù)據(jù)集，采用LabelImg 圖像標注工具對采集到的圖片進行標注，標注的區(qū)域包含行人的輪廓，得到帶標簽的行人數(shù)據(jù)集，共計1 304 張。標簽名統(tǒng)一采用person 表示。在模型的訓練階段，選取數(shù)據(jù)集的80% 來訓練模型，20% 作為測試集。部分實驗數(shù)據(jù)集如圖5 所示。

圖5 數(shù)據(jù)集樣本

3.2 實驗平臺及訓練

實驗所使用的軟硬件環(huán)境如表1 所示。

表1 軟硬件配置

訓練參數(shù)如表2 所示。

表2 訓練參數(shù)設置

3.3 實驗結果分析

實驗采用平均準確度(mAP)^[17] 作為判斷算法性能的標準。在自制的數(shù)據(jù)集上進行實驗，檢測精度達到了90.1%。所提方法檢測結果與直接使用Faster R-CNN的檢測效果對比如圖6 所示，圖6(a) 表示直接使用Faster R-CNN 的檢測效果，圖6(b) 表示所提算法的檢測效果，通過左右圖片對比可以看出，使用所提算法檢測出來的目標個數(shù)要優(yōu)于調整前的檢測個數(shù)。

(a) Faster R-CNN檢測結果

(b)本文方法結果

圖6 測試結果對比

為了比較調整寬高比對模型準確率的影響，在自制數(shù)據(jù)集上對原算法和所提算法分別訓練40 000 次。得到的檢測準確率如表3 所示，所提算法的準確率較原算法提高了1.8%。

表3 調整寬高比前后測試結果

4   結語

以Faster R-CNN 為基礎，通過在卷積層之前加入一個預處理層成功實現(xiàn)行人檢測的目標。以自制數(shù)據(jù)集為訓練和測試網(wǎng)絡所需的數(shù)據(jù)，針對漏檢和誤檢，提出將紋理特征作為底層特征對原圖進行預處理，同時使用K-means 算法對行人寬高比進行統(tǒng)計分析，得出適合數(shù)據(jù)集中行人的寬高比尺寸，達到降低漏檢的目的。實驗測試結果表明，本文算法可以有效提高交通場景下行人檢測的準確率，在漏檢率和誤檢率上，分別提高了5%、6.1%。但存在訓練樣本還不夠豐富，因此下一步研究工作的重點將放在提高檢測模型的實時性和魯棒性上。

參考文獻：

[1] 許言午,曹先彬,喬紅.行人檢測系統(tǒng)研究新進展及關鍵技術展望[J].電子學報,2008,36(5):368-376.

[2] 劉建國,羅杰,王帥帥,等.基于YOLOv2的行人檢測方法研究[J].數(shù)字制造科學,2018,16(1):50-54.

[3] DALAL N，TRIGGS B. Histograms of oriented gradients for human de-tection[C].2005 IEEE Computer Society Conference on Computer Vi-sion and Pattern Recognition,2005:886-893.

[4] WANG X,HAN T X,YAN S.An HOG－LBP Human Detector with Partial Occlusion Handling[C]∥Proc.2009 IEEE 12th International Conference on ComputerVision.Kyoto: IEEE Press,2009:32－39．

[5] 賈慧星,章毓晉.車輛輔助駕駛系統(tǒng)中基于計算機視覺的行人檢 測研究綜述[J].自動化學報,2007,33(1):84 -90.

[6] LIN T K,DOLLAR P,GIRSHICK R,et al.Feature pyramid networks for object detection[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017，Honolulu，HI，USA，NewYork：IEEE，2017(17)：355-379.

[7] GIRSHICK R. Fast R-CNN[C].2015 IEEE International Conference on Computer Vision(ICCV),2015(10):7-13.

[8] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J].

IEEE Transaction on Pattern Analysis and Machine Intellige nce,2017,39(6):1137-1149.

[9] REDMOM J,DIVVALA S,GIRSHICK R,et al.You Only Look at Once: Unified,realtime object detection[C]//Proceedings of the IEEE International Conference on Computer Vision(ICCV),2016:779-788.

[10] REDMOM J,FARHADI A.YOLO9000:better,faster,s tronger[C].//2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，July 21-26，2017， Honolulu，HI，USA，NewYork:IEEE，2017:6517-6525.

[11] REDMOM J,FARHADI A. YOLOv3:an incremental improvement[J/OL].arXiv preprint arXiv:https://arxiv.org/  abs/1804.02767.

[12] BOCHKOVSKIY A, WANG C Y,HONG-YUAN M L.YOLOv4:Optimal Speed and Accuracy of Oobject Detection[J/OL]. https://arxiv.org/abs/2004.10934.

[13] REILLY V,SOLMAZ B,SHAH M.Geometric constraints for humandetection in aerial imagery[C].The 11th European conference onComputer vision,2010:252-265.

[14] GERONIMO D,LOPEZ A,SAPPA A,et al.Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2010,32(7):1239-1258.

[15] TIMO O,MATTI P A,DAVID H.A Comparative Study of Texture Measures with Classification based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[16] 程如中,張永軍,李晶晶,等.應用于行人檢測的HLBP與CHLBP 紋理特征[J].北京大學學報,2018,54(05):935-945.

[17] HENDERSON P,FERRARI V. End-to-end training of object class detectors for mean average precision[J].Asian Conference on Computer Vision,2016(6):198-213.

（本文來源于《電子產品世界》雜志2021年3月期）