基于關鍵幀提取技術的網(wǎng)絡視頻監(jiān)控系統(tǒng)

顏色直方圖是最常用的表達顏色特征的方法，其優(yōu)點是不受圖像旋轉(zhuǎn)和平移變化的影響，進一步借助歸一化還可不受圖像尺度變化的影響，基缺點是沒有表達出顏色空間分布的信息。顏色直方圖簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像。

紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對應景物的表面性質(zhì)。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點的特征，它需要在包含多個像素點的區(qū)域中進行統(tǒng)計計算。在模式匹配中，這種區(qū)域性的特征具有較大的優(yōu)越性，不會由于局部的偏差而無法匹配成功。作為一種統(tǒng)計特征，紋理特征常具有旋轉(zhuǎn)不變性，并且對于噪聲有較強的抵抗能力。但是，紋理特征也有其缺點，一個很明顯的缺點是當圖像的分辨率變化的時候，所計算出來的紋理可能會有較大偏差。

通常情況下，形狀特征有兩類表示方法，一類是輪廓特征，另一類是區(qū)域特征。圖像的輪廓特征主要針對物體的外邊界，而圖像的區(qū)域特征則關系到整個形狀區(qū)域。形狀的表達和匹配采用更為簡單的區(qū)域特征描述方法，例如采用有關形狀定量測度(如矩、面積、周長等)的形狀參數(shù)法。

空間關系，是指圖像中分割出來的多個目標之間的相互的空間位置或相對方向關系，這些關系也可分為連接或鄰接關系、交疊或重疊關系和包含包容關系等。通?？臻g位置信息可以分為兩類：相對空間位置信息和絕對空間位置信息。前一種關系強調(diào)的是目標之間的相對情況，如上下左右關系等，后一種關系強調(diào)的是目標之間的距離大小以及方位。顯而易見，由絕對空間位置可推出相對空間位置，但表達相對空間位置信息常比較簡單。空間關系特征的使用可加強對圖像內(nèi)容的描述區(qū)分能力，但空間關系特征常對圖像或目標的旋轉(zhuǎn)、反轉(zhuǎn)、尺度變化等比較敏感。另外，實際應用中，僅僅利用空間信息往往是不夠的，不能有效準確地表達場景信息。

優(yōu)秀的匹配算法是系統(tǒng)工作效率和辨識能力的保證，而高效的匹配算法需要準確地描述出關鍵幀的特征。在本系統(tǒng)中，我們考慮到系統(tǒng)計算能力和穩(wěn)定性的要求，采用顏色直方圖和形狀特征相結合的描述算法。當提取出當前網(wǎng)絡視頻流的關鍵幀序列后，將關鍵幀以流水線作業(yè)的方式后匹配規(guī)則庫中的匹配圖像做比較，若相似率大于預定的閥值時，我們就有理由相信當前視頻流是垃圾視頻。如果相似率低于預定的閥值，但落在了一個預定的有嫌疑的區(qū)間中，我們可以提取當前關鍵幀的顏色直方圖和輪廓特征，與匹配圖像的顏色直方圖和輪廓特征相比較，如果其匹配概率大于預警閥值，系統(tǒng)可向管理員提出告警，再通過人工識別的方式來判斷當前視頻流是否非法。

4. 告警響應和處理

隨著網(wǎng)絡風險系數(shù)不斷提高，網(wǎng)絡攻擊技術和病毒木馬技術日益更新，單純的網(wǎng)絡安全設備已經(jīng)不能滿足企業(yè)、學校和家庭的安全保障。因此，本系統(tǒng)對視頻信息的監(jiān)測也將和其它網(wǎng)絡安全設備結合在一起，構成全方位的網(wǎng)絡安全保障體系結構來保證一個安全和諧的網(wǎng)絡環(huán)境。

基于系統(tǒng)特有的預警機制，可以降低誤報率和提高監(jiān)測效率。當系統(tǒng)檢測到垃圾視頻信息時，將提取出該視頻數(shù)據(jù)包的源IP地址和端口等信息，并將信息顯示在系統(tǒng)報警頁面通知系統(tǒng)管理員的同時，也會將信息傳輸?shù)骄W(wǎng)絡安全保障體系結構中的其他相關安全設備，如防火墻等。防火墻將第一時間將此非法IP地址和端口列入黑名單中，禁止該IP地址的視頻數(shù)據(jù)包通過防火墻。

圖4 安全保障體系結構

系統(tǒng)也可和入侵檢測及安全審計等安全設備結合，來防止病毒和木馬等捆綁在視頻信息中對用戶進行攻擊。系統(tǒng)首先將關鍵幀進行匹配校驗，如果相似率低于預警閥值，我們也不能掉以輕心，不排除其圖像中隱藏有病毒和木馬等信息，導致圖像像素發(fā)生了肉眼無法區(qū)別的改變，由于圖像像素結構的改變，可能會欺騙視頻監(jiān)測系統(tǒng)，從而通過了檢驗。因此，此時系統(tǒng)會將關鍵幀傳輸?shù)讲《緬呙柘到y(tǒng)進行進一步的檢查。

由于系統(tǒng)本身的匹配校驗和預警機制，同時結合網(wǎng)絡安全保障體系中其他安全設備的資源來對視頻流進行監(jiān)測，可以保障視頻信息的干凈和安全，同時不影響用戶對視頻服務的享受。

系統(tǒng)實現(xiàn)

I.硬件實現(xiàn)

系統(tǒng)分別由視頻數(shù)據(jù)包識別捕獲單元、視頻解碼關鍵幀提取處理單元、關鍵幀查詢單元、視頻關鍵幀匹配單元、關鍵幀匹配規(guī)則庫和告警響應處理單元六個模塊組成。

視頻數(shù)據(jù)包識別捕獲單元

視頻數(shù)據(jù)包識別捕獲單元由FPGA Spartan 3E板卡來實現(xiàn)。FPGA具有高速并行處理的邏輯編程結構，可以實現(xiàn)流水線識別源IP地址、源端口和目的IP地址、目的端口，以及協(xié)議類型、視頻標志字段等信息的處理。

根據(jù)用戶特定需要監(jiān)測的視頻類型和流媒體協(xié)議，用戶可以自定義視頻特定位置的標志字段。識別捕獲數(shù)據(jù)包單元過濾到相應的視頻數(shù)據(jù)包時，將按照特定的流媒體協(xié)議對數(shù)據(jù)包進行卸載，提取出視頻信息后傳輸?shù)胶罄^視頻解碼單元，提取出視頻的關鍵幀。

視頻解碼關鍵幀提取處理單元

視頻解碼關鍵幀提取單元在eBox-4300上的Wince操作系統(tǒng)上實現(xiàn)。Wince是微軟公司開發(fā)的嵌入式操作系統(tǒng)，具有很好的移植性和視頻處理庫，開發(fā)容易上手等優(yōu)點。同時考慮到當前視頻格式標準多樣，為了提高系統(tǒng)的功能，以后一定會不斷向系統(tǒng)添加新的解碼器。而Wince上軟件的兼容性相對其他的操作系統(tǒng)較強，當用戶添加其他解碼器時更簡單。

關鍵幀查詢單元

關鍵幀的查詢是為了方便系統(tǒng)管理員對系統(tǒng)的工作效能進行控制。在系統(tǒng)管理過程中，管理員可以通過身份驗證登錄到系統(tǒng)管理頁面，查看當前時間段的告警信息和相應的關鍵幀，并可根據(jù)人為識別的方法，決定是否向關鍵幀匹配庫中添加新的匹配圖像。

視頻關鍵幀匹配單元

視頻關鍵幀的匹配是系統(tǒng)的主要部分，系統(tǒng)監(jiān)測的準確性主要取決于關鍵幀的匹配算法和模式。FPGA中，與RAM存儲單元相關的資源有三類：Block RAM、LUT、寄存器。這三類資源可以通過配置和粘合邏輯實現(xiàn)為不同類型和位寬大小的單端口/雙端口RAM、ROM、CAM、FIFO等。FPGA中CAM的實現(xiàn)和配置非常靈活，CAM是實現(xiàn)模式匹配的核心資源。