智能視頻分析在海量視頻檢索中的作用

隨著視頻監(jiān)控系統(tǒng)在公安、交通等敏感領域的大規(guī)模應用，電子眼幫助破案的報道時有所耳聞。一方面，這些事例從正面體現了視頻監(jiān)控系統(tǒng)的社會價值;另一方面，也引發(fā)了更多的關于視頻檢索的深層次需求。在實際應用的過程中，用戶常常希望可以快速的從海量的數以萬計的攝像頭視頻錄像中，方便的找到一些有明顯特征的人或物。傳統(tǒng)的基于預設告警和時間的視頻檢索方式，對于這類深層次的需求往往無能為力，常有“隔靴搔癢”之憾，因而如何快速準確的進行智能的檢索就成為大型視頻監(jiān)控系統(tǒng)需要解決的重要課題。

傳統(tǒng)海量存儲技術的應用瓶頸

就平安城市這樣的大型視頻監(jiān)控系統(tǒng)而言，每時每刻系統(tǒng)中都有海量的視頻在進行存儲。這些視頻對于打擊犯罪，保衛(wèi)人民生命財產安全是至關重要的。目前基于分布式的系統(tǒng)構架設計的大型視頻監(jiān)控平臺，采用分治的方法，綜合使用前端存儲(NVR/DVR)，后端存儲(存儲服務器、磁陣等)等多種策略結合。從技術上看，已經可以比較穩(wěn)妥的解決海量視頻的存儲問題。但是，主流的基于時間點和預設事件的檢索方式相對于當前復雜的治安形勢就過于簡單了。下面以一個現實中的檢索需求為例，對傳統(tǒng)的檢索方式進行分析。

檢索需求：檢索在10：00 到 12:00，出現在某銀行正門附近的，穿白色襯衫的男子。

為實現找到符合條件的視頻，在傳統(tǒng)視頻存儲系統(tǒng)中，將需要很多人力進行人工分析。傳統(tǒng)監(jiān)控系統(tǒng)可以通過GIS比較準確的找到XX銀行正門附近的攝像機，通過時間檢索找到相關的視頻，之后就需要靠人力進行人為調看，即使在16倍速的高速瀏覽下，進一步找到相關視頻也是一件十分浪費人力和時間的事情，而且由于人的參與，長時間觀看導致漏檢的風險很大。

我們可以看到，在實現這一檢索需求時，傳統(tǒng)的檢索方式顯得比較笨拙。檢索檢索方式不夠“聰明”，這已經成為傳統(tǒng)大型監(jiān)控系統(tǒng)應用中的一個瓶頸。

考慮到具體案件的復雜性，今天關于“白襯衣”的要求，明天可能變?yōu)椤盎ㄒr衫”，所以用戶不僅要求檢索更加“聰明”，而且也要足夠“靈活”。當然，用戶還希望系統(tǒng)能夠盡快完成查詢。那么，我們可以將用戶對海量視頻存儲系統(tǒng)的檢索要求歸納為“更聰明”、“更靈活”、“更快捷”。

使用智能分析技術提升檢索算法有效性

引入智能視頻分析技術實現“聰明”和“靈活”

既然，用戶迫切需要檢索更加“聰明”，那么使用智能分析技術提高系統(tǒng)的“智商”就勢在必行了。

目前應用于視頻監(jiān)控的的智能視頻分析技術可以歸納為：目標提取技術、目標分類(識別)技術以及規(guī)則判斷技術等3個彼此依存的技術譜系。這3類技術構成了智能視頻分析系統(tǒng)的3大基本模塊：目標提取模塊、分類識別模塊、規(guī)則判斷模塊，如圖1所示。

圖1：智能分析系統(tǒng)結構簡圖

首先，數字視頻流經過視頻解碼，解碼為智能視頻分析系統(tǒng)可以識別的視頻或圖像序列，作為智能視頻分析系統(tǒng)的輸入。分析系統(tǒng)首先使用目標提取輸入圖像序列進行前背景分離，完成目標提取工作;比較復雜的智能視頻分析系統(tǒng)一般帶有分類功能，可以對識別出來的目標進行模式識別，分辨出目標的更多屬性，如比較常見的分類器包括：人車分類，顏色分類、行為分類等;此后系統(tǒng)將被提取的目標和與之分類信息，交給規(guī)則判斷模塊，進行規(guī)則推理，如果違反了某些設定的規(guī)則，系統(tǒng)將輸出告警。

將上文提到的檢索需求套入到上述流程中，可以發(fā)現現有的智能視頻分析技術在“理論”上能夠幫助完成這個需求?！鞍咨r衣、男子”這些是對分類識別模塊的識別要求，同時也是判斷推理模塊中的規(guī)則。也就是說所謂的更“聰明”對應于智能視頻分析技術就是要求分類識別模塊更強大;檢索的需求一定是會不斷變化的，比如“白襯衣”變成“花裙子”，“男子”變?yōu)椤芭印?，“靈活”的要求需要規(guī)則判斷模塊來完成。

于是，我們可以得到一個新的系統(tǒng)模型(模型1)，如圖2所示。這個系統(tǒng)模型在傳統(tǒng)海量存儲系統(tǒng)上增加了智能視頻分析功能，從而完成了使系統(tǒng)變得“聰明”了。

圖2：引入智能分析服務器的海量存儲系統(tǒng)(模型1)

當用戶發(fā)起查詢時，首先通過規(guī)則生成器，將查詢要求翻譯成規(guī)則，輸入規(guī)則推理模塊，之后系統(tǒng)對相關視頻進行智能分析，也就是進行目標提取和目標分類識別，同時規(guī)則推理判斷，找出符合要求的視頻，如圖3所示。

圖3：基于模型1的查詢時序圖

這個模型借助智能視頻分析技術，可以提升查詢系統(tǒng)的“智商”，實現用戶關于“聰明”和“靈活”的訴求，但是這個系統(tǒng)的效率如何呢?還有一個問題需要考慮，就現在的智能視頻分析技術而言是否能夠有足夠精確的目標提取、模型匹配的精準算法從而來判斷“男女”，區(qū)分“白色襯衫”和“白色風衣”的不同。這些問題在現有的分析技術和算法模型中都是很難解決的，綜上，這個模型存在的問題表現在：

一是效率較低，查詢速度取決于分析速度。

二是對于實際應用中的現實要求，智能技術又無法達到的情況沒有進行處理。

使用視頻分析技術構建“線索”數據庫

模型1之所以效率較低，主要是因為需要將可能存在的目標進行智能分析，智能分析算法需要時間來完成。這一過程限制了這一模型的效率。

實際上，對于這一問題我們可以通過增加實時視頻智能分析服務器的辦法，對實時視頻在存儲的同時進行智能分析，同時將目標提取模塊、分類識別模塊輸出的結果保存到數據庫中，以提升檢索的效率。這個思路與google所采用的視頻檢索技術比較類似，只是提取目標和分類分析的視頻源不同，進行預處理的時機不同。至此，得到了一個新的模型——模型2，如圖4所示。

圖4：帶有線索數據庫的海量存儲模型2

模型2在模型1的基礎上，將智能分析的運算分攤到視頻傳輸和存儲的過程中，并引入了數據庫將視頻分析的結果和源視頻的存儲位置關聯關系一并保存到數據庫中，提升了整個檢索的反應速度，如圖5所示。

圖5：基于模型2的視頻存儲過程

當然這個基于智能視頻的預處理過程也可以由終端設備完成，至于終端設備如何目標提取模塊、分類識別模塊分析的結果發(fā)送給視頻監(jiān)控平臺，可以參考OnVif協(xié)議中的相關部分。

查詢時，首先模型2針對查詢條件，進行轉換，將查詢條件轉換為系統(tǒng)可支持的規(guī)則，根據規(guī)則生成對數據庫的查詢語句進行查詢，之后根據查詢結果，找到相關的視頻，如圖6所示。

圖6：基于模型2的視頻檢索過程

關于“誤中”與“漏檢”

鑒于當前智能視頻分析技術的現狀，在上述檢索需求：“檢索在10：00 到 12:00，出現在某銀行正門附近的，穿白色襯衫的男子”中，至少襯衣和男子是比較難以分辨的，考慮到光照等因素，白色的分辨也存在一定困難。也就是說，即使使用了智能分析技術，由于其分類識別模塊的限制，對于一些查詢需求，也是存在誤中和漏檢可能性的。對于實際應用而言，漏檢的危害要大于誤中，基于此，有必要引入一些基于概率論的方法，如貝葉斯方法，來緩解“漏檢”的壓力。

結束語

綜上所述，智能視頻分析技術的引入可以極大的提升原有海量監(jiān)控視頻存儲系統(tǒng)的檢索效率和命中率。但是，限于目前智能視頻分析技術的現狀，這一方案中還存在一些技術風險。雖然可以借助一些概率方法，引入類似“相似度”的概念來緩解“漏檢”的風險，這一方案的離最終的用戶要求還有一段距離。然而，從另一個角度看“距離產生美”，技術之所以引人入勝，很大程度上就是因為“距離”的存在。有理由相信，隨著行業(yè)的快速發(fā)展，在海量監(jiān)控視頻存儲系統(tǒng)上，引入智能分析技術將成為一種趨勢。