大數(shù)據(jù)在視頻監(jiān)控存儲(chǔ)的應(yīng)用與挑戰(zhàn)

文/天地偉業(yè)產(chǎn)品總監(jiān) 程岳寅

　　面對(duì)大數(shù)據(jù)，視頻監(jiān)控行業(yè)面臨哪些難題?我們?nèi)绾螒?yīng)用云計(jì)算、大數(shù)據(jù)相關(guān)技術(shù)來(lái)獲取數(shù)據(jù)背后隱含的信息?未來(lái)的挑戰(zhàn)和前景如何?我將從以上幾方面發(fā)表個(gè)人觀點(diǎn)，意在拋磚引玉、引發(fā)業(yè)界同仁在產(chǎn)業(yè)發(fā)展的進(jìn)一步思考和討論。

　　1.視頻監(jiān)控存儲(chǔ)及智能分析系統(tǒng)中的難題

　　根據(jù)IDC預(yù)測(cè)，全球在2010年已正式進(jìn)入ZB時(shí)代，全球數(shù)據(jù)量大約每?jī)赡攴环?，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長(zhǎng)的數(shù)據(jù)，正推動(dòng)人類進(jìn)入大數(shù)據(jù)的時(shí)代。

　　大數(shù)據(jù)包括社交媒體、移動(dòng)設(shè)備、科學(xué)計(jì)算和城市中部署的各類傳感器信息，其中視頻是構(gòu)成數(shù)據(jù)體量最大的組成部分。據(jù)IMS Research統(tǒng)計(jì)，2011年全球攝像頭的出貨量達(dá)到2646萬(wàn)臺(tái)，預(yù)計(jì)到2015年攝像頭出貨量達(dá)5454萬(wàn)臺(tái)。一天產(chǎn)生的視頻監(jiān)控?cái)?shù)據(jù)超過(guò)1500PB,而累計(jì)歷史數(shù)據(jù)將更為龐大，在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動(dòng)下，視頻監(jiān)控業(yè)務(wù)將面臨海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享、數(shù)據(jù)安全及數(shù)據(jù)利用四大難題。

　　(1)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)

　　安防行業(yè)的大數(shù)據(jù)目前主要來(lái)源于智慧城市和智能交通等大型安防項(xiàng)目。例如，2011年全球兩天的數(shù)據(jù)就高達(dá)1.8ZB，相當(dāng)于文明起始到21世紀(jì)初全部的數(shù)據(jù)總和;2013年中國(guó)某一線城市一個(gè)季度產(chǎn)生的數(shù)據(jù)總量也在200PB。當(dāng)前，智慧城市建設(shè)已成為地方政府推進(jìn)城鎮(zhèn)化發(fā)展的重要途徑，而隨著智慧城市的發(fā)展，對(duì)高清攝像機(jī)和智能化監(jiān)控設(shè)備的需求會(huì)持續(xù)增長(zhǎng)，智能交通行業(yè)將成為十二五政府投資的重點(diǎn)領(lǐng)域，這將使未來(lái)幾年視頻監(jiān)控行業(yè)仍保持高景氣度。此外隨著智能家居、民用安防的普及，更多的用戶會(huì)通過(guò)移動(dòng)設(shè)備監(jiān)看視頻，于此同時(shí)會(huì)有更多的移動(dòng)互聯(lián)數(shù)據(jù)產(chǎn)生。2012年全國(guó)就擁有3.88億移動(dòng)互聯(lián)網(wǎng)用戶，預(yù)計(jì)2015年互聯(lián)設(shè)備將達(dá)到150億，2020年互聯(lián)設(shè)備將達(dá)到2000億。數(shù)據(jù)10倍速的增長(zhǎng)，在帶來(lái)巨大機(jī)遇的同時(shí)，也帶來(lái)了很大的挑戰(zhàn)。

　　按照IT產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力往往越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大，以及隨之而來(lái)的大規(guī)模計(jì)算的需求越來(lái)越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重。如何在滿足需求的前提下，刪除重復(fù)數(shù)據(jù)、降低硬件成本投資將成為海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的一個(gè)難題。

　　(2)數(shù)據(jù)共享

　　大數(shù)據(jù)需要通過(guò)快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價(jià)值。安防大數(shù)據(jù)時(shí)代最顯著的特征就是海量和非結(jié)構(gòu)化數(shù)據(jù)共享，用以提高數(shù)據(jù)處理能力。比如天網(wǎng)工程和智能交通就是最具代表性的案例，天網(wǎng)工程一般分為省市縣鄉(xiāng)鎮(zhèn)等多級(jí)架構(gòu)，智能交通圖像也分布在前端卡口、區(qū)節(jié)點(diǎn)、市省國(guó)家級(jí)中心中，海量數(shù)據(jù)存儲(chǔ)在不同節(jié)點(diǎn)、不同設(shè)備中，這給傳統(tǒng)的數(shù)據(jù)管理和使用機(jī)制帶來(lái)了極大的挑戰(zhàn)。

　　與科學(xué)計(jì)算、互聯(lián)網(wǎng)相比，視頻監(jiān)控的大數(shù)據(jù)處理難度尤大，首先，視頻錄像是更原始的非文本非結(jié)構(gòu)化的數(shù)據(jù)，必須經(jīng)過(guò)復(fù)雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行下一步處理;其次視頻錄像相對(duì)其它形式數(shù)據(jù)的容量要大幾個(gè)數(shù)量級(jí)，對(duì)傳輸、存儲(chǔ)和計(jì)算的帶寬要求大。因此我們說(shuō)數(shù)據(jù)高效共享是第二大難題。

　　(3)數(shù)據(jù)安全

　　平安城市、智慧城市的建設(shè)促使安防云存儲(chǔ)技術(shù)的應(yīng)用，智慧城市一大要求就是將視頻存儲(chǔ)數(shù)據(jù)相互之間進(jìn)行聯(lián)動(dòng)、共享，例如在犯罪追蹤時(shí)，公安、交通、民用行業(yè)等多范圍的存儲(chǔ)數(shù)據(jù)能夠共享，而這種共享具備了云存儲(chǔ)的特性;傳統(tǒng)的存儲(chǔ)技術(shù)無(wú)法滿足社會(huì)發(fā)展需求，云存儲(chǔ)的在安防領(lǐng)域的應(yīng)用成為必然。

　　安防視頻監(jiān)控?cái)?shù)據(jù)具有私密性高、保密性強(qiáng)的特點(diǎn)，不僅是事后追查的依據(jù)、而且更是后續(xù)數(shù)據(jù)分析挖掘的基礎(chǔ)。因此我們說(shuō)數(shù)據(jù)安全一方面是指不受到外界數(shù)據(jù)的入侵和非法獲取、另一方面是指龐大系統(tǒng)的魯棒性、體系容錯(cuò)機(jī)制，確保硬件軟件發(fā)生故障時(shí)，數(shù)據(jù)仍然可以恢復(fù)、得以保存。面對(duì)海量數(shù)據(jù)的存儲(chǔ)、共享，硬件和軟件設(shè)備承載了極大的風(fēng)險(xiǎn)，因此我們?nèi)绾螛?gòu)建大型、海量視頻監(jiān)控存儲(chǔ)系統(tǒng)、數(shù)據(jù)分析系統(tǒng)以及容錯(cuò)冗余機(jī)制是第三大難題。

　　(4)數(shù)據(jù)利用

　　攝像頭7X24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因?yàn)閷?duì)于客戶來(lái)講可能大部分信息是無(wú)效。數(shù)據(jù)的有效性分為兩個(gè)方面，一方面有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi)，按照數(shù)學(xué)統(tǒng)計(jì)的說(shuō)法，信息是呈現(xiàn)冪律分布的，也稱為信息的密度，往往越高密度的信息對(duì)客戶價(jià)值越大;另一方面是指深層次挖掘龐大的海量數(shù)據(jù)，關(guān)聯(lián)得出有效信息。

　　視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò)內(nèi)的設(shè)備越來(lái)越多，利用閑置的計(jì)算資源，實(shí)現(xiàn)資源的最大化利用，關(guān)乎運(yùn)算的效率。在視頻監(jiān)控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準(zhǔn)確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對(duì)TB級(jí)別的數(shù)據(jù)進(jìn)行對(duì)視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計(jì)算的模式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，巨量數(shù)據(jù)的效率優(yōu)化，并行計(jì)算也許是解決問(wèn)題的辦法。

　　二.云計(jì)算及大數(shù)據(jù)對(duì)視頻監(jiān)控帶來(lái)的變化

　　大數(shù)據(jù)概念最早出現(xiàn)在20世紀(jì)60年代初，隨著互聯(lián)網(wǎng)的快速建設(shè)和信息技術(shù)的迅猛發(fā)展，到20世紀(jì)90年代中后期，數(shù)據(jù)中心的建設(shè)規(guī)模和服務(wù)器數(shù)量每年都以驚人的速度增長(zhǎng)。隨著信息中心、服務(wù)中心、數(shù)據(jù)中心等各類業(yè)務(wù)應(yīng)用及數(shù)據(jù)量的不斷增長(zhǎng)，數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、聯(lián)機(jī)分析等技術(shù)發(fā)展，數(shù)據(jù)存儲(chǔ)容量的需求也成正比的增長(zhǎng)。

　　天地偉業(yè)認(rèn)為云計(jì)算、云存儲(chǔ)和大數(shù)據(jù)將對(duì)視頻監(jiān)控行業(yè)帶來(lái)存儲(chǔ)架構(gòu)、虛擬化、安全和高效處理四個(gè)方面的變化。

　　首先，大數(shù)據(jù)呈現(xiàn)出的典型特征是4個(gè)V：規(guī)模(volume)、速度(velocity)、類型多(variety)、價(jià)值密度低(veracity)。大數(shù)據(jù)的特征對(duì)存儲(chǔ)容量的總體擁有量需求激增，海量存儲(chǔ)模式也從傳統(tǒng)的集中存儲(chǔ)式架構(gòu)發(fā)展到分布式存儲(chǔ)架構(gòu)，這種分布式架構(gòu)，在多副本、網(wǎng)絡(luò)RAID技術(shù)、快照技術(shù)驅(qū)動(dòng)下，實(shí)現(xiàn)海量存儲(chǔ)的高可靠、大并發(fā)能力，推進(jìn)了存儲(chǔ)從設(shè)備供應(yīng)模式到服務(wù)模式的升級(jí)和轉(zhuǎn)變。

　　其次，虛擬化技術(shù)在存儲(chǔ)服務(wù)能力建設(shè)上將繼續(xù)不斷發(fā)展，升級(jí)模式從SCALE-UP向SCALE-OUT模式發(fā)展，為無(wú)處不在的存儲(chǔ)資源的調(diào)度與管理、存儲(chǔ)資源的在線擴(kuò)容升級(jí)、數(shù)據(jù)持續(xù)保護(hù)、存儲(chǔ)服務(wù)不間斷等實(shí)現(xiàn)有力的支撐。虛擬化，一方面大大簡(jiǎn)化應(yīng)用環(huán)節(jié)，節(jié)省客戶建設(shè)成本，同時(shí)提供更強(qiáng)的存儲(chǔ)和共享功能;另一方面解決了存儲(chǔ)空間的浪費(fèi)，可以自動(dòng)重新分配數(shù)據(jù)，提高了存儲(chǔ)空間的利用率，同時(shí)具備負(fù)載均衡、故障冗余功能。

　　再次，安全方面實(shí)時(shí)計(jì)算和存儲(chǔ)，對(duì)存儲(chǔ)設(shè)備性能、存儲(chǔ)網(wǎng)絡(luò)性能、存儲(chǔ)資源配置簡(jiǎn)化性要求越來(lái)越高。在復(fù)雜的存儲(chǔ)服務(wù)中，基于虛擬化所構(gòu)建的混合存儲(chǔ)系統(tǒng)，系統(tǒng)的自動(dòng)分層存儲(chǔ)能力尤為重要。伴隨閃存的成本不斷降低的市場(chǎng)，市場(chǎng)上也有基于全閃存陣列產(chǎn)品的出現(xiàn)，基于虛擬化下的存儲(chǔ)資源自動(dòng)化分層，實(shí)現(xiàn)數(shù)據(jù)分層存儲(chǔ)，并遷移的策略，對(duì)大數(shù)據(jù)實(shí)時(shí)性、安全性更加不可或缺。

　　最后，面對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化等元數(shù)據(jù)的處理機(jī)制，云存儲(chǔ)管理可以實(shí)現(xiàn)自動(dòng)化和智能化，所有的存儲(chǔ)資源被整合到一起，客戶看到的是單一存儲(chǔ)空間，提高了存儲(chǔ)效率;云存儲(chǔ)能夠?qū)崿F(xiàn)規(guī)模效應(yīng)和彈性擴(kuò)展，降低運(yùn)營(yíng)成本，避免資源浪費(fèi)。受限于安防視頻監(jiān)控自身業(yè)務(wù)的特點(diǎn)，監(jiān)控云存儲(chǔ)和現(xiàn)有互聯(lián)網(wǎng)云計(jì)算模型會(huì)有區(qū)別，如安防用戶傾向于視頻信息存儲(chǔ)在本地、政府視頻監(jiān)控應(yīng)用比較敏感、視頻信息的隱私問(wèn)題、視頻監(jiān)控對(duì)網(wǎng)絡(luò)帶寬消耗較大等問(wèn)題。海量數(shù)據(jù)存儲(chǔ)的檢索、目錄服務(wù)、去重化都將在以大數(shù)據(jù)牽動(dòng)的存儲(chǔ)應(yīng)用中，給存儲(chǔ)產(chǎn)業(yè)帶來(lái)新的發(fā)展機(jī)遇。

　　三.應(yīng)用及推廣過(guò)程中的挑戰(zhàn)

　　云計(jì)算和大數(shù)據(jù)在應(yīng)用和推廣過(guò)程中仍然會(huì)面臨一系列技術(shù)難關(guān)的攻克和體系的建立。比如視頻監(jiān)控行業(yè)中最為關(guān)注的：

　　視頻濃縮檢索技術(shù)，主要是利用圖像處理(包括視頻濃縮、摘要、復(fù)原等)、模式識(shí)別、海量數(shù)據(jù)分類存儲(chǔ)以及搜索等技術(shù)，對(duì)海量的存儲(chǔ)錄像等原始信息進(jìn)行分析和挖掘，對(duì)于目標(biāo)特征、目標(biāo)行為、目標(biāo)間關(guān)聯(lián)關(guān)系這三大類信息內(nèi)容，形成各種分類的特征信息庫(kù)、元數(shù)據(jù)和索引等，并提供統(tǒng)一接口供外部應(yīng)用進(jìn)行搜索，以期通過(guò)有限的線索，達(dá)到案件快速關(guān)聯(lián)和定位。

　　視頻圖像信息庫(kù)建設(shè)，目前應(yīng)用比較廣泛的是卡口和電警的應(yīng)用。由于車牌識(shí)別技術(shù)的日趨成熟，通過(guò)車牌、車牌顏色、車身、車身顏色、車輛類型等特征識(shí)別，把車輛圖片、車輛信息、車主信息、盜搶車輛庫(kù)等結(jié)合起來(lái)，可以有效的進(jìn)行車輛的查找、布控和案件線索搜索。

　　海量數(shù)據(jù)的處理、分析、檢索和視頻智能分析技術(shù)，把海量的視頻數(shù)據(jù)進(jìn)行濃縮、提取特征摘要、減少了存儲(chǔ)空間。如1小時(shí)的視頻錄像，通過(guò)特征值方式的視頻濃縮，可以把錄像壓縮到10分鐘左右。同時(shí)，視頻圖像信息庫(kù)有別于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)模型，針對(duì)結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)數(shù)據(jù)的多個(gè)副本分布式保存方式，可以有效節(jié)約存儲(chǔ)空間，關(guān)鍵數(shù)據(jù)的二次備份，使系統(tǒng)架構(gòu)更加穩(wěn)定和可擴(kuò)展，并且提供安全的負(fù)載均衡和容錯(cuò)機(jī)制。

　　四.前景展望

　　云計(jì)算和大數(shù)據(jù)應(yīng)用未來(lái)勢(shì)必對(duì)安防行業(yè)有深刻的改變和影響。尤其在智慧城市行業(yè)和交通行業(yè)。交通方面海量數(shù)據(jù)處理需求，智能交通管理系統(tǒng)可以在海量數(shù)據(jù)、惡劣網(wǎng)絡(luò)環(huán)境和復(fù)雜業(yè)務(wù)處理情況下，實(shí)現(xiàn)大量圖片、車輛數(shù)據(jù)、視頻數(shù)據(jù)的時(shí)時(shí)網(wǎng)絡(luò)傳輸和快速持久化存儲(chǔ)，同時(shí)對(duì)任意站點(diǎn)的圖像進(jìn)行顯示，對(duì)任意站點(diǎn)的視頻進(jìn)行流暢播放、實(shí)時(shí)進(jìn)行比對(duì)報(bào)警，快速進(jìn)行多條件檢索，并且將各類多媒體數(shù)據(jù)和車輛數(shù)據(jù)合二為一。系統(tǒng)實(shí)現(xiàn)對(duì)目前的城市道路交通中異常行為的智能識(shí)別和自動(dòng)報(bào)警等，從而減輕了交管監(jiān)控人員的工作負(fù)擔(dān)，提高了監(jiān)測(cè)的準(zhǔn)確度，使得交通管理工作更高效。實(shí)時(shí)交通狀況分析可通過(guò)視頻實(shí)時(shí)分析道路交通流量，然后綜合分析統(tǒng)計(jì)出全城市的交通狀況;套**可通過(guò)視頻進(jìn)行車牌識(shí)別，按照一定的規(guī)則(如最近時(shí)間內(nèi)一定距離以外)在全城市中檢索相同車牌的汽車。

　　智慧城市方面公安部門可以利用相關(guān)技術(shù)進(jìn)行犯罪嫌疑人追查，可通過(guò)輸入嫌疑人照片進(jìn)行人臉特征識(shí)別并在所有視頻中尋找該人臉;犯罪嫌疑車輛追查可輸入嫌疑車的照片或顏色車型等相關(guān)特征在所有視頻中尋找;人車物的軌跡分析即在所有視頻中按照特征查找指定的人車物并繪制其時(shí)空軌跡;車輛的首次入城分析等等。

　　結(jié)語(yǔ)

　　高清化、網(wǎng)絡(luò)化和智能化的安防行業(yè)在新的紀(jì)元中，雖然會(huì)面臨這樣那樣的問(wèn)題，但是我相信隨著云計(jì)算和大數(shù)據(jù)應(yīng)用技術(shù)的成熟和完善，行業(yè)勢(shì)必會(huì)更快速的發(fā)展。云時(shí)代的到來(lái)已為我們指明了方向，云計(jì)算和大數(shù)據(jù)技術(shù)就像是打開未知世界之門的鑰匙，讓我們可以更加經(jīng)濟(jì)的進(jìn)行系統(tǒng)建設(shè)，更加高效的進(jìn)行數(shù)據(jù)分析，更加有力的推動(dòng)社會(huì)的進(jìn)步和發(fā)展。