關(guān)于高清視頻監(jiān)控存儲技術(shù)方案的分析

在視頻監(jiān)控向數(shù)字化、網(wǎng)絡(luò)化、集成化監(jiān)控體系發(fā)展過程中，“高清”技術(shù)日漸成為眾多監(jiān)控系統(tǒng)的重點(diǎn)應(yīng)用趨勢。高清帶來更為清晰、直觀的視覺體驗(yàn)，08年奧運(yùn)會、09年國慶閱兵和上海世博會中高清監(jiān)控均得到非常成功的應(yīng)用，切實(shí)加強(qiáng)了對重點(diǎn)區(qū)域的安全防范。

高清視頻監(jiān)控應(yīng)用背景

高清監(jiān)控系統(tǒng)碼率大(4Mbps-20Mbps)、綜合性強(qiáng)、數(shù)據(jù)量巨大，對存儲系統(tǒng)的要求很高，主要體現(xiàn)在以下幾方面：

·性能較高的并發(fā)讀寫能力;

·高效合理的空間管理能力;

·海量數(shù)據(jù)的快速檢索能力;

·穩(wěn)定可靠的數(shù)據(jù)保存能力;

·靈活快速的空間擴(kuò)展能力。

本文將重點(diǎn)介紹?？低曖槍Ω咔灞O(jiān)控的兩種典型存儲方案--監(jiān)控CVR存儲和監(jiān)控云存儲，此兩種方案均采用了針對監(jiān)控的優(yōu)化措施和針對海量數(shù)據(jù)的存儲管理技術(shù)，在高清應(yīng)用中表現(xiàn)突出。

高清監(jiān)控存儲方案介紹

CVR存儲方案

CVR存儲方案以存儲系統(tǒng)作為數(shù)據(jù)的管理和存儲核心環(huán)節(jié)，減少了存儲服務(wù)器環(huán)節(jié)，前端監(jiān)控數(shù)據(jù)流直接寫入存儲系統(tǒng)中，平臺和客戶端直接從存儲系統(tǒng)中讀取和調(diào)用視頻數(shù)據(jù)，所有的傳輸協(xié)議均采用針對視頻的流媒體傳輸協(xié)議。系統(tǒng)架構(gòu)參見圖1。

該方案在架構(gòu)上可以省略存儲服務(wù)器，消除其固有的性能瓶頸和單點(diǎn)故障隱患?；诹髅襟w的數(shù)據(jù)傳輸和數(shù)據(jù)管理結(jié)構(gòu)，幾乎可以完全消除傳統(tǒng)文件系統(tǒng)下覆蓋讀寫帶來了的文件碎片問題，大幅提高存儲系統(tǒng)的寫入和檢索速度;同時也將徹底消除傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡(luò)的不穩(wěn)定引起的文件系統(tǒng)損壞、數(shù)據(jù)只讀等問題。

監(jiān)控云存儲方案

該監(jiān)控云存儲解決方案，分為應(yīng)用層、云存儲接口層和云存儲層，前端所有應(yīng)用只要通過統(tǒng)一的云存儲接口接入云存儲系統(tǒng)即可接受存儲服務(wù)。方案具有如下特點(diǎn)：

·采用先進(jìn)架構(gòu)，統(tǒng)一的云存儲服務(wù)接口，存儲對用戶透明，應(yīng)用步驟簡化;

·云存儲管理服務(wù)器支持集群化，無核心節(jié)點(diǎn);

·云存儲根據(jù)各節(jié)點(diǎn)壓力和空間情況自動調(diào)節(jié)負(fù)載，實(shí)現(xiàn)智能負(fù)載均衡;

·部分存儲節(jié)點(diǎn)發(fā)生故障時，該節(jié)點(diǎn)的負(fù)載可透明轉(zhuǎn)移到其它節(jié)點(diǎn)，保證服務(wù)持續(xù)，實(shí)現(xiàn)故障對應(yīng)用層透明;

·通過增加相應(yīng)節(jié)點(diǎn)即可實(shí)現(xiàn)云存儲的容量和性能擴(kuò)展，且對上層應(yīng)用透明;

·采用了眾多針對視頻應(yīng)用的流媒體文件系統(tǒng)、緩存優(yōu)化、數(shù)據(jù)保護(hù)機(jī)制等技術(shù)，提供近乎100%的服務(wù)保證。

高清視頻存儲技術(shù)

高性能流存儲技術(shù)

該存儲系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手，針對監(jiān)控應(yīng)用進(jìn)行了優(yōu)化設(shè)計，推出高性能流存儲系統(tǒng)。數(shù)據(jù)傳輸均采用數(shù)據(jù)流方式，底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu)，大幅提高了系統(tǒng)性能。

緩存算法順序化技術(shù)

監(jiān)控應(yīng)用是一種大碼流多并發(fā)寫為主的存儲應(yīng)用，對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲系統(tǒng)采用獨(dú)特的大緩存順序化算法，把多路隨機(jī)并發(fā)訪問變?yōu)轫樞蛟L問，解決了硬盤磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤壽命縮短的問題。

高效合理的空間管理技術(shù)

集群管理技術(shù)

高清監(jiān)控中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù)，存儲設(shè)備的數(shù)量達(dá)數(shù)十臺上百臺，因此管理方式的科學(xué)高效顯得十分重要。其提供基于集群管理技術(shù)的多設(shè)備集中管理工具，具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運(yùn)行狀態(tài)的監(jiān)控、主動報警，圖像化系統(tǒng)檢測等功能。

針對大規(guī)模監(jiān)控系統(tǒng)提供多設(shè)備集群存儲服務(wù)，流媒體應(yīng)用下可以提供EB級海量卷尋址。64位命令尋址，8TB為單位的數(shù)據(jù)卷，可以多數(shù)據(jù)卷為同一組錄像提供空間，總的空間大小為264X8TB。

快速的檢索回放技術(shù)

海量數(shù)據(jù)快速數(shù)據(jù)定位技術(shù)

在高清監(jiān)控應(yīng)用中，數(shù)據(jù)高效檢索尤為重要。傳統(tǒng)文件系統(tǒng)中，文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，在海量數(shù)據(jù)的高清視頻監(jiān)控，目錄和文件數(shù)量十分可觀，這種檢索模式的效率就會大打折扣。?？盗鞔鎯ο到y(tǒng)采用獨(dú)特的“設(shè)備號->對應(yīng)數(shù)據(jù)卷->偏移“檢索方式，最大限度精簡檢索深度，提高檢索效率。

精確定位、高效回放

基于底層流存儲數(shù)據(jù)結(jié)構(gòu)和快速數(shù)據(jù)定位技術(shù)，可以實(shí)現(xiàn)任意時間段(時間段可以無限小或無限接近當(dāng)前時間)的即時回放和任意時間點(diǎn)/時間段的快速精確檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放，大大提高回放效率。

穩(wěn)定可靠的數(shù)據(jù)保存技術(shù)

數(shù)據(jù)塊空間預(yù)分配技術(shù)

監(jiān)控應(yīng)用中幾乎全部是循環(huán)覆蓋讀寫應(yīng)用，必定產(chǎn)生文件碎片，將對存儲系統(tǒng)產(chǎn)生很大影響。

該方案存儲基于流媒體數(shù)據(jù)結(jié)構(gòu)，通過數(shù)據(jù)空間預(yù)分配空間策略，在循環(huán)覆蓋應(yīng)用環(huán)境中幾乎完全消除文件碎片，使系統(tǒng)具備良好的性能和穩(wěn)定性。

原理：把數(shù)據(jù)塊劃分為大的虛擬數(shù)據(jù)塊vblock(至少是16MB)，并且按錄像周期再把虛擬數(shù)據(jù)塊劃分為不同區(qū)域，保證每個數(shù)據(jù)區(qū)域的覆蓋周期是一致的，盡大可能的避免出現(xiàn)碎片，同時提高性能和穩(wěn)定性。

N+n+m冗余

提供N+n+m的備機(jī)工作模式：N臺在線存儲設(shè)備，n臺熱備(休眠)存儲設(shè)備，m臺冷備(關(guān)機(jī)狀態(tài))存儲設(shè)備。當(dāng)在線存儲系統(tǒng)出現(xiàn)故障后，熱備機(jī)立即接替服務(wù)，故障恢復(fù)時，服務(wù)和數(shù)據(jù)回遷;如果故障機(jī)數(shù)據(jù)需要調(diào)用，可以把故障機(jī)的磁盤插入到冷備機(jī)中，實(shí)現(xiàn)所有數(shù)據(jù)的立即可用。

靈活快速的空間擴(kuò)展技術(shù)

對于高清監(jiān)控系統(tǒng)，隨著監(jiān)控前端的增加和存儲時間的延長，擴(kuò)展能力十分重要。某些廠商已提供單純針對容量的擴(kuò)展柜擴(kuò)展模式和性能容量同步線性擴(kuò)展的堆疊擴(kuò)展模式。