基于云存儲(chǔ)視頻監(jiān)控系統(tǒng)的研究

摘要：視頻監(jiān)控系統(tǒng)對(duì)海量視頻數(shù)據(jù)存儲(chǔ)和智能視頻分析的需求日益突出。針對(duì)系統(tǒng)硬件計(jì)算能力有限，用戶需求的多樣性，系統(tǒng)擴(kuò)展性復(fù)雜等問題，云存儲(chǔ)技術(shù)有很大突破。通過虛擬化技術(shù)構(gòu)建資源池，使用Hadoop分布式文件系統(tǒng)存儲(chǔ)海量視頻數(shù)據(jù)，使用Map/Reduce編程模型實(shí)現(xiàn)大數(shù)據(jù)并行計(jì)算，為用戶提供實(shí)時(shí)視頻監(jiān)控和智能視頻分析服務(wù)。

關(guān)鍵詞：云計(jì)算;云存儲(chǔ);視頻監(jiān)控;Hadoop分布式文件系統(tǒng)

互聯(lián)網(wǎng)的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個(gè)領(lǐng)域的經(jīng)營與管理。隨著網(wǎng)絡(luò)信息化技術(shù)的日益完善，使得視頻資源的聯(lián)網(wǎng)共享成為視頻監(jiān)控、 IPTV等大數(shù)據(jù)領(lǐng)域的迫切需求，現(xiàn)有分散的視頻資源正在朝集中化的方向發(fā)展。隨著海量視頻數(shù)據(jù)的快速增長，傳統(tǒng)的視頻監(jiān)控難以滿足在大數(shù)據(jù)計(jì)算分析、存儲(chǔ)及數(shù)據(jù)共享等上的需要，或者說很難以更低的成本，更靈活的擴(kuò)展性，更健壯、更可靠、更安全的系統(tǒng)架構(gòu)來滿足行業(yè)需求。因此，云計(jì)算開始運(yùn)用到大規(guī)模視頻監(jiān)控領(lǐng)域。

1 相關(guān)知識(shí)

“云計(jì)算”并非是一種新的計(jì)算技術(shù)，而是結(jié)合多種計(jì)算技術(shù)，以最優(yōu)性價(jià)比為目的的綜合型計(jì)算模式。通過云計(jì)算技術(shù)，將海量的資源通過網(wǎng)絡(luò)連接起來，用戶能夠共享數(shù)據(jù)、協(xié)同計(jì)算，網(wǎng)絡(luò)中的計(jì)算機(jī)、服務(wù)器共同對(duì)外提供服務(wù)，并使之透明化。

1.1 云計(jì)算

云計(jì)算是分布式計(jì)算、并行計(jì)算和網(wǎng)格汁算的發(fā)展，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲(chǔ)空間和各種軟件服務(wù)。

云計(jì)算通過虛擬化技術(shù)，將大量異構(gòu)的網(wǎng)絡(luò)服務(wù)器和不同廠家的網(wǎng)絡(luò)存儲(chǔ)設(shè)備構(gòu)建成統(tǒng)一的資源池，通過互聯(lián)網(wǎng)連接起來，用戶不需要了解云存儲(chǔ)系統(tǒng)的細(xì)節(jié)，也不必掌握

專業(yè)的云技術(shù)知識(shí)，只需要關(guān)注自己需要什么樣的資源，以及如何通過互聯(lián)網(wǎng)來獲得相應(yīng)的服務(wù)。云計(jì)算為大規(guī)視頻監(jiān)控系統(tǒng)提供超強(qiáng)計(jì)算的能力，靈活地為用戶提供各種服務(wù)，同時(shí)減少系統(tǒng)建設(shè)、升級(jí)及運(yùn)維管理的成本，提高系統(tǒng)資源的利用率和系統(tǒng)運(yùn)行的可靠性。

1. 2 云存儲(chǔ)

云存儲(chǔ)是在云計(jì)算的基礎(chǔ)上衍生和發(fā)展出來的一種技術(shù)。它通過網(wǎng)絡(luò)將各類存儲(chǔ)設(shè)備匯集起來，通過網(wǎng)絡(luò)集中管理，共享數(shù)據(jù)，其靈活的擴(kuò)展性，可以對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)服務(wù)以及與存儲(chǔ)相關(guān)的增值應(yīng)用。

云存儲(chǔ)系統(tǒng)以網(wǎng)絡(luò)服務(wù)器和網(wǎng)絡(luò)存儲(chǔ)設(shè)備為基礎(chǔ)，構(gòu)建成一個(gè)大規(guī)模的存儲(chǔ)集群，采用大規(guī)模分布式文件系統(tǒng)對(duì)存儲(chǔ)資源集中管理，可以提供上海量的存儲(chǔ)空間同時(shí)也可以為大量用戶提供服務(wù)，推動(dòng)了大數(shù)據(jù)時(shí)代的發(fā)展。云存儲(chǔ)系統(tǒng)的成本遠(yuǎn)遠(yuǎn)低于傳統(tǒng)的存儲(chǔ)系統(tǒng)，并且具有良好的可擴(kuò)充性和可靠性，推動(dòng)著大規(guī)模視頻監(jiān)控系統(tǒng)的變革。

2 基于云存儲(chǔ)的監(jiān)控系統(tǒng)

目前，云存儲(chǔ)的實(shí)現(xiàn)并不存在技術(shù)上的障礙，它需要云設(shè)備、云軟件、云服務(wù)等有機(jī)地集合在一起，為用戶提供無障礙的云服務(wù)。將存儲(chǔ)設(shè)備和應(yīng)用軟件相結(jié)合，通過分布式文件系統(tǒng)架構(gòu)實(shí)現(xiàn)由存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。

2.1 云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)不再是單純的存儲(chǔ)設(shè)備，通過虛擬化技術(shù)，將無數(shù)分散的服務(wù)器和存儲(chǔ)設(shè)備通過網(wǎng)絡(luò)組織起來，統(tǒng)一管理，協(xié)同工作，通過應(yīng)用軟件對(duì)外提供存儲(chǔ)服務(wù)。云存儲(chǔ)系統(tǒng)結(jié)構(gòu)模型由物理存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層和用戶訪問層組成，如圖1所示。

2.2 基于云存儲(chǔ)監(jiān)控系統(tǒng)的設(shè)計(jì)

基于云存儲(chǔ)的視頻監(jiān)控系統(tǒng)在邏輯上可分為前端視頻采集、云端數(shù)據(jù)管理中心、視頻業(yè)務(wù)服務(wù)和客戶端管理系統(tǒng)。如圖2所示。

前端視頻采集通過網(wǎng)絡(luò)連接到云存儲(chǔ)系統(tǒng)，云存儲(chǔ)系統(tǒng)為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進(jìn)行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網(wǎng)絡(luò)上傳輸?shù)腎P數(shù)據(jù)包，通過Internet上傳到云資源池中。

云端數(shù)據(jù)管理中心對(duì)云資源進(jìn)行自動(dòng)監(jiān)控、自動(dòng)調(diào)度和集中管理等一體化運(yùn)維操作，通過虛擬化存儲(chǔ)技術(shù)、Hadoop分布式文件系統(tǒng)、云計(jì)算等技術(shù)結(jié)合應(yīng)用程序?qū)崿F(xiàn)存儲(chǔ)設(shè)備內(nèi)容的分發(fā)、數(shù)據(jù)刪冗、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)備份與數(shù)據(jù)恢復(fù)等功能。

視頻業(yè)務(wù)服務(wù)運(yùn)行在云端數(shù)據(jù)管理中心之上，是云資源的應(yīng)用集合，根據(jù)用戶的不同需求，提供相關(guān)的業(yè)務(wù)服務(wù)。

客戶端管理系統(tǒng)通過公用API接口訪問視頻相應(yīng)的業(yè)務(wù)服務(wù)。客戶端管理系統(tǒng)的每個(gè)操作對(duì)應(yīng)著一個(gè)業(yè)務(wù)請(qǐng)求，通過網(wǎng)絡(luò)接入、用戶認(rèn)證、權(quán)限管理等安全策略驗(yàn)證后，方可訪問相應(yīng)的業(yè)務(wù)。

3 關(guān)鍵技術(shù)及實(shí)現(xiàn)

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，人們對(duì)智能安防提出了新的要求，傳統(tǒng)視頻監(jiān)控系統(tǒng)的局限性越來越突出，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化、智能化以及安全越來越受到人們的關(guān)注和重視?；谠拼鎯?chǔ)的視頻監(jiān)控系統(tǒng)在數(shù)據(jù)存儲(chǔ)與安全，實(shí)時(shí)轉(zhuǎn)碼，視頻智能分析等方面具有自身獨(dú)特的技術(shù)優(yōu)勢(shì)。

3.1 數(shù)據(jù)存儲(chǔ)與安全

Hadoop分布式文件系統(tǒng)是現(xiàn)在主流的分布式文件系統(tǒng)之一，具有高容錯(cuò)性，可以運(yùn)行在低成本的計(jì)算機(jī)硬件基礎(chǔ)上。Hadoop分布式文件系統(tǒng)為讀寫數(shù)據(jù)提供了大吞吐量，可運(yùn)行需要大量數(shù)據(jù)計(jì)算的應(yīng)用程序，非常適合大規(guī)模視頻監(jiān)控系統(tǒng)的應(yīng)用。

Hadoop分布式文件系統(tǒng)也采用了主從架構(gòu)，它的集群是由一個(gè)Namenode和多個(gè)Datanode組成。Namenode是一個(gè)中心服務(wù)器，其主要負(fù)責(zé)管理文件系統(tǒng)的命名空間以及客戶端對(duì)文件的訪問操作。Datanode負(fù)責(zé)管理文件塊的創(chuàng)建、存儲(chǔ)和刪除，并且在Namenode的統(tǒng)一調(diào)度下進(jìn)行文件塊的復(fù)制操作。

Hadoop分布式文件系統(tǒng)將每個(gè)文件分成一系列固定大小的數(shù)據(jù)塊，除了最后一個(gè)，所有的數(shù)據(jù)塊大小都為64MB。為了容錯(cuò)，提高系統(tǒng)的可用性，存儲(chǔ)在 Datanode中文件的數(shù)據(jù)塊都會(huì)有副本。一般情況下，用戶的文件有3個(gè)副本，系統(tǒng)會(huì)將第一個(gè)副本放在本地節(jié)點(diǎn)上，將第二個(gè)副本放到同一機(jī)架的另外一個(gè)本地節(jié)點(diǎn)上，而將第三個(gè)副本放到云存儲(chǔ)系統(tǒng)不同機(jī)架的一個(gè)節(jié)點(diǎn)上。當(dāng)某一節(jié)點(diǎn)的數(shù)據(jù)被破壞后，可以讀取其它節(jié)點(diǎn)的副本，提高數(shù)據(jù)的安全性，同時(shí)保證了系統(tǒng)的可靠性。