安防行業(yè)云存儲技術(shù)的發(fā)展與應(yīng)用

　　隨著視頻監(jiān)控系統(tǒng)規(guī)模不斷擴大，以及高清視頻的大規(guī)模應(yīng)用，對視頻監(jiān)控系統(tǒng)中需要存儲的數(shù)據(jù)和應(yīng)用的復(fù)雜程度在不斷提高，且視頻數(shù)據(jù)需要長時間持續(xù)地保存到存儲系統(tǒng)中，并要求隨時可以調(diào)用，對存儲系統(tǒng)的可靠性和性能等方面都提出了新的要求。在未來的復(fù)雜系統(tǒng)中，數(shù)據(jù)將呈現(xiàn)爆炸性的海量增長，提供對海量數(shù)據(jù)的快速存儲及檢索技術(shù)，顯得尤為重要，存儲系統(tǒng)正在成為視頻監(jiān)控技術(shù)未來發(fā)展的決定性因素。

　　面對百PB級的海量存儲需求，傳統(tǒng)的SAN或NAS在容量和性能的擴展上會存在瓶頸。而云存儲可以突破這些性能瓶頸，實現(xiàn)性能與容量的線性擴展，這對于追求高性能、高可用性的企業(yè)用戶來說是一個新選擇。

　　云存儲是近年來在存儲領(lǐng)域興起的一種新技術(shù)，云存儲顧名思義是將復(fù)雜的存儲功能實現(xiàn)封閉在云端，通過一種簡單的方式為用戶提供優(yōu)質(zhì)的存儲服務(wù)。具體過程是云存儲通過軟件將系統(tǒng)內(nèi)大量不同類型的存儲設(shè)備管理起來，運用虛擬化技術(shù)、集群化技術(shù)、離散存儲技術(shù)、分布式數(shù)據(jù)庫等對系統(tǒng)內(nèi)的設(shè)備資源、存儲容量資源進行專業(yè)化整合為用戶提供大容量、高性能的透明存儲服務(wù)。

　　二、云存儲系統(tǒng)的設(shè)計原則

　　云存儲系統(tǒng)的設(shè)計原則應(yīng)該采用業(yè)務(wù)控制和業(yè)務(wù)數(shù)據(jù)分離的設(shè)計思路。在存儲模式上新增加元數(shù)據(jù)管理節(jié)點專伺于系統(tǒng)的資源管理、任務(wù)調(diào)度和運行維護，元數(shù)據(jù)管理節(jié)點不具體執(zhí)行寫入、讀取等業(yè)務(wù)操作，而將這部分功能交給存儲服務(wù)節(jié)點負責。云存儲的整體設(shè)計形成一種松耦合非對稱系統(tǒng)架構(gòu)，在實際的運行過程當中該架構(gòu)能夠使系統(tǒng)提供靈活多變的業(yè)務(wù)擴展屬性和持續(xù)穩(wěn)定的性能增長。在硬件設(shè)備規(guī)模和存儲容量不斷擴大的情況下系統(tǒng)性能能夠與存儲容量保持線性增長，這種屬性也為云存儲基礎(chǔ)上的云服務(wù)擴展奠定了基礎(chǔ)。

　　采用松耦合非對稱系統(tǒng)架構(gòu)的云存儲系統(tǒng)在具體軟件設(shè)計的層次上可以如圖劃分為以下五個層次：

　　 設(shè)備層

　　設(shè)備層是云存儲最基礎(chǔ)、最底層的部分。在系統(tǒng)組成中，存儲設(shè)備可以是標準SAN架構(gòu)下的FC光纖通道存儲設(shè)備或iSCSI協(xié)議下的IP存儲設(shè)備，這些存儲設(shè)備構(gòu)成云存儲的存儲資源基礎(chǔ)。

　　 存儲層

　　存儲層含有云存儲流式文件系統(tǒng)和虛擬化資源系統(tǒng)。通過云存儲流式文件系統(tǒng)和虛擬化資源系統(tǒng)，實現(xiàn)存儲傳輸協(xié)議和標準存儲設(shè)備之間的數(shù)據(jù)邏輯結(jié)構(gòu)或磁盤陣列的映射。存儲層另一類重要功能就是具體實現(xiàn)數(shù)據(jù)(視頻、圖片、附屬流)和設(shè)備層存儲設(shè)備之間的通信連接，完成數(shù)據(jù)的高效寫入、讀取和調(diào)用等服務(wù)。

　　 管理層

　　在管理層融合了多種核心的管理功能。負責實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理、錄像計劃的主動下發(fā)，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護等;存儲業(yè)務(wù)響應(yīng)，以及存儲資源調(diào)配也由管理層負責。

　　 接口層

　　應(yīng)用接口層是云存儲最靈活多變的部分，接口層面向用戶應(yīng)用提供完善以及統(tǒng)一的訪問接口，接口類型可以是Web Service接口、API接口、Mibs接口，可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。實現(xiàn)與外部系統(tǒng)之間的對接。

　　 應(yīng)用層

　　從邏輯上劃分，除了應(yīng)用層外，剩下的四層都屬于通常云存儲的范疇，但是在視頻云存儲系統(tǒng)中，為了與視頻監(jiān)控系統(tǒng)的建設(shè)和應(yīng)用更加緊密的結(jié)合，更加符合用戶的業(yè)務(wù)需求，將應(yīng)用層納入了整個系統(tǒng)架構(gòu)中，從根本上提高視頻云存儲系統(tǒng)的針對性。

　　三、云存儲系統(tǒng)的核心技術(shù)

　　安防產(chǎn)業(yè)的蓬勃發(fā)展離不開對海量視頻和圖片數(shù)據(jù)的深入挖掘和分析。早期的存儲僅僅是將數(shù)據(jù)進行存儲，經(jīng)過這些年的發(fā)展，已經(jīng)注重從數(shù)據(jù)中獲取真實需要的關(guān)鍵信息，并已成為具體的業(yè)務(wù)提供支撐。云存儲不但在滿足海量數(shù)據(jù)存儲需求上契合了安防行業(yè)的發(fā)展趨勢，同時在應(yīng)用性和專業(yè)化程度上也逐漸發(fā)展和深化。那么，帶有行業(yè)屬性的云存儲系統(tǒng)的出現(xiàn)就是一個必然的過程。

　　安防行業(yè)與互聯(lián)網(wǎng)行業(yè)應(yīng)用有著明顯的差別。在互聯(lián)網(wǎng)應(yīng)用中有著數(shù)以億計的用戶，這些用戶分布在世界各地而且應(yīng)用需求也千差萬別?；ヂ?lián)網(wǎng)用戶產(chǎn)生的數(shù)據(jù)總量雖然非常龐大，但是數(shù)據(jù)信息類型卻也非常復(fù)雜，單個數(shù)據(jù)文件大小相對較小。

　　安防監(jiān)控領(lǐng)域的視頻數(shù)據(jù)則具有非常明顯的特征，其數(shù)據(jù)流依照時間順序持續(xù)產(chǎn)生，并且數(shù)據(jù)量非常龐大。隨著高清和超高清攝像機的不斷加入，數(shù)據(jù)量的爆炸性增長可想而知。這類長時間、大流量的數(shù)據(jù)在進行存儲時對傳統(tǒng)的文件系統(tǒng)產(chǎn)生了非常大的壓力，傳統(tǒng)的文件系統(tǒng)在數(shù)據(jù)的存儲上很少考慮到數(shù)據(jù)連續(xù)性問題，在磁盤空間的利用率上也盡可能地將數(shù)據(jù)的存儲粒度降低以滿足P2P式的文件下載訪問需求。而這這種方式對視頻流數(shù)據(jù)則極為不利，系統(tǒng)在從存儲中提取數(shù)據(jù)后需要耗費大量資源對數(shù)據(jù)按照時間順序進行重組，而且為了提取某段長時間的視頻數(shù)據(jù)磁盤尋址延時和等待延時會幾何級數(shù)地增長，照成視頻數(shù)據(jù)提取和分析時間過長，阻礙了安防監(jiān)控應(yīng)用的發(fā)展。

　　作為安防監(jiān)控領(lǐng)域的云存儲系統(tǒng)，如果不改變這種結(jié)構(gòu)化數(shù)據(jù)的存儲思路，那么將是無法支撐云計算以及大數(shù)據(jù)智能分析發(fā)展需要的。作為安防監(jiān)控領(lǐng)域的云存儲首先面臨的就是對文件系統(tǒng)的改造，針對視頻數(shù)據(jù)的特點，在數(shù)據(jù)持續(xù)寫入時需要強關(guān)聯(lián)其時間屬性，同時優(yōu)化磁盤的存儲空間，合理安排數(shù)據(jù)的存儲資源分配。在對文件系統(tǒng)進行全面優(yōu)化后形成一套適合視頻數(shù)據(jù)存儲和讀取的具有流式數(shù)據(jù)特點的云存儲文件系統(tǒng)，也稱為流式文件系統(tǒng)。

　　此外虛擬化技術(shù)的應(yīng)用也是衡量一套存儲系統(tǒng)是否成為真正意義上的云存儲的一個重要標志。虛擬化技術(shù)分為兩個方面來探討，最基礎(chǔ)的技術(shù)要求是對云存儲系統(tǒng)內(nèi)所有存儲資源的整合。傳統(tǒng)的NVR或者CVR堆疊模式雖然在發(fā)展的過程中有許多廠家也注意到了對資源的統(tǒng)一管理工作，但是其管理的粒度仍然是以單個存儲設(shè)備作為基礎(chǔ)的，這種程度的整合會導(dǎo)致系統(tǒng)的控制粒度過大、存儲資源利用率偏低。而真正意義上的虛擬化整合則需要更加的細化，云存儲在管理存儲資源時需要能控制到存儲設(shè)備上的最基礎(chǔ)存儲單元，因此通過對最基礎(chǔ)存儲單元的整合作為虛擬化的一個重要指標。對元數(shù)據(jù)管理服務(wù)器來說只有看得清楚、管得細致，了才能做到對存儲資源的合理利用和優(yōu)化整合。

　　虛擬化的另一個重要特征就是具體實現(xiàn)完全透明。在虛擬化技術(shù)對存儲資源進行整合之后對于上層系統(tǒng)而言應(yīng)該呈現(xiàn)出一個完整的、唯一的存儲資源池。存儲資源池具有統(tǒng)一化、靈活性、可再分割、再調(diào)整的功能屬性，而且這部分功能屬性的具體實現(xiàn)是完全屏蔽在虛擬化系統(tǒng)內(nèi)部的，不需要再有其他系統(tǒng)或者操作者進行干預(yù)。使用者所見到的僅僅是一個超大的存儲資源池，他可以根據(jù)具體業(yè)務(wù)存儲的需要從存儲資源池中取出一部分空間用于某些視頻數(shù)據(jù)的存儲。使用者無需關(guān)心視頻數(shù)據(jù)究竟是存放在云存儲系統(tǒng)中的哪臺存儲主機的哪個磁盤上，具體的存儲空間分配由虛擬化系統(tǒng)執(zhí)行完成。同時使用者也不必擔心數(shù)據(jù)的安全性問題，因為當用戶改變存儲策略、調(diào)整空間大小時虛擬化技術(shù)會自行對數(shù)據(jù)進行備份、遷移、覆蓋。所有這些具體的執(zhí)行對使用者都是透明的，使用者的精力可以完全集中在對自身業(yè)務(wù)的管理上來。

　　集群化技術(shù)是除了虛擬化技術(shù)以外衡量云存儲系統(tǒng)成熟度的另一個重要標志。在討論云存儲系統(tǒng)架構(gòu)的時候我們探討了系統(tǒng)采用松耦合非對稱架構(gòu)的必要性，在系統(tǒng)中衍生出元數(shù)據(jù)管理節(jié)點的同時，我們對其可靠性、穩(wěn)定性、以及性能的要求隨著云存儲系統(tǒng)的不斷膨脹也越來越高。單一節(jié)點或者雙機HA模式在中小型的安防監(jiān)控項目中還可以勉強勝任，一旦系統(tǒng)規(guī)模擴大其元數(shù)據(jù)管理節(jié)點的壓力就會不斷加強，其性能瓶頸直接會導(dǎo)致云存儲系統(tǒng)可用度降低，甚至影響云存儲系統(tǒng)的正常運行。集群化技術(shù)在云存儲系統(tǒng)中的應(yīng)用將能夠很好的解決這些問題。元數(shù)據(jù)管理集群改變過去單兵作戰(zhàn)的方式，采用成建制的集團軍協(xié)同作戰(zhàn)將各個元數(shù)據(jù)管理節(jié)點的系統(tǒng)性能形成合力共同為云存儲服務(wù)。創(chuàng)建元數(shù)據(jù)管理集群需要專門開發(fā)用于集群組件的軟件，集群軟件的作用就是維持各個節(jié)點間的通信順暢，并按照負責均衡的原則將大量待處理業(yè)務(wù)信息分派給具體的元數(shù)據(jù)管理節(jié)點來執(zhí)行。多臺元數(shù)據(jù)管理節(jié)點通過集群軟件保持高度的統(tǒng)一性和可協(xié)調(diào)性，管理信息和監(jiān)控信息數(shù)據(jù)在各個節(jié)點間的分布式數(shù)據(jù)庫間同步，所有節(jié)點都具有獨立完成業(yè)務(wù)處理工作的能力并保持集群的ALL ACTIVE的狀態(tài)。這樣云存儲系統(tǒng)的處理性能將不再受單一節(jié)點限制，當云存儲需要擴容和提升系統(tǒng)性能時可以繼續(xù)增加集群的元數(shù)據(jù)管理節(jié)點數(shù)目，以保持業(yè)務(wù)性能的線性增長。

　　集群化技術(shù)的另一個優(yōu)勢就是提供了更高的可靠性。傳統(tǒng)HA熱備的雙機模式為了提高可靠性實際是以一臺服務(wù)器的資源浪費作為代價的，備機不參與任何業(yè)務(wù)處理，僅是等待主機故障后替換而已。而集群模式的優(yōu)勢在于集群中所有節(jié)點都是可以參與業(yè)務(wù)處理工作的，其中的一臺或者幾臺服務(wù)器節(jié)點出現(xiàn)故障，集群軟件可以很快發(fā)現(xiàn)問題并協(xié)調(diào)集群中的其它仍然運行良好的服務(wù)器節(jié)點接替故障機的工作，集群軟件而言這只不過是簡單地進行一次業(yè)務(wù)負載均衡調(diào)整和業(yè)務(wù)分配而已。

　　集群化的這些優(yōu)點除了在元數(shù)據(jù)管理節(jié)點群化外，對于數(shù)量龐大的存儲節(jié)點依然適用。因為在云存儲系統(tǒng)中資源的調(diào)度，業(yè)務(wù)的分派都是由元數(shù)據(jù)管理集群完成，存儲節(jié)點僅需要保證存儲業(yè)務(wù)的具體執(zhí)行。通過對數(shù)據(jù)存儲業(yè)務(wù)執(zhí)行的合理分配，完全可以做到將過去各自為政的存儲節(jié)點資源統(tǒng)一進行調(diào)配，發(fā)揮其最大的效率。同時倘若部分存儲節(jié)點出現(xiàn)故障，元數(shù)據(jù)管理集群也能自動將數(shù)據(jù)存儲業(yè)務(wù)調(diào)整到其他運行正常的存儲節(jié)點上以滿足高要求的N(元數(shù)據(jù)管理節(jié)點)+M(存儲節(jié)點)集群可靠性。

　　云存儲的發(fā)展不僅僅需要考慮自身存儲業(yè)務(wù)的需要，更重要的是需要考慮云計算、智能分析對大數(shù)據(jù)提取的性能需求。因此云存儲系統(tǒng)的數(shù)據(jù)吞吐量就顯得尤為重要，傳統(tǒng)存儲方案中某路視頻流存儲時基本是以存儲設(shè)備為單位，那么在數(shù)據(jù)從單一的存儲設(shè)備上提取時就是一個串行的過程，當提取量增大整個過程耗時就會非常嚴重。云存儲系統(tǒng)就必須改變這一模式，現(xiàn)在較為先進的做法是存儲時盡可能將某路視頻數(shù)據(jù)到分散不同的存儲設(shè)備上，而當需要提取數(shù)據(jù)時多臺存儲設(shè)備并發(fā)推送數(shù)據(jù)以形成系統(tǒng)級的高并發(fā)吞吐量。數(shù)據(jù)的分散粒度越大，提取時的速度就可能越快，然而如果分散過于凌亂則對數(shù)據(jù)的管理又增加了額外的系統(tǒng)開銷。因而對分散的控制就顯得格外重要，?？低曉拼鎯ο到y(tǒng)的做法是在元數(shù)據(jù)管理集群中內(nèi)嵌高效的數(shù)據(jù)存儲任務(wù)分派離散算法，通過算法對當前云存儲系統(tǒng)資源進行實時調(diào)度，做到最合理的分散存儲，既兼顧管理的高效性同時又保證了系統(tǒng)級的并發(fā)讀取速率，因此離散存儲無疑是一種最為合理的方式。

　　四、云存儲在安防行業(yè)創(chuàng)新和發(fā)展

　　近年來，安防行業(yè)不斷向著IT化、應(yīng)用化、智能化的模式深入發(fā)展，全國大力興建城市級的安防監(jiān)控和深化應(yīng)用平臺。擁有自主知識產(chǎn)權(quán)的領(lǐng)軍企業(yè)，如海康威視已經(jīng)取得了一定的成績，并積累了豐富的經(jīng)驗。安防領(lǐng)域已經(jīng)不僅僅停留在簡單的監(jiān)控、存儲階段，云安防的理念迎合了目前對于安防信息內(nèi)容的重視，而云計算、云存儲則是實現(xiàn)內(nèi)容為王，智能分析的基礎(chǔ)。

　　技術(shù)的發(fā)展離不開行業(yè)的應(yīng)用需求，云存儲在安防行業(yè)的創(chuàng)新也要緊貼著安防行業(yè)的特點來完成。云存儲技術(shù)的發(fā)展如果不緊貼安防行業(yè)的特點，不顧及視頻數(shù)據(jù)與文件數(shù)據(jù)的本質(zhì)區(qū)別，簡單將用于文件存儲的云存儲系統(tǒng)移植到安防監(jiān)控領(lǐng)域中將會嚴重影響到云安防的整體性能。安防行業(yè)最重要的數(shù)據(jù)形式就是視頻流數(shù)據(jù)，流式數(shù)據(jù)與文件數(shù)據(jù)有著很大的差別，那么對流式數(shù)據(jù)的存儲上就迫切需要一種適合視頻流高速存儲、查詢、讀取的技術(shù)。提高云存儲性能的方法很多，包括前文提高的虛擬化、集群化、離散存儲與并發(fā)提取外，流式文件系統(tǒng)的出現(xiàn)就是一種對云存儲行業(yè)化的典型創(chuàng)新和探索。

　　云計算是云安防的靈魂，而云存儲則是云計算最大的支撐。云存儲的發(fā)展也必須貼與云計算在安防監(jiān)控領(lǐng)域的應(yīng)用緊密配合。在云計算中除了談?wù)撛朴嬎愕募軜?gòu)、典型技術(shù)等等，其滿足應(yīng)用需求時采用的不同策略也是非常值得關(guān)注的，例如云計算的前分析、實時分析、后分析等等。對于這些分析模式，云存儲提供的基礎(chǔ)數(shù)據(jù)起著非常重要的作用，最優(yōu)化的一種方式就是云存儲對數(shù)據(jù)存儲的基礎(chǔ)數(shù)據(jù)單元與云計算處理時調(diào)用的基礎(chǔ)數(shù)據(jù)單元在格式、大小、標準上保持一致。這樣做優(yōu)勢不言而喻，就是減少云計算的復(fù)雜度和對系統(tǒng)資源的消耗。

　　作為云存儲在安防監(jiān)控行業(yè)應(yīng)用的本身而言，針對例如視頻、圖片、附屬信息的一些基本功能將常用的應(yīng)用內(nèi)嵌在云存儲系統(tǒng)內(nèi)部，這也是提高安防云應(yīng)用效率的一個非常有效的方式。以?？低暈槔谠拼鎯ο到y(tǒng)內(nèi)開發(fā)類如：視頻錄像、查詢、回放、鎖定、刪除、覆蓋等功能，將這些功能封裝在軟件模塊中以API接口的方式提供給上層調(diào)用平臺，如云計算系統(tǒng)或者行業(yè)應(yīng)用平臺等。將帶有行業(yè)屬性的應(yīng)用與簡單的存儲、查詢、讀取等基本功能結(jié)合，同時也可以深化視頻應(yīng)用的開發(fā)，例如提供I幀回放等功能。這些深入的開發(fā)將云存儲系統(tǒng)在安防行業(yè)的優(yōu)勢得到最大的體現(xiàn)，也是目前云存儲在安防行業(yè)創(chuàng)新和發(fā)展的必然趨勢。

　　在安防市場中對云存儲需求最為迫切，也最可能率先采用云存儲技術(shù)運用于自身系統(tǒng)的就是公安行業(yè)。隨著經(jīng)濟建設(shè)和各項社會事業(yè)等快速發(fā)展，城市的公共安全面臨著更大的挑戰(zhàn)。全國跨地區(qū)、跨部門、跨警種的信息共享，建立城市報警與監(jiān)控系統(tǒng)的協(xié)同使用機制、強化視頻監(jiān)控技術(shù)在公安偵查破案中的支柱性作用，不斷提高系統(tǒng)的管、控、用整體水平，因此“大公安”的概念以被人們所接受。海康威視相關(guān)資料顯示，在“大公安”系統(tǒng)中，多以高清視頻采集為手段，集智能分析技術(shù)，綜合城市治安、治安卡口(高清)、社會監(jiān)控資源，實現(xiàn)各類監(jiān)控資源的共享，提高資源利用率。在這種建設(shè)目標下，云存儲的優(yōu)點能夠非常有利地支撐起海量高清視頻存儲、以及大數(shù)據(jù)智能分析對數(shù)據(jù)處理需求和高并發(fā)、大吞吐的需要，云存儲作為整體行業(yè)解決方案的一部分將是其中不可或缺的一環(huán)。

　　隨著云存儲技術(shù)的不斷發(fā)展和完善，在云存儲為安防行業(yè)定制開發(fā)的思想指導(dǎo)下，云安防這一看似朦朧、飄渺的構(gòu)想將逐漸豐滿、現(xiàn)實。想必在科技日新月異的今天，我們很快就能感受到云存儲給整個安防行業(yè)帶來的蓬勃生機。