安防與大數(shù)據(jù):如何才能真正“心連心”?
如今,伴隨著大數(shù)據(jù)在安防領(lǐng)域越來(lái)越深入的應(yīng)用,也突現(xiàn)出一些技術(shù)難點(diǎn)。在IT領(lǐng)域,大數(shù)據(jù)技術(shù)發(fā)展較為成熟,針對(duì)不同的應(yīng)用場(chǎng)景有較為豐富的技術(shù)選型以及技術(shù)路線,其中很多技術(shù)可以移植應(yīng)用到安防領(lǐng)域中。但I(xiàn)T與安防畢竟是兩個(gè)不同的領(lǐng)域,兩者之間存在很多不一樣的地方。最大的不同,就是數(shù)據(jù)本身的不同,主要體現(xiàn)在一下方面:
本文引用地址:http://www.ex-cimer.com/article/272578.htm
?
數(shù)據(jù)類型不同。在IT領(lǐng)域,大數(shù)據(jù)處理的對(duì)象往往是網(wǎng)頁(yè)索引、用戶行為、日志記錄等字符型數(shù)據(jù),這些是結(jié)構(gòu)化、方便計(jì)算識(shí)別處理的數(shù)據(jù)。而在安防領(lǐng)域,數(shù)據(jù)往往以圖片、音頻、視頻等非結(jié)構(gòu)化的數(shù)據(jù),往往計(jì)算機(jī)不能直接識(shí)別,這些數(shù)據(jù)只有在人面前才顯得有意義。
數(shù)據(jù)量在數(shù)量級(jí)上的不同。在互聯(lián)網(wǎng)領(lǐng)域,單條日志記錄一般在一百字節(jié)之內(nèi),到了1PB的日志記錄,已經(jīng)是一個(gè)足夠大的量。但在安防領(lǐng)域,一張普通的縮略圖就幾百KB,如果考慮高清攝像,高清視頻,這個(gè)數(shù)量要更大。一個(gè)普通的中等城市,在主要交通卡口拍攝的圖片,一年下來(lái)就能積壓幾個(gè)PB的數(shù)據(jù),如果考慮視頻,這個(gè)數(shù)據(jù)量更大。
對(duì)數(shù)據(jù)的實(shí)時(shí)性要求不同。在互聯(lián)網(wǎng)行業(yè),以日志型數(shù)據(jù)分析為主的典型應(yīng)用中,對(duì)實(shí)時(shí)性要求沒(méi)那么高,比如淘寶的推薦系統(tǒng),是否分析最近一個(gè)小時(shí)用戶的瀏覽記錄對(duì)于推薦效果關(guān)系不大。而在安防領(lǐng)域,前端攝像頭錄制的都是實(shí)時(shí)流,這是一個(gè)不間斷的數(shù)據(jù)流,最近錄制的數(shù)據(jù)超過(guò)一定時(shí)間沒(méi)有得到有效保存,將會(huì)永遠(yuǎn)被丟失。
針對(duì)安防領(lǐng)域與IT領(lǐng)域在數(shù)據(jù)本身上的異同,把適合IT領(lǐng)域常規(guī)的大數(shù)據(jù)技術(shù)搬到安防領(lǐng)域就會(huì)碰到一些技術(shù)難點(diǎn),表現(xiàn)如下:
存儲(chǔ)成本問(wèn)題。在IT領(lǐng)域,海量的數(shù)據(jù)往往保存在分布式存儲(chǔ)系統(tǒng)中,為了提高數(shù)據(jù)的可靠性,一份數(shù)據(jù)往往復(fù)制成幾份相同的副本,分別保存在不同的節(jié)點(diǎn)中,當(dāng)其中一些副本丟失時(shí),可以從其他節(jié)點(diǎn)讀出數(shù)據(jù)。比如在Hadoop中,一份數(shù)據(jù)往往在集群中保存了相同的3份。如果有1PB的原始數(shù)據(jù),則至少要占用3PB的磁盤(pán)空間。而在安防領(lǐng)域,幾個(gè)交通卡口的視頻,在一個(gè)較短的時(shí)間內(nèi),如果不覆蓋之前的數(shù)據(jù),就能輕易積壓幾個(gè)PB。由于圖像、音頻、視頻數(shù)據(jù)本身的量太大,生搬傳統(tǒng)的多副本策略成本過(guò)高,我們需要設(shè)計(jì)出一些更高效同時(shí)不損失可用性的方案。
小文件存儲(chǔ)問(wèn)題。這個(gè)問(wèn)題是大數(shù)據(jù)技術(shù)面臨的一個(gè)共性問(wèn)題,但在安防領(lǐng)域可能又突現(xiàn)得較為嚴(yán)重。在互聯(lián)網(wǎng),小文本、圖片、音樂(lè)都是小文件,當(dāng)層積較多時(shí),都面臨如何存取這些海量小文件的問(wèn)題。而在安防行業(yè),小文件主要以圖片為主,比如一個(gè)城市的主要交通卡口在一年內(nèi),就能產(chǎn)生百億張圖片。對(duì)于這些海量的小文件的存儲(chǔ),涉及到大量元數(shù)據(jù)的管理,保證存取的性能是問(wèn)題的關(guān)鍵。
當(dāng)然,問(wèn)題并不可怕,通過(guò)分析研究安防應(yīng)用場(chǎng)景,我們摸索出一些貼合安防大數(shù)據(jù)的解決方案。
評(píng)論