校園無線視頻監(jiān)控系統(tǒng)的設(shè)計與應(yīng)用
摘要:為解決校園內(nèi)及用邊視頻監(jiān)控點布置分散等原因造成的無法實現(xiàn)遠程視頻監(jiān)控問題,針對3G無線網(wǎng)絡(luò)的特點,描述了基于3G標(biāo)準(zhǔn)的無線視頻監(jiān)控系統(tǒng)關(guān)鍵技術(shù)的研究與實現(xiàn)方法。在數(shù)據(jù)傳輸中利用RTP協(xié)議中時間戳,解決音視頻同步的問題,對監(jiān)控系統(tǒng)的客戶端與服務(wù)器端進行了設(shè)計。實際應(yīng)用表明,該系統(tǒng)設(shè)計合理,可靠性好,能對校園內(nèi)外目標(biāo)實現(xiàn)有效監(jiān)控。
關(guān)鍵詞:校園安全;無線視頻監(jiān)控;3G網(wǎng)絡(luò);H.264編解碼;流媒體
近年來,學(xué)校安全事故頻發(fā),識別、阻止外來人員的闖入和校內(nèi)人員的非法外出成為學(xué)校安全防范的重點。根據(jù)需要,我院進行了新一期數(shù)字化視頻監(jiān)控系統(tǒng)的建設(shè)??紤]到校園整體安防系統(tǒng)的設(shè)計,監(jiān)控系統(tǒng)的可擴展性,與其他子系統(tǒng)的聯(lián)動,校方選擇采用了全數(shù)字模式的建設(shè)方案。這種采用嵌入式專用服務(wù)器的系統(tǒng)具備網(wǎng)絡(luò)通信、視頻處理、自動控制等多項功能,采用瀏覽/月艮務(wù)器結(jié)構(gòu),使用十分的便捷。
在該系統(tǒng)中,雖然有一百多個前端的固定監(jiān)控點,但對于面積較大的校園來講還是無法完全滿足用戶的需求。例如,在某些區(qū)域由于視線遮擋或距離過遠等原因不能進行詳細紀(jì)錄,此外,校園內(nèi)及周邊還有很多的地方是視頻監(jiān)控死角,或者不方便使用固定的視頻監(jiān)控。因此,院方?jīng)Q定在系統(tǒng)中加入無線視頻監(jiān)控,以完善視頻監(jiān)控系統(tǒng)的功能性。
1 系統(tǒng)結(jié)構(gòu)分析與設(shè)計
傳統(tǒng)的無線接入網(wǎng)絡(luò)主要依托GSM、CDMA以及Wi-Fi等傳輸技術(shù),但難以滿足大數(shù)據(jù)量實時遠程視頻監(jiān)控的要求,而現(xiàn)行的無線3 G網(wǎng)絡(luò)能夠解決以上問題。與傳統(tǒng)網(wǎng)絡(luò)相比,3 G的反向鏈路峰值速率明顯高很多,響應(yīng)時間短,在高速運動狀態(tài)下的傳輸速度也快,并能夠支持音視頻等多媒體數(shù)據(jù)。而且,3 G網(wǎng)絡(luò)即使在雨、霧等環(huán)境下也不會造成信號的衰減,非常適合在大學(xué)校園面積較大的這種條件下進行高質(zhì)量的實時監(jiān)控,系統(tǒng)結(jié)構(gòu)如圖1所示。
該方案中3 G無線視頻監(jiān)控系統(tǒng)采用C/S架構(gòu),由3部分組成,包括前端信號采集單元、無線網(wǎng)絡(luò)傳輸單元和遠程監(jiān)控單元。前端單元負責(zé)對圖像進行采集,并將拍攝到的模擬視頻信號轉(zhuǎn)換為數(shù)字信號,通過編碼器進行數(shù)據(jù)壓縮處理,最后利用3G網(wǎng)絡(luò)將壓縮后的數(shù)據(jù)傳送至監(jiān)控中心,通過用戶端完成實時顯示。
2 無線監(jiān)控系統(tǒng)前端設(shè)計與應(yīng)用
2.1 設(shè)備的選擇與功能實現(xiàn)
前端設(shè)備有很多選擇,如無線攝像機、手機、PDA等?,F(xiàn)在很多手機已具有高清晰的攝像功能,而且手機既可作為前端攝像機使用,也可作為客戶端進行視頻瀏覽。因此,在該系統(tǒng)中,利用3 G智能手機作為系統(tǒng)的前端,可以實現(xiàn)視頻監(jiān)控系統(tǒng)的以下功能:
1)利用手機內(nèi)置高清攝像頭獲取現(xiàn)場視頻數(shù)據(jù)并進行壓縮,通過3 G通信網(wǎng)絡(luò)把視頻數(shù)據(jù)實時發(fā)送到遠程控制中心,整個過程確保視頻畫面流暢、清晰,實時性高。
2)系統(tǒng)通過3 G網(wǎng)絡(luò)可以實現(xiàn)音視頻同步傳輸,雙向?qū)χv功能。監(jiān)控中心不僅可以實時觀察前端現(xiàn)場視頻畫面,同時還可收聽前端現(xiàn)場聲音以及與前端直接進行通話。
3)利用手機進行拍照,可立即將圖片發(fā)送到監(jiān)控指揮中心,并且支持圖片大小設(shè)置、對焦調(diào)節(jié)等功能,為獲取現(xiàn)場高清圖片提供了技術(shù)支持。
4)利用手機GPS定位功能,可以隨時對手機位置進行追蹤,形成手機運行軌跡線路,再與系統(tǒng)中電子地圖相配合可以全方位了解前端情況,為中心指揮帶來方便。
2.2 手機在視頻監(jiān)控系統(tǒng)中的特點
數(shù)字視頻監(jiān)控系統(tǒng)由攝像機、視頻接入轉(zhuǎn)發(fā)服務(wù)器、調(diào)度服務(wù)器和客戶端構(gòu)成。其中,轉(zhuǎn)發(fā)服務(wù)器主要是實現(xiàn)攝像機視頻流的接入和攝像機狀態(tài)的獲取,調(diào)度服務(wù)器主要進行攝像機狀態(tài)的統(tǒng)一管理。固定安裝的攝像機由于其IP地址是穩(wěn)態(tài)的,轉(zhuǎn)發(fā)服務(wù)可直接將攝像機接入系統(tǒng),客戶端也可直接向轉(zhuǎn)發(fā)服務(wù)器獲取視頻流并進行播放。步驟如圖2所示。
1)接入轉(zhuǎn)發(fā)服務(wù)器向系統(tǒng)中某路攝像機申請視頻流;
2)符合申請IP地址的攝像機向接入轉(zhuǎn)發(fā)服務(wù)器發(fā)送視頻流;
3)接入轉(zhuǎn)發(fā)服務(wù)器向調(diào)度服務(wù)器發(fā)送被選中的攝像機狀態(tài);
4)調(diào)度服務(wù)器向客戶端發(fā)送該路攝像機狀態(tài)。
但手機作為攝像機使用具有不連續(xù)性及IP地址不固定的特點,視頻接入轉(zhuǎn)發(fā)服務(wù)器就不知道當(dāng)前有哪些手機需要接入視頻監(jiān)控系統(tǒng),因此手機需主動連接服務(wù)器以實現(xiàn)攝像機的接入,具體步驟如圖3所示。
1)手機先向調(diào)度服務(wù)器申請接入系統(tǒng);
2)調(diào)度服務(wù)器再向接入轉(zhuǎn)發(fā)服務(wù)器發(fā)送手機的IP地址;
3)接入轉(zhuǎn)發(fā)服務(wù)器向手機申請視頻流;
4)手機向接入轉(zhuǎn)發(fā)服務(wù)器發(fā)送視頻流;
5)接入轉(zhuǎn)發(fā)服務(wù)器向調(diào)度服務(wù)器發(fā)送手機狀態(tài);
6)調(diào)度服務(wù)器向客戶端發(fā)送手機狀態(tài)。
2.3 手機操作系統(tǒng)與硬件要求
手機作為視頻監(jiān)控系統(tǒng)前端主要工作包括視頻拍攝、視頻編碼及發(fā)送碼流,作為客戶端使用時主要完成碼流接收與視頻解碼。這些都和手機的操作系統(tǒng)、硬件設(shè)備等有著密切關(guān)系。
目前大部分手機使用的操作系統(tǒng)為Android、iOS及WindowsPho-ne。手機攝像機主要實現(xiàn)視頻編解碼與碼流傳輸,在開發(fā)時一般采用開源庫,如用于視頻編解碼的ffmpeg和視頻碼流傳輸?shù)膇rtblib,這些開源庫基本都支持Windows和Linux操作系統(tǒng)。Android是基于Linux平臺的開源操作系統(tǒng),所有支持Linux的開源庫都可以移植到Android中使用。因此,從使用開源庫的角度考慮,此方案中選擇應(yīng)用廣泛的Android手機操作系統(tǒng)作為設(shè)計對象。
手機既作為攝像機又作為客戶端使用時,至少要處理各一路視頻編解碼。以清晰度為D1、幀率為20,編碼方式為H.264的攝像機為例,來分析下手機對CPU及內(nèi)存等硬件的要求。
以視頻播放器VLC為例,在CPU頻率為3.2 GHz的PC機上播放一路D1格式視頻時,需占用1%~4%的CPU和60MB的內(nèi)存資源,解碼是編碼的逆過程,占用的資源相差不大。因此,CPU頻率為1 GHz的手機處理一路視頻編碼和解碼顯示需要占用5%~30%的CPU和120 MB左右的內(nèi)存。由于手機在使用時還有其它功能業(yè)務(wù),因此手機在視頻監(jiān)控系統(tǒng)中應(yīng)用時,其硬件最低配置為頻率1 GHz的CPU和300 MB的內(nèi)存。而當(dāng)前主流手機都達到或超過該設(shè)計要求,完全能夠作為系統(tǒng)前端使用。
3 網(wǎng)絡(luò)傳輸?shù)膶崿F(xiàn)
手機通過3 G網(wǎng)絡(luò)接入視頻監(jiān)控系統(tǒng),其無線傳輸模塊集成了3 G的網(wǎng)絡(luò)連接端口協(xié)議,并以嵌入式方式實現(xiàn)TCP/UDP/IP、POP3/SMTP等傳輸協(xié)議,同時支持3 G基站與動態(tài)IP的無線連接與數(shù)據(jù)交換。TCP/UDP/IP協(xié)議具有擁塞控制和啟動慢的特性,會影響到數(shù)據(jù)傳輸?shù)乃俾?,TCP協(xié)議通過3 G網(wǎng)絡(luò)進行數(shù)據(jù)傳輸時,也會產(chǎn)生較多的網(wǎng)絡(luò)流量,并占用帶寬。另外,系統(tǒng)中前端手機使用的數(shù)量、視頻的分辨率和幀率也會影響所需要的無線網(wǎng)絡(luò)帶寬。
為充分利用3 G網(wǎng)絡(luò)最大允許帶寬,該設(shè)計中引用混合編碼框架下基于FPGA平臺的H.264壓縮編碼標(biāo)準(zhǔn)對視頻信號流量與網(wǎng)絡(luò)帶寬進行優(yōu)化協(xié)調(diào)。該編碼方式面向3 G網(wǎng)絡(luò),不僅可用量化步長的變化來適應(yīng)信道碼率,而且可利用數(shù)據(jù)分割的方式來處理信道碼率的變化,在相同輸出碼率情況下,與其他標(biāo)準(zhǔn)相比,其信噪比要高出許多。在較寬的位速率和像素范圍內(nèi)使編碼效率提高了約45%,壓縮比可超過250:1,從而提高了系統(tǒng)傳輸?shù)姆€(wěn)定性。
在實際應(yīng)用中,根據(jù)視頻流量計算公式
N=分辨率*幀速(fps)*色深(bit) (1)
式中:N為每秒單位數(shù)據(jù)采集量,bps。D1視頻格式可以滿足校園視頻監(jiān)控的需要。視頻流經(jīng)H.264編碼壓縮后,僅有1.236 Mbps,音頻采用G.711壓縮標(biāo)準(zhǔn),每秒傳輸數(shù)據(jù)在8 kb~16 kb(與視頻相比可忽略不計)。音視頻流量完全小于3G制式網(wǎng)絡(luò)中上行速率下限1.8 Mbps的要求,系統(tǒng)傳輸質(zhì)量達到最佳優(yōu)化比,因此使用3G網(wǎng)絡(luò)傳輸視頻監(jiān)控數(shù)據(jù)是完全可行的。本設(shè)計中根據(jù)網(wǎng)絡(luò)質(zhì)量和實際需要,采用支持1:90—1:250多檔壓縮轉(zhuǎn)換。以10路手機攝像機、壓縮比150:1、2TB存儲硬盤為例,校園視頻監(jiān)控?zé)o線傳輸?shù)牧髁坑嬎憬Y(jié)果如表1所示。
4 監(jiān)控軟件的設(shè)計
4.1 流媒體系統(tǒng)結(jié)構(gòu)
系統(tǒng)中,流媒體的傳輸與播放是關(guān)鍵技術(shù)。流媒體技術(shù)是把連續(xù)得到的媒體信息經(jīng)過壓縮后傳至網(wǎng)絡(luò)服務(wù)器,客戶可實現(xiàn)邊下載邊觀看,而無需將整部文件全部下載完,所以流媒體技術(shù)非常適合現(xiàn)場事件的播報,可以進行隨機訪問和快進或倒退觀看。流媒體實時傳輸主要采用RTP/RICP及RTSP等網(wǎng)絡(luò)協(xié)議,分實時流式傳輸和順尋流式傳輸兩種方式。實時流式傳輸可以保證媒體信號與網(wǎng)絡(luò)連接相匹配,媒體信息可被實時觀看,并且允許對媒體進行多項的控制,使用比HTTP服務(wù)器方便。順尋流式傳輸用的是順序下載,客戶只能觀看已下載的部分,可使用HTTP服務(wù)器,比實時流式傳輸要簡單。
該設(shè)計采用了處理器與嵌入式操作系統(tǒng)并加上所需應(yīng)用程序軟件的實時傳輸方式。嵌入式操作系統(tǒng)采用Linux,流媒體系統(tǒng)由服務(wù)器和客戶端組成,其中服務(wù)器是最關(guān)鍵設(shè)備。為此,該系統(tǒng)配置了專門的流媒體服務(wù)器與手機視頻服務(wù)器,均采用了Dell PowerEdge R810。服務(wù)器由四個模塊組成,分別負責(zé)數(shù)據(jù)采集、數(shù)據(jù)壓縮、數(shù)據(jù)打包和RTP包發(fā)送。數(shù)據(jù)采集模塊是將音視頻模擬信號轉(zhuǎn)換成數(shù)字信號。從采集模塊得到的數(shù)據(jù)經(jīng)壓縮模塊進行處理,可以減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量及提高傳輸效率。數(shù)據(jù)打包模塊是向數(shù)據(jù)添加一些必要的包頭信息(如數(shù)據(jù)類型、序列號、時間信息等),在客戶端通過包頭信息來實現(xiàn)音視頻信號同步。包發(fā)送模塊的作用就是將已打好包的數(shù)據(jù)通過3 G網(wǎng)絡(luò)發(fā)送至客戶端。
系統(tǒng)中客戶端工作原理是服務(wù)器端的逆過程,在網(wǎng)絡(luò)傳輸過程中由于網(wǎng)絡(luò)延遲等因素會導(dǎo)致接收到的數(shù)據(jù)包順序發(fā)生紊亂,必須通過數(shù)據(jù)緩存模塊來恢復(fù)數(shù)據(jù)包的正常順序,從緩存模塊輸出的數(shù)據(jù)傳入到同步調(diào)整模塊,然后將同步調(diào)整后的數(shù)據(jù)包傳入到數(shù)據(jù)解壓模塊和播放模塊進行實時播放。整個嵌入式流媒體系統(tǒng)結(jié)構(gòu)如圖4所示。
4.2 監(jiān)控數(shù)據(jù)同步的原理
對于系統(tǒng)來說,如果音視頻數(shù)據(jù)不同步,就無法準(zhǔn)確反映監(jiān)控現(xiàn)場的真實情景。為解決該問題,在設(shè)計中,先在手機用戶上利用RTP包中的時間戳來標(biāo)記每幀音視頻信號的時間信息,然后再將標(biāo)記了時間戳的信號流通過3 G網(wǎng)絡(luò)發(fā)送至客戶端。在客戶端使用緩存來消除數(shù)據(jù)流中的延時以及恢復(fù)數(shù)據(jù)包的正確順序,最后再將數(shù)據(jù)流送到同步調(diào)整模塊中進行同步播放。同步調(diào)整模塊里,在客戶端設(shè)計一個參考時鐘,根據(jù)參考時鐘和接收到的音視頻信息時間戳之間的關(guān)系,來判斷當(dāng)前的信號是立刻播放還是延時播放,或者是丟棄。參考時鐘主要以視頻為主,對關(guān)鍵幀進行判斷,算法如下:將接收到的音視頻信息分別存放到各自的緩存中,當(dāng)緩存到一定數(shù)量時,開始播放,同時進行同步調(diào)整。當(dāng)視頻時間戳小于音頻時間戳一定值時,說明視頻超前音頻,需要等待;當(dāng)視頻時間戳大于音頻時間戳一定值時,說明視頻滯后于音頻,則需要加快播放,設(shè)計中采取的是丟棄音頻包,從而加快播放的速度。
系統(tǒng)在信號播放時接收視頻數(shù)據(jù),如果進入解碼器的首幀不是關(guān)鍵幀,會導(dǎo)致解碼器無法讀取,所以將視頻數(shù)據(jù)寫入緩存前先要進行一個首幀是否關(guān)鍵幀的判斷。當(dāng)緩存區(qū)內(nèi)數(shù)據(jù)寫入達到一定數(shù)量時,才開始讀取,再獲取各自的時間戳信息,在音視頻信號播放前進行同步調(diào)整,以達到同步播放的目的,設(shè)計如圖5所示
4.3 播放軟件應(yīng)用程序設(shè)計
該系統(tǒng)采用嵌入式設(shè)計,Linux內(nèi)核為圖形處理界面提供最基本的底層驅(qū)動接口。應(yīng)用程序不需要了解底層硬件的具體情況,只需通過節(jié)點對設(shè)備進行操作,就可完成圖像的顯示。系統(tǒng)中采用SDL開源共享庫,底層使用API,在平臺間統(tǒng)一了接口。使用雙線程設(shè)計,即用戶界面線程與工作者線程。用戶界面線程包括音視頻數(shù)據(jù)同步播放及接收響應(yīng)用戶的操作,然后再將工作者線程解碼出的音視頻數(shù)據(jù)傳遞給使
用者,如圖6所示。
程序設(shè)計中,視頻壓縮編碼是十分關(guān)鍵的步驟。該系統(tǒng)用的是H.264壓縮算法,它是由網(wǎng)絡(luò)提取層NAL和視頻編碼層VLC兩部分組成。 H.264標(biāo)準(zhǔn)對圖像質(zhì)量和編碼效率進行了多項優(yōu)化,且抗誤碼和抗丟包性能良好,能適應(yīng)各種網(wǎng)絡(luò)環(huán)境,用在對壓縮率要求高,網(wǎng)絡(luò)環(huán)境復(fù)雜的移動視頻監(jiān)控最為合適。
客戶端接收的經(jīng)過H.264壓縮編碼后的數(shù)據(jù),還需要經(jīng)過H.264解碼才能夠顯示還原視頻圖像,因此,在客戶端還要設(shè)計H.264解碼器。該系統(tǒng)在Android應(yīng)用程序中使用移植了開源的音視頻解碼庫FFmpeg來進行H.264解碼。
5 測試結(jié)果
院方在校園內(nèi)及周邊多點對無線視頻監(jiān)控系統(tǒng)進行了測試,將客戶端安裝在手機上,接入3G信號網(wǎng)絡(luò)與服務(wù)器建立連接,向服務(wù)器端發(fā)送數(shù)據(jù)。視頻畫面質(zhì)量主要是受幀率(每秒鐘顯示圖片數(shù))和碼率(數(shù)據(jù)傳輸時單位時間傳輸?shù)臄?shù)據(jù)量)的影響,幀率越大畫面越流暢,碼率越大畫面越清楚。在測試實際幀率為16fps,碼率在550kbps時的視頻非常流暢,而且在音視頻同步方面表現(xiàn)也非常好,畫面如圖7所示。
6 結(jié)束語
江陰職業(yè)技術(shù)學(xué)院采用基于3G標(biāo)準(zhǔn)的無線視頻監(jiān)控,再結(jié)合全數(shù)字網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng),實現(xiàn)了資源的統(tǒng)一管理和調(diào)度,有效整合利用。該系統(tǒng)主要涉及視頻編解碼、流媒體協(xié)議、無線網(wǎng)絡(luò)通信等技術(shù),隨著網(wǎng)絡(luò)速度的不斷提高和壓縮技術(shù)的新發(fā)展,可以進一步降低無線信號的延遲,實現(xiàn)更快捷的實時傳輸,不斷完善校園安防系統(tǒng)的智能化操作和現(xiàn)代化管理。
評論