智能手機與視頻監(jiān)控平臺的整合和擴展應用
智能手機的起源源自上個世紀90年底PDA(個人數字助理)設備的興起,當時的PDA主要提供記事、通訊錄、名片交換及行程安排等功能,主流的操作系統有奔邁公司的Palm、微軟公司Wince系列。這個時代的設備由于主要應用文檔方面的處理,采用黑白液晶顯示屏和低速CPU。本世紀初期,PDA與手機的結合形成了智能手機的雛形,主要有微軟的Window Mobile系列、塞班公司的Symbian OS系列。初期高端的智能手機CPU頻率在200Mhz左右、提供320*240分辨率的彩色顯示屏、2G/Wifi上網能力。這個時期的智能機具備音頻、視頻處理,網絡瀏覽的能力。隨著2007年蘋果公司的IPhone智能手機發(fā)布,智能手機的發(fā)展進入了高潮。這個時期以蘋果公司的IOS系統、Google的Android系統為代表。硬件上也不斷推新,目前已能3.5寸顯示屏內分辨率達到了960*640,超過了人類肉眼的辨別極限。CPU做到雙核1GHz,具備強大的運算能力。3G高速上網功能。甚至有的機型還具備的具有專用圖形GPU,使智能機的畫面顯示更加流暢。高分辨率的顯示屏、高主頻的CPU和專用GPU奠定了智能手機作為監(jiān)控終端的硬件基礎。 有了硬件的基礎,采用智能機作為手機監(jiān)控系統終端就有了可能性。下面我們將智能手機如何與視頻監(jiān)控平臺結合起來實現視頻監(jiān)控功能進行探討。 系統組成 · 監(jiān)控終端:采用IOS系統或Android系統的智能手機; · 流媒體服務器:向智能手機分發(fā)音視頻媒體流; · 應用管理服務器群:對監(jiān)控終端進行登陸驗證、鑒權,提供視頻資源列表,GIS電子地圖,云臺控制,報警信息推送等功能。 流媒體傳輸協議 RTSP(Real Time Streaming Protocol),實時流傳輸協議。它是TCP/IP協議體系中的一個應用層協議,由哥倫比亞大學、網景和RealNetworks公司提交的IETF RFC標準。該協議定義了一對多應用程序如何有效地通過IP網絡傳送多媒體數據。RTSP在體系結構上位于RTP和RTCP之上,它使用RTP Over TCP或RTP Over UDP完成數據傳輸。在PC系統上有QuickTime、RealPlayer、VLC等播放器支持該種協議的流媒體播放。在智能機上主要是Android系統支持該協議。 HLS(HTTP Live Streaming )是由蘋果公司開發(fā)基于HTTP實現的流媒體傳輸協議。該標準作為草案提交給IETF標準化組織。在智能手機上主要是IPhoneX系列支持;Android 4.0版以后的智能機也支持該種流媒體協議。 在智能手機上直接使用以上兩種流媒體協議來對監(jiān)控視頻進行播放初步來看不失為一種快捷的版本。但對標準進行分析和實際的使用情況上看,直接采用這種方案也有一些不足之處。 1、采用RTSP協議中的媒體流傳輸有TCP和UDP兩種方案,通常采用的是UDP方式。大家都知道UDP是無連接傳輸協議。當網絡情況比較復雜的時候(如用戶在防火墻內),很難保證每次視頻媒體流都能到達智能手機客戶端。 2、HLS采用的是HTTP協議傳輸,理論上只要智能手機能訪問WEB網站就能觀看視頻。但是分析一下HLS協助的標準文檔可以發(fā)現,這種標準是把視頻媒體流先生成一定長度的媒體文件,讓智能手機客戶端按照時間軸的順序依次獲取這些文件來播放。這種處理會帶來兩個方面的問題,一是需要等待生成一定時間長度的文件,二是需要等待這個文件在網絡上傳輸完成,這樣就造成了先天性的播放延遲。 綜上所述,采用標準的流媒體傳輸協議固然有便捷的地方,但在視頻監(jiān)控領域應用還需要做進一步的改進,以適應在3G網絡上實時監(jiān)控視頻傳輸。 視頻源獲取 在數字式視頻監(jiān)控網中,主要視頻有來自DVR/NVR的視頻,也有來自IPC攝像機的視頻。有些監(jiān)控設備廠商在新產品中也逐步加入了對智能手機播放格式的支持。但一些還在運營的舊型號監(jiān)控設備所提供的視頻格式,往往不能適應智能手機對視頻的點播回放。因此還需要考慮采用轉碼服務器,把舊有的視頻流統一轉變?yōu)橹悄苁謾C可以回放的格式。 云臺控制 作為監(jiān)控系統的客戶端,云臺控制操作是必不可少的功能。PC是主要是通過鼠標來完成操作。智能手機上的輸入方式主要有鍵盤輸入、觸摸屏輸入。流行的控制方式是用手指在觸摸屏上滑動,不同的手勢代表不同意義。我們可以采用手勢來控制云臺的上下左右方向的運動,提升用戶的操作體驗。云臺控制除了在智能手機上操作方面的革新以外,還需要注意的是和視頻畫面的同步問題。如果使用智能手機播放視頻延遲過大,用戶就會有操作云臺控制后響應過慢的感覺。 點位與電子地圖集成 電子地圖,是利用計算機技術,以數字方式存儲和查閱的地圖。 電子地圖儲存資訊的方法,一般使用向量式圖像儲存,地圖比例可放大、縮小或旋轉而不影響顯示效果,早期使用位圖式儲存,地圖比例不能放大或縮小。對前端攝像機點位的地理信息進行采集,然后在電子地圖上進行標注,這樣用戶就可以以電子地圖的鳥瞰視圖來方便的查找所需視頻點位。 信息推送 智能手機上的信息推送,就是“信息廣播”,是通過一定的技術標準或協議,在網絡上通過定期傳送智能手機用戶需要的信息來減少信息過載的一項新技術,比如wap push技術。推送技術通過自動傳送信息給用戶,來減少用于網絡上搜索的時間。可采用這一技術來實現把各種報警信息推送到訂閱該種報警信息的智能手機客戶端上,縮短處理問題的響應時間。 實時圖片/圖像采集上傳 拍照與錄像現在已成為智能手機的基本功能。利于這一特性,可以把智能手機納入監(jiān)控網絡體系。使之成為提供應急視頻源、調查取證的客戶終端設備,拓展現有監(jiān)控系統的使用范圍。 秉承“平安城市”和“智慧城市”應具有聯網、高清、移動、智能四大特性,研發(fā)了此套移動監(jiān)控視頻系統。主要由三大基礎服務組成(圖1)。 |
有了硬件的基礎,采用智能機作為手機監(jiān)控系統終端就有了可能性。下面我們將智能手機如何與視頻監(jiān)控平臺結合起來實現視頻監(jiān)控功能進行探討。
系統組成
監(jiān)控終端:采用IOS系統或Android系統的智能手機;
流媒體服務器:向智能手機分發(fā)音視頻媒體流;
應用管理服務器群:對監(jiān)控終端進行登陸驗證、鑒權,提供視頻資源列表,GIS電子地圖,云臺控制,報警信息推送等功能。
流媒體傳輸協議
RTSP(RealTimeStreamingProtocol),實時流傳輸協議。它是TCP/IP協議體系中的一個應用層協議,由哥倫比亞大學、網景和RealNetworks公司提交的IETFRFC標準。該協議定義了一對多應用程序如何有效地通過IP網絡傳送多媒體數據。RTSP在體系結構上位于RTP和RTCP之上,它使用RTPOverTCP或RTPOverUDP完成數據傳輸。在PC系統上有QuickTime、RealPlayer、VLC等播放器支持該種協議的流媒體播放。在智能機上主要是Android系統支持該協議。
HLS(HTTPLiveStreaming)是由蘋果公司開發(fā)基于HTTP實現的流媒體傳輸協議。該標準作為草案提交給IETF標準化組織。在智能手機上主要是IPhoneX系列支持;Android4.0版以后的智能機也支持該種流媒體協議。
在智能手機上直接使用以上兩種流媒體協議來對監(jiān)控視頻進行播放初步來看不失為一種快捷的版本。但對標準進行分析和實際的使用情況上看,直接采用這種方案也有一些不足之處。
1、采用RTSP協議中的媒體流傳輸有TCP和UDP兩種方案,通常采用的是UDP方式。
大家都知道UDP是無連接傳輸協議。當網絡情況比較復雜的時候(如用戶在防火墻內),很難保證每次視頻媒體流都能到達智能手機客戶端。
2、HLS采用的是HTTP協議傳輸,理論上只要智能手機能訪問WEB網站就能觀看視頻。但是分析一下HLS協助的標準文檔可以發(fā)現,這種標準是把視頻媒體流先生成一定長度的媒體文件,讓智能手機客戶端按照時間軸的順序依次獲取這些文件來播放。這種處理會帶來兩個方面的問題,一是需要等待生成一定時間長度的文件,二是需要等待這個文件在網絡上傳輸完成,這樣就造成了先天性的播放延遲。
綜上所述,采用標準的流媒體傳輸協議固然有便捷的地方,但在視頻監(jiān)控領域應用還需要做進一步的改進,以適應在3G網絡上實時監(jiān)控視頻傳輸。
視頻源獲取
在數字式視頻監(jiān)控網中,主要視頻有來自DVR/NVR的視頻,也有來自IPC攝像機的視頻。有些監(jiān)控設備廠商在新產品中也逐步加入了對智能手機播放格式的支持。但一些還在運營的舊型號監(jiān)控設備所提供的視頻格式,往往不能適應智能手機對視頻的點播回放。因此還需要考慮采用轉碼服務器,把舊有的視頻流統一轉變?yōu)橹悄苁謾C可以回放的格式。
云臺控制
作為監(jiān)控系統的客戶端,云臺控制操作是必不可少的功能。PC是主要是通過鼠標來完成操作。智能手機上的輸入方式主要有鍵盤輸入、觸摸屏輸入。流行的控制方式是用手指在觸摸屏上滑動,不同的手勢代表不同意義。我們可以采用手勢來控制云臺的上下左右方向的運動,提升用戶的操作體驗。云臺控制除了在智能手機上操作方面的革新以外,還需要注意的是和視頻畫面的同步問題。如果使用智能手機播放視頻延遲過大,用戶就會有操作云臺控制后響應過慢的感覺。
點位與電子地圖集成
電子地圖,是利用計算機技術,以數字方式存儲和查閱的地圖。電子地圖儲存資訊的方法,一般使用向量式圖像儲存,地圖比例可放大、縮小或旋轉而不影響顯示效果,早期使用位圖式儲存,地圖比例不能放大或縮小。對前端攝像機點位的地理信息進行采集,然后在電子地圖上進行標注,這樣用戶就可以以電子地圖的鳥瞰視圖來方便的查找所需視頻點位。
信息推送
智能手機上的信息推送,就是“信息廣播”,是通過一定的技術標準或協議,在網絡上通過定期傳送智能手機用戶需要的信息來減少信息過載的一項新技術,比如wappush技術。推送技術通過自動傳送信息給用戶,來減少用于網絡上搜索的時間。可采用這一技術來實現把各種報警信息推送到訂閱該種報警信息的智能手機客戶端上,縮短處理問題的響應時間。
實時圖片/圖像采集上傳
拍照與錄像現在已成為智能手機的基本功能。利于這一特性,可以把智能手機納入監(jiān)控網絡體系。使之成為提供應急視頻源、調查取證的客戶終端設備,拓展現有監(jiān)控系統的使用范圍。
秉承“平安城市”和“智慧城市”應具有聯網、高清、移動、智能四大特性,研發(fā)了此套移動監(jiān)控視頻系統。
主要由三大基礎服務組成。
1、流媒體服務器
采用自主開發(fā),基于TCP/IP的流媒體傳輸協議,分發(fā)音視頻媒體流到智能手機上的軟件客戶端,保障用戶實時、流暢的觀看監(jiān)控視頻。也能支持基于RTSP與HLS協議提供標準的媒體流。
2、轉碼服務器
對各種視頻監(jiān)控設備傳輸過來的音視頻流進行轉換,轉變成智能手機可以接受的媒體類型。采用轉碼服務器可以最大化的利用已經建成的監(jiān)控視頻資源,保護用戶的現有投資。
3、接入服務器
把不同類型、不同廠商的視頻監(jiān)控設備統一管理起來,實現設備在線監(jiān)控、云臺控制等功能,并為轉碼服務器提供統一的視頻源獲取接口。
這三大服務器都具有堆疊、負載均衡的功能,可以從幾十路到上百路,甚至上千路的視頻并發(fā),具有良好的可擴展性。
應用場所
風景區(qū)監(jiān)控應用
四川省某風景區(qū),景區(qū)占地較大,監(jiān)控點比較分散。采用移動視頻監(jiān)控系統以后,把原有各景區(qū)路口、候車室、停車場的監(jiān)控視頻匯集起來,景區(qū)管理員使用帶有3G上網功能的智能手機隨時隨地查看景區(qū)重要地點的監(jiān)控視頻。
市政緊急事件處理
北京市某區(qū)已建成市政圖像視頻監(jiān)控網,為增強緊急事件處理,采用了移動視頻監(jiān)控系統。當呼叫中心收到報警后,管理員使用事件發(fā)生地點附近的監(jiān)控設備觀察實際情況,通過短信把事件情況與視頻播放鏈接發(fā)送到相關負責人的手機上。大大加快了城市應急事件處理速度。
公共交通信息發(fā)布
南京市某智能交通網,采用東方網力移動監(jiān)控視頻三大核心技術,對原有主城區(qū)各異構交通視頻監(jiān)控網進行接入,轉碼和分發(fā)。降低視頻流對網絡帶寬的消耗,適應了在Internet網絡上進行視頻傳輸的要求。系統采用B/S架構,并融合了電子地圖技術。在地圖上用戶可以很直觀的查看到監(jiān)控點的位置。系統預留手機監(jiān)控的接口,具有良好的可擴展性。
由于項目在設計之初就考慮到了大量用戶并發(fā)訪問的問題,因此在項目中采用了多臺接入服務器、轉碼服務器、流媒體服務器堆疊的方式進行組網。提供了負載均衡模塊,實時監(jiān)控各個服務器的運行情況,智能分配視頻流分發(fā)路徑,最大化的利用了硬件資源。
運營商3G增值業(yè)務
貴州某電信運營商,為推廣3G手機的普及,向公眾提供移動監(jiān)控視頻增值業(yè)務。用戶向運營商提供監(jiān)控視頻源,運營商負責對各類不同的視頻源進行接入、分組標記,并為用戶提供手機、監(jiān)控軟件客戶端以及使用賬戶。用戶使用手機客戶端,輸入自己的賬號,就能看到自己提供的視頻源。這種運營方式拓展了運營商在3G業(yè)務領域的應用,也為最終用戶帶來了便利。目前已成功接入食品連鎖店、幼兒園、小學、生產企業(yè)等多種不同類型的用戶。
結語
最后,隨著智能手機硬件性能的不斷提高,3G網絡通訊帶寬的提升及資費的下降,智能手機在監(jiān)控領域的應用會更加廣闊,高清顯示、智能識別等需要強大運算與網絡帶寬才能實現的功能會逐步在智能手機上得到應用。智能手機的應用會朝著更加人性化、智能化的方向發(fā)展,在發(fā)展的過程中形成應用標準規(guī)范,最終會和其它應用服務結合起來,形成立體綜合的應用服務體系。
評論