基于Au1200的無(wú)線車(chē)載視頻監(jiān)控的實(shí)現(xiàn)
隨著無(wú)線寬帶網(wǎng)絡(luò)的發(fā)展、數(shù)字移動(dòng)電視的建設(shè)、多媒體技術(shù)的應(yīng)用,集多種功能于一體的無(wú)線車(chē)載媒體處理系統(tǒng)應(yīng)運(yùn)而生,它可廣泛地應(yīng)用于鐵路、地鐵、客運(yùn)汽車(chē)等交通系統(tǒng)。
本文簡(jiǎn)要介紹了基于Au1200處理器,包含無(wú)線傳輸、視頻播放、視頻監(jiān)控等多種功能的嵌入式無(wú)線車(chē)載媒體處理系統(tǒng)的設(shè)計(jì)方案,詳細(xì)描述了基于ffmpeg的軟壓縮方法,設(shè)計(jì)并實(shí)現(xiàn)了車(chē)載系統(tǒng)中視頻監(jiān)控部分的視頻采集和視頻壓縮。
1 無(wú)線車(chē)載媒體處理系統(tǒng)簡(jiǎn)介
基于Au1200的無(wú)線車(chē)載媒體處理系統(tǒng)網(wǎng)絡(luò)架構(gòu)如圖1所示。采用客戶端/服務(wù)器架構(gòu),由車(chē)載客戶端、車(chē)站服務(wù)器及通信網(wǎng)絡(luò)三部分組成。其中,客戶端選用AlchemyTM Au1200作為主控芯片。該芯片采用了MIPS32核心,是針對(duì)數(shù)字多媒體播放器、汽車(chē)信息娛樂(lè)系統(tǒng)等應(yīng)用領(lǐng)域設(shè)計(jì)的一款低功耗、高性能的嵌入式處理芯片。利用Au1200在媒體處理方面的優(yōu)勢(shì)及其豐富的外圍接口,無(wú)線車(chē)載媒體處理器的系統(tǒng)框圖如圖2所示。用戶可以通過(guò)按鍵控制整個(gè)系統(tǒng)無(wú)線傳輸、視頻播放、視頻監(jiān)控等多種功能。
服務(wù)器端使用通用的PC機(jī)服務(wù)器,為整個(gè)系統(tǒng)提供多媒體資源管理和無(wú)線網(wǎng)絡(luò)服務(wù)。
每個(gè)裝有無(wú)線車(chē)載媒體處理器的車(chē)輛,可以通過(guò)無(wú)線網(wǎng)絡(luò)連接服務(wù)器,并按照指定的方式傳輸媒體資源。
2 無(wú)線車(chē)載視頻監(jiān)控的硬件設(shè)計(jì)
Au1200嵌入式處理器采用MIPS32核心,能夠支持包括MEPG-1,MPEG-2,MPEG-4,WMV9,H.263,MP3,WMA,ASF,AVI和JPEG等多種媒體格式,其內(nèi)部集成了專(zhuān)門(mén)的媒體加速引擎(Media Acceler-ation Engine,MAE),不需要外部DSP,因而可以簡(jiǎn)化編程環(huán)境并減少組件,擁有豐富的片上資源和外部接口,支持USB 2.0,IDE,CCIR656攝像頭等接口。無(wú)線車(chē)載視頻監(jiān)控硬件框圖如圖3所示。
其中包括:
(1)視頻監(jiān)控輸入部分:采用Omni Vision公司的彩色CMOS圖像傳感器OV9650作為系統(tǒng)的視頻輸入設(shè)備,利用Au1200自帶的CIM(Camera Interface Module)接口,可以方便地控制OV9650。通過(guò)I2C方式,配置OV9650攝像頭的工作模式,通過(guò)CIM接口讀入采集到的視頻數(shù)據(jù),并映射到內(nèi)存單元中。根據(jù)不同流向需求,處理視頻數(shù)據(jù)流,實(shí)現(xiàn)系統(tǒng)的錄制、存儲(chǔ)、播放、傳送等功能。
(2)視頻監(jiān)控?cái)?shù)據(jù)存放部分:通過(guò)ffmpeg軟壓縮方法,將采集到的視頻數(shù)據(jù)按指定視頻格式實(shí)時(shí)壓縮成文件存儲(chǔ)于硬盤(pán)中。
(3)視頻監(jiān)控?cái)?shù)據(jù)的實(shí)時(shí)播放部分:采集到的視頻數(shù)據(jù)映射到內(nèi)存后,將RGB視頻數(shù)據(jù)直接輸出到LCD緩沖區(qū)中,即可實(shí)現(xiàn)監(jiān)控視頻在LCD設(shè)備中的實(shí)時(shí)播放。系統(tǒng)也支持視頻輸出到VGA接口的顯示設(shè)備中實(shí)時(shí)播放。此時(shí),需要將數(shù)字視頻數(shù)據(jù)轉(zhuǎn)換為模擬視頻數(shù)據(jù)。可采用ADI公司的ADV7123芯片實(shí)現(xiàn)三路高速、10位輸入的高速視頻數(shù)/模轉(zhuǎn)換。三路DAC可以分別處理紅、綠、藍(lán)視頻數(shù)據(jù),實(shí)現(xiàn)模擬顯示終端的高分辨率顯示。
(4)視頻監(jiān)控的遠(yuǎn)程傳輸部分:通過(guò)客戶端系統(tǒng)的無(wú)線網(wǎng)卡(支持802.11b/g)連接無(wú)線局域網(wǎng)絡(luò),將硬盤(pán)中的錄像文件以無(wú)線的方式,上傳到服務(wù)器中進(jìn)行保存。
(5)用戶控制部分:系統(tǒng)設(shè)計(jì)功能按鍵,分別連接到支持中斷的GPIO口上,用戶通過(guò)按鍵選擇方式,方便地對(duì)視頻監(jiān)控進(jìn)行控制。
3 無(wú)線車(chē)載視頻監(jiān)控的軟件設(shè)計(jì)
無(wú)線車(chē)載視頻監(jiān)控的軟件部分主要包括:
(1)內(nèi)核及驅(qū)動(dòng)部分
系統(tǒng)使用Linux 2.6.11內(nèi)核作為系統(tǒng)的內(nèi)核,通過(guò)make menuconfig命令,根據(jù)用戶需要配置合適的內(nèi)核和驅(qū)動(dòng),生成內(nèi)核文件鏡像。設(shè)備驅(qū)動(dòng)程序與系統(tǒng)硬件緊密相關(guān),通過(guò)修改和調(diào)試后模塊化的集成于內(nèi)核之中。所涉及到的驅(qū)動(dòng)程序包括用戶按鍵驅(qū)動(dòng)、攝像頭驅(qū)動(dòng)、LCD/VGA顯示驅(qū)動(dòng)、硬盤(pán)驅(qū)動(dòng)、播放器相關(guān)的MAE驅(qū)動(dòng)和與無(wú)線傳輸相關(guān)的無(wú)線網(wǎng)卡驅(qū)動(dòng)等。在此著重介紹系統(tǒng)攝像頭驅(qū)動(dòng)的關(guān)鍵部分。
在攝像頭驅(qū)動(dòng)中,定義數(shù)據(jù)結(jié)構(gòu)cim_cmos_cam-era_config對(duì)攝像頭設(shè)備進(jìn)行描述:
通過(guò)上述數(shù)據(jù)結(jié)構(gòu),可以有效地描述攝像頭設(shè)備的各種參數(shù)。其中,config_cmd是一個(gè)十六進(jìn)制的數(shù)組,對(duì)應(yīng)不同工作模式的攝像頭配置攝像頭寄存器。
驅(qū)動(dòng)程序?yàn)樯蠈討?yīng)用提供了API接口,通過(guò)對(duì)應(yīng)file_operations數(shù)據(jù)結(jié)構(gòu)中的各個(gè)成員函數(shù)進(jìn)行系統(tǒng)調(diào)用,在上層程序中,利用函數(shù)調(diào)用,讀取驅(qū)動(dòng)中fileoperations的相應(yīng)成員函數(shù)指針,完成對(duì)應(yīng)函數(shù)功能。
在系統(tǒng)的CIM接口的驅(qū)動(dòng)程序中做如下定義:
其成員函數(shù)分別完成了與Au1200 CIM接口相連攝像頭設(shè)備的打開(kāi)、控制、讀寫(xiě)、映射以及釋放等基本功能。例如通過(guò)ioctl操作對(duì)攝像頭進(jìn)行配置:
(2)庫(kù)與協(xié)議棧部分
為了支持上層應(yīng)用程序的運(yùn)行,軟件系統(tǒng)中還必須包含眾多與之相關(guān)的函數(shù)庫(kù)和協(xié)議棧。其中,主要包括了與系統(tǒng)運(yùn)行相關(guān)的基本函數(shù)庫(kù),與音視頻編解碼相關(guān)的音視頻編碼庫(kù),與用戶界面相關(guān)的Qtopia庫(kù)以及各種接口協(xié)議組成的協(xié)議棧。
(3)應(yīng)用層部分
視頻監(jiān)控的軟件流程圖如圖4所示。啟動(dòng)攝像頭后,將采集到的視頻數(shù)據(jù)映射到內(nèi)存中。通過(guò)輸出控制,選擇視頻數(shù)據(jù)的流向。其中,數(shù)據(jù)處理部分主要涉及與ffmpeg相關(guān)的視頻壓縮處理。
(4)用戶控制部分
系統(tǒng)采用Qtopia-core-opensource-4.2.2開(kāi)發(fā)用戶界面。由于采用按鍵控制的方式,需要將按鍵驅(qū)動(dòng)程序添加到QT庫(kù)中。通過(guò)中斷的方式,可以捕獲按鍵信號(hào),并通過(guò)QT中的信號(hào)與槽的機(jī)制控制信號(hào)傳輸,使得當(dāng)每個(gè)按鈕被按下時(shí),觸發(fā)用戶程序中的某個(gè)函數(shù),并將相應(yīng)的信號(hào)量傳遞出去,從而實(shí)現(xiàn)對(duì)整個(gè)系統(tǒng)的控制。
4 基于ffmpeg的軟壓縮方法
ffmpeg是一個(gè)開(kāi)源免費(fèi)的軟件,它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案。使用ffmpeg軟壓縮的方式,不增加系統(tǒng)額外的硬件開(kāi)銷(xiāo),對(duì)采集到的視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)壓縮。在視頻處理應(yīng)用程序的編寫(xiě)過(guò)程中,需要按照f(shuō)fmpeg定義的數(shù)據(jù)結(jié)構(gòu)來(lái)描述視頻數(shù)據(jù),調(diào)用ffmpeg中的各種庫(kù)函數(shù),將攝像頭采集到的視頻數(shù)據(jù)按照設(shè)定的格式進(jìn)行壓縮,并存成視頻文件,其處理流程如圖5所示。
其中包括:
(1)ffmpeg初始化:定義與視頻處理相關(guān)的數(shù)據(jù)結(jié)構(gòu)AVFormatContext,AVOutputFormat,AVStream,AVCodecContext,AVCodec,AVFrame,AVPicture等,并通過(guò)av_register_all(),av_alloc_format_context()等函數(shù)初始化相應(yīng)的數(shù)據(jù)結(jié)構(gòu)。
(2)壓縮參數(shù)設(shè)置:主要涉及到視頻壓縮的相關(guān)參數(shù),如幀率、視頻分辨率、編碼類(lèi)型等,通過(guò)av_set_parameters()函數(shù)進(jìn)行設(shè)置。
(3)圖像格式轉(zhuǎn)換和視頻數(shù)據(jù)填充:按照視頻監(jiān)控要求,利用img_convert()等函數(shù)對(duì)圖像格式進(jìn)行轉(zhuǎn)換,并將轉(zhuǎn)換后的視頻數(shù)據(jù)通過(guò)avpicture_fill(),fill_yuv_image()等函數(shù)填充到AVPicture數(shù)據(jù)結(jié)構(gòu)中,以供編碼器使用。
(4)ffmpeg視頻編碼:利用avcodec_encode_rid-eo(),av_rescale_q()等函數(shù),調(diào)用ffmpeg編碼庫(kù)進(jìn)行視頻編碼。
(5)文件存儲(chǔ)操作:利用av_write_header(),av_write_frame(),av_write_trailer()等函數(shù)將壓縮后的視頻數(shù)據(jù)寫(xiě)入指定文件中。
(6)采集結(jié)束:采集結(jié)束后,利用avcodec_close(),av free()等函數(shù)釋放內(nèi)存資源,退出程序。
ffmpeg提供功能豐富的音視頻函數(shù)庫(kù),包括libav-codec,libavformat,libavdevice,libavfilter,libavutil和libswscale等,可為用戶提供許多音視頻處理相關(guān)的操作。系統(tǒng)應(yīng)用程序中調(diào)用到的ffmpeg相關(guān)函數(shù)主要依賴libavformat庫(kù)(支持所有的普通音視格式的解析器和產(chǎn)生器的庫(kù))和libavcodec庫(kù)(具有高效、高可
評(píng)論