基于PXA255和嵌入式QT的IP視頻電話(huà)設(shè)計(jì)

傳統(tǒng)的ip電話(huà)是將語(yǔ)音信號(hào)轉(zhuǎn)變成數(shù)字信號(hào)，進(jìn)行打包和壓縮，在數(shù)據(jù)網(wǎng)上進(jìn)行傳輸。但近年來(lái)，人們已經(jīng)不滿(mǎn)足于只能聽(tīng)到語(yǔ)音，還希望能見(jiàn)到對(duì)方的圖像。本系統(tǒng)就是針對(duì)人們的這一需求，在intel的pxa255平臺(tái)上利用qt/embedded圖形開(kāi)發(fā)工具設(shè)計(jì)的一個(gè)ip視頻電話(huà)系統(tǒng)。

1 硬件系統(tǒng)結(jié)構(gòu)

整個(gè)系統(tǒng)主要是在intel pxa255評(píng)估平臺(tái)sitsang板上實(shí)現(xiàn)的。pxa255是基于intel的xscale架構(gòu)的嵌入式處理器，該平臺(tái)配備了大量的硬件資源。整個(gè)系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。

2 軟件系統(tǒng)結(jié)構(gòu)

系統(tǒng)中采用的是基于qt/embedded 2.3.10版本的嵌入式圖形庫(kù)。該圖形庫(kù)是基于linux系統(tǒng)的frame buffer機(jī)制的，并使用基于該圖形庫(kù)的qtopia 2.2.1 pda版本的窗口環(huán)境管理系統(tǒng)。qt/embedded是一個(gè)完整的自包含gui和基于linux的嵌入式平臺(tái)開(kāi)發(fā)工具，是qt的嵌入式開(kāi)發(fā)版本。

音頻和視頻信號(hào)的采集、壓縮、播放和傳輸都是建立在該圖形界面和嵌入式linux內(nèi)核以上的，所以，在交叉編譯移植嵌入式linux內(nèi)核時(shí)，要正確配置對(duì)usb、video4linux、攝像頭和音頻設(shè)備的支持以及對(duì)frame buffer機(jī)制的支持。交叉編譯嵌入式qt時(shí)，要配置使其支持多線程、jpeg算法庫(kù)、音頻設(shè)備以及qvfb（基于x11的虛擬frame buffer機(jī)制）。本文主要討論ip視頻電話(huà)系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)，故嵌入式linux內(nèi)核和嵌入式qt的配置編譯過(guò)程不再詳述。整個(gè)系統(tǒng)的軟件結(jié)構(gòu)如圖2所示。

3 系統(tǒng)的具體設(shè)計(jì)

本ip視頻電話(huà)系統(tǒng)主要由音頻采集/播放模塊、視頻采集/播放模塊和網(wǎng)絡(luò)傳輸模塊組成。音頻和視頻模塊采樣本地?cái)?shù)據(jù)，壓縮處理后交給網(wǎng)絡(luò)傳輸模塊，由其發(fā)送到另一對(duì)話(huà)端，并從網(wǎng)絡(luò)傳輸模塊接收對(duì)方的音頻和視頻數(shù)據(jù)處理后進(jìn)行播放。

3.1 網(wǎng)絡(luò)傳輸模塊設(shè)計(jì)

系統(tǒng)啟動(dòng)后，本地服務(wù)器端即對(duì)5000端口進(jìn)行監(jiān)聽(tīng)。若有ip電話(huà)連接進(jìn)來(lái)，則接受連接，為其分配套接字資源，并根據(jù)通話(huà)類(lèi)型，生成相應(yīng)的音頻、視頻類(lèi)實(shí)例來(lái)處理相應(yīng)的音頻、視頻數(shù)據(jù)。系統(tǒng)可以實(shí)現(xiàn)視頻通話(huà)，也可以只進(jìn)行語(yǔ)音通話(huà)，即實(shí)現(xiàn)傳統(tǒng)ip電話(huà)的功能，因?yàn)橐纛l、視頻數(shù)據(jù)格式不同，需要分別做不同的處理，故采用兩個(gè)不同的套接字來(lái)進(jìn)行處理，網(wǎng)絡(luò)傳輸模塊服務(wù)器端的基本流程如圖3所示。

本地網(wǎng)絡(luò)服務(wù)器端用從qserversocket類(lèi)繼承的子類(lèi)ipphoneserver實(shí)現(xiàn)。qt/embedded類(lèi)庫(kù)已經(jīng)對(duì)網(wǎng)絡(luò)操作進(jìn)行了很好的封裝，所以系統(tǒng)只利用qt的信號(hào)和槽機(jī)制，給ipphoneserver類(lèi)增加一個(gè)新的信號(hào)－－voidnewconnect（int）。信號(hào)所帶的參數(shù)為套接字號(hào)，并重載了qserversocket的虛子函數(shù)成員void newconnect（intsocket）。一旦發(fā)現(xiàn)有新的連接，它將把服務(wù)器端給新連接指定的接收套接字號(hào)（int socket）通過(guò)信號(hào)newconnect（int）發(fā)送出來(lái)，以便主程序設(shè)置對(duì)應(yīng)的數(shù)據(jù)處理套接字。

在系統(tǒng)主程序中啟動(dòng)服務(wù)器，并將服務(wù)器實(shí)例的newconnect（int）信號(hào)連接到主程序的newconnect（int）槽函數(shù)上。一旦來(lái)了新的連接，server的newconnect（int）被發(fā)出，則由主程序的newconnect（int）槽函數(shù)接收套接字號(hào)并判斷是音頻還是視頻連接后，將其指定給相應(yīng)的音頻或視頻數(shù)據(jù)傳輸套接字，啟動(dòng)服務(wù)器的代碼如下：

server＝new ipphoneserver（（tport－＞text（））.toushort（））；connect（server，signal（newconnect（int）），slot（new－connect（int）））；

具體與音頻/視頻模塊相關(guān)連進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謴膓socket類(lèi)繼承來(lái)的子類(lèi)ippdatasock實(shí)現(xiàn)，它增加了一個(gè)新的qdatastream類(lèi)指針成員變量ds來(lái)進(jìn)行數(shù)據(jù)的傳輸處理，在ippdatasock的構(gòu)造函數(shù)中被實(shí)例化。

為音頻和視頻進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謱?shí)例分別為adatasock和vdatasock。若從已方發(fā)起連接，先通過(guò)qt的信號(hào)和槽機(jī)制設(shè)定相應(yīng)的套接字連接、關(guān)閉和其他處理槽函數(shù)，再使用connecttohost（）函數(shù)連接到遠(yuǎn)端服務(wù)器即可。音頻套接字實(shí)例化代碼如下：

adatasock＝new ippdatasock（this）； connect（adatasock，signal（connected（）），slot（tconnected（）））； connect（adatasock，signal（connectionclosed（）），slot（tclosed（）））； connect（adatasock，signal（readyread（）），ipaudio，slot（canplay（）））； connect（adatasock，signal（error（int）），slot（terror（int）））； adatasock－＞connecttohost（tserver－＞text（），（tport－＞text（））.toushort（））；

3.2 音頻采集/播放模塊設(shè)計(jì)

音頻采集/播放模塊主要是實(shí)現(xiàn)ip電話(huà)的音頻處理，由自定義類(lèi)ipaudio來(lái)實(shí)現(xiàn)，因?yàn)橄到y(tǒng)要同時(shí)發(fā)送本地音頻數(shù)據(jù)給對(duì)話(huà)端并接收來(lái)自對(duì)話(huà)端的音頻數(shù)據(jù)在本地播放，而只有一個(gè)音頻編解碼設(shè)備，所以音頻設(shè)備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。

系統(tǒng)采用的是linux操作系統(tǒng)，其下的音頻編程遵循oss（open sound system）音頻接口標(biāo)準(zhǔn)，oss是unix/linux平臺(tái)上統(tǒng)一的音頻接口，只要音頻處理應(yīng)用程序按照oss的api來(lái)編寫(xiě)，它就可以提供源代碼級(jí)的可移植性。

linux下的設(shè)備全部使用設(shè)備文件來(lái)管理，本系統(tǒng)使用的數(shù)字音頻設(shè)備為/dev/dsp?？梢圆シ呕蜾浿茢?shù)字化的聲音，讀這個(gè)設(shè)備就相當(dāng)于錄音，寫(xiě)這個(gè)設(shè)備就相當(dāng)于放音，它使用8位（無(wú)符號(hào)）線性編碼，其主要指標(biāo)參數(shù)有：采樣速率（電話(huà)為8kbps）、聲道數(shù)目（單聲道、立體聲）和采樣分辨率（8位、16位）。

在進(jìn)行音頻的采集和播放之前，必須先打開(kāi)該音頻設(shè)備并適當(dāng)設(shè)置一些工作參數(shù)，這些都在ip audio類(lèi)的構(gòu)造函數(shù)中實(shí)現(xiàn)，其中的一些參數(shù)和操作都被定義在"soundcard.h"頭文件中。

首先，要打開(kāi)音頻設(shè)備。因?yàn)橄到y(tǒng)在通話(huà)時(shí)要同時(shí)進(jìn)行錄音和放音，所以使用讀寫(xiě)模式，相關(guān)代碼片斷如下：

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，o_rdwr））＜0） …//錯(cuò)誤處理
打開(kāi)設(shè)備后，為了正常地工作，設(shè)置一些相應(yīng)的工作參數(shù)。

1）先設(shè)置為全雙工工作模式，并檢查是否設(shè)置成功，代碼如下：



設(shè)置好各個(gè)參數(shù)后，就可以進(jìn)行視頻的采集和播放了，采集及錄音使用oss提供的read（）函數(shù)，播放則使用對(duì)應(yīng)的write（）函數(shù)，直接對(duì)音頻設(shè)備/dev/dsp進(jìn)行操作，由于進(jìn)行ip電話(huà)通話(huà)時(shí)，要進(jìn)行不間斷錄音和放音，但音頻設(shè)備的輸入/輸出緩沖區(qū)的大小是有限的，必須不斷循環(huán)使用，因此采用qt/embedded的信號(hào)和槽機(jī)制來(lái)實(shí)現(xiàn)，系統(tǒng)采集完一次數(shù)據(jù)并發(fā)送出去后，給ipaudio類(lèi)自身發(fā)送一個(gè)canrecord（）信號(hào)，而采集函數(shù)本身是一個(gè)槽，接收到canplay（）信號(hào)后又開(kāi)始下一次采集。這樣循環(huán)不斷，代碼片斷如下：


public slots； void record（）{ int len； if（ioctl（audio_fd，sound_pcm_sync，0）＝＝－1） //同步 … //錯(cuò)誤處理 if（len＝read（audio_fd，buf，1024））?。?024） //錄音 printf（"read wrong number of bytes ％dn"，len）； else{ （＊（adatasock－＞ds））＜＜buf； //發(fā)送采集的音頻數(shù)據(jù)給對(duì)話(huà)端 emit canrecord（）；//發(fā)送可錄音信號(hào) } }
當(dāng)系統(tǒng)接收到對(duì)話(huà)端發(fā)送過(guò)來(lái)的音頻數(shù)據(jù)時(shí)，音頻接收套接字adatasock發(fā)送一個(gè)readyread（）數(shù)據(jù)已準(zhǔn)備好的信號(hào)給ipaudio類(lèi)的槽函數(shù)play（）來(lái)播放這段音頻。套接字adatasock初始化時(shí)的語(yǔ)句
connect（adatasock，signal（readyread（）），ipaudio，slot（play（）））；

即實(shí)現(xiàn)這個(gè)功能，播放時(shí)為了避免要播放的數(shù)據(jù)太多而導(dǎo)致設(shè)備被阻塞，還須先檢測(cè)音頻設(shè)備的輸出緩沖區(qū)是否有足夠的空間，以使系統(tǒng)能夠正常工作。代碼如下：


這樣，系統(tǒng)就可以實(shí)現(xiàn)無(wú)阻塞的音頻采集和播放，一個(gè)傳統(tǒng)的ip語(yǔ)音電話(huà)就實(shí)現(xiàn)了，系統(tǒng)退出時(shí)，用close（）函數(shù)關(guān)閉音頻設(shè)備即可。

3.3 視頻采集/播放模塊設(shè)計(jì)

視頻采集和播放模塊實(shí)現(xiàn)了通過(guò)攝像頭采集本端影像視頻傳輸給對(duì)話(huà)方并接收對(duì)方的視頻數(shù)據(jù)還原成影像顯示在本端屏幕上的功能，也是本ip電話(huà)系統(tǒng)的先進(jìn)之處，程序中用多的一些video4linux支持的專(zhuān)用視頻數(shù)據(jù)結(jié)構(gòu)如下：

1）video_capability，包含攝像頭的基本信息，如設(shè)備名稱(chēng)、支持的最大最小分辨率、信號(hào)源信息等，分別對(duì)應(yīng)著結(jié)構(gòu)體中成員變量name[32]、maxwidth、maxheight、minwidth、minheight、channels（信號(hào)源個(gè)數(shù)）、type等；

2）video_picture，包含設(shè)備采集圖像的各種屬性，如brightness（亮度）、hue（色調(diào)）、contrast（對(duì)比度）、whiteness（色度）、depth（深度）等；

3）video_mmap，用于內(nèi)存映射；

4）video_mbuf，利用mmap進(jìn)行映射的幀信息，實(shí)際上是輸入到攝像頭存儲(chǔ)器緩沖中的幀信息，包括size（幀的大?。rames（最大支持的幀數(shù)）、offsets（每幀相對(duì)基址的偏移）；

5）video_window，包括設(shè)備采集窗口的各種參數(shù)。

視頻采集/播放模塊的基本工作流程如圖5所示。

這樣攝像頭設(shè)備所采集的內(nèi)容就映射到了內(nèi)存緩沖區(qū)pixbuf中，該映射內(nèi)容區(qū)可讀可寫(xiě)并可與其他進(jìn)程共享。將系統(tǒng)設(shè)置為單幀采集模式，當(dāng)1幀數(shù)據(jù)采集完畢時(shí)，通過(guò)vdatasock套接字將視頻數(shù)據(jù)傳送給對(duì)方，然后發(fā)一個(gè)cansample（）信號(hào)給自身再開(kāi)始下一幀數(shù)據(jù)的采集，如下：


在采集視頻數(shù)據(jù)的同時(shí)，還要顯示對(duì)方傳輸過(guò)來(lái)的視頻數(shù)據(jù)，當(dāng)對(duì)方的數(shù)據(jù)被接收到時(shí)，系統(tǒng)利用vdatasock的readyread（）信號(hào)告訴ipvideo將其顯示出來(lái)。ipvideo使用qt/embedded的qimage和qpainter類(lèi)來(lái)實(shí)現(xiàn)圖像數(shù)據(jù)的顯示，先初始化，為了使圖像重畫(huà)時(shí)不閃爍，設(shè)置wrepaintnoerase重畫(huà)不擦除標(biāo)志，如下：

p＝new qpainter（）； image＝new qimage（（uchar＊）buff，w，h，32，0，0，（qimage：：endian）0）； setwflags（getwflags（）|qt：：wrepaintnoerase）；

重載ipvideo的paintevent（）函數(shù)，加載buff中接收過(guò)來(lái)的視頻數(shù)據(jù)，并在屏幕上畫(huà)出來(lái)，代碼如下：

void paintevent（qpaintevent＊）{ image－＞loadfromdata（（uchar＊）buff，framesize）； p－＞begin（this）； p－＞drawimage（0，0，＊image）； p－＞end（）； }

在ipvideo中增加一個(gè)槽函數(shù)show（），專(zhuān)門(mén)接收vdatasock的readyread（）信號(hào)，一旦接收到了，就通過(guò)vdatasock的ds將視頻數(shù)據(jù)流導(dǎo)入buff緩沖區(qū)中，并調(diào)用updata（）函數(shù)，該函數(shù)將激活paint事件，調(diào)用paintevent（）函數(shù)進(jìn)行視頻的更新重畫(huà)。這樣，隨著不停地接收到對(duì)方的圖像數(shù)據(jù)，就實(shí)現(xiàn)了遠(yuǎn)端視頻的播放，雙方就能進(jìn)行語(yǔ)音和視頻同步的ip通話(huà)了。

4 小結(jié)

本系統(tǒng)主要是針對(duì)嵌入式手持設(shè)備，可與pc或同類(lèi)型的手持機(jī)進(jìn)行ip視頻電話(huà)通信，擴(kuò)展了傳統(tǒng)ip電話(huà)的功能，彌補(bǔ)了沒(méi)有圖像的缺點(diǎn)，并且體積小、攜帶方便、全圖形界面，操作簡(jiǎn)單，采用無(wú)線上網(wǎng)，只要網(wǎng)絡(luò)支持，可以隨時(shí)隨地使用，另外還可以做終端監(jiān)控之用，可以固定也可以移動(dòng)監(jiān)控，廣泛地應(yīng)用于工廠、銀行及小區(qū)等眾多場(chǎng)合，具有比較廣闊的市場(chǎng)和應(yīng)用前景。