視頻融合在遙操作機(jī)器人系統(tǒng)中的應(yīng)用
加入技術(shù)交流群
1 系統(tǒng)總體結(jié)構(gòu)
針對以上情況，本文提出采用建立標(biāo)準(zhǔn)坐標(biāo)系使仿真機(jī)器人和反饋視頻在同一界面融合的方法，仿真模型預(yù)演作業(yè)任務(wù)而反饋視頻則跟蹤其軌跡進(jìn)行作業(yè)，通過兩者對比及時發(fā)現(xiàn)機(jī)器人作業(yè)情況，一旦越界違規(guī)立刻停止。操作者也能根據(jù)兩者的比較了解現(xiàn)場環(huán)境，如出現(xiàn)障礙物或機(jī)器人傷人事件時，立刻做出下一步命令以避免危險發(fā)生。系統(tǒng)總體結(jié)構(gòu)如圖1所示。具體工作流程：攝像頭采集真實機(jī)器人的視頻數(shù)據(jù)傳送到服務(wù)器端圖像采集卡的靜態(tài)內(nèi)存中對其進(jìn)行H.263壓縮，視頻數(shù)據(jù)壓縮后經(jīng)網(wǎng)絡(luò)傳輸送到客戶機(jī)端。客戶機(jī)對數(shù)據(jù)進(jìn)行解壓、還原、顯示、在仿真模型界面顯示視頻使兩者融合，同時客戶機(jī)實現(xiàn)操作界面程序編寫。操作界面包括視頻融合模塊、視頻處理模塊和控制模塊。視頻融合模塊對視頻進(jìn)行相應(yīng)的坐標(biāo)變換后使其同仿真機(jī)器人在一個界面上重合顯示。視頻處理模塊包括視頻放大、視頻縮小、視頻保存、打開視頻、視頻截圖、存位圖、存JPEG圖、打開位圖、打開JPEG圖等功能。仿真三維立體模型采用3DSMAX建立，在OPENGL編程環(huán)境下對其進(jìn)行相應(yīng)的繪制及控制。反饋視頻數(shù)據(jù)經(jīng)壓縮、傳輸、解壓、相應(yīng)的坐標(biāo)變換及比例縮放后在客戶端顯示。服務(wù)器完成視頻采集、壓縮、存儲、傳輸。客戶機(jī)完成仿真模型控制、解壓、顯示視頻，以及對視頻進(jìn)行相應(yīng)的放大、縮小、截圖、保存。由于網(wǎng)絡(luò)傳輸存在延時，而且這種延時除了傳輸指定距離所需的固定延時及指令執(zhí)行延時外，還有一些隨機(jī)擾動延時，如果這種延時不能夠及時發(fā)現(xiàn)，操作者根據(jù)視頻反饋會做出錯誤判斷。根據(jù)這種情況在客戶端繪制接收數(shù)據(jù)字節(jié)曲線，可形象直觀地觀察到網(wǎng)絡(luò)狀況對視頻傳輸?shù)挠绊懀鐖D2所示。
控制模塊如圖3所示，包括每個關(guān)節(jié)的啟動、停止按鈕、速度輸出及速度變量輸出顯示。
2 仿真模型建立及視頻融合實現(xiàn)
2.1 通信建立與視頻傳輸
網(wǎng)絡(luò)通信分為同步方式和異步方式。同步方式是發(fā)送方不等接收方響應(yīng)，便接著發(fā)下一個數(shù)據(jù)包的通信方式；異步方式是發(fā)送方發(fā)出數(shù)據(jù)后，等收到接收方發(fā)回的響應(yīng)，才發(fā)下一個數(shù)據(jù)包的通信方式。本系統(tǒng)開發(fā)的是客戶端/服務(wù)器(C/S)結(jié)構(gòu)的軟件，該軟件是異步非阻塞模式。此模式的優(yōu)點是既可以同步執(zhí)行，也可以重疊執(zhí)行。圖像在網(wǎng)絡(luò)中傳輸時，不可避免地要牽涉到傳輸協(xié)議的問題。TCP/IP是一組協(xié)議，其中底層的協(xié)議TCP和UDP對于圖像的傳輸起著至關(guān)重要的作用。TCP是面向連接的，即在端與端的通信中，TCP協(xié)議建立一條端與端之間的虛電路。UDP是一種面向無連接的，它取消了重傳校驗機(jī)制，能夠達(dá)到很高的通信效率，很適合于可靠性要求不高的數(shù)據(jù)傳輸。由于本機(jī)器人系統(tǒng)對視頻的丟幀情況要求不高，故采用客戶/服務(wù)器模式的UDP協(xié)議方式。視頻傳輸采用UDP傳輸，建立Socket類直接傳輸圖像數(shù)據(jù)，客戶端調(diào)用自寫show函數(shù)在OPENGL編程環(huán)境下繪制反饋視頻，實現(xiàn)視頻再現(xiàn)。系統(tǒng)中，使用MFC來開發(fā)通信程序及操作界面。這是因為MFC主要是基于窗口和文檔的應(yīng)用軟件編程，它集成了大量的數(shù)據(jù)和方法，將許多煩瑣的任務(wù)，如應(yīng)用程序初始化、文檔處理和磁盤I/O封裝起來，為使用者的編程帶來了巨大的方便。
評論