基于圖像的機(jī)器人視覺伺服實驗研究

dsp圖像處理系統(tǒng)及圖像處理

　　系統(tǒng)簡介

　　本實驗中采用的是北京合眾達(dá)公司的seed-vpm642視頻處理系統(tǒng)，該系統(tǒng)是一款專為各種視頻應(yīng)用而開發(fā)的pci插卡或帶10/100m以太網(wǎng)接口的處理系統(tǒng)。它是在tms320dm642芯片基礎(chǔ)上通過外擴(kuò)容量為4m×64位的同步動態(tài)存儲器sdram;容量為4m×8位的在線電可擦/寫異步存儲器flash;可配置為rs232/rs422/rs485標(biāo)準(zhǔn)的兩路uart串行接口;4路pal/ntsc標(biāo)準(zhǔn)模擬視頻輸入，1路pal/ntsc標(biāo)準(zhǔn)模擬視頻輸出;4路立體聲音頻輸入/輸出;實時時鐘rtc和512×8位eeprom;32位的33mhz、支持主/從模式的pci接口或者10/100mbase-tx標(biāo)準(zhǔn)以太網(wǎng)接口;標(biāo)準(zhǔn)ata硬盤接口;以及esam硬件加密模塊。系統(tǒng)可實時實現(xiàn)多路數(shù)字視頻/音頻的編解碼運(yùn)算，如mpeg4、h.264、g.729等;可實時接收4路視頻/音頻輸入，并實時輸出。并能實現(xiàn)與其他io設(shè)備、計算機(jī)、存儲設(shè)備、以太網(wǎng)絡(luò)進(jìn)行實時數(shù)據(jù)的高速傳輸和處理。系統(tǒng)由實驗箱體、ccd攝像頭、seed-vpm642處理板等組成。在箱體上已固定好兩個串行接口、硬盤接口、4路圖像輸入和輸出接口、液晶顯示器等［8］。

　　圖像處理

　　本實驗圖像處理具體實現(xiàn)過程如圖4所示。

　　由ccd攝像頭攝取的按4:2：2格式傳輸?shù)牟噬M視頻信號經(jīng)過解碼芯片的采集，對y、cb、cr信號按照2:1：1采樣率進(jìn)行采樣，并將它們分離開來。在dsp系統(tǒng)中將彩色圖像轉(zhuǎn)變成灰度圖像，對該圖像進(jìn)行閾值二值化后變成二值圖像，然后經(jīng)過中值濾波濾除噪聲點，使用sobel算子進(jìn)行邊界提取。對該邊界圖像信號使用點hough質(zhì)心求取算法求取質(zhì)心圖像坐標(biāo)［3］，并通過串口通訊將質(zhì)心坐標(biāo)值傳遞給工控機(jī)程序;同時，處理后的數(shù)字視頻信號經(jīng)過編碼芯片編碼后，送顯示設(shè)備實時顯示。

機(jī)器人視覺伺服系統(tǒng)工作流程

　　硬件流程

　　本實驗系統(tǒng)由工控機(jī)、pmac運(yùn)動控制卡、松下交流伺服系統(tǒng)、dsp圖像處理系統(tǒng)和機(jī)器人組成。了解和熟悉松下交流伺服系統(tǒng)的原理和功能后，調(diào)試機(jī)器人關(guān)節(jié)伺服電機(jī)的運(yùn)行，優(yōu)化相關(guān)控制參數(shù)以求獲得最好伺服效果;研究pmac運(yùn)動控制卡的原理和功能，并與松下交流伺服系統(tǒng)配合，編寫運(yùn)動程序，不斷調(diào)整和優(yōu)化pmac卡的控制參數(shù)，以求獲得滿意的運(yùn)動控制效果;對seed-vpm642圖像處理系統(tǒng)進(jìn)行深入學(xué)習(xí)和研究后，開發(fā)視頻圖像處理程序。組成該系統(tǒng)的硬件流程圖如圖5所示。

　　pmac控制卡安裝在工控機(jī)中，它通過isa總線與工控機(jī)通訊。工控機(jī)主要運(yùn)行主控程序、pmac應(yīng)用程序、dsp應(yīng)用軟件ccs。seed-vpm642實驗箱通過rs232串口數(shù)據(jù)線與工控機(jī)相連并進(jìn)行數(shù)據(jù)通訊。pmac控制卡通過電纜連接松下交流伺服系統(tǒng)，接收松下伺服控制器輸出的編碼器信號，輸出指令信號給松下交流伺服系統(tǒng)。ccd攝像頭攝取目標(biāo)物體圖像，輸出連續(xù)彩色視頻圖像給dsp圖像處理系統(tǒng)。seed-vpm642圖像處理系統(tǒng)處理攝像頭攝取的圖像，求取圓形物體的質(zhì)心圖像坐標(biāo)，通過串口傳遞給工控機(jī)。

系統(tǒng)工作流程

　　給定期望目標(biāo)物體質(zhì)心圖像坐標(biāo)，主控程序計算其與由dsp圖像處理系統(tǒng)反饋的質(zhì)心圖像坐標(biāo)值的差值，判斷系統(tǒng)是否已到達(dá)伺服位置，若已到達(dá)，則結(jié)束伺服過程;否則，求解圖像雅可比矩陣的逆陣，得到機(jī)器人兩個關(guān)節(jié)應(yīng)轉(zhuǎn)動的角度值，并將其輸出給pmac運(yùn)動程序，pmac卡按運(yùn)動程序計算并輸出轉(zhuǎn)矩指令給松下伺服控制器，由它直接控制機(jī)器人關(guān)節(jié)電機(jī)的運(yùn)轉(zhuǎn)，通過編碼器檢測關(guān)節(jié)的位置，反饋給伺服控制器和pmac卡（伺服控制器對編碼器信號進(jìn)行處理后自身使用并可同時輸出）。ccd攝像頭跟隨機(jī)器人運(yùn)動，攝取目標(biāo)物體圖像，通過dsp圖像處理程序處理后求得目標(biāo)物體質(zhì)心圖像坐標(biāo)，通過串口通訊傳遞給主控程序作為視覺反饋量，形成視覺伺服循環(huán)。

實驗結(jié)果

　　基于上述系統(tǒng)原理，在vc++6.0環(huán)境下編寫主控程序，主控程序主要包括界面的顯示和人機(jī)交互部分、圖像雅可比矩陣逆陣部分、pmac應(yīng)用程序部分，串口通信部分、數(shù)據(jù)存儲部分。程序運(yùn)行界面如圖6所示。

　　程序界面能對期望像素值、實際像素值的初始值、增益矩陣、關(guān)節(jié)初始轉(zhuǎn)角、數(shù)據(jù)采集間隔等進(jìn)行設(shè)置。程序能夠?qū)嶋H像素值、關(guān)節(jié)角度增量值和關(guān)節(jié)實際位置值等進(jìn)行實時顯示，并存儲相關(guān)數(shù)據(jù)。通過調(diào)用pmac動態(tài)鏈接庫函數(shù)，實現(xiàn)與pmac卡的通訊。增益矩陣為對角矩陣，用來設(shè)置關(guān)節(jié)角度變化的放大比例。程序設(shè)置了兩個定時器，一個用于采集兩個關(guān)節(jié)的實際位置值，另一個用于定時接收串口數(shù)據(jù)值、計算雅可比矩陣、與pmac卡通訊等，也即為系統(tǒng)的伺服周期。

　　本實驗利用兩個時刻的像素誤差作為控制量，來驗證視覺伺服算法是否正確和上述系統(tǒng)是否實際可行。通過設(shè)置關(guān)節(jié)1、關(guān)節(jié)2的初始角度分別為0和0.2弧度，期望像素值u和w分別為200和110，實際像素u和w初始值分別為95和150，矩陣增益1和2分別為0.06和0.05，pmac卡采集時間設(shè)定為100ms，伺服周期設(shè)定為1.2s。下面兩表是根據(jù)以上設(shè)置進(jìn)行實驗的一組數(shù)據(jù)。表1是物體質(zhì)心圖像坐標(biāo)兩相鄰時刻的變化值，表2是由程序計算出的機(jī)器人兩個關(guān)節(jié)角度變化值。

　　根據(jù)以上數(shù)據(jù)運(yùn)用originpro軟件繪制的圖形如下：圖7是圖像坐標(biāo)兩相鄰時刻的變化值曲線，圖8是機(jī)器人兩個關(guān)節(jié)角度變化值曲線。

　　在實驗中，根據(jù)目標(biāo)物體圖像坐標(biāo)像素的變化，得到機(jī)器人關(guān)節(jié)轉(zhuǎn)動角度的變化，通過pmac卡和松下交流伺服系統(tǒng)的作用實現(xiàn)了機(jī)器人的視覺伺服運(yùn)動。從上述兩表和兩圖可看出，圖像坐標(biāo)的變化和機(jī)器人關(guān)節(jié)角度值的變化是一種非常復(fù)雜的非線性關(guān)系，這也從另一方面證實了圖像雅可比矩陣的非線性關(guān)系和求解困難性。從公式（5）可看出，圖像雅可比矩陣既跟當(dāng)前時刻的像素值有關(guān)，還與攝像機(jī)的相關(guān)參數(shù)、機(jī)器人的相關(guān)參數(shù)和關(guān)節(jié)的角度值有關(guān)，是一個時時刻刻都隨這些量的變化而變化的矩陣，因而其非線性非常嚴(yán)重，求解也非常困難，本文中假定了機(jī)器人的轉(zhuǎn)動角度初始值，才使得求解稍容易一點。本實驗只是基于圖像的機(jī)器人視覺伺服實驗研究的起始階段實驗，其效果并不太理想。本文系統(tǒng)的攝像頭是運(yùn)動的，目標(biāo)物體是不動的，所處理的圖像是動態(tài)視頻圖像，這就對dsp系統(tǒng)和視頻圖像處理方法提出了較高要求;因而圖像處理算法還有待進(jìn)一步改進(jìn)和開發(fā)，并脫離dsp仿真環(huán)境下載到系統(tǒng)中運(yùn)行，也有待于對整個系統(tǒng)的伺服算法做更深入的研究。

結(jié)語

　　本文分析了機(jī)器人視覺伺服系統(tǒng)的基本原理，采用基于圖像的視覺伺服方法，繞過三維空間重建和坐標(biāo)變換，建立了機(jī)器人視覺伺服系統(tǒng)的數(shù)學(xué)模型，并應(yīng)用到實際機(jī)器人系統(tǒng)中來。組建了由工控機(jī)、pmac運(yùn)動控制卡、松下交流伺服系統(tǒng)、dsp圖像處理系統(tǒng)和兩桿平面機(jī)器人組成的視覺伺服機(jī)器人系統(tǒng)，在對各子系統(tǒng)深入研究的基礎(chǔ)上，開發(fā)了pmac運(yùn)動程序、dsp圖像處理程序和工控機(jī)主控程序，在實際機(jī)器人系統(tǒng)中初步實現(xiàn)了視覺伺服控制，系統(tǒng)能根據(jù)目標(biāo)物體質(zhì)心圖像坐標(biāo)值的變化，求解出機(jī)器人兩關(guān)節(jié)應(yīng)運(yùn)動的角度值，并控制機(jī)器人按相應(yīng)角度值運(yùn)動，實現(xiàn)視覺伺服。實驗結(jié)果表明，系統(tǒng)初步實現(xiàn)了基于圖像的機(jī)器人視覺伺服在實際機(jī)器人系統(tǒng)中的實現(xiàn)。本實驗只是該課題的起始階段實驗，其效果也不理想，下一步將對整個系統(tǒng)進(jìn)行更深入的研究。