基于Leap M otion遠程控制仿生人手運動研究

　　張起浩，王建亮，蔣少國（南開大學?濱海學院，天津?300270）

　　摘?要：針對仿生人手的遠程控制的研究，設計了體感設備Leap Motion和基于STM32微控制器而設計的仿生人手相結合的人機交互系統(tǒng)。通過對三維變換矩陣的求解，驗證了Leap Motion對空間中物體運動數(shù)據(jù)的捕捉原理。利用Leap Motion采集人體姿態(tài)，經過最新藍牙5.0協(xié)議，將標識數(shù)據(jù)遠程發(fā)送給STM32微控制器，再經過三極管的放大控制舵機轉動指定角度，進而驅動仿生人手指運動，實現(xiàn)對物體的遠程控制。最后設計實驗，驗證不同距離對仿生人手指的靈敏度和穩(wěn)定性的影響。在距離5 m、10 m的閾值力、手指屈伸和響應時間都一樣，但隨著距離增加，靈敏度和穩(wěn)定性越來越差，直至30 m時藍牙接收不到PC端傳來的數(shù)據(jù)流。

　　關鍵詞：Leap Motion；三維變換矩陣；藍牙5.0

　　0 引言

　　隨著人工智能（artificial intelligence）的爆炸性發(fā)展，圖像識別變得越來越智能化，并且出現(xiàn)了許多基于機器視覺原理的體感設備。本項目主要研究leapmotion采集人手姿態(tài)動作，通過本地計算機對數(shù)據(jù)進行處理并識別出多種手勢后，遠程與STM32板載藍牙(Bluetooth 5.0)通訊 ^[1] ，STM32作為控制單元，根據(jù)不同指令控制仿生人手各關節(jié)的旋轉角度，從而實現(xiàn)對物體的抓取等控制 ^[2] 。

　　1 Leap Motion體感控制器

　　1.1 Leap M otion的工作原理

　　Leap Motion是一種采用立體視覺原理，內部配備雙攝像頭如同人眼從不同角度捕捉畫面，重建出來手掌在真實三維空間的運動信息并對空間物體進行坐標定位見圖1。它能夠識別的范圍大概在傳感器上方的25 mm～600 mm，工作精度可達到0.01 mm，可實現(xiàn)高操作性。

　　1.2 Leap M otion數(shù)據(jù)捕捉

　　為了捕捉人手指關節(jié)在三維空間的位置和方向 ^[3] ，建立了右笛卡爾坐標系的3種運動數(shù)據(jù)：位移、旋轉、縮放，需要通過人手運動模型或者投影法將笛卡兒三維空間數(shù)據(jù)映射出來才能得到人手關節(jié)角度信息 ^[5] ,并分別把X、Y、Z作為旋轉軸（實際上僅在垂直坐標軸的平面上進行二維旋轉），P在XY平面、XZ平面、YZ平面的投影分別為點M、點P、點N，三維旋轉變換矩陣公式直接由二維旋轉公式變化得來 ^[6] ，如圖2。

　　1）繞Z軸旋轉，相當于將 OP，在XY平面的投影OM圍繞原點旋轉， 如圖3所示 ， OM旋轉θ角到OM′ 。

　　設旋轉前的坐標為(x,y,z) 旋轉后的坐標為( x',y',z′,)^T， 則 的 坐 標 為 ( x,y)^T，N′的 坐 標 為( x',y')^T，由此可得：

　　對于x′和y′進行三角展開：

　　且有 z'=z；可得繞軸旋轉 θ 角的旋轉矩陣為：

　　2）繞軸旋轉，相當于將 OP在平面的投影繞原點旋轉，如圖4，旋轉 θ 角到ON′。

　　設旋轉前的坐標為 (x,y,z) ，旋轉后的坐標為( x',y',z′,)^T， 則 的 坐 標 為 (z,y)^T，N′的 坐 標 為( x',y′)^T，由此可得：

　　對于z′和y′進行三角展開：

　　且有 x'=x；可得繞軸旋轉 θ 角的旋轉矩陣為：

　　3）繞軸旋轉，相當于將 OP????在平面的投影繞原點旋轉，如圖5所示，旋轉 θ 角到OO′。

　　設旋轉前的坐標為 ( x,y,z) ，旋轉后的坐標為( x',y',z′)^T， 則 的 坐 標 為 ( x,z)^T，Q′的 坐 標 為( x',z′)^T，由此可得：

　　對于x′和z′進行三角展開：

　　且有y'=y；可得繞Y軸旋轉 θ 的旋轉矩陣為：

　　4）繞X、Y、Z軸旋轉的旋轉矩陣分別為：

　　2 硬件電路設計

　　2.1 系統(tǒng)框圖

　　該系統(tǒng)利用Leap Motion高識別度與以Cortex-M3為內核的STM32等其他器件作為整體系統(tǒng)，見圖6。該系統(tǒng)由Leap Motion、PC、STM32F103C8T6、信號放大電路等組成。工作流程是Leap Motion傳感器將采集到人體手勢數(shù)據(jù)發(fā)送給PC端，PC端接收數(shù)據(jù)流，并通過藍牙5.0的協(xié)議透傳給主STM32標識數(shù)據(jù)格式，STM32數(shù)據(jù)發(fā)送相應的控制指令，進而控制舵機的轉動角度。

　　2.2 ST M 32F103C 8T 6電路設計

　　STM32F103一款帶有Cortex-M3內核的中低端32位Arm微控制器。最高CPU速度可達到72 MHz，1.25DMIPS/MHz，單周期乘法和硬件除法，本次實驗選擇STM32F103C8T6芯片作為主控器，加入復位電路，增加電路運行的穩(wěn)定性。

　　2.2.1 電源電路

　　該系統(tǒng)采用LMZ12003作為總電源管理芯片（如圖7）,12 V輸入，5 V輸出的模式，5 V輸出主要為舵機供電。它是一種穩(wěn)固、安全、可靠的設計，具有輸入欠壓鎖定、輸出電壓保護、短路保護、輸出電流限制和使能偏置電壓輸出的功能。

　　2.2.2 信號放大電路

　　STM32微控制器的I/O口是弱電信號，不能直接驅動舵機的運動，因此有必要設計一個信號放大電路進行放大，故采用三極管2N3904。如圖8所示。

　　2.3.3 藍牙H C -42模塊

　　該系統(tǒng)使用HC-42無線通訊模塊進行仿生手的遠程控制，藍牙5.0的理論最大傳輸速度為24 Mbit/s（是之前藍牙4.2版本的2倍）。傳輸達到無損耗水平，理論有效工作距離可達300 m，是藍牙4.2版本的4倍。模塊原理圖如圖9所示。

　　2.3.4 舵機

　　顧名思義，舵機是控制舵面的電動機，驅動位置伺服的驅動器。它可以接收特定的控制信號，輸出恒定的角度，適用于角度不斷變化且需要保持的控制系統(tǒng)。本系統(tǒng)選用MG995舵機，它由舵盤、減速齒輪組、位置反饋電位計5 kΩ、直流電機、控制電路板等組成。

　　MG995舵機控制圖如圖10所示。有3條線，分別是：電源線V CC 、地線GND、控制線。舵機的控制關系，如圖11所示，如果PWM的幅度為5 V，則其輸出軸將保持相應的角度。無論外部扭矩如何變化，只有在提供下一個寬度脈沖信號時，輸出角度才會更改為新的相應值。

　　3 遠程控制距離實驗

　　Leap Motion API在獲取到人體手勢數(shù)據(jù)后遠程控制仿生人手指的運動。為了更好地測試藍牙5.0的無線傳輸穩(wěn)定性，故在空曠處設置10組不同的距離，驗證不同距離對仿生人手指的靈敏度和穩(wěn)定性的影響。如表1所示，在距離5 m、10 m的閾值力、手指屈伸和響應時間都一樣，但隨著距離增加，3個測量的量越來越小，直至30 m時，藍牙接收不到PC端傳來的數(shù)據(jù)流。

　　4 結論

　　本文通過對國內外手勢交互技術的研究以及LeapMotion技術的基礎上，研究了Leap Motion在智能仿生手中的應用，該電路配有藍牙模塊，可遠程控制仿生人手的移動?，F(xiàn)在仿生人手的控制模式相對單調，大多采用傳統(tǒng)控制方式，但是傳統(tǒng)的控制方式通常依賴鍵盤等其他的輸入工具，所以操作過程復雜，如果可以連接到人機交互的Leap Motion傳感器界面里，使控制仿生人手更方便，這是一種新型的機器人控制模式，讓人們直接用自己的雙手指揮機器人做出想要的動作并協(xié)助人們完成任務，但系統(tǒng)的遠程控制距離還待提高，選擇藍牙5.0作為遠程通訊模塊距離達到30 m就無法接收到數(shù)據(jù)流，且響應速度不夠理想。

　　參考文獻

　　[1] 王紅全,淮永建.基于Leap Motion手勢識別方法在樹木交互的應用[J].計算機應用與軟件,2018,35(10):153-158.

　　[2] 李松林,徐大杰,張文.基于Leap Motion的六自由度機械臂控制系統(tǒng)[J].電子世界,2017(15):158.

　　[3] 王豫.基于Kinect的手臂關節(jié)三維運動捕獲[D].杭州：浙江大學,2015.

　　[4] 況鷹.基于Kinect運動捕獲的三維虛擬試衣[D].廣州：華南理工大學,2012.

　　[5] 劉源.人手抓取運動解析及姿勢協(xié)同仿人手研究[D].哈爾濱：哈爾濱工業(yè)大學,2018.

　　[6] 劉浩.從三階魔方談空間圖形旋轉變換矩陣[J].課程教育研究,2018(27):145-146.

　　作者簡介：

　　指導教師：

　　王建亮（1982—），男，高級工程師，碩士，主要研究方向：智能儀表。

　　張起浩（1995—），男，本科，主要研究方向：智能硬件設計。

　　蔣少國（1998—），男，本科，主要研究方向：智能硬件設計。

　　指導教師評語：論文選題有意義，在吸收學術界研究成果的基礎上，有自己的心得體會，提出自己的看法，言之有理。論述觀點正確，材料比較充實，敘述層次分明。

　　本文來源于科技期刊《電子產品世界》2019年第9期第39頁，歡迎您寫論文時引用，并注明出處。