<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 模擬技術(shù) > 設(shè)計(jì)應(yīng)用 > 基于語音識(shí)別技術(shù)的聲控鼠標(biāo)光標(biāo)程序設(shè)計(jì)

          基于語音識(shí)別技術(shù)的聲控鼠標(biāo)光標(biāo)程序設(shè)計(jì)

          作者: 時(shí)間:2013-05-21 來源:網(wǎng)絡(luò) 收藏
          摘要: 實(shí)現(xiàn)了一種基于技術(shù)的應(yīng)用程序, 可以用語音控制鼠標(biāo)移動(dòng)到屏幕的任意位置, 能用來幫助傷殘人士只用聲音而不用鼠標(biāo)和鍵盤就能操作電腦。分析了語音控制鼠標(biāo)使用過程中的延時(shí)缺陷, 并做出了針對(duì)性的改進(jìn)。

            1 概述

            電腦語音技術(shù)經(jīng)過多年發(fā)展已經(jīng)取得了巨大進(jìn)步, 目前已經(jīng)有一些產(chǎn)品和項(xiàng)目讓人們有機(jī)會(huì)和計(jì)算機(jī)進(jìn)行語音交互工作, 例如IBM公司的Viavoice 系列軟件以及微軟的新的Office 產(chǎn)品都有實(shí)用的語音功能, 可以進(jìn)行語音聽寫錄入文字等工作, 還出現(xiàn)了一些基于語音技術(shù)的應(yīng)用系統(tǒng)。

            語音技術(shù)特別是技術(shù)的發(fā)展, 使人們可能實(shí)現(xiàn)用語音控制電腦, 這對(duì)于世界上眾多不能方便使用傳統(tǒng)的鼠標(biāo)及鍵盤的傷殘人士有重大的意義; 另外在一些場(chǎng)合不方便操作電腦但又必須使用的情況下同樣很有意義, 比如駕駛的同時(shí)查詢電子地圖。目前要真正控制一臺(tái)圖形界面的電腦, 必須做到使用語音控制也能像使用鍵盤和鼠標(biāo)那樣輸入數(shù)據(jù)以及控制光標(biāo)。因此一種有效的語音控制光標(biāo)程序, 也就是可以定位在屏幕的任意位置, 并且可以模擬單擊、雙擊拖拽等各種鼠標(biāo)動(dòng)作的語音控制程序, 對(duì)于實(shí)現(xiàn)語音控制電腦將是一個(gè)很有意義的工具。

            本文利用微軟的Speech SDK 5.1 免費(fèi)的引擎和模擬鼠標(biāo)技術(shù), 用Delphi7.0 實(shí)現(xiàn)了一個(gè)語音控制鼠標(biāo)應(yīng)用程序, 可以實(shí)現(xiàn)語音控制鼠標(biāo)移動(dòng)、停止、單擊等動(dòng)作達(dá)到控制屏幕光標(biāo)的作用, 并對(duì)語音控制鼠標(biāo)程序中的延遲問題進(jìn)行了分析, 提出并實(shí)現(xiàn)了一種改進(jìn)方法。

            2 基于語音識(shí)別的光標(biāo)控制類型

            目前有兩種語音控制鼠標(biāo)的模式: 一種是目標(biāo)導(dǎo)向光標(biāo)控制和方向?qū)蚬鈽?biāo)控制[n]。對(duì)于前者, 用戶需要用語音給出具體目標(biāo)名稱或者位置, 比如圖標(biāo)、菜單, 或者屏幕區(qū)域名稱, 然后給出執(zhí)行的命令如“單擊”等, 這種方式對(duì)于單個(gè)軟件還是有效的, 但是當(dāng)目標(biāo)增加的時(shí)候用戶需要記憶很多目標(biāo)的名稱, 還可能出現(xiàn)同名稱目標(biāo)的情況, 因此工作中的錯(cuò)誤率會(huì)增加。另一種方向?qū)蚬鈽?biāo)控制又分為非連續(xù)控制和連續(xù)控制兩種, 對(duì)于非連續(xù)的情況用戶要同時(shí)說明方向和距離, 如命令“左8 厘米”, 那么光標(biāo)就向左移動(dòng)8厘米; 而對(duì)于連續(xù)的情況用戶先說明方向如“向左”,光標(biāo)就向左移動(dòng), 直到用戶再說“停止”, 光標(biāo)才停止運(yùn)動(dòng)。

            本文討論的聲控光標(biāo)是屬于方向?qū)蛑械倪B續(xù)控制, 這種鼠標(biāo)控制和日常的使用習(xí)慣比較一致, 用戶使用起來比較適應(yīng)。

            3 實(shí)現(xiàn)

            本文語音控制光標(biāo)程序的語音控制是采用微軟的Speech SDK 5.1 的語音識(shí)別引擎及其API 接口, 這是一個(gè)免費(fèi)的開發(fā)包, 并且可以用它開發(fā)具有中文語音功能的軟件。語音識(shí)別引擎通??梢苑譃閮煞N工作方式, 一種就是命令控制(Command and Control) 方式, 這個(gè)方式下語音識(shí)別引擎可以識(shí)別簡(jiǎn)短的語音命令, 以便執(zhí)行相應(yīng)的程序; 另外一種是連續(xù)聽寫方式,這個(gè)模式下語音識(shí)別引擎要識(shí)別連續(xù)的語音, 這種功能實(shí)現(xiàn)起來比語音控制更復(fù)雜, 因?yàn)檎Z音聽寫過程中需要對(duì)上下文以及相同相似發(fā)音的詞語進(jìn)行分析、作出判斷, 而在命令控制語音方式中不需要作上下文分析。本文采用的是命令控制方式, 因?yàn)閷?shí)現(xiàn)語音控制鼠標(biāo)只需要對(duì)有限的幾個(gè)簡(jiǎn)短的命令進(jìn)行識(shí)別, 如“左”、“右”、“?!钡?。圖1 是語音控制鼠標(biāo)程序的結(jié)構(gòu)圖。

            基于語音識(shí)別技術(shù)的聲控鼠標(biāo)光標(biāo)程序設(shè)計(jì)

            圖1 語音控制鼠標(biāo)程序結(jié)構(gòu)

            該應(yīng)用程序主要包括兩個(gè)部分: 第一部分語音控制應(yīng)用主程序部分, 主要調(diào)用語音識(shí)別引擎識(shí)別用戶的語音命令。

            這部分程序主要完成幾件工作:

            ①導(dǎo)入辭書文法文件(XML 格式, 其中定義感興趣的語音命令) , 完成對(duì)語音識(shí)別引擎接口的初始化工作, 激活語音識(shí)別引擎;②接收語音識(shí)別引擎的識(shí)別結(jié)果, 根據(jù)識(shí)別結(jié)果調(diào)用相應(yīng)的鼠標(biāo)控制程序。

            下面的語法文件中定義了方向命令和鼠標(biāo)事件命令的語法規(guī)則:

            GRAMMAR LANGID=“804”>

            DEFINE>

            ID NAME=“RID_start” VAL=“1”/>

            ID NAME=“PID_colour” VAL=“2”/>

            ID NAME=“PID_colourvalue” VAL=“3”/>

            /DEFINE>

           ??! - - Rule definiTIons - - >

            RULE NAME=“start” ID=“RID_start” TOPLEVEL=“ACTIVE”>

            RULEREF NAME=“colour” PROPNAME=“colour”PROPID=“PID_colour” />

            /RULE>

            RULE NAME=“colour” >

            L PROPNAME=“colourvalue” PROPID=“PID_colourvalue”>

            P VAL=“1”>上/P>

            P VAL=“2”>下/P>

            P VAL=“3”>左/P>

            p VAL=“4”>右/p>

            p VAL=“5”>停止/p>

            P VAL=“6”>單擊/P>

            P VAL=“7”>雙擊/P>

            p VAL=“8”>關(guān)閉/p>

            /L>

            /RULE>

            /GRAMMAR>
          在程序運(yùn)行的時(shí)候, 一旦有上述語法文件中定義的命令被成功識(shí)別, 則在程序的onRecgnition 響應(yīng)函數(shù)中可以查詢出識(shí)別的返回值是1~8 中的某個(gè)值, 根據(jù)不同的返回值就可以調(diào)用鼠標(biāo)控制程序進(jìn)行鼠標(biāo)的某個(gè)方向的移動(dòng)或者點(diǎn)擊等事件的模擬控制。

            第二部分鼠標(biāo)控制程序, 就是調(diào)用程序模擬控制鼠標(biāo)移動(dòng)或單擊等各種鼠標(biāo)事件。這一部分主要是利用Windows API 函數(shù)模擬鼠標(biāo)事件實(shí)現(xiàn)對(duì)鼠標(biāo)光標(biāo)的控制。

            模擬鼠標(biāo)移動(dòng)可以通過循環(huán)調(diào)用Windows API函數(shù)SetcursorPos(x1,y1)來實(shí)現(xiàn), 在循環(huán)中控制x1 和y1 的變化就可以實(shí)現(xiàn)任何方向的鼠標(biāo)移動(dòng)。在程序中模擬鼠標(biāo)移動(dòng)需要用到多線程控制, 否則鼠標(biāo)移動(dòng)過程中無法隨時(shí)停止或者讓他轉(zhuǎn)向。以下是移動(dòng)線程中的移動(dòng)控制代碼:

            for I := 1 to 500 do

            begin

            if bstop=1 then break;

            //遇到停止命令時(shí)停止光標(biāo)移動(dòng)

            case Dr of

            //根據(jù)參數(shù)Dr 決定光標(biāo)運(yùn)行方向

            1: x1:=x1+n1; //右移

            2: x1:=x1- n1; //左移

            3: y1:=y1+n1; //下移

            4: y1:=y1- n1; //上移

            end;

            windows.SetcursorPos(x1,y1);

            end;

            鼠標(biāo)的另一類控制程序是模擬鼠標(biāo)單擊雙擊等鼠標(biāo)事件, 主要是在程序中利用mouse_event 函數(shù)對(duì)鼠標(biāo)事件進(jìn)行模擬。程序中以下代碼模擬了鼠標(biāo)左鍵單擊:

            windows.mouse_event (MOUSEEVENTF_LEFTDOWN,0,0,0,0);

            // 左鍵按下

            windows.mouse_event(MOUSEEVENTF_LEFTUP,0,0,0,0);

            // 左鍵抬起

            圖2 是一個(gè)理想情況下用本文程序?qū)崿F(xiàn)語音控制鼠標(biāo)的例子。光標(biāo)初始位置在屏幕左下方, 目標(biāo)矩形在屏幕右上區(qū), 首先用戶對(duì)麥克風(fēng)發(fā)出“右”的命令, 光標(biāo)就向右移動(dòng); 當(dāng)光標(biāo)到達(dá)目標(biāo)下方的時(shí)候用戶說“上”命令, 光標(biāo)就改向上移動(dòng)( 或者先說“停”命令, 光標(biāo)停止) ; 當(dāng)光標(biāo)到達(dá)目標(biāo)矩形, 用戶說“?!泵?, 光標(biāo)停止, 最后用戶說“單擊”, 程序模擬鼠標(biāo)左鍵單擊事件, 相當(dāng)于目標(biāo)矩形被單擊。

            基于語音識(shí)別技術(shù)的聲控鼠標(biāo)光標(biāo)程序設(shè)計(jì)

            圖2 一個(gè)語音控制鼠標(biāo)工作的例子

            4 語音控制鼠標(biāo)的缺陷

            雖然幾個(gè)簡(jiǎn)單的語音命令, 可以控制鼠標(biāo)移動(dòng)到屏幕的任何位置, 并可以根據(jù)語音命令模擬單擊、雙擊等各種鼠標(biāo)事件, 但是實(shí)際使用中還存在缺陷。

            對(duì)于大的目標(biāo)而言, 這種語音控制鼠標(biāo)控制沒有什么問題, 如果目標(biāo)區(qū)域比較小, 將會(huì)增加使用者的難度, 比如當(dāng)光標(biāo)移動(dòng)到矩形時(shí)喊“停”, 光標(biāo)會(huì)繼續(xù)移動(dòng)一小段才停, 這時(shí)光標(biāo)可能已經(jīng)越過了目標(biāo)矩形。這種情況和語音識(shí)控制中存在的延時(shí)有關(guān), 每次用戶發(fā)出語音命令到命令被執(zhí)行都有一個(gè)過程, 首先使用者說出語音命令是需要時(shí)間的, 而且語速快的人和語速慢的人說同樣的命令花的時(shí)間不同; 另


          上一頁 1 2 下一頁

          評(píng)論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();