基于視覺的智能電子寵物

　　摘要：本項目將當前熱門的感知計算技術應用到電子玩具這一領域，開創(chuàng)性地設計了一個可以與主人進行豐富多樣的感性交流的電子寵物。以Intel 3D攝像頭和Baytrail平臺為核心，偵測主人的表情、手勢、語音等，實現(xiàn)了與主人進行感性互動的交流，為用戶帶來了簡單方便、人性貼心的全新體驗。

　　1 創(chuàng)意來源

　　隨著電子技術的進一步發(fā)展，電子寵物逐漸走入人們的家庭生活中，目前市面上相對成熟的電子寵物主要有兩大類：一類是生活在電子設備中的虛擬寵物，沒有任何的機械結(jié)構(gòu)，純粹通過電子設備與之進行交互;另一類是具有一定機械機構(gòu)的電子寵物，具有觸覺等功能，但由于其與逼真寵物外形想像的特性，交互方式也相對缺乏。

　　如今感知計算技術大為盛行，它重新定義了人與設備的溝通方式，通過更適合人類的溝通方式比如語言、表情、動作等，讓設備感知人類的意圖，智能分析人類的行為。

　　我們的作品，就是基于這一熱門技術，將感知計算應用到電子寵物身上，充分利用了感知計算的先進特性，實現(xiàn)了一個通過手勢、表情、語言與使用者進行感性互動的智能型電子寵物。具有如此豐富、生動交互方式的電子寵物，無疑會給使用者帶來全新的體驗?？梢韵胂?，一個比真實寵物更加方便、衛(wèi)生、更加懂主人意思的智能電子寵物，無疑會引起廣大寵物愛好者的極大興趣，成為我們現(xiàn)代化家庭的重要一員。

　　2 關鍵技術

　　2.1 視覺處理程序

　　我們的項目采用的是Intel Creative Senz3D攝像頭，Creative Senz3D是Intel公司為感知計算技術開發(fā)的3D景深攝像頭。我們用3D攝像頭作為寵物的眼睛，是整個系統(tǒng)最核心的部分，實現(xiàn)與周圍環(huán)境的交互，支持人臉識別，表情識別和手勢識別。我們借用了配套的Intel perceptual computing SDK中提供的一些表情識別、手勢識別、人臉識別等模塊，用線程來分別管理。當3D攝像頭捕捉到圖像數(shù)據(jù)后會分析然后開啟線程執(zhí)行上述三個模塊中的一個，然后把識別結(jié)果返回給服務器，讓服務器完成接下去的工作。

　　2.2 服務器

　　我們把服務器放在了Baytrail開發(fā)板上。服務器作為與每個子模塊溝通的橋梁，它的主要作用是一個數(shù)據(jù)中樞，它接收攝像頭的識別結(jié)果，然后根據(jù)情況選擇通過socket發(fā)送給手機，或用串口發(fā)送給Arduino開發(fā)板，協(xié)調(diào)各個部分的工作。同時，服務器要求具有一定的魯棒性，它需要能夠檢測各個部分是否正常工作并進行糾正。

　　2.3 Android移動應用

　　手機APP顯示的是寵物的臉，它承載的是寵物向用戶做出表情以及聲音的輸出，它會根據(jù)服務器發(fā)來的指令變換自己的表情，與用戶所做的表情同步，與用戶進行交互，同時用戶做的表情會對寵物自身的心情值產(chǎn)生影響，當心情值足夠高時，即使沒有外界刺激，寵物也會做出開心的表情。這一部分的主要實現(xiàn)方式是Android套接字(Socket)編程和異步消息處理機制，實現(xiàn)與服務器Baytrail開發(fā)板的通信，接收服務器發(fā)來的控制命令并返回反饋數(shù)據(jù)。表情切換用Android活動的切換來實現(xiàn)，表情顯示用Android Canvas類進行圖片播放來實現(xiàn)。