揭秘VR及移動設(shè)備如何實現(xiàn)眼動追蹤

　　2016年被廣泛認為是VR元年，隨著VR智能眼鏡、VR跑步機、VR攝影機等等VR虛擬現(xiàn)實產(chǎn)品相繼問世，眼動追蹤等相關(guān)技術(shù)開始進入高速發(fā)展階段。這其中也能為用戶帶來更為震撼的視覺感受，隨著眼鏡移動而進行場景的變換，這就像是我們自己的眼睛一樣，那這些VR產(chǎn)品是如何實現(xiàn)眼球追蹤技術(shù)的呢？本文介紹兩種MEMS技術(shù)在眼動追蹤中的應(yīng)用。

　　什么是眼動追蹤

　　眼動追蹤（Eye Tracking），是指通過測量眼睛的注視點的位置或者眼球相對頭部的運動而實現(xiàn)對眼球運動的追蹤。眼動儀是一種能夠跟蹤測量眼球位置及眼球運動信息的一種設(shè)備，在視覺系統(tǒng)、心理學、認知語言學的研究中有廣泛的應(yīng)用。

　　移動端的眼動追蹤技術(shù)也開始發(fā)展，蘋果申請了若干相關(guān)專利，通過“該技術(shù)可以根據(jù)用戶視線延遲顯示屏操作的執(zhí)行，還可以改變用戶界面，生成并執(zhí)行相關(guān)信息。例如，當用戶輸入文本時如果出現(xiàn)拼寫錯誤，且眼睛正在注視錯詞，系統(tǒng)將自動修正；如果設(shè)備發(fā)現(xiàn)用戶的視線沒有注視錯詞，系統(tǒng)將延遲修正。蘋果認為該功能可以讓操作更直觀。”（該描述來自蘋果2012年9月提交的專利申請）

　　LG和三星也曾推出過具有眼動追蹤技術(shù)的手機。如三星Galaxy SIII就可以通過檢測用戶的眼睛狀態(tài)來控制鎖屏的時間，同時眼球還可以來控制頁面的上下滾動。

　　無創(chuàng)眼動追蹤

　　一種比較常用的無創(chuàng)眼動追蹤方式為視頻/圖像捕捉。攝像頭拍攝得到眼部圖片，具有一些可以提取的特征，經(jīng)過某些圖像處理的算法提取出這些特征參數(shù)，從而確定眼球位置，用于判定人眼注視的方向和目標，計算結(jié)果由處理器CPU反應(yīng)于你所使用的VR/AR設(shè)備上。

　　根據(jù)7invensun的介紹，眼圖錄像法和角膜反射法都屬于該類方法。

　　眼圖錄像法主要是通過辨認眼球的特征如瞳孔外形、異色邊緣（虹膜、虹膜邊界）、近距指向光源的角膜反射來實現(xiàn)眼動跟蹤。根據(jù)云視頻的宣傳，其所提到的能夠讀懂人“眼神意識”的視頻技術(shù)，就是基于此項技術(shù)。然而虹膜識別+瞳孔運動識別雖然可以捕捉人眼的動作但卻無法檢測到人眼的注視點，這才是最硬的傷！

　　首先虹膜識別和瞳孔識別都是基于一個平面的，要測量注視點就必須保證頭部是固定的，讓眼睛同頭和注視點的相對位置一致才可以。人眼作為人體最精細的器官之一，注視點轉(zhuǎn)移僅需要一個微小的動作，而人類僅僅因為呼吸而造成的頭部動作就足以讓測量誤差造成定位偏移。然后我們再退一萬步講，即使頭部是固定的，對于虹膜的識別也沒那么容易，歐洲人的人眼特征較為明顯，識別相對容易，但也不是一個家用普通攝像頭就可以判斷眼球特征的，而亞洲人瞳孔多為深褐色，人眼特征較弱，普通攝像頭幾乎無法捕捉。因此從云視鏈的眼球追蹤技術(shù)的出發(fā)點來說，通過眼神就能推送出你想要的信息是不可能的了！

　　角膜反射法是目前眼球追蹤領(lǐng)域廣泛認可并應(yīng)用的方法，主要通過攝像頭捕捉人眼特征，通過算法建立人眼二維或者三維注視點估計模型，通過算法判斷人眼動作和注視點。眼球的特殊構(gòu)造會形成一到多個浦肯野像，基于這種方法的眼球追蹤一般定位第一浦肯野像，通過定標步驟，可以測量出處在垂直平面現(xiàn)實定標點表面上人眼的注視點。

　　有創(chuàng)眼動追蹤

　　有創(chuàng)手段包括在眼睛中埋置眼動測定線圈或使用微電極描記眼電圖。眼電圖（electrooculography ）檢測方式通過電極測量當眼球移動時的電位變化，其原理是眼球可以被考慮為偶極子。其優(yōu)點是成本低，但普及型差。

　　圖示為眼電圖方法及收集信號示意圖

　　MEMS技術(shù)與眼動追蹤相結(jié)合

　　技術(shù)優(yōu)點

　　MEMS（Micro electro mechanical systems，微機電系統(tǒng)/微機械/微系統(tǒng)），是采用微電子技術(shù)、集成電路技術(shù)及其加工工藝制作而成的微米級別機械器件。MEMS往往會采用常見的機械零件和工具所對應(yīng)微觀模擬元件，例如它們可能包含通道、孔、懸臂、膜、腔以及其它結(jié)構(gòu)。

　　MEMS傳感器、驅(qū)動器同樣可以實現(xiàn)眼球追蹤功能，并且具有極大的發(fā)展?jié)摿?。MEMS器件的特征長度從1毫米到1微米，相比之下頭發(fā)的直徑大約是50微米。MEMS器件主要優(yōu)點是體積小、重量輕、功耗低、可靠性高、靈敏度高、易于集成等，是微型傳感器/驅(qū)動器的主力軍，正在逐漸取代傳統(tǒng)機械器件。

　　其成本有可能通過工藝優(yōu)化、批量生產(chǎn)大幅度降低，主要原因是由于MEMS生產(chǎn)不同于傳統(tǒng)加工制造生產(chǎn)，MEMS采用類似于集成電路的制造工藝，由于產(chǎn)品體積小，在一個二十厘米的硅片上可一次性生產(chǎn)出上千器件。若單個MEMS傳感器芯片面積為5mmx5mm （也有大量MEMS傳感器可以小于毫米尺度），則一個8英寸（直徑20厘米）硅片（wafer）可切割出約1000個MEMS傳感器芯片，分攤到每個芯片的成本則可大幅度降低。由于具有上述優(yōu)勢，基于MEMS的眼動追蹤系統(tǒng)在AR/AR系統(tǒng)中具有不可比擬的優(yōu)勢，也將成為VR/AR裝置小型化、低成本化的重要資本。

　　圖示為8英寸硅片上的MEMS芯片（5mmX5mm）示意圖

　　圖示為硅片，其上的重復單元可稱為芯片（chip 或die），每個重復單元可含有若干MEMS傳感器，甚至包含相應(yīng)的集成電路。

　　技術(shù)原理（蘋果專利及滑鐵盧大學成果）

　　下面介紹MEMS眼球追蹤技術(shù)一項來自蘋果專利（微型眼動追蹤系統(tǒng)與方法US 20150238079 A1），該蘋果專利為可使用與移動端的微型眼動追蹤系統(tǒng)與方法。其專利介紹如下：

　　本發(fā)明公開了一種微型眼動跟蹤系統(tǒng)，包括一個攝像頭（應(yīng)是與MEMS大小相近的微型攝像機），一個微機電系統(tǒng)（MEMS）設(shè)備和處理器。相機拍攝眼睛的圖像，MEMS裝置控制相機的視角方向，處理器接收來自相機的眼睛的圖像，確定相機圖像內(nèi)的眼睛的位置，并控制MEMS以保持相機指向眼睛。

　　該方法首先由相機拍攝獲得眼睛的圖像，然后處理器通過該圖像確定圖像內(nèi)眼睛的位置，并控制MEMS以保持相機指向眼睛。在另一個實例中，該微機電系統(tǒng)裝置控制相機的可調(diào)焦距。首先由該處理器確定眼睛圖像的聚焦狀況，再通過MEMS設(shè)備調(diào)整攝像機以保持所需的聚焦條件。在所提及的第三個實例中，該MEMS設(shè)備可以控制相機變焦。該處理器確定眼睛在整體圖像中的大小，然后通過MEMS設(shè)備控制攝像機以保持眼睛圖像在整體相機圖像內(nèi)的特定大小。

　　圖示為蘋果基于MEMS的眼動追蹤示意圖

　　由于MEMS驅(qū)動器極?。蓮?.1微米至幾個微米），可以直接應(yīng)用于手機等移動端的微型眼動追蹤系統(tǒng)中。上圖展示了一個采用MEMS驅(qū)動器對攝像頭進行移動/轉(zhuǎn)動來控制拍攝的例子。主要原理為采用兩個MEMS驅(qū)動器（1405a和1405b）連接平臺（底座）和攝像機及鏡頭。兩個MEMS驅(qū)動器中，一個連接在攝像機一側(cè)來產(chǎn)生水平方向的移動，另一個連接在底部或頂部來產(chǎn)生垂直方向的移動。

　　專利中并沒有特地指出采用何種MEMS驅(qū)動器，專利更側(cè)重于構(gòu)建這樣一個系統(tǒng)。實際MEMS中有非常多的方法可以實現(xiàn)伸縮。MEMS常用的伸縮結(jié)構(gòu)有彈簧spring，spring大部分屬于被動器件。主動伸縮的話可以通過熱膨脹（加熱之后物體膨脹，例子有雙晶片）、壓電效應(yīng)（加電之后產(chǎn)生力以及相應(yīng)的位移）或靜電驅(qū)動（通過靜電力產(chǎn)生位移）。

　　MEMS的彈簧結(jié)構(gòu)

　　MEMS中一些主動位移結(jié)構(gòu)

　　另一項來自加拿大滑鐵盧大學（N.Sarkar：SCANNING DIFFRACTIVE OPTIC ELEMENTS FOR UNTETHERED EYETRACKING MICROSYSTEMS）的MEMS眼動追蹤技術(shù)則是完全基于MEMS器件的方案，取消了體積較大的攝像頭。

　　眼睛與眼角膜具有不同的直徑，這是該設(shè)計的原理基礎(chǔ)。該方案通過采用下圖所示的簡單設(shè)計從而實現(xiàn)在尺寸、價格、功率、帶寬、準確性上的改進。

　　該設(shè)計使用一束低輻射（1-10μW/cm2），紅外（850nm）、發(fā)散（50mrad）的光束。光束從激光源發(fā)出后射向掃描儀scanner，掃描儀scanner具有一個平面，功能類似于鏡子，將入射光束反射。再由掃描儀scanner操控該光束射向眼角膜，然后從角膜表面反射（在掠射角從60？到90？）到一個光電二極管。光電二極管的作用為接受光信號，產(chǎn)生電信號。輸出電信號隨輸入光強增大而增大。隨著眼睛的轉(zhuǎn)動，掃描儀scanner控制光束追蹤眼角膜上能夠使光電二極管接受到最大信號的點。

　　值得注意的是，其光電二極管的表面可作為一個空間濾波器，使其不需要大面積平坦的微鏡。相應(yīng)地，該設(shè)計使用了一個300微米大小的掃描儀（Fresnel zone plate scanner）。其支撐anchor可以實現(xiàn)掃描儀scanner兩個自由度（藍色支撐以及紅色支撐均可旋轉(zhuǎn)）的偏轉(zhuǎn)，可以完成光束的較大范圍操縱。

　　下圖為另一種同樣具有兩個自由度的掃描儀scanner，其工作原理與上圖類似，通過支撐anchor的旋轉(zhuǎn)對掃描儀進行旋轉(zhuǎn)，從而操縱光束的角度。其中間載荷為垂直排列的兩個cylindrical lens patterns用以投射十字準線（crosshair）。

　　進行色彩描繪后的掃描儀scanner的掃描電鏡圖，其整體尺寸小于一毫米（1000微米）

　　其制作的掃描儀scanner模塊產(chǎn)品原型

　　結(jié)語

　　2016年被廣泛認為是VR元年，眼動追蹤等相關(guān)技術(shù)開始進入高速發(fā)展階段。本文介紹兩種MEMS技術(shù)在眼動追蹤中的應(yīng)用。隨著游戲娛樂、虛擬實境、甚至智能手機對眼動追蹤需求日益旺盛，MEMS技術(shù)將通過其不可比擬的體積優(yōu)勢為眼動追蹤提供重大改進，打造出更具便攜性的VR/移動設(shè)備，從而大幅提升用戶苛刻的體驗訴求，在虛擬設(shè)備中進一步幫助用戶達到真實的感受。