在移動(dòng)終端上實(shí)現(xiàn)沉浸式的VR體驗(yàn)

摘要：為了使頭顯VR達(dá)到沉浸式效果，需要在視覺(jué)、聽(tīng)覺(jué)以及用戶體驗(yàn)上提高，這對(duì)處理器及工具軟件提出了挑戰(zhàn)，高通已有相關(guān)的解決方案。

VR時(shí)代正在到來(lái)

　　VR(虛擬現(xiàn)實(shí))是劃時(shí)代的革命產(chǎn)品，可以給人們帶來(lái)真實(shí)的感受，可以讓你去一些你無(wú)法去的地方，讓你身臨其境地感受到現(xiàn)實(shí)生活中無(wú)法感受到的一些體驗(yàn)，比如觀看美國(guó)大峽谷的日落，可以360°欣賞景色，還可以聽(tīng)到真實(shí)的鳥鳴和瀑布聲。

　　上個(gè)世紀(jì)90年代曾掀起過(guò)VR熱，但那時(shí)僅僅是曇花一現(xiàn)，因?yàn)楫?dāng)時(shí)無(wú)論從生態(tài)鏈的內(nèi)容角度還是從技術(shù)角度，都沒(méi)有達(dá)到一個(gè)可以使VR進(jìn)入到平常百姓家的能力。VR今天已經(jīng)是時(shí)候爆發(fā)了，日本等地已經(jīng)把2016年看作是VR元年，而且VR很可能成為繼電腦和手機(jī)之后的下一個(gè)熱潮。

　　移動(dòng)手機(jī)業(yè)對(duì)于未來(lái)最被看好的VR主流形態(tài)——一體機(jī)VR有巨大的推動(dòng)作用?，F(xiàn)在很多做VR設(shè)備的人是做手機(jī)和平板的設(shè)備廠商，不管從硬件系統(tǒng)架構(gòu)還是從生態(tài)鏈和供應(yīng)鏈上，跟手機(jī)的關(guān)系是非常緊密的。手機(jī)擁有很大的體量，擁有大規(guī)模效應(yīng)，可以極大拉低從芯片到外圍器件的成本。手機(jī)還有非?？斓牡芷?，大部分廠商一年甚至不到一年就能替代一代產(chǎn)品?？梢?jiàn)，手機(jī)和VR打通管道之后，能夠被大眾接受的難度就大大降低了。

　　從設(shè)備體驗(yàn)看，需要從三個(gè)角度來(lái)提供手機(jī)的沉浸式體驗(yàn)的感受(如圖1)。首先，視覺(jué)方面，需要有超高分辨率的支持，需要在芯片前端做圖像轉(zhuǎn)換的功能;聲音側(cè)也會(huì)提供真實(shí)的分辨率聲音、高清聲音以及3D聲音的一些算法;在交互上，高通也會(huì)針對(duì)目前所提供的用戶調(diào)查報(bào)告以及人體工程學(xué)的數(shù)據(jù)，從頭部運(yùn)動(dòng)到畫面隨動(dòng)上面，從用戶交互、手勢(shì)跟蹤、眼球跟蹤等方面，以及用戶頭部旋轉(zhuǎn)和運(yùn)動(dòng)移動(dòng)的位置跟蹤上，優(yōu)化移動(dòng)VR的體驗(yàn)。

視覺(jué)

　　*視覺(jué)處理

　　視覺(jué)是體驗(yàn)感最關(guān)鍵的因素。如果我們把目前的2K手機(jī)插到VR盒子里看，可以明顯地看到三格效應(yīng)。因?yàn)槿说囊暯欠浅V闊，有超過(guò)180°的視角，但真正能感受到比較多信息的視角約在50°~60°(如圖2)。當(dāng)視角超過(guò)100°、120°的情況下，目前的手機(jī)或者電腦的最高分辨率也無(wú)法達(dá)到目前我們對(duì)VR的需求。目前手機(jī)4K被普遍認(rèn)為是沒(méi)有必要的，只是額外增加手機(jī)功耗。但對(duì)于VR來(lái)說(shuō)，4K、8K遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到要求，有可能到10K以后才能達(dá)到視網(wǎng)膜屏幕的解析度。

　　目前市面上已經(jīng)出現(xiàn)了眼球跟蹤技術(shù)及產(chǎn)品發(fā)布。所謂眼球跟蹤技術(shù)，因?yàn)槿苏嬲茏⒁獾降囊暯呛苷赡苤挥?0°、30°，余光看到50°、60°以外是獲取不到太多信息的。根據(jù)人體功能學(xué)的這一特點(diǎn)，我們可以在畫面渲染時(shí)增加眼球跟蹤技術(shù)，這樣就可以知道目前用戶的眼睛盯在什么地方，并在眼睛盯著的范圍之內(nèi)重點(diǎn)做100%的全景渲染，而在周邊區(qū)域可以慢慢降低渲染程度，比如只渲染一半的像素，另一半像素只需要通過(guò)一些其他算法做一些模糊效果即可。所以當(dāng)眼球跟蹤技術(shù)的時(shí)延達(dá)到一定程度，人的眼睛是完全感覺(jué)不到的。此技術(shù)最大的好處是大大減少了CPU圖形渲染的工作量，同時(shí)提高了渲染效果以及CPU運(yùn)行的效率。

　　另外，目前VR領(lǐng)域因?yàn)殓R片的簡(jiǎn)單造成了圖片的畸變。因?yàn)楝F(xiàn)在的VR眼鏡不可能像傳統(tǒng)的專業(yè)單反相機(jī)或?qū)I(yè)鏡頭，可以用多組鏡頭實(shí)現(xiàn)?，F(xiàn)在的VR基本上是一組凸透鏡，這是無(wú)法達(dá)到中間和邊緣都一致的效果。所以如果一個(gè)正方形的圖像顯示在VR屏幕上，且僅通過(guò)一組透鏡到達(dá)人眼的效果，會(huì)發(fā)現(xiàn)四個(gè)角會(huì)被明顯拉長(zhǎng)(如圖3右上)。所以在CPU側(cè)的前端要做一些補(bǔ)償。

　　CPU怎么補(bǔ)償?我們會(huì)在顯示上做一個(gè)桶形的圖像(如圖3左下)，如果你看手機(jī)上一些這種類型的VR，看的時(shí)候把手機(jī)摘下來(lái)，你會(huì)發(fā)現(xiàn)左右的形狀是桶形，但是最后通過(guò)凸透鏡可以變成正方形。

　　還有一點(diǎn)也是目前VR沒(méi)法改變的情況，就是在邊緣處，由于可見(jiàn)光的不同顏色的光的波長(zhǎng)不一樣，會(huì)通過(guò)透鏡邊緣出現(xiàn)色散的問(wèn)題(如圖4上)，這需要色彩校正。方法是做反向處理，將原來(lái)一個(gè)點(diǎn)變成三個(gè)點(diǎn)，通過(guò)凸透鏡折射之后，形成一個(gè)方向的曲線，這樣可以看到邊緣和中間一樣清晰。所有這些技術(shù)都需要在送到顯存的時(shí)候就要做優(yōu)化。

　　*360°全景

　　VR宣稱可以360°看到圖像，所以從源端到設(shè)備端都需要整個(gè)產(chǎn)業(yè)鏈共同推進(jìn)。我們看到源端360°采集是多種多樣的，從大而笨重的設(shè)備去采集，到現(xiàn)在由于算法升級(jí)，所以攝像頭的相機(jī)數(shù)量可以減少到三四個(gè)、兩個(gè)魚眼鏡頭，所以我們可以不斷地推進(jìn)，包括采集設(shè)備、360°全景照片的編碼格式等，都需要整個(gè)業(yè)界做促進(jìn)和統(tǒng)一。

　　而在VR設(shè)備端，需要針對(duì)目前沒(méi)有達(dá)到統(tǒng)一的360°視頻形式做各種適應(yīng)的編/解碼，甚至需要左、右眼區(qū)別對(duì)待。

　　*3D效果

　　3D帶來(lái)景深效果。當(dāng)我們看3D電影或者玩3D游戲時(shí)，可能需要CPU分辨左、右眼，讓大家感受到景深/3D效果。原理眾所周知，因?yàn)槿说淖蟆⒂已壑g有距離，不同景深對(duì)應(yīng)人的左、右眼的圖像不一樣。當(dāng)圖6中一個(gè)紅點(diǎn)遮擋汽車時(shí)，左、右眼不僅在視網(wǎng)膜上投影有位移，同時(shí)汽車的位置也有位移。所以我們?cè)诤芏嗳坝螒蚝?D游戲方面，需要在CPU上做左、右眼的渲染。

聽(tīng)覺(jué)

　　目前VR的聽(tīng)覺(jué)雖然沒(méi)有視覺(jué)那么被重視，但是在整個(gè)VR的沉浸式體驗(yàn)中也是非常重要的，其中包括高分辨率的聲音以及基于3D的定位聲音。目前如果我們用手機(jī)或者電腦來(lái)聽(tīng)音樂(lè)、看電影，如果要分辨聲音從什么地方傳過(guò)來(lái)，通常是通過(guò)聲音的強(qiáng)度來(lái)判斷的：如果來(lái)自左聲道，你會(huì)發(fā)現(xiàn)左聲道聲音大，右聲道聲音小，但是這遠(yuǎn)遠(yuǎn)達(dá)不到3D的效果。我們還需要聲音達(dá)到左、右耳時(shí)有微小的時(shí)延，而且不僅是左右，還有上下、前后，以及斜前方、斜后方等位置。我們還要通過(guò)算法，體驗(yàn)到聲音已到我們面前了;我們也可以隨時(shí)改變這個(gè)函數(shù)，達(dá)到最真實(shí)的效果。

　　另外，當(dāng)聲源開(kāi)始移動(dòng)時(shí)，這時(shí)也一樣可以通過(guò)傳輸?shù)暮瘮?shù)計(jì)算出來(lái)，在任何一個(gè)時(shí)刻它傳到左、右耳的效果是什么樣。而且還有根據(jù)人體工程學(xué)和耳道模型做的耳道傳輸函數(shù)，會(huì)考慮人的耳廓、外耳、中耳和內(nèi)耳的人體工程學(xué)結(jié)構(gòu)，考慮到你的反射，以達(dá)到最好的效果。

　　還有一些聲源在不同的室內(nèi)環(huán)境，諸如浴室、臥室、客廳，或者在展館、室外，會(huì)產(chǎn)生不同的反射和效果，這是游戲開(kāi)發(fā)者在做游戲時(shí)需要重點(diǎn)考慮的方面。目前PC游戲基本可以達(dá)到令人滿意的效果，但是在VR上要考慮人的頭部轉(zhuǎn)動(dòng)和聲源變動(dòng)，因此變量復(fù)雜得多，計(jì)算過(guò)程也更復(fù)雜。

　　目前高通領(lǐng)先的手機(jī)芯片驍龍820會(huì)支持音頻的功能，像高分辨率的音頻及噪聲技術(shù)，以及同時(shí)進(jìn)行音頻和視頻的處理。

用戶交互體驗(yàn)

　　時(shí)延被認(rèn)為越短越好。關(guān)于頭部的運(yùn)動(dòng)，目前市面上看到的大部分一體機(jī)或者分體機(jī)，基本有三個(gè)維度的頭部運(yùn)動(dòng)：X軸、Y軸和Z軸(如圖7)，手機(jī)陀螺儀就用于此，只不過(guò)VR上把陀螺儀頻率提高了一點(diǎn)，提高到1000Hz或者800Hz。

　　但是實(shí)際上，當(dāng)考慮三個(gè)維度時(shí)，陀螺儀已無(wú)法達(dá)到準(zhǔn)確控制了，因?yàn)闀?huì)有很多漂移。但是我們有一種技術(shù)——結(jié)合攝像頭技術(shù)，攝像頭可以放在VR前端，這樣攝像頭再結(jié)合陀螺儀的感應(yīng)器一起工作，再通過(guò)復(fù)雜的算法，就不需要任何外界設(shè)施，只需要安裝兩個(gè)可以發(fā)出可見(jiàn)光或者不可見(jiàn)光的掃描設(shè)備做移動(dòng)的檢測(cè)，利用周圍靜止的物體作為參考，再結(jié)合陀螺儀就達(dá)到頭部轉(zhuǎn)動(dòng)、垂直和平移的跟蹤。

　　*延遲

　　很短暫的延遲是讓用戶沒(méi)有任何感覺(jué)的，但是當(dāng)延遲達(dá)到一定程度后，用戶會(huì)感覺(jué)到有明顯的眩暈感覺(jué)。時(shí)間是多少比較合適?20ms是目前VR不感到頭暈的時(shí)間點(diǎn)。

　　為此我們主要做三件事情，1.頭部運(yùn)動(dòng)旋轉(zhuǎn)一個(gè)角度時(shí)，需要感應(yīng)頭部的運(yùn)動(dòng)。目前手機(jī)是在100Hz，采樣周期10ms，但這么低的頻率是沒(méi)法滿足要求的。我們考慮高頻方案，在三個(gè)采樣上只浪費(fèi)了不到1ms。2.圖像處理之后，我們需要根據(jù)運(yùn)動(dòng)隨時(shí)產(chǎn)生新的圖像，同時(shí)需要根據(jù)特殊情況產(chǎn)生左右眼分別兩幅圖像，然后再進(jìn)行渲染，以及做到色差的校正。3.送到顯存，再通過(guò)TFT顯示讓用戶感覺(jué)到圖像隨著頭部在做運(yùn)動(dòng)。

　　如上所述，我們需要在每一件事情上做優(yōu)化，VR顯示技術(shù)是用了響應(yīng)時(shí)間較短的屏幕刷新來(lái)實(shí)現(xiàn)較高的刷新率，例如90Hz、100Hz，這也是大大減少VR延遲的好辦法。所以中間這部分就留給高通等芯片廠商做GPU或者CPU的處理。

VR對(duì)處理器芯片的需求特點(diǎn)

　　在移動(dòng)VR設(shè)備當(dāng)中有一個(gè)很艱難的挑戰(zhàn)，它不像目前的PC的VR可以通過(guò)PC來(lái)取電，因而比較輕便。但是移動(dòng)VR設(shè)備的工作量卻沒(méi)有降低，完全不輸于PC的CPU，而電源功耗要求會(huì)比PC的VR嚴(yán)格很多。在系統(tǒng)端，從CPU到屏幕，整個(gè)系統(tǒng)的功耗決定了VR設(shè)備的體驗(yàn)。

　　這兩個(gè)需求是相悖的，但是又是相互關(guān)聯(lián)的。當(dāng)芯片顯示技術(shù)做到較好的省電技術(shù)，這時(shí)留給工程師做設(shè)計(jì)的空間就大了很多。所以高通立志在芯片端提高電池效率，包括眼球跟蹤技術(shù)可以極大提高CPU效率，這樣讓VR設(shè)備廠商在VR設(shè)計(jì)時(shí)可以有更大的自由度，設(shè)計(jì)出更加輕便、省電、漂亮的VR設(shè)備。

　　目前VR對(duì)于芯片端的功能模塊的需求是非常高的，因此高通主推高端手機(jī)芯片—驍龍820。驍龍820里面有DPU、DSP、GPU以及CPU等。此外，高通也發(fā)布了針對(duì)于游戲和視頻開(kāi)發(fā)者的SDK(開(kāi)發(fā)者套件)，包含很多東西，有針對(duì)用戶交互體驗(yàn)以及視覺(jué)、聽(tīng)覺(jué)優(yōu)化出來(lái)的用戶接口，可以供開(kāi)發(fā)者去調(diào)用，比如有DSP的技術(shù)以降低時(shí)延，也有色差校正來(lái)提高邊緣的效果，還有雙眼的渲染，單顯存的機(jī)制。

小結(jié)

　　視覺(jué)、聽(tīng)覺(jué)和交互提高了移動(dòng)式一體機(jī)的體驗(yàn)。我們堅(jiān)信一體機(jī)最終會(huì)成為市場(chǎng)的一個(gè)主流，可以替代目前移動(dòng)不便的PC的VR，也可以替代目前為了追求低成本而制造出來(lái)的插卡式手機(jī)VR，而達(dá)到一個(gè)理想的沉浸式體驗(yàn)。高通驍龍820將把領(lǐng)先的技術(shù)集成到VR當(dāng)中去。

本文來(lái)源于中國(guó)科技期刊《電子產(chǎn)品世界》2016年第5期第15頁(yè)，歡迎您寫論文時(shí)引用，并注明出處。