VR技術(shù)及其新聞應(yīng)用前景研究

　　本文首先介紹了VR在新聞等各個(gè)領(lǐng)域的應(yīng)用，并介紹了VR目前面臨的主要問(wèn)題。為了解決這個(gè)問(wèn)題，我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC，可以充分利用多路徑的能力，并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以降低時(shí)延，保證更好的VR的沉浸式用戶(hù)體驗(yàn)，使VR在新聞?lì)I(lǐng)域廣泛使用成為可能。

　　引言

　　最近迅猛發(fā)展的VR(虛擬現(xiàn)實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫(yī)療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化，VR能夠利用計(jì)算機(jī)生成一種多源信息融合的、交互式的三維動(dòng)態(tài)視景仿真環(huán)境，使用戶(hù)沉浸到該環(huán)境中，給人身臨其境、重現(xiàn)現(xiàn)場(chǎng)的效果，這種現(xiàn)場(chǎng)感也是新聞媒體業(yè)追求的目標(biāo)，同時(shí)也會(huì)給用戶(hù)帶來(lái)時(shí)空穿越的感覺(jué)，拉近和新聞事件的距離，使用戶(hù)產(chǎn)生強(qiáng)烈的體會(huì)和感受。

　　紐約時(shí)報(bào)(New York Times)、美國(guó)有線電視新聞網(wǎng)(CNN)和英國(guó)廣播公司(BBC)等媒體大軍紛紛加入VR陣營(yíng)，打造VR全景新聞視頻吸引受眾，并且希望最終從中獲益，提高自身競(jìng)爭(zhēng)力。2017年3月7日，CNN宣布正式成立名為“CNNVR”的虛擬現(xiàn)實(shí)新聞部門(mén)，該部門(mén)專(zhuān)注于VR新聞，每周推出一期360度全景視頻，并不定期舉行VR現(xiàn)場(chǎng)直播，使用戶(hù)借助具備浸入感的電視新聞產(chǎn)品了解全球大事，并獲得了不錯(cuò)的效果，其中包括敘利亞北部的交通要道和軍事重鎮(zhèn)阿勒頗遭受襲擊、美國(guó)總統(tǒng)就職等視頻在臉譜網(wǎng)上有超過(guò)3000萬(wàn)的點(diǎn)擊量。美國(guó)廣播公司(ABC)、英國(guó)廣播公司(BBC)、美聯(lián)社、美國(guó)全國(guó)廣播公司(NBC)等多家廣電媒體提供了新鮮的VR觀賽體驗(yàn)，全方位地轉(zhuǎn)播了開(kāi)閉幕式、跳水、拳擊等精彩盛典賽事，讓屏幕前的用戶(hù)如同置身現(xiàn)場(chǎng)一般感受盛典的宏大場(chǎng)面以及奧運(yùn)賽場(chǎng)的緊張氣氛。

　　同時(shí)，隨著技術(shù)和硬件的普及，VR設(shè)備的獲得門(mén)檻和成本越來(lái)越低。按照硬件形態(tài)來(lái)劃分，VR設(shè)備主要分為三種：PC端VR、一體機(jī)VR、移動(dòng)端頭顯(又叫手機(jī)VR)。其中PC端VR是目前體驗(yàn)最好的VR，典型的是Oculus Rift、HTC的Vive，這類(lèi)VR設(shè)備需要連接電腦，因此他們擁有更強(qiáng)勁的性能，可以渲染出更精良的VR內(nèi)容，但是會(huì)受到數(shù)據(jù)線的束縛;一體機(jī)VR，顧名思義，它具有獨(dú)立CPU、輸入和輸出顯示功能，完全擺脫傳輸線的束縛，但是由于CPU性能和顯示屏分辨率的限制，其體驗(yàn)效果不如PC端VR;移動(dòng)端頭顯是最便宜的一種入門(mén)版VR頭戴設(shè)備，只需花10磅就可以購(gòu)買(mǎi)一個(gè)谷歌紙板，向其中放入手機(jī)并打開(kāi)YouTube，就能體驗(yàn)“無(wú)與倫比”的VR視頻，移動(dòng)端頭顯讓一些擁有手機(jī)的用戶(hù)可以輕松享受到VR技術(shù)。

　　VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗(yàn)，是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸?shù)囊淮筇攸c(diǎn)是傳輸數(shù)據(jù)量大，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗(yàn)。目前移動(dòng)VR設(shè)備逐步成為主流，VR視頻數(shù)據(jù)通過(guò)無(wú)線方式傳輸?shù)絍R設(shè)備中，數(shù)據(jù)在無(wú)線信道中傳輸會(huì)因?yàn)楦蓴_和擁塞而丟包，而丟包重傳會(huì)帶來(lái)較大時(shí)延。為了降低傳輸延時(shí)，提高VR用戶(hù)體驗(yàn)，我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題。

　　問(wèn)題和挑戰(zhàn)

　　VR視頻傳輸?shù)囊淮筇攸c(diǎn)是傳輸數(shù)據(jù)量大，碼率大(平均碼率在5000kbps左右，碼率變動(dòng)比傳統(tǒng)視頻小)，為了降低傳輸帶寬，有人提出采用FOV傳輸方案代替360度傳輸方案，F(xiàn)OV傳輸方案工作原理見(jiàn)圖3所示，VR設(shè)備將用戶(hù)當(dāng)前頭部位置傳至服務(wù)器，服務(wù)器返回對(duì)應(yīng)頭部位置的視頻圖像，由VR設(shè)備進(jìn)行渲染并呈現(xiàn)給用戶(hù)。若采用FOV傳輸方案，VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí) (Motion-To-Photon Latency)，使用戶(hù)產(chǎn)生眩暈感等較差的用戶(hù)體驗(yàn)，嚴(yán)重時(shí)會(huì)對(duì)用戶(hù)健康造成損害。

　　由此可見(jiàn)，要想獲得更好的VR體驗(yàn)， VR傳輸協(xié)議需要滿(mǎn)足以下兩個(gè)主要需求：高帶寬和低時(shí)延。

　　MPFEC系統(tǒng)設(shè)計(jì)

　　目前移動(dòng)VR設(shè)備逐步成為主流，VR視頻數(shù)據(jù)通過(guò)WiFi、LTE等無(wú)線方式傳輸?shù)絍R設(shè)備中，數(shù)據(jù)在無(wú)線信道中傳輸會(huì)因?yàn)楦蓴_和擁塞而丟包，不同無(wú)線信道的RTT和丟包率也各異。為了降低傳輸延時(shí)，充分利用多路徑的優(yōu)勢(shì)，我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題，提高VR用戶(hù)體驗(yàn)。

　　1.發(fā)送端架構(gòu)

　　MPFEC發(fā)送端的基本架構(gòu)如下圖所示：

　　用戶(hù)在線觀看VR視頻時(shí)，視頻并不是一次性傳送到用戶(hù)計(jì)算機(jī)上的，這樣會(huì)占用太多的帶寬，所以，視頻會(huì)被切割成若干個(gè)小時(shí)間片段依次傳送，同時(shí)每一個(gè)時(shí)間片段的視頻也會(huì)切分為相同大小的分塊，每一個(gè)分塊采用不同碼率進(jìn)行編碼。發(fā)送端的視頻分塊選擇模塊(Video Tile Selector)會(huì)根據(jù)反饋的當(dāng)前網(wǎng)絡(luò)RTT丟包率等信息選擇相應(yīng)碼率的視頻分塊并輸入編碼模塊(FEC Encoder)進(jìn)行編碼。原始數(shù)據(jù)和編碼數(shù)據(jù)并行傳輸至數(shù)據(jù)包分配和擁塞控制模塊(Packet Allocate & Congestion Control Unit)，該模塊會(huì)根據(jù)不同子路徑的實(shí)際情況進(jìn)行路徑分配和發(fā)送速率控制。原始數(shù)據(jù)和編碼數(shù)據(jù)均以UDP數(shù)據(jù)包的形式在各個(gè)子路徑中傳輸。

　　2.接收端架構(gòu)

　　MPFEC接收端的基本架構(gòu)如下圖所示：

　　MPFEC接收端會(huì)從不同子路徑中收到不同的原始數(shù)據(jù)包和編碼數(shù)據(jù)包，網(wǎng)絡(luò)監(jiān)控模塊(Network Monitor)會(huì)統(tǒng)計(jì)丟包率等信息，并將各個(gè)子路徑的網(wǎng)絡(luò)狀態(tài)信息傳給反饋發(fā)送模塊(Feedback Sender)，由其將各個(gè)子路徑的網(wǎng)絡(luò)狀況信息和用戶(hù)當(dāng)前頭部角度反饋給發(fā)送端。接收到的數(shù)據(jù)包會(huì)儲(chǔ)存在緩存模塊(Buffer)中，當(dāng)所有原始數(shù)據(jù)包均收到時(shí)，原始數(shù)據(jù)直接傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，當(dāng)原始數(shù)據(jù)沒(méi)有完全收齊但是該分塊的數(shù)據(jù)包總數(shù)到達(dá)一定數(shù)量時(shí)，數(shù)據(jù)包將會(huì)被傳送至解碼模塊(FEC Decoder)中，解碼成功后，視頻數(shù)據(jù)會(huì)傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，由該模塊進(jìn)行視頻解碼和拼接，并呈現(xiàn)給用戶(hù)。

　　MPFEC系統(tǒng)實(shí)現(xiàn)

　　MPFEC系統(tǒng)的實(shí)現(xiàn)分為其發(fā)送端實(shí)現(xiàn)和接收端實(shí)現(xiàn)兩部分，目前還在實(shí)現(xiàn)階段。FEC編解碼算法采用自適應(yīng)參數(shù)的Semi-Random LT codes算法，視頻編解碼算法采用H.264算法。

　　總結(jié)

　　最近迅猛發(fā)展的VR(虛擬現(xiàn)實(shí))技術(shù)給新聞、游戲、教育、藝術(shù)、甚至醫(yī)療等眾多領(lǐng)域帶來(lái)了天翻地覆的變化，各大主流媒體大軍紛紛加入VR陣營(yíng)，打造VR全景新聞視頻和VR直播吸引受眾。VR視頻傳輸質(zhì)量深刻影響VR用戶(hù)體驗(yàn)，是VR中至關(guān)重要的技術(shù)之一。VR視頻傳輸具有傳輸數(shù)據(jù)量大的特點(diǎn)，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶(hù)體驗(yàn)與數(shù)據(jù)傳輸時(shí)延密不可分。較大的傳輸時(shí)延會(huì)帶來(lái)較大的頭動(dòng)延時(shí)和較差的用戶(hù)體驗(yàn)。為了降低傳輸延時(shí)，充分利用多路徑的優(yōu)勢(shì)，我們提出了基于自適應(yīng)FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復(fù)丟失的數(shù)據(jù)包以解決重傳帶來(lái)的高時(shí)延問(wèn)題，提高VR用戶(hù)體驗(yàn)，為VR技術(shù)在新聞出版業(yè)中獲得更廣泛的應(yīng)用打下堅(jiān)實(shí)的技術(shù)基礎(chǔ)。