實(shí)時(shí)網(wǎng)絡(luò)視頻設(shè)計(jì)方案

在某個(gè)層面上，On2 科技有限公司 （On2 Technologies） 的 TrueMotion VP7 技術(shù)實(shí)現(xiàn)這一目標(biāo)的方式與其它視頻編解碼器幾乎相同。不過，On2 的VP7技術(shù)卻包含了多項(xiàng)使其與眾不同、脫穎而出的創(chuàng)新性技術(shù)，而且這些技術(shù)目前正在申請(qǐng)專利。

　　黃金幀 （Golden Frame）

　　對(duì) On2 TrueMotion 編解碼器的新用戶而言，最令人驚喜的功能之一是黃金幀。就象其它壓縮器一樣，TrueMotion 也保留一個(gè)最新解壓的幀作為當(dāng)前幀的預(yù)測器。TrueMotion 編解碼器和 VP7 則特別改為保留過去任意一個(gè)解壓數(shù)據(jù)的幀。這種編解碼器能夠更新某個(gè)幀在未來任一點(diǎn)的任何部分。我們稱這種二級(jí)參考幀為黃金幀，并已發(fā)掘出它的眾多用途。

　　數(shù)據(jù)在網(wǎng)絡(luò)上是以很小的稱為幀（Frame）的單位傳輸?shù)?，幀由幾部分組成，不同的部分執(zhí)行不同的功能。幀通過特定的稱為網(wǎng)絡(luò)驅(qū)動(dòng)程序的軟件進(jìn)行成型，然后通過網(wǎng)卡發(fā)送到網(wǎng)線上，通過網(wǎng)線到達(dá)它們的目的機(jī)器，在目的機(jī)器的一端執(zhí)行相反的過程。接收端機(jī)器的以太網(wǎng)卡捕獲到這些幀，并告訴操作系統(tǒng)幀已到達(dá)，然后對(duì)其進(jìn)行存儲(chǔ)。就是在這個(gè)傳輸和接收的過程中，嗅探器會(huì)帶來安全方面的問題 。

　　圖1：On2 VP7的幀類型

　　幀--就是影像動(dòng)畫中最小單位的單幅影像畫面，相當(dāng)于電影膠片上的每一格鏡頭。 一幀就是一副靜止的畫面，連續(xù)的幀就形成動(dòng)畫，如電視圖象等。 我們通常說幀數(shù)，簡單地說，就是在1秒鐘時(shí)間里傳輸?shù)膱D片的幀數(shù)，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps（Frames Per Second）表示。每一幀都是靜止的圖象，快速連續(xù)地顯示幀便形成了運(yùn)動(dòng)的假象。高的幀率可以得到更流暢、更逼真的動(dòng)畫。每秒鐘幀數(shù) （fps） 愈多，所顯示的動(dòng)作就會(huì)愈流暢。 　　關(guān)鍵幀--任何動(dòng)畫要表現(xiàn)運(yùn)動(dòng)或變化，至少前后要給出兩個(gè)不同的關(guān)鍵狀態(tài)，而中間狀態(tài)的變化和銜接電腦可以自動(dòng)完成，在Flash中，表示關(guān)鍵狀態(tài)的幀叫做關(guān)鍵幀。

　　注：這些幀類型僅供參考。利用 VP7 入門開發(fā)工具包，用戶可以準(zhǔn)確控制幀何時(shí)使用或更新黃金幀或最后的幀參考緩沖器。

　　前景影響大

　　我們發(fā)現(xiàn)黃金幀的第一個(gè)用途是前景和背景視頻的分割。例如，大多數(shù)視頻會(huì)議應(yīng)用中，總是有一個(gè)人在靜態(tài)的背景前面講話。這個(gè)發(fā)言人遮蔽了背景，但隨著他在座位上的移動(dòng)，會(huì)顯露出局部背景。TrueMotion編解碼器利用非移動(dòng)的高質(zhì)模塊來更新黃金幀，即使前景快速移動(dòng)，也可以保持高質(zhì)量的背景圖像。

　　丟包恢復(fù)

　　我們還可以在丟包情況下采用黃金幀。在一般的視頻會(huì)議系統(tǒng)中，接收器在發(fā)現(xiàn)丟包時(shí)，會(huì)用信號(hào)通知發(fā)送者。發(fā)送者一接收到這個(gè)信號(hào)，就會(huì)對(duì)一個(gè)獨(dú)立于前面各幀的幀 （即‘關(guān)鍵幀’） 進(jìn)行編碼來恢復(fù)。該幀由于必須從頭開始編碼，故往往非常大，這會(huì)導(dǎo)致視頻的播放斷斷續(xù)續(xù)。另一種情況是，這是一個(gè)低質(zhì)量的幀，看起來比周邊的幀要模糊，而且產(chǎn)生視覺干擾脈沖。

　　VP7恢復(fù)幀

　　幀0是關(guān)鍵幀

　　幀1到6都只根據(jù)前一個(gè)幀來構(gòu)建預(yù)測器

　　幀7只以幀0為參考

　　即使幀1到6中的任一個(gè)丟失了，VP7仍然能夠?qū)?進(jìn)行解碼，因?yàn)樗灰詭?為參考

　　圖2：利用恢復(fù)幀來處理丟包問題

　　視頻會(huì)議

　　電視會(huì)議是用電視和電話在兩個(gè)或多個(gè)地點(diǎn)的用戶之間舉行會(huì)議，實(shí)時(shí)傳送聲音、圖像的通信方式。它同時(shí)還可以附加靜止圖像、文件、傳真等信號(hào)的傳送。參加電視會(huì)議的人，可以通過電視發(fā)表意見，同時(shí)觀察對(duì)方的形象、動(dòng)作、表情等，并能出示實(shí)物、圖紙、文件等實(shí)拍的電視圖像或者顯示在黑板、白板上寫的字和畫的圖，使在不財(cái)點(diǎn)參加會(huì)議的人感到如同和對(duì)方進(jìn)行“面對(duì)面”的交談，在效果上可以代替現(xiàn)場舉行的會(huì)議。

　　多方視頻會(huì)議也可以采用黃金幀。在多方會(huì)議系統(tǒng)中，各個(gè)用戶的連接帶寬都不同。一般的解決方案是把帶寬減小到一個(gè)假定的最小公分母：所有用戶都以最慢的連接都能接收的速度來收取數(shù)據(jù)。

　　基于On2 VP7技術(shù)的系統(tǒng)則采用了一種新穎的替代方案。通過使用黃金幀、普通幀和可拋棄幀，VP7 可獲得四個(gè)級(jí)別的有限時(shí)間可調(diào)性。這意味著我們可以根據(jù)每一方的需要生成不同的比特流 （參見圖3）。這樣，會(huì)議中的高清方就不會(huì)受到較低速連接的影響。最重要的是，這種方案無需額外的CPU成本。

　　圖3：采樣時(shí)間可調(diào)性模式和On2 VP7