黃金幀編解碼器實(shí)現(xiàn)高質(zhì)量實(shí)時(shí)網(wǎng)絡(luò)視頻
加入技術(shù)交流群
黃金幀 (Golden Frame)
對(duì) On2 TrueMotion 編解碼器的新用戶而言，最令人驚喜的功能之一是黃金幀。就象其它壓縮器一樣，TrueMotion 也保留一個(gè)最新解壓的幀作為當(dāng)前幀的預(yù)測(cè)器。目前的各種編解碼器中，有些保留最后幾個(gè)幀；有些則采用一個(gè)無(wú)序解壓的未來(lái)幀，然后用作預(yù)測(cè)器 (如在 B 幀之前傳輸 P 幀)。TrueMotion 編解碼器和 VP7 則特別改為保留過(guò)去任意一個(gè)解壓數(shù)據(jù)的幀。這種編解碼器能夠更新某個(gè)幀在未來(lái)任一點(diǎn)的任何部分。我們稱這種二級(jí)參考幀為黃金幀，并已發(fā)掘出它的眾多用途。
圖1：On2 VP7的幀類型
注：這些幀類型僅供參考。利用VP7 入門(mén)開(kāi)發(fā)工具包，，用戶可以準(zhǔn)確控制幀何時(shí)使用或更新黃金幀或最后的幀參考緩沖器。
前景影響大
我們發(fā)現(xiàn)黃金幀的第一個(gè)用途是前景和背景視頻的分割。例如，大多數(shù)視頻會(huì)議應(yīng)用中，總是有一個(gè)人在靜態(tài)的背景前面講話。這個(gè)發(fā)言人遮蔽了背景，但隨著他在座位上的移動(dòng)，會(huì)顯露出局部背景。TrueMotion編解碼器利用非移動(dòng)的高質(zhì)模塊來(lái)更新黃金幀，即使前景快速移動(dòng)，也可以保持高質(zhì)量的背景圖像。
丟包恢復(fù)
我們還可以在丟包情況下采用黃金幀。在一般的視頻會(huì)議系統(tǒng)中，接收器在發(fā)現(xiàn)丟包時(shí)，會(huì)用信號(hào)通知發(fā)送者。發(fā)送者一接收到這個(gè)信號(hào)，就會(huì)對(duì)一個(gè)獨(dú)立于前面各幀的幀 (即‘關(guān)鍵幀’) 進(jìn)行編碼來(lái)恢復(fù)。該幀由于必須從頭開(kāi)始編碼，故往往非常大，這會(huì)導(dǎo)致視頻的播放斷斷續(xù)續(xù)。另一種情況是，這是一個(gè)低質(zhì)量的幀，看起來(lái)比周邊的幀要模糊，而且產(chǎn)生視覺(jué)干擾脈沖。
On2 的VP7視頻會(huì)議系統(tǒng)提供一個(gè)更好的選擇方案：發(fā)送者可以發(fā)送一個(gè)只涉及黃金幀的幀。我們稱之為恢復(fù)幀。由于我們不必對(duì)幀從頭開(kāi)始編碼，因此可以獲得一個(gè)質(zhì)量更好而且更小的幀。
VP7恢復(fù)幀
幀0是關(guān)鍵幀
幀1到6都只根據(jù)前一個(gè)幀來(lái)構(gòu)建預(yù)測(cè)器
幀7只以幀0為參考
即使幀1到6中的任一個(gè)丟失了，VP7仍然能夠?qū)?進(jìn)行解碼，因?yàn)樗灰詭?為參考
圖2：利用恢復(fù)幀來(lái)處理丟包問(wèn)題
視頻會(huì)議
多方視頻會(huì)議也可以采用黃金幀。在多方會(huì)議系統(tǒng)中，各個(gè)用戶的連接帶寬都不同。一般的解決方案是把帶寬減小到一個(gè)假定的最小公分母：所有用戶都以最慢的連接都能接收的速度來(lái)收取數(shù)據(jù)。
基于On2 VP7技術(shù)的系統(tǒng)則采用了一種新穎的替代方案。通過(guò)使用黃金幀、普通幀和可拋棄幀，VP7 可獲得四個(gè)級(jí)別的有限時(shí)間可調(diào)性。這意味著我們可以根據(jù)每一方的需要生成不同的比特流 (參見(jiàn)圖3)。這樣，會(huì)議中的高清方就不會(huì)受到較低速連接的影響。最重要的是，這種方案無(wú)需額外的CPU成本。
圖3：采樣時(shí)間可調(diào)性模式和On2 VP7
每一個(gè)比特流都需要較低的幀速率來(lái)解碼。因此，帶寬最低的用戶可以接收 5 fps 的比特流；而帶寬最大的用戶可接收全 30fps。
黃金質(zhì)量
On2 VP7技術(shù)還利用黃金幀來(lái)提高質(zhì)量。在極緩慢地移動(dòng)的鏡頭或變焦中，一個(gè)周期性的高質(zhì)量黃金幀會(huì)恢復(fù)在重復(fù)應(yīng)用環(huán)路濾波器或亞像素運(yùn)動(dòng) (sub-pixel motion) 時(shí)所丟失的細(xì)節(jié)，從而保持圖像的質(zhì)量，而結(jié)果可以相當(dāng)明顯 (見(jiàn)圖4)。在另一些情況下，黃金幀還可作為一個(gè)良好的預(yù)測(cè)器，預(yù)測(cè)屏幕上的某些圖像何時(shí)返回到先前的位置。
評(píng)論