H.264/AVC解碼器運(yùn)動(dòng)矢量預(yù)測(cè)模塊設(shè)計(jì)與應(yīng)用

H.264/AVC支持3種圖像編碼模式：幀模式、場(chǎng)模式和宏塊自適應(yīng)幀場(chǎng)(MBAFF)模式。在幀模式下，1幅圖像被劃分成由16×16宏塊組成的幀;H.264是一種高性能的視頻編解碼技術(shù)。目前國(guó)際上制定視頻編解碼技術(shù)的組織有兩個(gè)，一個(gè)是“國(guó)際電聯(lián)(ITU-T)”，它制定的標(biāo)準(zhǔn)有H.261、H.263、H.263+等，另一個(gè)是“國(guó)際標(biāo)準(zhǔn)化組織(ISO)”它制定的標(biāo)準(zhǔn)有MPEG-1、MPEG-2、MPEG-4等。H.264最大的優(yōu)勢(shì)是具有很高的數(shù)據(jù)壓縮比率，在同等圖像質(zhì)量的條件下，H.264的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。本文將探討在解碼的過(guò)程中MBAFF模式在P幀和B幀的幀間預(yù)測(cè)算法和硬件設(shè)計(jì)。

1 幀間預(yù)測(cè)技術(shù)

幀間預(yù)測(cè)是利用視頻圖像幀間的相關(guān)性，即時(shí)間相關(guān)性，來(lái)達(dá)到圖像壓縮的目的，廣泛用于普通電視、會(huì)議電視、視頻電話(huà)、高清晰度電視的壓縮編碼。在圖像傳輸技術(shù)中，活動(dòng)圖像特別是電視圖像是關(guān)注的主要對(duì)象?；顒?dòng)圖像是由時(shí)間上以幀周期為間隔的連續(xù)圖像幀組成的時(shí)間圖像序列，它在時(shí)間上比在空間上具有更大的相關(guān)性。大多數(shù)電視圖像相鄰幀間細(xì)節(jié)變化是很小的，即視頻圖像幀間具有很強(qiáng)的相關(guān)性，利用幀所具有的相關(guān)性的特點(diǎn)進(jìn)行幀間編碼，可獲得比幀內(nèi)編碼高得多的壓縮比。在解碼時(shí)，解碼器只需要采用同樣的算法先預(yù)測(cè)出運(yùn)動(dòng)矢量的預(yù)測(cè)值MVp，而后將其與殘差MVd相加便可以恢復(fù)出運(yùn)動(dòng)矢量的實(shí)際值MV[1]供運(yùn)動(dòng)補(bǔ)償使用。MVp[1]取決于運(yùn)動(dòng)補(bǔ)償?shù)某叽绾袜徑麺V的有無(wú)。

在幀間預(yù)測(cè)模式下，宏塊有16×16、16×8、8×16、8×8、8×4、4×8、4×4這7種運(yùn)動(dòng)矢量的分割方法。為方便描述，把參考宏塊相應(yīng)分割的運(yùn)動(dòng)矢量命名為MVLXN[2]，參考索引命名為refIdxLXN，當(dāng)前宏塊分割的運(yùn)動(dòng)矢量MVpLX[2]就是通過(guò)MVLXN和refIdxLXN預(yù)測(cè)得到的。圖1所示為非MBAFF模式時(shí)當(dāng)前宏塊分割為16×16的情況，E為當(dāng)前宏塊或宏塊分割，A、B、C分別為E的左、上、右上方的3個(gè)相對(duì)應(yīng)分割塊。因?yàn)槿搜蹖?duì)圖像中靜止或活動(dòng)慢的部分，要求有較高的空間分辨率，而對(duì)時(shí)間分辨率的要求可低些。這種方法叫幀重復(fù)方法，廣泛應(yīng)用于視頻電話(huà)、視頻會(huì)議系統(tǒng)中，其圖像幀速率一般為1~15幀/秒。

1.1 預(yù)測(cè)運(yùn)動(dòng)矢量MVp的計(jì)算

在宏塊分割為16×16、8×8、8×4、4×8和4×4時(shí)，運(yùn)動(dòng)矢量的預(yù)測(cè)值是由參考宏塊分割A(yù)、B、C的運(yùn)動(dòng)矢量計(jì)算得到的：

(1)如果分割B和C不可用，而分割A(yù)可用，則會(huì)對(duì)MVLXB、MVLXC、refIdxLXB、refIdxLXC重新賦值：MVLXB=‘MVLXA、MVLXC=MVLXA、refIdxLXB=refIdxLXA、refIdx-LXC=refIdxLXA。

(2)根據(jù)refIdxLXA、refIdxLXB和refIdxLXC的取值計(jì)算mvpLX：

①如果分割A(yù)、B、C的參考索引refIdxLXA、 refIdxLXB或refIdxLXC中的一個(gè)等于當(dāng)前分割的索引號(hào)refIdxLX，則當(dāng)前分割的矢量預(yù)測(cè)值由相應(yīng)分割的運(yùn)動(dòng)矢量得到：MVpLX=mvLXN。

②如果分割A(yù)、B、C的參考索引refIdxLXA、 refIdxLXB或refIdxLXC都不等于當(dāng)前分割的索引號(hào)refIdxLX，則通過(guò)取A、B、C的運(yùn)動(dòng)矢量中值得到：

MVpLX[0]=Median(MVLXA[0]，MVLXB[0]，MVLXC[0])

MVpLX[1]=Median(MVLXA[1]，MVLXB[1]，MVLXC[1])

運(yùn)動(dòng)矢量的預(yù)測(cè)在當(dāng)前宏塊分割為16×8和8×16的時(shí)候會(huì)先做如下的判斷，如果不滿(mǎn)足則通過(guò)上述取中值的方法得到預(yù)測(cè)值：

(1)對(duì)于1個(gè)宏塊被分割成2個(gè)16×8子宏塊的情況

①計(jì)算mbPartIdx等于0的子宏塊如圖2(a)所示。如果refIdxLXB等于當(dāng)前分割的refIdxLX，則當(dāng)前塊的矢量預(yù)測(cè)值由B宏塊的相應(yīng)分割的矢量得到：MVpLX= MVLXB。

②計(jì)算mbPartIdx等于1的子宏塊如圖2所示，如果refIdxLXA等于當(dāng)前分割的refIdxLX，則當(dāng)前塊的矢量預(yù)測(cè)值由A宏塊的相應(yīng)分割的矢量得到：MVpLX=MVLXA。

(2)對(duì)于1個(gè)宏塊被分割成2個(gè)8×16子宏塊的情況：

①計(jì)算mbPartIdx等于0的子宏塊如圖2(b)所示。如果refIdxLXA等于當(dāng)前分割的refIdxLX，則當(dāng)前塊的矢量預(yù)測(cè)值由B宏塊的相應(yīng)分割的矢量得到：MVpLX=MVLXA。

②計(jì)算mbPartIdx等于1的子宏塊如圖2(b)所示，如果refIdxLXC等于當(dāng)前分割的refIdxLX，則當(dāng)前塊的矢量預(yù)測(cè)值由C宏塊的相應(yīng)分割的矢量得到：MVpLX=MVLXC。

1.2 參考宏塊分割的運(yùn)動(dòng)矢量MVLXN和參考索引refIdxLXN的計(jì)算

在計(jì)算參考宏塊分割A(yù)、B、C的運(yùn)動(dòng)矢量MVLXN和參考索引refIdxLXN之前，應(yīng)先檢測(cè)分割C是否可用，如果C不可用，則用分割D的信息代替。A、B、C的運(yùn)動(dòng)矢量MVLXN和參考索引refIdxLXN的計(jì)算：

(1)如果宏塊mbAddrN不可用或者宏塊mbAddrN為幀內(nèi)編碼，或者mbAddrN相應(yīng)分割或者子宏塊分割的predFlagLX等于0，則對(duì)MVLXN置0，對(duì)refIdxLXN置-1。

(2)MVLXN為mbAddrN相應(yīng)宏塊分割或者子宏塊分割的運(yùn)動(dòng)矢量，refIdxLXN為mbAddrN相應(yīng)宏塊分割的參考索引值：

MVLXN=MvLX[mbPartIdxN][subMbPartIdxN]

refIdxLXN=RefIdxLX[mbPartIdxN]

(3)在MBAFF模式時(shí)，需要對(duì)MVLXN和refIdxLXN再做1次計(jì)算：

①如果當(dāng)前宏塊為場(chǎng)宏塊，而mbAddrN為幀宏塊，則：

MVLXN[1]=MVLXN[1]/2

refIdxLXN=refIdxLXN×2

②如果當(dāng)前宏塊為幀宏塊，而mbAddrN為場(chǎng)宏塊，則：

MVLXN[1]=MVLXN[1]×2

refIdxLXN=refIdxLXN/2

1.3 空間相鄰參考宏塊分割的選擇

在非MBAFF模式時(shí)，當(dāng)前宏塊的空間相鄰宏塊地址A、B、C、D的位置如圖3所示?？臻g參考宏塊mbAddrN可以是MbAddrA、MbAddrB、MbAddrC、MbAddrD或者CurrMbAddr。

在MBAFF模式時(shí)，當(dāng)前宏塊的空間相鄰宏塊地址A、B、C、D的位置如圖4所示。此時(shí)會(huì)根據(jù)當(dāng)前宏塊是幀宏塊或者場(chǎng)宏塊currMbFrameFlag以及當(dāng)前宏塊是頂宏塊或者底宏塊mbIsTopMbFlag來(lái)計(jì)算1個(gè)中間值mbAddrX，并根據(jù)mbAddrX的幀場(chǎng)信息mbAddrXFrameFlag來(lái)得到最終的參考宏塊MbAddrN。參考宏塊mbAddrN可以是MbAddrA、MbAddrA+1、MbAddrB、MbAddrB+1、MbAddrC、MbAddrC+1、MbAddrD、MbAddrD+1、CurrMbAddr或者CurrMbAddr-1。

1.4 運(yùn)動(dòng)矢量預(yù)測(cè)所需數(shù)據(jù)的組織

運(yùn)動(dòng)矢量的預(yù)測(cè)需要當(dāng)前分割的左邊、上邊、左上和右上相應(yīng)分割的MVLXN和refIdxLXN信息來(lái)計(jì)算得到當(dāng)前分割的MVLX。1個(gè)宏塊需要存儲(chǔ)16個(gè)block的運(yùn)動(dòng)矢量MVLX和參考索引refIdxLX，當(dāng)采用其他分割類(lèi)型時(shí)，每個(gè)分割內(nèi)所有block的運(yùn)動(dòng)矢量和參考索引為相同值。

幀間預(yù)測(cè)按照block存儲(chǔ)和使用數(shù)據(jù)。當(dāng)前宏塊分割的運(yùn)動(dòng)矢量和參考索引需要按照block來(lái)存儲(chǔ)以用于后面宏塊的預(yù)測(cè)。每個(gè)分割內(nèi)所有block的運(yùn)動(dòng)矢量和參考索引為相同值，所以參考分割的MVLXN和refIdxLXN的引用也可以按照block來(lái)進(jìn)行。

因?yàn)橥环指顑?nèi)所有block的運(yùn)動(dòng)矢量和參考索引為相同值，因此，參考分割的MVLXN和refIdx-LXN也就是參考宏塊相應(yīng)的block的MVLX和refIdx-LX。圖5(a)~(d)分別表明了當(dāng)前宏塊采用不同劃分時(shí)A、B、C、D 4個(gè)參考?jí)K的取值情況。在預(yù)測(cè)時(shí)一般選取A、B、C塊對(duì)當(dāng)前的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)，當(dāng)C不可用時(shí)則選用A、B、D進(jìn)行預(yù)測(cè)。在MBAFF模式時(shí)，由于參考宏塊的位置不同會(huì)作相應(yīng)變化。H.264為了提高碼率控制的能力，量化步長(zhǎng)的變化的幅度控制在12.5%左右，而不是以不變的增幅變化。變換系數(shù)幅度的歸一化被放在反量化過(guò)程中處理以減少計(jì)算的復(fù)雜性。為了強(qiáng)調(diào)彩色的逼真性，對(duì)色度系數(shù)采用了較小量化步長(zhǎng)。2 直接預(yù)測(cè)模式和硬件設(shè)計(jì)

H.264/AVC對(duì)運(yùn)動(dòng)矢量的重建引入了直接預(yù)測(cè)模式，在該模式下運(yùn)動(dòng)矢量殘差沒(méi)有被傳送，只有宏塊的預(yù)測(cè)模式會(huì)被傳送。解碼器根據(jù)預(yù)測(cè)模式以及其余宏塊的信息對(duì)當(dāng)前的運(yùn)動(dòng)矢量進(jìn)行恢復(fù)。運(yùn)動(dòng)矢量的重建流程如圖6所示。在直接預(yù)測(cè)模式下，H.264分別采用3種不同的方式對(duì)運(yùn)動(dòng)矢量進(jìn)行重建。

在先前的H.26x系列和MPEG-x系列標(biāo)準(zhǔn)中，都是采用的幀間預(yù)測(cè)的方式。在H.264中，當(dāng)編碼Intra圖像時(shí)可用幀內(nèi)預(yù)測(cè)。對(duì)于每個(gè)4×4塊(除了邊緣塊特別處置以外)，每個(gè)像素都可用17個(gè)最接近的先前已編碼的像素的不同加權(quán)和(有的權(quán)值可為0)來(lái)預(yù)測(cè)，即此像素所在塊的左上角的17個(gè)像素。顯然，這種幀內(nèi)預(yù)測(cè)不是在時(shí)間上，而是在空間域上進(jìn)行的預(yù)測(cè)編碼算法，可以除去相鄰塊之間的空間冗余度，取得更為有效的壓縮。

(1)復(fù)制模式。在P類(lèi)型的宏塊中，利用空間上相鄰分割的運(yùn)動(dòng)矢量對(duì)當(dāng)前的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)。

(2)空間模式。在B類(lèi)型的宏塊中，利用空間上相鄰分割的運(yùn)動(dòng)矢量對(duì)當(dāng)前的運(yùn)動(dòng)矢量進(jìn)行預(yù)測(cè)。

(3)時(shí)間模式。在B類(lèi)型的宏塊中，通過(guò)將時(shí)間上相鄰而且在空間上位置相同的8×8分割的運(yùn)動(dòng)矢量進(jìn)行重量化來(lái)預(yù)測(cè)出當(dāng)前的運(yùn)動(dòng)矢量。

其中復(fù)制模式和空間模式在算法上具有一定的相似性，差別在于復(fù)制模式只需要重建1個(gè)方向的運(yùn)動(dòng)矢量，而空間模式需要重建雙向的運(yùn)動(dòng)矢量。

2.1 空間模式及復(fù)制模式重建算法和硬件設(shè)計(jì)

在這2種模式下：(1)宏塊只能劃分成1個(gè)16×16分割或者4個(gè)8×8分割。在劃分成4個(gè)8×8時(shí)，每1個(gè)8×8分割可以獨(dú)立地被設(shè)置成直接模式或者ReadMV模式;(2)計(jì)算當(dāng)前的運(yùn)動(dòng)矢量需要借助在空間上相鄰分割的運(yùn)動(dòng)矢量來(lái)對(duì)當(dāng)前分割的運(yùn)動(dòng)矢量進(jìn)行重建。此時(shí)運(yùn)動(dòng)矢量的預(yù)測(cè)算法與前面介紹的預(yù)測(cè)運(yùn)動(dòng)矢量的算法基本相同，所不同的是此時(shí)宏塊中的任意1個(gè)分割預(yù)測(cè)時(shí)所使用的相鄰塊信息均由圖7所示的A、B、C、D 4個(gè)塊預(yù)測(cè)。

Direct 8×8用A、B、C、D 4個(gè)塊進(jìn)行預(yù)測(cè)。預(yù)測(cè)的基本算法流程如圖8所示。由圖可見(jiàn)，在預(yù)測(cè)時(shí)首先檢測(cè)參考?jí)KC是否可用，如不可用，則C塊的參數(shù)用D塊的參數(shù)代替;而后利用A、B