H.264視頻解碼芯片中視頻控制器的設(shè)計(jì)

引言

h.264是itu-tvceg組織和iso/iec mpeg組織共同研究的新型視頻壓縮標(biāo)準(zhǔn)，相比其他視頻壓縮算法，具有壓縮比高、算法復(fù)雜的特點(diǎn)。由于編碼算法的復(fù)雜性，系統(tǒng)對(duì)圖像解碼速度和功耗要求非常嚴(yán)格，因此，在設(shè)計(jì)解碼器時(shí)采用了h.264解碼專用芯片的設(shè)計(jì)方案。對(duì)一個(gè)大的設(shè)計(jì)項(xiàng)目，一般采用由頂向下(top-dowm)的設(shè)計(jì)方法，把各功能模塊劃分為子模塊。視頻控制器模塊是芯片與顯示平臺(tái)的數(shù)據(jù)接口，對(duì)檢驗(yàn)芯片設(shè)計(jì)是否成功起著重要的作用，有必要把它單獨(dú)劃分為一個(gè)子模塊。為了提高設(shè)計(jì)的成功率，在設(shè)計(jì)初期采用了基于fpga的原型驗(yàn)證。整個(gè)系統(tǒng)的fpga原型驗(yàn)證平臺(tái)如圖l所示，平臺(tái)分為2個(gè)部分，硬件設(shè)計(jì)和基于risc cpu的軟件解碼，兩部分協(xié)同工作，既可以驗(yàn)證軟件和硬件的解碼結(jié)果，又可以加速整個(gè)解碼過程。

視頻控制模塊的設(shè)計(jì)與實(shí)現(xiàn)

視頻控制模塊原理框圖及功能分析

輸出視頻控制模塊的結(jié)構(gòu)框圖如圖2所示，本模塊有2個(gè)時(shí)鐘域：系統(tǒng)時(shí)鐘域和顯示時(shí)鐘域。系統(tǒng)時(shí)鐘頻率根據(jù)所選用的sdram類型而采用固定的166mhz；對(duì)于分辨率為1280×720的高清電視來說，顯示時(shí)鐘域可以選用70mhz左右的頻率。

系統(tǒng)時(shí)鐘域含有2個(gè)對(duì)外接口：系統(tǒng)接口，主要包含上層系統(tǒng)發(fā)出的指令以及輸出控制模塊的反饋信息；dram接口，包含數(shù)據(jù)專用總線為輸出控制模塊提供的信號(hào)，用來于向dram請(qǐng)求顯示的圖像數(shù)據(jù)。

系統(tǒng)時(shí)鐘域中的顯示輸入控制子模塊(disp in ctrl)首先用于接收系統(tǒng)傳來的startdisp和enddisp信號(hào)，來啟動(dòng)或關(guān)閉視頻數(shù)據(jù)的輸出顯示功能，同時(shí)發(fā)出幀圖像顯示完畢信號(hào)(framedone)，通知系統(tǒng)更換下一副圖像的地址信息(image address)；其次，它用于向dram發(fā)出請(qǐng)求，通過專用數(shù)據(jù)通道讀取需要顯示的圖像數(shù)據(jù)；它還要控制輸入多路選擇模塊(input mux)，從而完成向片內(nèi)sram寫數(shù)據(jù)的任務(wù)；最后，該模塊要與顯示時(shí)鐘域的信息交互，向時(shí)鐘域同步模塊(clk domain sync)發(fā)送顯示使能信號(hào)(dispen sys)，控制圖像顯示的開啟和關(guān)閉。系統(tǒng)時(shí)鐘域的另一個(gè)子模塊--輸入多路選擇模塊會(huì)按照一定的規(guī)律選擇片內(nèi)雙口sram，控制存儲(chǔ)器地址，完成向存儲(chǔ)器寫入顯示圖像數(shù)據(jù)的任務(wù)。

顯示時(shí)鐘域含有一個(gè)對(duì)外顯示設(shè)備接口，主要包含用于顯示的控制信號(hào)和已完成轉(zhuǎn)換的數(shù)據(jù)信息。顯示時(shí)鐘域包含2個(gè)子模塊，一個(gè)是輸出多路選擇子模塊(output mux)，用于實(shí)現(xiàn)對(duì)雙口sram的選擇和地址控制，按照一定的規(guī)律讀取要顯示的圖像數(shù)據(jù)；還要進(jìn)行數(shù)據(jù)的打包。另外一個(gè)子模塊是顯示輸出控制模塊(disp out ctrl)，用于實(shí)現(xiàn)對(duì)tv編碼器的控制、yuv
信號(hào)向rgb信號(hào)的轉(zhuǎn)換以及對(duì)數(shù)字圖像的縮放，信號(hào)包括顯示時(shí)鐘、行同步、幀同步以及rgb圖像數(shù)據(jù)等；它還要控制輸出多路選擇模塊以讀取顯示數(shù)據(jù)；最后，它要與系統(tǒng)時(shí)鐘域進(jìn)行交互，配合數(shù)據(jù)在兩個(gè)時(shí)鐘域之間的傳遞。

視頻控制模塊采用的特殊技術(shù)

時(shí)鐘域同步模塊是輸出控制模塊設(shè)計(jì)的重點(diǎn)，它主要負(fù)責(zé)兩個(gè)時(shí)鐘域之間的控制信號(hào)傳遞?？鐣r(shí)鐘域的信號(hào)傳遞設(shè)計(jì)較為麻煩，所以設(shè)計(jì)中將傳遞的信號(hào)分為兩類：數(shù)據(jù)信號(hào)和控制信號(hào)，其中控制信號(hào)就是通過時(shí)鐘域同步模塊傳遞。對(duì)需要跨時(shí)鐘域傳遞的信號(hào)數(shù)進(jìn)行精簡(jiǎn)，在最后方案中只需要2個(gè)信號(hào)：wrdone信號(hào)由系統(tǒng)時(shí)鐘域發(fā)出，通知顯示時(shí)鐘域某塊雙口sram中的數(shù)據(jù)已經(jīng)更新完畢，可以讀取并進(jìn)行顯示輸出；rddone信號(hào)由顯示時(shí)鐘域發(fā)出，通知系統(tǒng)時(shí)鐘域某塊雙口sram中的數(shù)據(jù)已經(jīng)顯示完畢，可以更新其內(nèi)部的數(shù)據(jù)。信號(hào)在不同的時(shí)鐘域之間傳遞需要采取消除亞穩(wěn)態(tài)(metastability)的處理措施，可使信號(hào)通過兩級(jí)寄存器鎖存輸出，如圖3所示。

設(shè)計(jì)中有兩點(diǎn)值得注意，首先，時(shí)鐘域同步電路應(yīng)放在一個(gè)獨(dú)立的模塊中，保證綜合工具的優(yōu)化、時(shí)序分析的正確，并方便電路的分析和調(diào)試；同時(shí)，為了能夠使信號(hào)的目標(biāo)時(shí)鐘域采集到信號(hào)變化，設(shè)計(jì)中傳遞的控制信號(hào)都采用電平信號(hào)表征。

時(shí)鐘域之間要傳遞的另一種信號(hào)是數(shù)據(jù)信號(hào)，由于數(shù)據(jù)信號(hào)數(shù)目較多、變化也較快，所以它們的傳遞通過雙口dpram實(shí)現(xiàn)。雙口dpram要求讀寫端口對(duì)同一存儲(chǔ)地址的操作要滿足一定的時(shí)間間隔，否則會(huì)出現(xiàn)數(shù)據(jù)傳輸錯(cuò)誤，甚至?xí)茐挠布娐?。因此為了避免dpram的讀寫沖突，設(shè)計(jì)中采用了"乒乓"緩沖的方法，兩塊dpram交替存取解碼后用于顯示的亮度或色差數(shù)據(jù)：當(dāng)顯示部分讀取一塊dpram中的數(shù)據(jù)時(shí)，系統(tǒng)向另一塊dpram中寫接下來要顯示的數(shù)據(jù)，數(shù)據(jù)讀取完畢時(shí)，兩塊dpram就進(jìn)行交換。這部分共用4塊dpram來實(shí)現(xiàn)，2塊傳遞亮度信號(hào)，2塊傳遞色差信號(hào)。

下面分析在視頻控制器顯示輸出子模塊中運(yùn)用到的格式轉(zhuǎn)換算法、圖像縮放處理算法以及它們的硬件實(shí)現(xiàn)。

顯示數(shù)據(jù)格式轉(zhuǎn)換分析

根據(jù)sil 164 dvi信號(hào)編碼芯片資料，同時(shí)參考h.264視頻編碼標(biāo)準(zhǔn)中給出的yuv→rgb轉(zhuǎn)換格式，故在設(shè)計(jì)中采用的固定轉(zhuǎn)換算法如下式所示：

上式經(jīng)過定點(diǎn)化處理，使用移位和相加的方法實(shí)現(xiàn)了轉(zhuǎn)換，如下式所示：

在硬件設(shè)計(jì)中的yuv、rgb信號(hào)都是用8位無(wú)符號(hào)數(shù)表示，中間變量采用12位保證精度。最后要在0～255的范圍內(nèi)對(duì)計(jì)算出的rgb結(jié)果進(jìn)行剪裁處理，式中的冪指數(shù)和除法運(yùn)算都通過移位來實(shí)現(xiàn)。

數(shù)字圖像縮放的算法分析

對(duì)于一幅分辨率為m×n的原始圖像，其所有采樣點(diǎn)的yuv值可以用m×n階矩陣表示為：

像素點(diǎn)用f(m，n)表示，其中0≤m≤m，0≤n＜n。對(duì)一幅數(shù)字圖像進(jìn)行縮放，其實(shí)質(zhì)就是對(duì)一幅數(shù)字圖像進(jìn)行重采樣，假定對(duì)原始數(shù)字圖像高和寬進(jìn)行縮放的縮放倍數(shù)分別為s1和s2，那么根據(jù)奈奎斯特采樣定律，應(yīng)該用新的水平與垂直采樣周期 對(duì)原數(shù)字圖像進(jìn)行重采樣。得到經(jīng)過縮放的數(shù)字圖像f(m，n)：

由上式可知，經(jīng)過縮放的數(shù)字圖像中的每一個(gè)重構(gòu)像素f(m，n)就是原來數(shù)字圖像各個(gè)像素的加權(quán)和。若采用該式直接進(jìn)行硬件設(shè)計(jì)，計(jì)算量會(huì)非常大。為了簡(jiǎn)化設(shè)計(jì)難度，節(jié)省芯片成本，可以在對(duì)圖像品質(zhì)影響不大的基礎(chǔ)上對(duì)上式進(jìn)行簡(jiǎn)化。重構(gòu)后的圖像像素值主要取決于兩個(gè)抽樣函數(shù)乘積的值。在實(shí)際中只采用

的值等于l的點(diǎn)，即滿足nt/s1=mt,nt/s2=nt的點(diǎn)。進(jìn)一步簡(jiǎn)化，可以取m=[m·s1]，n=[n·s2]，表示對(duì)數(shù)按四舍五入取整，得到簡(jiǎn)化表達(dá)式：f(m，n)=f(m，n)。

數(shù)字圖像格式轉(zhuǎn)換與縮放的硬件實(shí)現(xiàn) 設(shè)計(jì)本項(xiàng)目的時(shí)候，顯示設(shè)備采用分辨率為1280×720的高清晰度電視機(jī)，輸出到高清晰度電視機(jī)顯示時(shí)采用圖像中心對(duì)齊的方式。當(dāng)把解碼好的數(shù)字圖像數(shù)據(jù)送到高清晰度電視顯示時(shí)，如果不經(jīng)過圖像縮放處理，那么顯示屏幕中間放解碼好的數(shù)字圖像，其他的地方用黑色填充。在進(jìn)行縮放處理時(shí)，遵循上面的規(guī)律。先把視頻控制器輸出模塊前端按照逐行掃描排列好送來的數(shù)據(jù)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，再把不為零(即不為黑色)的像素?cái)?shù)每幀和逐行掃描規(guī)律輪流放到同樣大小的片內(nèi)緩存ram中，如圖4所示。

其工作方式與前面的dpram相同，讀取ram1或ram2中數(shù)據(jù)的地址后，可以通過地址譯碼器得到該點(diǎn)像素值的行列地址，即得到m、n的值。把m、n值送到圖像縮放處理單元，通過縮放處理得到新的圖像數(shù)據(jù)和新的圖像數(shù)據(jù)地址，再通過寫地址譯碼器得到在輸出ram3中按照逐行掃描格式輸出的地址，該地址用來存放格式轉(zhuǎn)換后的數(shù)據(jù)。最后，從存儲(chǔ)轉(zhuǎn)換數(shù)據(jù)的ram3中可以直接輸出顯示所需要的rgb數(shù)據(jù)。

結(jié)語(yǔ)

設(shè)計(jì)完成后，此視頻控制器模塊經(jīng)綜合工具synplify 7.6綜合，可以得到80.3mhz的工作頻率。與前端的解碼模塊一起下載到xilinx公司的virtex-ii 6000型fpga中，并將其集成入h.264視頻解碼驗(yàn)證平臺(tái)上，工作頻率可達(dá)34mhz，在高清晰度電視上播放圖像時(shí)效果較好。