基于多核媒體處理器，靈活實(shí)施HD視頻轉(zhuǎn)碼標(biāo)準(zhǔn)戰(zhàn)略

電信行業(yè)內(nèi)真正有趣的玩笑很少，不過(guò)有一條卻以其諷刺性的幽默讓人聽(tīng)后不禁莞爾：關(guān)于標(biāo)準(zhǔn)最大的好處，就是有如此多的標(biāo)準(zhǔn)可供人們選擇。這句話不僅適用于視頻領(lǐng)域，通信、傳輸系統(tǒng)以及技術(shù)接口等領(lǐng)域亦是如此。

本文首先會(huì)簡(jiǎn)要介紹一些最常用的視頻標(biāo)準(zhǔn)，然后討論諸如LSI等芯片制造商們所采用的多內(nèi)核且基于媒體處理器的靈活方法。LSI在面向語(yǔ)音/視頻媒體網(wǎng)關(guān)市場(chǎng)開(kāi)發(fā)產(chǎn)品方面積累了豐富的行業(yè)經(jīng)驗(yàn)，包括借助新一代媒體網(wǎng)關(guān)提供針對(duì)任意設(shè)備間視頻通信和實(shí)時(shí)協(xié)作應(yīng)用的可擴(kuò)展的產(chǎn)品系列。

奠定基礎(chǔ)

過(guò)去十年來(lái)，視頻的重要性一直在與日俱增。消費(fèi)廣告形式的轉(zhuǎn)變是其中第一個(gè)也可能是最重要的促進(jìn)因素。不過(guò)從目前來(lái)看，電視的收視率已經(jīng)下降到了歷史最低點(diǎn)，電視廣告的效果和影響力出現(xiàn)了下滑，然而廣告費(fèi)用卻始終居高不下。因此，廣告商正著力為其廣告開(kāi)支尋找新的流向，其中最受廣告商青睞的一個(gè)方向，就是蓬勃發(fā)展的在線視頻點(diǎn)播。

這種變化的原因顯而易見(jiàn)。因?yàn)樾畔⒖梢詫?shí)現(xiàn)極其精細(xì)的傳輸，而且成本遠(yuǎn)遠(yuǎn)低于傳統(tǒng)方法，所以將視頻作為一種基于網(wǎng)絡(luò)的應(yīng)用(借助互聯(lián)網(wǎng))，其大受歡迎也就不足為奇了。此外，無(wú)處不在的寬帶、現(xiàn)代個(gè)人電腦的強(qiáng)大功能以及多媒體內(nèi)容涌現(xiàn)出的驚人廣度、深度與豐富性也為視頻的逐步流行助了一臂之力。

受到市場(chǎng)追捧的任何新興技術(shù)同時(shí)也都會(huì)促進(jìn)創(chuàng)新，進(jìn)而轉(zhuǎn)化為產(chǎn)品和服務(wù)的差異化、對(duì)爭(zhēng)做第一的追求以及消費(fèi)成本的降低。但創(chuàng)新以及對(duì)獨(dú)樹(shù)一幟的追求往往會(huì)導(dǎo)致為滿足市場(chǎng)需求而各自為政，同時(shí)也不可避免地導(dǎo)致產(chǎn)品互不兼容。這種不兼容性會(huì)減緩市場(chǎng)發(fā)展，因?yàn)橛脩魮?dān)心選擇的產(chǎn)品或服務(wù)最后會(huì)走上錯(cuò)誤的技術(shù)路線。

標(biāo)準(zhǔn)化機(jī)構(gòu)有責(zé)任協(xié)調(diào)開(kāi)發(fā)商所采納的不同方案。平衡是解決問(wèn)題的關(guān)鍵所在。標(biāo)準(zhǔn)化組織必須制定“為產(chǎn)品開(kāi)發(fā)提供統(tǒng)一方案”的建議，同時(shí)為實(shí)施闡釋留出足夠的空間，以避免創(chuàng)新陷入僵化和畫(huà)地為牢的境地。

當(dāng)前大多數(shù)視頻標(biāo)準(zhǔn)均是由國(guó)際電聯(lián)(ITU)與動(dòng)態(tài)圖像專家組(MPEG)這兩個(gè)機(jī)構(gòu)制定。ITU 從傳輸視頻流的網(wǎng)絡(luò)角度制定標(biāo)準(zhǔn)，而MPEG則是從所傳輸?shù)漠a(chǎn)品角度來(lái)制定標(biāo)準(zhǔn)。二者均得到了廣泛應(yīng)用且具有良好的兼容性。

ITU 標(biāo)準(zhǔn)

ITU發(fā)布的視頻標(biāo)準(zhǔn)位于相關(guān)標(biāo)準(zhǔn)的‘H’卷，包括H.261、H.263與H.264等。本節(jié)將對(duì)上述標(biāo)準(zhǔn)進(jìn)行逐一介紹。

H.261

H.261 最初是針對(duì) ISDN 時(shí)代的有限數(shù)據(jù)速率（特別是 64kbps 的倍數(shù)）而開(kāi)發(fā)的視頻編碼標(biāo)準(zhǔn)。在一些文件中該標(biāo)準(zhǔn)也被稱為 Px64，其中 P 代表 1~30 之間的任何一個(gè)數(shù)字（30 是ISDN 基本速率線路或 E-1 設(shè)備所能夠提供的最大信道數(shù)）。

H.263

H.263 是專為執(zhí)行中等質(zhì)量視頻會(huì)議與視頻電話應(yīng)用的視頻壓縮而制定的視頻編碼標(biāo)準(zhǔn)。H.263 最初用于傳輸 20kbps 的低帶寬視頻，基本建立在 H.261 設(shè)計(jì)方案的基礎(chǔ)之上，不過(guò)僅需 H.261 的一半帶寬即可實(shí)現(xiàn)同等質(zhì)量。因此，H.263 在實(shí)施頻率方面已經(jīng)有效取代了 H.261。與 H.261 一樣，H.263 也依靠實(shí)時(shí)傳輸協(xié)議 (RTP) 傳輸視頻信號(hào)。

H.261 僅支持兩種分辨度，但 H.263 卻可支持 5 種。除了 CIF 與 QCIF，H.263 還可支持 SQCIF、4CIF 與 16CIF。

H.264

H.264是ITU系列中的新一代標(biāo)準(zhǔn)，由ITU和國(guó)際標(biāo)準(zhǔn)化組織(ISO)聯(lián)合制定，也被稱為 MPEG-4 Part 10標(biāo)準(zhǔn)。H.264/MPEG-4又稱為高級(jí)視頻編碼( AVC)標(biāo)準(zhǔn)，旨在支持視頻會(huì)議、視頻電話等高端視頻應(yīng)用，具有數(shù)字壓縮視頻(諸如低碼率互聯(lián)網(wǎng)流、HDTV廣播、數(shù)字影院等)等功能。

H.264包含的高效視頻編碼工具能夠進(jìn)一步提高編碼效率。相對(duì)于以往標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)在速率失真方面有顯著的優(yōu)勢(shì)(根據(jù)相關(guān)應(yīng)用，平均增益可高達(dá)50%)。它針對(duì)特定應(yīng)用需求提供了多個(gè)類別?；绢惏ㄡ槍?duì)視頻會(huì)議與移動(dòng)應(yīng)用優(yōu)化的工具；擴(kuò)展類針對(duì)流媒體應(yīng)用；而主類和高級(jí)類則針對(duì)廣播以及存儲(chǔ)應(yīng)用。

H.264在算法概念上分為兩層：視頻編碼層(VCL)代表了視頻壓縮的內(nèi)容；網(wǎng)絡(luò)適配層(NAL)根據(jù)網(wǎng)絡(luò)能力對(duì)視頻壓縮數(shù)據(jù)進(jìn)行打包和傳送。另外它還為RTP等傳輸協(xié)議以及存儲(chǔ)系統(tǒng)提供頭信息。

可擴(kuò)展視頻編解碼器 (SVC) 標(biāo)準(zhǔn)是對(duì) H.264 的最新擴(kuò)展，用于傳輸在時(shí)間、空間和視頻質(zhì)量方面具有可擴(kuò)展性的編碼流。該 SVC 擴(kuò)展引入了一個(gè)原始 H.264 中不存在的概念 ——把視頻碼流分成幾層?；A(chǔ)層對(duì)視頻流最基本的時(shí)間、空間和質(zhì)量的表達(dá)進(jìn)行編碼。增強(qiáng)層利用基礎(chǔ)層作為起點(diǎn)，對(duì)附加信息進(jìn)行編碼，從而在解碼過(guò)程中把編碼結(jié)果用于重構(gòu)高質(zhì)量、高分辨率或高幀率的視頻版本。通過(guò)對(duì)基礎(chǔ)層以及需要的后續(xù)增強(qiáng)層進(jìn)行解碼，解碼器能夠以所希望的特征產(chǎn)生一種視頻流。編碼視頻流可被刪節(jié)以限制帶寬占用或降低解碼計(jì)算要求。刪節(jié)過(guò)程僅指從編碼視頻流提取所需各層，而對(duì)視頻流本身不做其它任何處理。因此，可以根據(jù)端點(diǎn)解碼器的功能（如顯示尺寸、計(jì)算資源等）來(lái)實(shí)現(xiàn)最佳體驗(yàn)質(zhì)量 (QoE)。

MPEG 標(biāo)準(zhǔn)

MPEG 視頻標(biāo)準(zhǔn)系列包含 MPEG-1、MPEG-2、MPEG-3 與 MPEG-4四個(gè)主要協(xié)議。

MPEG-1

MPEG-1 是一種由聯(lián)合圖像專家組與 CCITT（即現(xiàn)在的 ITU-T）的電話專家組共同制定的視頻和音頻有損壓縮標(biāo)準(zhǔn)，旨在用于把數(shù)字視頻與 CD 級(jí)音頻壓縮到 1.5Mb/s，壓縮比分別為 26:1 和 6:1。依據(jù)此標(biāo)準(zhǔn)，可以在信號(hào)質(zhì)量無(wú)過(guò)多損失的情況下傳輸高度壓縮的視頻與音頻。

MPEG-2

源于 MPEG-1 標(biāo)準(zhǔn)的 MPEG-2支持有損音頻與視頻壓縮。MPEG-2 是廣播、有線和直播衛(wèi)星電視系統(tǒng)中數(shù)字電視傳輸最常用的標(biāo)準(zhǔn)。另外，它還適用于電影的格式化，以便于 DVD 的發(fā)行。MPEG-2 是一種國(guó)際標(biāo)準(zhǔn)，其個(gè)別部分（第 1 與第 2 部分）是與 ITU 聯(lián)合制定的。雖然 MPEG-2 廣泛應(yīng)用于電視與 DVD 系統(tǒng)，但它并未對(duì)此類環(huán)境做出全面的規(guī)定。該標(biāo)準(zhǔn)為本地化闡釋保留了大量余地。

MPEG-3

人們普遍認(rèn)為 MPEG-3 就是音樂(lè)編碼的流行標(biāo)準(zhǔn) MP3（其區(qū)別在于 MPEG-1 第 3 層），但事實(shí)恰恰與此相反。MPEG-3 規(guī)定了一系列專門用于以 20～40Mb/s 的速率傳輸 1080p HDTV 信號(hào)的音頻與視頻編碼標(biāo)準(zhǔn)。當(dāng) HDTV 問(wèn)世時(shí)，大家發(fā)現(xiàn)當(dāng)時(shí)的 MPEG 標(biāo)準(zhǔn)似乎稍顯不足，因此選擇 MPEG-3 作為臨時(shí)解決方案。1992 年，HDTV 作為一種特殊服務(wù)配置文件被添加到了 MPEG-2 之中，MPEG-3 隨之成為 MPEG-2 的一部分。

MPEG-4

隨著多媒體應(yīng)用在 20 世紀(jì) 90 年代后期和 21 世紀(jì)初期的日益普及，人們?cè)桨l(fā)需要一種能夠滿足此類應(yīng)用特殊需求的壓縮標(biāo)準(zhǔn)，在這種背景下，MPEG-4 應(yīng)運(yùn)而生。

MPEG-4 于 1998 年問(wèn)世，很快即成為用于基于 Web 的流媒體、基于 CD 的音頻內(nèi)容、語(yǔ)音和廣播電視的專用標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)提供許多 MPEG-1 與 MPEG-2 已經(jīng)規(guī)定的相同功能，但另外針對(duì)渲染數(shù)字圖形的特殊要求而增加了一些新規(guī)范，包括對(duì)用于 3D 圖形渲染和數(shù)字版權(quán)管理 (DRM) 的虛擬現(xiàn)實(shí)標(biāo)記語(yǔ)言 (VRML) 的支持。該標(biāo)準(zhǔn)的許多部分都是經(jīng)過(guò)精心設(shè)計(jì)的，而且得到了廣泛應(yīng)用。MPEG-4 第 2 部分得到了 DivX?、Xvid?、Nero Digital? 與 QuickTime? 以及 H.264 所含高級(jí)視頻編碼 (AVC) 的廣泛采納。另外該部分也已應(yīng)用到了 HD DVD 與 Blu-ray Disc? 之中。

幾種外圍標(biāo)準(zhǔn)

由于VC-1、Flash視頻等新視頻標(biāo)準(zhǔn)已經(jīng)在技術(shù)領(lǐng)域站穩(wěn)腳跟，因此值得一提。VC-1是之前討論的許多標(biāo)準(zhǔn)中所采用的編解碼格式的變體。VC-1由業(yè)界眾多公司編寫而成，不過(guò)普遍認(rèn)為它是由微軟開(kāi)發(fā)，它被視為H.264的替代標(biāo)準(zhǔn)。VC-1針對(duì)交錯(cuò)式視頻內(nèi)容進(jìn)行了優(yōu)化，因此成為廣播與視頻行業(yè)更適用的解決方案。盡管VC-1剛問(wèn)世不久，但藍(lán)光與高清 DVD均采用了 VC-1，而且 Windows Vista也支持VC-1解碼器，從而使其在市場(chǎng)中占據(jù)了有利地位。

Flash視頻采用Adobe Flash Player播放，可支持H.264視頻及AAC音頻等各種編解碼格式輸出。此格式廣泛應(yīng)用于互聯(lián)網(wǎng)視頻分配，而且已被YouTube以及Yahoo!等各大網(wǎng)站所采用。

文章開(kāi)頭提到的笑話并非是玩笑，看起來(lái)，有多少種需要傳輸?shù)囊曨l就有多少種視頻格式化和傳輸標(biāo)準(zhǔn)。這種現(xiàn)象好的一面，是各種標(biāo)準(zhǔn)組織已經(jīng)展開(kāi)緊密合作，從而減少了新標(biāo)準(zhǔn)數(shù)量，更多關(guān)聯(lián)標(biāo)準(zhǔn)得以涌現(xiàn)。不過(guò)，制造商似乎也一直面臨著同樣的挑戰(zhàn)。面對(duì)如此多的標(biāo)準(zhǔn)，他們?cè)撊绾慰焖佟⒏咝У貙?shí)現(xiàn)產(chǎn)品上市？如何才能確定哪個(gè)標(biāo)準(zhǔn)會(huì)是最好的，以及該按照哪個(gè)標(biāo)準(zhǔn)設(shè)計(jì)自己的產(chǎn)品？顯然，他們可以設(shè)計(jì)出符合多種標(biāo)準(zhǔn)的產(chǎn)品，但這需要采用某種媒體網(wǎng)關(guān)以確保實(shí)現(xiàn)全面的互操作性。

值得注意的是，即使采用的標(biāo)準(zhǔn)再好，實(shí)際產(chǎn)品仍然會(huì)受到成本與上市時(shí)間的限制，因此往往不得不進(jìn)行折中，如：硬接線邏輯可以滿足HD視頻編解碼器的復(fù)雜需求，但卻缺乏靈活性。為了實(shí)現(xiàn)更壓縮水平，視頻編解碼標(biāo)準(zhǔn)的復(fù)雜性在不斷提高，因此需要更高的靈活性來(lái)處理部分兼容的實(shí)施方案。一種方法是采用技術(shù)體系中的最低等級(jí)，顯然，為了適應(yīng)視頻以及視頻用戶的不斷變化，視頻標(biāo)準(zhǔn)過(guò)去幾年已經(jīng)有所發(fā)展。視頻最初存在于廣播或有線電視領(lǐng)域，但現(xiàn)在它以適合一系列廣泛設(shè)備的各種格式逐步進(jìn)入互聯(lián)網(wǎng)。當(dāng)然，其挑戰(zhàn)是為各種設(shè)備與平臺(tái)提供一切內(nèi)容并且使其能夠播放這些內(nèi)容，這并非易事。一部分解決方案源于市場(chǎng)中能夠處理上述繁雜功能的多種成功的操作系統(tǒng)的發(fā)展。雖然靈活性與功能非常出色，但是這些操作系統(tǒng)實(shí)現(xiàn)上述目的需要付出高功率和低密度的代價(jià)，不過(guò)，如果所需要的正是低密度應(yīng)用，并且功率不是問(wèn)題時(shí)，那么就值得付出上述代價(jià)。

多媒體是現(xiàn)在的熱門，而隨著支持互聯(lián)網(wǎng)接入、游戲、視頻以及電視的寬帶手機(jī)問(wèn)世，形勢(shì)已經(jīng)發(fā)生了改變。其它應(yīng)用對(duì)網(wǎng)絡(luò)以及聯(lián)網(wǎng)設(shè)備的需求同樣巨大，如用戶生成的內(nèi)容以及社交網(wǎng)絡(luò)等。為此，在電信領(lǐng)域大獲成功的半導(dǎo)體公司針對(duì)這種需求開(kāi)發(fā)了支持各種視頻分辨率(如：QCIF、CIF以及HD)以及具有支持各種標(biāo)準(zhǔn)的靈活性的視頻處理架構(gòu)。

為了成功處理高分辨率視頻，設(shè)計(jì)人員必須將功耗作為一種關(guān)鍵設(shè)計(jì)要素。視頻是各種應(yīng)用中功耗需求最高的應(yīng)用之一，因?yàn)闈M足QoS要求以及觀眾期望的輸出，需要大量的處理工作。實(shí)現(xiàn)最高功率性能需要采用低功耗技術(shù)。視頻應(yīng)用可通過(guò)采用具有高效管線設(shè)計(jì)的多內(nèi)核媒體處理器來(lái)滿足可編程性以及低功耗的需求。

可編程多核媒體處理器

隨著多種視頻與音頻格式的出現(xiàn)，支持它們及其應(yīng)用的設(shè)備也在變得日益復(fù)雜，從而催生了成本更高且更為復(fù)雜的半導(dǎo)體設(shè)計(jì)方案。視頻屬于要求極高的應(yīng)用，所呈現(xiàn)的高質(zhì)量信號(hào)需要進(jìn)行特別處理，因此在部署視頻專用產(chǎn)品時(shí)必須考慮一系列功能?？删幊潭嗪私鉀Q方案不但靈活，而且功耗較低。

視頻編碼過(guò)程中一大部分實(shí)時(shí)周期實(shí)際上是用于控制與數(shù)據(jù)處理。例如，理想方案是在單次運(yùn)算中同時(shí)處理用于轉(zhuǎn)換和過(guò)濾的控制敏感型數(shù)據(jù)。通過(guò)增強(qiáng)控制和修改流程指令，如高效硬件環(huán)路、并行條件計(jì)算以及高效預(yù)加載，可以獲得更佳的解決方案。

另外，還應(yīng)盡可能采用效率最高的方式處理解析、運(yùn)動(dòng)矢量預(yù)測(cè)、內(nèi)插、運(yùn)動(dòng)補(bǔ)償、CABAC運(yùn)算及其它計(jì)算強(qiáng)度高的任務(wù)。事件處理或管理中的每個(gè)元素所要求的計(jì)算形式都有少許不同。此類考慮決定了系統(tǒng)的整體架構(gòu)。所有任務(wù)都采用單一處理器內(nèi)核會(huì)導(dǎo)致整體架構(gòu)效率低下。例如，如果需要更高時(shí)鐘頻率或更多內(nèi)核，則需要更昂貴、耗電更高的器件。通過(guò)讓每種處理采用專用可編程內(nèi)核，可以優(yōu)化計(jì)算任務(wù)并提高整體系統(tǒng)效率。提供多個(gè)內(nèi)核、高級(jí)處理和高數(shù)據(jù)吞吐量的媒體處理器，能夠?qū)崿F(xiàn)具有滿足當(dāng)前與未來(lái)多媒體需求所需性能與靈活性組合的解決方案。

媒體格式豐富的應(yīng)用要求能夠跨越多個(gè)通道的高密度DSP功能，值得慶幸的是，滿足該種應(yīng)用需求的多核多媒體處理器已經(jīng)問(wèn)世。在為新一代媒體應(yīng)用挑選多核媒體處理器時(shí)應(yīng)當(dāng)考慮一系列重要特性。表 1 列出了這些特性及相關(guān)重要說(shuō)明。

表 1. 多媒體專用多核DSP重要特性。

多層編碼器架構(gòu)

典型視頻轉(zhuǎn)碼器實(shí)施方案需要HD解碼器(SD、720p或1080p)，有可能要調(diào)整圖像尺寸、將YUV輸出分配到其它內(nèi)核或器件，并以CIF、SD、720p或1080p分辨度進(jìn)行視頻編碼。本部分主要介紹完整的解／編碼轉(zhuǎn)碼技術(shù)，相同工作原理也適用于高效轉(zhuǎn)碼器，其解碼器參數(shù)(如：運(yùn)動(dòng)矢量)等常被用于編碼器來(lái)降低編碼器復(fù)雜性。

高清視頻編碼，即1080p(1920x1080)與 720p(1280x720)分辨度的任務(wù)非常苛刻，其需要多個(gè)媒體處理內(nèi)核，以便實(shí)時(shí)實(shí)現(xiàn)30FPS～60FPS。該任務(wù)甚至可以跨越多個(gè)多核DSP器件。本文主要針對(duì)H.264展開(kāi)討論，不過(guò)相同原理同樣適用于H.263與MPEG4編碼器?？梢圆捎脙煞N方式實(shí)現(xiàn)DSP內(nèi)核之間的任務(wù)劃分。

圖 1. H.264 編碼器方框圖。

一種選擇是在DSP內(nèi)核之間進(jìn)行功能分配，盡可能均勻地在內(nèi)核之間分配計(jì)算負(fù)載。例如，如圖1所示，一個(gè)內(nèi)核負(fù)責(zé)幀間預(yù)測(cè)與幀內(nèi)預(yù)測(cè)，另一個(gè)內(nèi)核負(fù)責(zé)實(shí)現(xiàn)變換與量化，而第三個(gè)內(nèi)核則負(fù)責(zé)運(yùn)行去塊效應(yīng)濾波器與熵編碼工作。實(shí)際上，功能劃分存在多種缺陷。負(fù)載均衡需要在內(nèi)核之間實(shí)現(xiàn)更高級(jí)的通信與協(xié)調(diào)。均衡內(nèi)核之間的計(jì)算負(fù)載難度更高，因?yàn)槊總€(gè)功能塊都具有很高的復(fù)雜性。當(dāng)圖像分辨率從CIF提高到HD時(shí)，無(wú)法采用功能劃分架構(gòu)實(shí)現(xiàn)可擴(kuò)展性。

能夠克服上述問(wèn)題的另一種視頻編碼器實(shí)施方案，是適用于可擴(kuò)展多核器件的多層架構(gòu)。該方案還適用于多器件架構(gòu)，其中多個(gè)多核器件通過(guò)sRIO、PCIe等高速互連總線進(jìn)行連接。

在這種架構(gòu)中，編碼器的實(shí)施分配到多個(gè) DSP 內(nèi)核。每個(gè)宏塊條都分配到一個(gè)DSP內(nèi)核。其中每個(gè)內(nèi)核都提供一些特定功能，如：速率控制與幀內(nèi)圖像處理。事實(shí)上，無(wú)法預(yù)先進(jìn)行比特預(yù)算并分配到各個(gè)宏塊條，因?yàn)椴煌陦K條可能具有不同的圖像復(fù)雜性，而在圖像分割塊之間采用差異很大的Qp值會(huì)造成合成圖像的層邊界出現(xiàn)偽影。在H.264中，宏塊條NAL可以包含任意數(shù)量的宏塊，因此與H.263不同，圖像分割塊的形狀無(wú)需符合GOB邊界。每個(gè)宏塊條的頭部(slice header)均包含宏塊條數(shù)據(jù)中編碼的第一個(gè)宏塊的編號(hào)。

圖2. HD 編碼器多層處理。

在多宏塊條架構(gòu)中(如圖2所示)，DSP內(nèi)核從sRIO接口(連接另一個(gè)多核媒體處理器)接收YUV格式的原始視頻。該媒體處理器可實(shí)施H.264解碼器。這種多處理器架構(gòu)可以充分利用 sRIO的靈活性優(yōu)勢(shì)，動(dòng)態(tài)地將一個(gè)多核媒體處理器中已經(jīng)解碼的宏塊條分配給另一個(gè)多核媒體處理器中的DSP內(nèi)核，從而進(jìn)行深入處理。

sRIO是一種點(diǎn)對(duì)點(diǎn)技術(shù)，可以很靈活地連接多個(gè)器件來(lái)傳輸數(shù)據(jù)或處理通用數(shù)據(jù)集。每個(gè)器件都在其它器件的I/O空間自主地進(jìn)行“寫”操作。每個(gè)sRIO在各個(gè)方向都可支持高達(dá) 10Gbps的吞吐能力。把sRIO與高效DMA通道完美結(jié)合，可實(shí)現(xiàn)：

* 并行進(jìn)行視頻處理與數(shù)據(jù)傳輸

* 協(xié)調(diào)執(zhí)行

* 通過(guò)共享存儲(chǔ)器(DPS內(nèi)核位于同一器件的情況下)或通過(guò)高速sRIO接口(DSP內(nèi)核位于不同器件的情況下)實(shí)現(xiàn)數(shù)據(jù)共享。

圖3. 高吞吐量、低時(shí)延多核器件互連示例。

圖3說(shuō)明，高速串行I/O在復(fù)雜視頻處理任務(wù)中的潛在應(yīng)用。圖中顯示用于擴(kuò)展多個(gè)器件中多核器件處理能力的連接方案，其可以實(shí)現(xiàn)更復(fù)雜的視頻處理運(yùn)算或支持更多視頻轉(zhuǎn)碼通道。采用sRIO開(kāi)關(guān)能夠?qū)崿F(xiàn)更靈活的器件間通信，不過(guò)如果處理流處于相鄰器件之間，也可以不采用這種開(kāi)關(guān)。與PCIe開(kāi)關(guān)相比，sRIO由于其數(shù)據(jù)包開(kāi)銷較低，因此一般成本更低、性能更高、且時(shí)延更短。

多核解碼器架構(gòu)

視頻解碼器的實(shí)現(xiàn)一般需要獨(dú)立于編碼器。也就是說(shuō)，解碼器結(jié)構(gòu)必須通用，以處理不同編碼器方案，如單NAL或多NAL實(shí)現(xiàn)方案。H.264解碼器涉及串行操作和并行操作，而且一項(xiàng)重要任務(wù)是在多個(gè)內(nèi)核DSP間實(shí)現(xiàn)高效分配。高效的多核實(shí)現(xiàn)架構(gòu)是可分成眾多串行操作。

熵解碼器是一種包含串行操作和局部循環(huán)的功能塊，無(wú)法分配給運(yùn)行在多個(gè)內(nèi)核中的并行任務(wù)。即使考慮采用上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)等先進(jìn)技術(shù)，熵解碼器的復(fù)雜性也低于重組塊。隨著DSP內(nèi)核功能日益提高，可在單個(gè)DSP內(nèi)核中實(shí)現(xiàn)解碼功能。

圖 4. H.264解碼器方框圖。

圖4為一種多核架構(gòu)，其采用單個(gè)DSP內(nèi)核實(shí)現(xiàn)熵解碼，且將重組塊的計(jì)算強(qiáng)度更高的任務(wù)分配給多個(gè)DSP內(nèi)核。這種數(shù)據(jù)分配技巧可將任務(wù)間通信保持在指定內(nèi)核上并實(shí)現(xiàn)更有效的高速緩存性能。此架構(gòu)的另一個(gè)優(yōu)勢(shì)，是具有從SD到HD的可擴(kuò)展性，同時(shí)實(shí)現(xiàn)DSP 內(nèi)核間更均勻的負(fù)載均衡。可以考慮采用不同實(shí)現(xiàn)方案，如：每?jī)?nèi)核單行或每?jī)?nèi)核多列。數(shù)據(jù)分配還有利于整體時(shí)延的最優(yōu)化，因?yàn)槭遣捎昧魉€方式實(shí)現(xiàn)解碼，所以只要收到來(lái)自相鄰宏塊的數(shù)據(jù)就能夠執(zhí)行宏塊的解碼。