數(shù)字基帶處理器AD6900的多媒體應(yīng)用

美國模擬器件公司 jose fridman

最近幾年，多媒體處理，特別是視頻和音頻編解碼以及數(shù)碼照相機(jī)已經(jīng)成為手機(jī)的常見功能。然而，正當(dāng)手機(jī)對(duì)功能需求日益增長的時(shí)候，手機(jī)生產(chǎn)廠商和oem設(shè)備制造商卻面臨著不斷減少器件數(shù)量和降低物料(bom)成本同時(shí)滿足嚴(yán)格低功耗要求的壓力。他們必須解決這些問題，同時(shí)支持在多種網(wǎng)絡(luò)上運(yùn)行的各種通信標(biāo)準(zhǔn)。

傳統(tǒng)手機(jī)芯片組是以dbb(數(shù)字基帶)芯片為中心，通常包含微控制器(mcu)和數(shù)字信號(hào)處理器(dsp)。在多媒體功能應(yīng)用在手機(jī)之前，mcu的基本作用是完成以下兩個(gè)主要功能：一個(gè)是運(yùn)行通信協(xié)議物理層的控制碼(也稱為第1層)；另一個(gè)是控制通信協(xié)議棧的上層軟件(第2或第3層)，包括表示層或人機(jī)界面(mmi)。dsp的基本作用是完成物理層大量的數(shù)學(xué)計(jì)算功能，包括信道均衡、信道編解碼以及電話語音編解碼。

隨著多媒體功能的日益增加，增加手機(jī)功能的方法之一是提高dbb中的集成度。新一代基帶處理器是一種高度復(fù)雜的系統(tǒng)芯片(soc)，它不僅支持幾種通信標(biāo)準(zhǔn)，而且提供多媒體功能以及用于多媒體顯示器、圖像傳感器和音頻設(shè)備相關(guān)的接口。

完全可編程的軟件定義無線電(sdr)對(duì)手機(jī)設(shè)計(jì)工程師來說非常有吸引力。sdr的最終目標(biāo)是使無線手機(jī)能夠支持多種手持設(shè)備功能(例如，電話、個(gè)人數(shù)字助理、智能手機(jī)和許多其他設(shè)備)，并且實(shí)時(shí)改變個(gè)性化無線電通信，同時(shí)確保服務(wù)質(zhì)量(qos)。有人認(rèn)為大范圍推廣軟件無線電所面臨的所有因素對(duì)于手機(jī)都很關(guān)鍵：多功能(相同設(shè)備上增加其他服務(wù))、全球移動(dòng)性、小封裝和低功耗、容易生產(chǎn)以及容易升級(jí)。

新一代手機(jī)對(duì)sdr的需求更加明顯，要求支持三套不同的標(biāo)準(zhǔn)：無線標(biāo)準(zhǔn)、多媒體標(biāo)準(zhǔn)和連接標(biāo)準(zhǔn)。例如，gsm和gprs通信模塊必須與fdd wcdma調(diào)制解調(diào)模塊共存在一部多模手機(jī)上，手機(jī)還也必須能夠?qū)崿F(xiàn)mpeg4視頻編解碼和mp3編解碼，還要支持ieee 802.11無線局域網(wǎng)和藍(lán)牙標(biāo)準(zhǔn)。ad6900 dbb是一種支持未來sdr多標(biāo)準(zhǔn)和多媒體手機(jī)終端的平臺(tái)，可滿足新一代手機(jī)對(duì)各種功能的要求。 ad6900系統(tǒng)結(jié)構(gòu)

ad6900是低功耗無線數(shù)字基帶芯片，高級(jí)電源管理系統(tǒng)滿足了gsm、gprs和edge終端的嚴(yán)格要求，還支持對(duì)計(jì)算量要求很大的多媒體功能。ad6900集成了blackfin dsp處理器、arm926ej-s處理器、片內(nèi)大容量ram，以及外設(shè)擴(kuò)展接口。ad6900包含支持專用數(shù)碼相機(jī)、usb otg、多媒體卡(mmc)、sd卡、irda紅外端口、拇指輪、彩色顯示器以及串行接口設(shè)備(例如藍(lán)牙、wilan和a-gps模塊)的集成接口，結(jié)構(gòu)框圖如圖1所示。

圖1右下方是arm926-s微控制器子系統(tǒng)，它由arm微控制器內(nèi)核、高速緩存和緊密耦合內(nèi)存(tcm)組成。系統(tǒng)中第三片片內(nèi)內(nèi)存稱為系統(tǒng)ram(l3存儲(chǔ)器)，blackfin處理器和arm微控制器都可訪問它。連接外部設(shè)備的通用外設(shè)部分稱為外設(shè)總線(pbus)，它主要用于控制大多數(shù)外部設(shè)備，模擬基帶(abb)處理器和rf收發(fā)系統(tǒng)。

多媒體連接功能，即用于顯示器和捕獲設(shè)備的接口，由專用apbus子系統(tǒng)支持。它由并行外圍接口(ppi)控制器(支持10bit數(shù)碼相機(jī)傳感器或視頻輸入接口(包括itu-656和itu-601數(shù)字視頻))和專用外部總線接口(支持并行液晶顯示器，稱為ebus2)組成，消除了主要外部存儲(chǔ)器接口中的噪聲和負(fù)載。多媒體接口設(shè)備的數(shù)據(jù)搬移由稱作appdma的多通道dma控制器支持，它支持包括yuv4:2:2、yuv4:2:0和rgb565等其他格式的視頻格式。

ad6900是基于分級(jí)存儲(chǔ)器系統(tǒng)。從blackfin處理器角度來看，l1緩存器提供有限容量的快速零等待存儲(chǔ)能力。由于blackfin處理器的時(shí)鐘頻率很高，所以l1存儲(chǔ)器也十分昂貴，采用小容量的快速存儲(chǔ)器才是經(jīng)濟(jì)上切實(shí)可行的方案。較低級(jí)別的存儲(chǔ)器可提供較大的儲(chǔ)存容量，但需要更長的訪問時(shí)間。對(duì)arm處理器來說也是一樣，在處理器中具有容量相當(dāng)小的快速l1高速緩存存儲(chǔ)器。

存儲(chǔ)器系統(tǒng)由以下幾部分組成。

l1 dsp存儲(chǔ)器：dsp內(nèi)核工作在260mhz頻率時(shí)的高速緩存和sram，包括80kb指令存儲(chǔ)器和32kb數(shù)據(jù)存儲(chǔ)器。

l1 arm存儲(chǔ)器：arm內(nèi)核工作在260mhz頻率時(shí)的高速緩存和sram，包括20kb指令存儲(chǔ)器和16kb數(shù)據(jù)存儲(chǔ)器。

l2 存儲(chǔ)器：以一半的dsp內(nèi)核頻率(130mhz)工作的64kb流水線sram，主要用來存儲(chǔ)dsp數(shù)據(jù)和指令。

l3存儲(chǔ)器：以幾分之一dsp內(nèi)核頻率工作的256kb存儲(chǔ)器，也稱作系統(tǒng)ram。

l4存儲(chǔ)器：大容量片外存儲(chǔ)器，包括sram、psram(蜂窩ram)、sdram、nor以及nand閃存。
ad6900的視頻編解碼

ad6900系統(tǒng)的對(duì)稱性允許dsp和arm內(nèi)核都能夠訪問外圍設(shè)備和存儲(chǔ)器，在實(shí)現(xiàn)視頻、音頻和語音編解碼時(shí)具有很大的靈活性。手機(jī)制造商可能只選擇其中一個(gè)內(nèi)核來實(shí)現(xiàn)編解碼，這取決于系統(tǒng)的不同要求，例如指令執(zhí)行性能、代碼可用性和負(fù)載平衡。通常，由于dsp優(yōu)化了數(shù)據(jù)路徑并且具有數(shù)字計(jì)算能力，所以用dsp實(shí)現(xiàn)視頻和音頻編解碼比用arm內(nèi)核實(shí)現(xiàn)具有更好的性能。在某些情況下，系統(tǒng)設(shè)計(jì)工程師可能希望使用arm內(nèi)核完成這項(xiàng)工作，這時(shí)代碼在arm內(nèi)核中運(yùn)行，或是在要求平衡dsp和arm工作負(fù)載的計(jì)算中使用arm內(nèi)核。

為了將多媒體系統(tǒng)和通信模塊集成在同一dbb中，多媒體系統(tǒng)必須具有另一個(gè)功能，即從l1指令和數(shù)據(jù)高速緩存中執(zhí)行程序。視頻和音頻編解碼占用盡可能少的dma和系統(tǒng)資源是非常重要的，這樣可以避免引起對(duì)通信模塊的意外影響。與以前基于dma的舊方法相比，現(xiàn)代dbb中的軟件對(duì)高速緩存使用進(jìn)行了擴(kuò)展。

衡量視頻編解碼的復(fù)雜性

在無線dbb上支持視頻編解碼，會(huì)大大增加處理模塊的計(jì)算量。調(diào)制解調(diào)、語音和視頻模塊都是基于數(shù)據(jù)流的算法，也就是說它們處理輸入數(shù)據(jù)流并且產(chǎn)生輸出數(shù)據(jù)流。然而，通常視頻編解碼所處理的數(shù)據(jù)量(相對(duì)數(shù)據(jù)的計(jì)算量)要比語音編解碼或典型調(diào)制解調(diào)模塊的數(shù)據(jù)量大許多倍。

以典型的電話語音編碼器為例，其處理160個(gè)16bit的采樣幀，產(chǎn)生80～130個(gè)輸出bit。通常，優(yōu)化的amr編碼器處理一幀的時(shí)間是250 000個(gè)處理器時(shí)鐘周期(用blackfin處理器來度量)。因此，每個(gè)輸入語音采樣大約需要1500個(gè)dsp處理器時(shí)鐘周期，或者每個(gè)輸入數(shù)據(jù)字節(jié)需要750個(gè)時(shí)鐘周期。用類似的方法，edge均衡器的主要組件可輸入122個(gè)16bit的采樣幀，通常用大約100 000個(gè)dsp時(shí)鐘周期完成數(shù)據(jù)處理，或者每個(gè)輸入字節(jié)400個(gè)時(shí)鐘周期。

相反，以qcif分辨率尺寸的視頻解碼器為例，其每幀具有25 344個(gè)像素，通常每幀執(zhí)行1 000 000個(gè)dsp時(shí)鐘周期。這相當(dāng)于每個(gè)輸出字節(jié)需要26個(gè)時(shí)鐘周期(假設(shè)采用yuv4:2:0視頻格式，每像素1.5字節(jié)編碼)，這種視頻解碼器要求輸入的數(shù)據(jù)是edge數(shù)據(jù)均衡器的15倍多，并且?guī)缀跏潜日Z音編解碼器多6倍的數(shù)據(jù)。這意味著實(shí)現(xiàn)視頻編解碼器的主要難題與系統(tǒng)中需要輸入的大量數(shù)據(jù)的數(shù)量有關(guān)。每個(gè)數(shù)據(jù)的計(jì)算量比手機(jī)中任何其他算法低很多。

為了支持這種大量數(shù)據(jù)移動(dòng)的要求，ad6900具有專用子系統(tǒng)apbus，以及用于psram和sdram的快速外部存儲(chǔ)器接口。視頻編解碼器不僅需要非常寬的數(shù)據(jù)帶寬，而且還需要大容量的存儲(chǔ)器來存儲(chǔ)大量的圖像數(shù)據(jù)結(jié)構(gòu)，這稱為幀緩存。在ad6900中，幀緩存可配置在外部的psram或sdram存儲(chǔ)器中。

系統(tǒng)劃分

ad6900具有處理完成qvga圖像格式視頻解碼和編碼能力。由于視頻編解碼需要相當(dāng)大容量的存儲(chǔ)空間，所以將所有的存儲(chǔ)對(duì)象放在最佳的物理存儲(chǔ)器中對(duì)于編解碼器的性能是非常重要的，因?yàn)楸仨毷箶?shù)據(jù)流量要求與系統(tǒng)接口和總線之間的可用帶寬保持平衡。在很大程度上，視頻編解碼器的時(shí)鐘性能是由傳輸像素?cái)?shù)據(jù)接口的速度決定的。如圖1所示，可用的物理存儲(chǔ)器是l1(dsp和arm)、l2(dsp)、l3(系統(tǒng)ram)和l4(片外存儲(chǔ)器，包括sram、psram、sfdram和只讀存儲(chǔ)器)存儲(chǔ)器。ad6900最重要的系統(tǒng)接口是外部總線接口，也稱為ebus。這是一個(gè)支持所有外部存儲(chǔ)器設(shè)備的接口。液晶顯示器是由稱為ebus2的單獨(dú)外部接口支持，攝像頭是由專用的ppi接口支持，這兩個(gè)接口都屬于appbus。

視頻編解碼器需要的存儲(chǔ)器可以劃分為以下幾個(gè)分區(qū):幀緩存器區(qū)、堆區(qū)、程序區(qū)、常量區(qū)和堆棧區(qū)。到目前為之，幀緩存器是最大的內(nèi)存對(duì)象區(qū)，它能存儲(chǔ)編碼器和解碼器所需要的幀。視頻編解碼器基于以下兩個(gè)原則：幀內(nèi)冗余和幀間冗余。幀間冗余僅使用幀n的不同部分像素來壓縮幀n。幀間冗余使用每幀內(nèi)的像素而不是幀n中的部分像素來壓縮幀n，由于這個(gè)原因，視頻編解碼器需要過去(在某些情況下需要未來)幀的拷貝。mpeg4-sp簡單類解碼器在1/4vga(qvga)分辨率時(shí)需要兩個(gè)幀緩存器，每個(gè)幀緩存器容量為110kb，總共為220kb。堆區(qū)包含多種類型的臨時(shí)存儲(chǔ)器，容量為80kb，程序區(qū)大約是150kb，常量區(qū)是另外30kb，堆棧區(qū)大小是2kb。

為了對(duì)視頻編解碼器內(nèi)存儲(chǔ)對(duì)象的布置作出最佳選擇，也必須量化每個(gè)對(duì)象所需的數(shù)據(jù)帶寬。表1給出了每個(gè)對(duì)象所需要的數(shù)據(jù)流量。例如，在解碼器中幀緩存要求圖像數(shù)據(jù)的每個(gè)像素具有4.36字節(jié)，這轉(zhuǎn)換到qvga分辨率的30 fps情況下大約是10mb/s，這大約是完整解碼器所要求的總帶寬的一半。堆區(qū)要求大約是6.7mb/s，或者是總帶寬的32%。

ad6900的視頻編解碼器支持mpeg4 simple profile levels 0-3包括i-vop和p-vop幀格式、ac/dc系數(shù)預(yù)測、4-motion向量、無限制向量移動(dòng)以及短標(biāo)頭模式。(mpeg4用語，vop或稱為視頻對(duì)象平面是表示某一時(shí)刻采樣一幀圖像數(shù)據(jù)的單位。)為了最大程度提供集成靈活性和與其他dbb相連的代碼接口，ad6900的大多數(shù)代碼基(大約90%的代碼基)仍然使用c高級(jí)語言編寫，僅有很小部分(大約10%)的接口采用blackfin專用匯編語言編寫。

另外也對(duì)mpeg4視頻編解碼器進(jìn)行了優(yōu)化，以便匹配現(xiàn)有總線和外部接口資源，并且也為了它們能產(chǎn)生盡可能少的數(shù)據(jù)流量。通過精心的管理數(shù)據(jù)移動(dòng)，可使外部存儲(chǔ)器所需的帶寬減少30%。

多媒系統(tǒng)統(tǒng)除了支持編解碼所需要的存儲(chǔ)對(duì)象外，還需具有額外的幀緩存來支持輸出和輸入顯示設(shè)備(例如液晶顯示器和圖像傳感器模塊)。然而，在appbus系統(tǒng)中也支持輸入和輸出設(shè)備本身，每種設(shè)備都有一個(gè)專用的外部接口。在最終的分析中，還必須考慮ebus中這些存儲(chǔ)器的大小和帶寬分配。

可變的處理時(shí)間以及輸出和輸入緩存

與視頻編解碼相關(guān)的一個(gè)特殊問題是編碼或解碼一幀所要求的處理時(shí)間并不是常量。也就是說，它是與場景內(nèi)容(特別是場景的運(yùn)動(dòng)量)、比特率和特定編碼流結(jié)構(gòu)或圖像組(gop)大小有關(guān)的一種復(fù)雜函數(shù)。

以圖2所示為例，示出了使用blackfin dsp解碼mpeg4流時(shí)，解碼每幀所需要的時(shí)鐘周期數(shù)。本測試的輸入流采用cif格式編碼，比特率為350b/s，幀率為10fps，gop大小為10。參數(shù)gop表示兩個(gè)i-vop之間的p-vop數(shù)量，因此在本例中每隔9個(gè)p-vop就有一個(gè)i-vop。圖2中的每個(gè)點(diǎn)表示解碼某幀所需的時(shí)鐘周期數(shù)。實(shí)線表示20個(gè)采樣值的移動(dòng)平均數(shù)。從這幅圖中可以很清楚地看出，i-vop比p-vop需要大很多的處理能力，每十個(gè)幀點(diǎn)的趨勢明顯地表明大約有700萬～900萬個(gè)時(shí)鐘周期。p-vop的處理時(shí)間最少為100萬個(gè)時(shí)鐘周期，最多高達(dá)1000萬個(gè)處理時(shí)鐘周期。

從這幅圖中可以看出，當(dāng)設(shè)計(jì)播放器時(shí)，必須考慮可變的解碼時(shí)間。如果僅假設(shè)解碼器要求最差情況下的執(zhí)行時(shí)間，這時(shí)大約是每幀1000萬個(gè)時(shí)鐘周期，則由于大多數(shù)幀不需要那么多的時(shí)鐘周期，過于保守的設(shè)計(jì)浪費(fèi)了大量的dsp資源。

相反，現(xiàn)在是在解碼器的輸出端使用緩存來存儲(chǔ)幾個(gè)幀以為顯示做準(zhǔn)備。這種輸出緩存系統(tǒng)能夠平滑解碼器執(zhí)行時(shí)間的波動(dòng)，所以允許設(shè)計(jì)師工程師按照平均執(zhí)行時(shí)間來設(shè)計(jì)解碼器。 mpeg4的品質(zhì)因數(shù)

用來加速視頻編解碼器的許多優(yōu)化方案可能會(huì)對(duì)編碼器的數(shù)字性能引起負(fù)面影響。也就是說，使用太過分的措施減少編碼器時(shí)鐘周期數(shù)可能會(huì)引起由于峰值信噪比(psnr)的減小而導(dǎo)致的編碼性能變差。下降的psnr將減小編碼器壓縮視頻內(nèi)容的能力，從而造成規(guī)定質(zhì)量條件下輸出的比特率比預(yù)期的高。例如，使用運(yùn)動(dòng)估計(jì)的方法可以非常簡單或非常復(fù)雜，取決于所搜索的相鄰宏塊的數(shù)量。如果試圖減少計(jì)算量而搜索太少的宏塊數(shù)，則對(duì)于給定的壓縮比，psna值會(huì)變低。

圖3示出四種不同mpeg4編碼器相應(yīng)的速率失真曲線，它們都工作在simple profile @ level 2簡單類二級(jí)條件下。速率失真曲線是用來描述在給定某壓縮比(或比特率)條件下產(chǎn)生的噪聲(失真)進(jìn)入視頻流的程度。隨著比特率下降，噪聲增加(psnr降低)。被測編碼器是blackfin ad6900編碼器、iso/iec的anci c參考編碼器、微軟的參考編碼器和xvid編碼器。所使用的采樣是稱作“akiyo”的測試順序。性能較好的編碼器可能對(duì)任何給定的比特速率都有較高的psnr值。這幅圖表明了blackfin編碼器和其他的編碼器具有相同或者更好的性能。

早期的多媒體手機(jī)幾乎完全依靠于多種電話語音編解碼來支持音頻。例如amr的標(biāo)準(zhǔn)編解碼器用來輔助記錄和播放qcif格式甚至更低的低分辨率運(yùn)動(dòng)剪輯。而且，amr也是mms標(biāo)準(zhǔn)的主要部分，它可提供多媒體信息通信功能。然而，目前全功能多媒體手機(jī)需要支持多種音頻編解碼標(biāo)準(zhǔn)，例如mp3、aac、aac-lc、he-aac(也稱為aac plus)、realaudio、wma以及wb-amr。

在ad6900中，mcu和dsp都能夠運(yùn)行音頻編解碼，并且和視頻編解碼一樣，用哪一個(gè)處理器完成音頻編解碼取決于負(fù)載平衡、編解碼可用性以及其他考慮因素。一般地，用dsp實(shí)現(xiàn)音頻編解碼要比mcu執(zhí)行速度快并且功耗低。

以he-aac為例。blackfin處理器實(shí)現(xiàn)高質(zhì)量(hq)類需要40mips的速率，實(shí)現(xiàn)低功耗(lp)類需要25mips，兩種情況都采用立體聲。arm9e實(shí)現(xiàn)lp類需要33mips的速率，或者大約30%以上的處理器資源。aac-lc是一個(gè)以13.8mips速率運(yùn)行并且需要非常低dsp負(fù)荷的音頻編解碼的例子。

blackfin處理器為實(shí)現(xiàn)語音編解碼已做了高度優(yōu)化。特別是nb-amr語音編解碼器，代碼區(qū)大小為50kb，數(shù)據(jù)區(qū)大小為30kb，編碼速率要求8～16mips的，解碼速率為2mips。wb-amr編解碼器，代碼區(qū)大小為50kb，數(shù)據(jù)區(qū)大小為25kb，編碼速率要求20～30mips的速率，解碼速率為6～8mips。

將音頻編解碼器集成到數(shù)字基帶中所面臨的難題遠(yuǎn)不如上面所述的視頻編解碼器復(fù)雜。一般地，音頻編解碼器可能具有非常高的數(shù)據(jù)計(jì)算速率，因此不需要配置大量的外部總線接口和存儲(chǔ)器。音頻編解碼器所使用的數(shù)據(jù)對(duì)象也比較小。例如，he-aac的數(shù)據(jù)存儲(chǔ)器(音頻編碼標(biāo)準(zhǔn)中存儲(chǔ)器要求最大的一種)要求是70kb，而qvga視頻編解碼器要求超過250kb。在ad6900中，通常將大多數(shù)音頻編解碼器的數(shù)據(jù)對(duì)象放置在外部存儲(chǔ)器上(例如，sdram或psram)，這樣就不會(huì)產(chǎn)生寬帶寬問題。

結(jié)束語

本文討論了系統(tǒng)設(shè)計(jì)工程師在使用無線數(shù)字基帶處理器ad6900實(shí)現(xiàn)軟件多媒體標(biāo)準(zhǔn)時(shí)所遇到的幾個(gè)難題及其解決方案。在給定的大動(dòng)態(tài)無線環(huán)境中，無線手機(jī)不僅必須支持多種空中接口，而且也必須支持多種復(fù)雜的視頻和音頻標(biāo)準(zhǔn)，這種情況下，移動(dòng)終端利用軟件可編程能力以保持高度靈活性是很關(guān)鍵的。