AD6900數(shù)字基帶處理器在多媒體的設(shè)計(jì)與應(yīng)用

多媒體處理，特別是視頻和音頻編解碼以及數(shù)碼照相機(jī)已經(jīng)成為手機(jī)的常見功能。然而，正當(dāng)手機(jī)對(duì)功能需求日益增長的時(shí)候，手機(jī)生產(chǎn)廠商和OEM設(shè)備制造商卻面臨著不斷減少器件數(shù)量和降低物料(BOM)成本同時(shí)滿足嚴(yán)格低功耗要求的壓力。他們必須解決這些問題，同時(shí)支持在多種網(wǎng)絡(luò)上運(yùn)行的各種通信標(biāo)準(zhǔn)。 　　

傳統(tǒng)手機(jī)芯片組是以DBB(數(shù)字基帶)芯片為中心，通常包含微控制器(MCU)和數(shù)字信號(hào)處理器(DSP)。在多媒體功能應(yīng)用在手機(jī)之前，MCU的基本作用是完成以下兩個(gè)主要功能：一個(gè)是運(yùn)行通信協(xié)議物理層的控制碼(也稱為第1層)；另一個(gè)是控制通信協(xié)議棧的上層軟件(第2或第3層)，包括表示層或人機(jī)界面(MMI)。DSP的基本作用是完成物理層大量的數(shù)學(xué)計(jì)算功能，包括信道均衡、信道編解碼以及電話語音編解碼。 　　

隨著多媒體功能的日益增加，增加手機(jī)功能的方法之一是提高DBB中的集成度。新一代基帶處理器是一種高度復(fù)雜的系統(tǒng)芯片(SoC)，它不僅支持幾種通信標(biāo)準(zhǔn)，而且提供多媒體功能以及用于多媒體顯示器、圖像傳感器和音頻設(shè)備相關(guān)的接口。 完全可編程的軟件定義無線電(SDR)對(duì)手機(jī)設(shè)計(jì)工程師來說非常有吸引力。SDR的最終目標(biāo)是使無線手機(jī)能夠支持多種手持設(shè)備功能(例如，電話、個(gè)人數(shù)字助理、智能手機(jī)和許多其他設(shè)備)，并且實(shí)時(shí)改變個(gè)性化無線電通信，同時(shí)確保服務(wù)質(zhì)量(QoS)。有人認(rèn)為大范圍推廣軟件無線電所面臨的所有因素對(duì)于手機(jī)都很關(guān)鍵：多功能(相同設(shè)備上增加其他服務(wù))、全球移動(dòng)性、小封裝和低功耗、容易生產(chǎn)以及容易升級(jí)。 　　

新一代手機(jī)對(duì)SDR的需求更加明顯，要求支持三套不同的標(biāo)準(zhǔn)：無線標(biāo)準(zhǔn)、多媒體標(biāo)準(zhǔn)和連接標(biāo)準(zhǔn)。例如，GSM和GPRS通信模塊必須與FDD WCDMA調(diào)制解調(diào)模塊共存在一部多模手機(jī)上，手機(jī)還也必須能夠?qū)崿F(xiàn)MPEG4視頻編解碼和MP3編解碼，還要支持IEEE 802.11無線局域網(wǎng)和藍(lán)牙標(biāo)準(zhǔn)。AD6900 DBB是一種支持未來SDR多標(biāo)準(zhǔn)和多媒體手機(jī)終端的平臺(tái)，可滿足新一代手機(jī)對(duì)各種功能的要求。

AD6900系統(tǒng)結(jié)構(gòu) 　　

AD6900是低功耗無線數(shù)字基帶芯片，高級(jí)電源管理系統(tǒng)滿足了GSM、GPRS和EDGE終端的嚴(yán)格要求，還支持對(duì)計(jì)算量要求很大的多媒體功能。AD6900集成了Blackfin DSP處理器、ARM926EJ-S處理器、片內(nèi)大容量RAM，以及外設(shè)擴(kuò)展接口。AD6900包含支持專用數(shù)碼相機(jī)、USB OTG、多媒體卡(MMC)、SD卡、IrDA紅外端口、拇指輪、彩色顯示器以及串行接口設(shè)備(例如藍(lán)牙、WiLAN和A-GPS模塊)的集成接口，結(jié)構(gòu)框圖如圖1所示。

存儲(chǔ)器系統(tǒng)由以下幾部分組成。
L1 DSP存儲(chǔ)器：DSP內(nèi)核工作在260MHz頻率時(shí)的高速緩存和SRAM，包括80KB指令存儲(chǔ)器和32KB數(shù)據(jù)存儲(chǔ)器。

L1 ARM存儲(chǔ)器：ARM內(nèi)核工作在260MHz頻率時(shí)的高速緩存和SRAM，包括20KB指令存儲(chǔ)器和16KB數(shù)據(jù)存儲(chǔ)器。

L2 存儲(chǔ)器：以一半的DSP內(nèi)核頻率(130MHz)工作的64KB流水線SRAM，主要用來存儲(chǔ)DSP數(shù)據(jù)和指令。

L3存儲(chǔ)器：以幾分之一DSP內(nèi)核頻率工作的256KB存儲(chǔ)器，也稱作系統(tǒng)RAM。

L4存儲(chǔ)器：大容量片外存儲(chǔ)器，包括SRAM、PSRAM(蜂窩RAM)、SDRAM、NOR以及NAND閃存。

AD6900的視頻編解碼　AD6900系統(tǒng)的對(duì)稱性允許DSP和ARM內(nèi)核都能夠訪問外圍設(shè)備和存儲(chǔ)器，在實(shí)現(xiàn)視頻、音頻和語音編解碼時(shí)具有很大的靈活性。手機(jī)制造商可能只選擇其中一個(gè)內(nèi)核來實(shí)現(xiàn)編解碼，這取決于系統(tǒng)的不同要求，例如指令執(zhí)行性能、代碼可用性和負(fù)載平衡。通常，由于DSP優(yōu)化了數(shù)據(jù)路徑并且具有數(shù)字計(jì)算能力，所以用DSP實(shí)現(xiàn)視頻和音頻編解碼比用ARM內(nèi)核實(shí)現(xiàn)具有更好的性能。在某些情況下，系統(tǒng)設(shè)計(jì)工程師可能希望使用ARM內(nèi)核完成這項(xiàng)工作，這時(shí)代碼在ARM內(nèi)核中運(yùn)行，或是在要求平衡DSP和ARM工作負(fù)載的計(jì)算中使用ARM內(nèi)核。為了將多媒體系統(tǒng)和通信模塊集成在同一DBB中，多媒體系統(tǒng)必須具有另一個(gè)功能，即從L1指令和數(shù)據(jù)高速緩存中執(zhí)行程序。視頻和音頻編解碼占用盡可能少的DMA和系統(tǒng)資源是非常重要的，這樣可以避免引起對(duì)通信模塊的意外影響。與以前基于DMA的舊方法相比，現(xiàn)代DBB中的軟件對(duì)高速緩存使用進(jìn)行了擴(kuò)展。

衡量視頻編解碼的復(fù)雜性 　　在無線DBB上支持視頻編解碼，會(huì)大大增加處理模塊的計(jì)算量。調(diào)制解調(diào)、語音和視頻模塊都是基于數(shù)據(jù)流的算法，也就是說它們處理輸入數(shù)據(jù)流并且產(chǎn)生輸出數(shù)據(jù)流。然而，通常視頻編解碼所處理的數(shù)據(jù)量(相對(duì)數(shù)據(jù)的計(jì)算量)要比語音編解碼或典型調(diào)制解調(diào)模塊的數(shù)據(jù)量大許多倍。以典型的電話語音編碼器為例，其處理160個(gè)16bit的采樣幀，產(chǎn)生80～130個(gè)輸出bit。通常，優(yōu)化的AMR編碼器處理一幀的時(shí)間是250 000個(gè)處理器時(shí)鐘周期(用Blackfin處理器來度量)。因此，每個(gè)輸入語音采樣大約需要1500個(gè)DSP處理器時(shí)鐘周期，或者每個(gè)輸入數(shù)據(jù)字節(jié)需要750個(gè)時(shí)鐘周期。用類似的方法，EDGE均衡器的主要組件可輸入122個(gè)16bit的采樣幀，通常用大約100 000個(gè)DSP時(shí)鐘周期完成數(shù)據(jù)處理，或者每個(gè)輸入字節(jié)400個(gè)時(shí)鐘周期。相反，以QCIF分辨率尺寸的視頻解碼器為例，其每幀具有25 344個(gè)像素，通常每幀執(zhí)行1 000 000個(gè)DSP時(shí)鐘周期。這相當(dāng)于每個(gè)輸出字節(jié)需要26個(gè)時(shí)鐘周期(假設(shè)采用YUV4:2:0視頻格式，每像素1.5字節(jié)編碼)，這種視頻解碼器要求輸入的數(shù)據(jù)是EDGE數(shù)據(jù)均衡器的15倍多，并且?guī)缀跏潜日Z音編解碼器多6倍的數(shù)據(jù)。這意味著實(shí)現(xiàn)視頻編解碼器的主要難題與系統(tǒng)中需要輸入的大量數(shù)據(jù)的數(shù)量有關(guān)。每個(gè)數(shù)據(jù)的計(jì)算量比手機(jī)中任何其他算法低很多。為了支持這種大量數(shù)據(jù)移動(dòng)的要求，AD6900具有專用子系統(tǒng)APBUS，以及用于PSRAM和SDRAM的快速外部存儲(chǔ)器接口。視頻編解碼器不僅需要非常寬的數(shù)據(jù)帶寬，而且還需要大容量的存儲(chǔ)器來存儲(chǔ)大量的圖像數(shù)據(jù)結(jié)構(gòu)，這稱為幀緩存。在AD6900中，幀緩存可配置在外部的PSRAM或SDRAM存儲(chǔ)器中。

系統(tǒng)劃分 　　AD6900具有處理完成QVGA圖像格式視頻解碼和編碼能力。由于視頻編解碼需要相當(dāng)大容量的存儲(chǔ)空間，所以將所有的存儲(chǔ)對(duì)象放在最佳的物理存儲(chǔ)器中對(duì)于編解碼器的性能是非常重要的，因?yàn)楸仨毷箶?shù)據(jù)流量要求與系統(tǒng)接口和總線之間的可用帶寬保持平衡。在很大程度上，視頻編解碼器的時(shí)鐘性能是由傳輸像素?cái)?shù)據(jù)接口的速度決定的。如圖1所示，可用的物理存儲(chǔ)器是L1(DSP和ARM)、L2(DSP)、L3(系統(tǒng)RAM)和L4(片外存儲(chǔ)器，包括SRAM、PSRAM、SFDRAM和只讀存儲(chǔ)器)存儲(chǔ)器。AD6900最重要的系統(tǒng)接口是外部總線接口，也稱為EBUS。這是一個(gè)支持所有外部存儲(chǔ)器設(shè)備的接口。液晶顯示器是由稱為EBUS2的單獨(dú)外部接口支持，攝像頭是由專用的PPI接口支持，這兩個(gè)接口都屬于APPBUS。 　　

視頻編解碼器需要的存儲(chǔ)器可以劃分為以下幾個(gè)分區(qū):幀緩存器區(qū)、堆區(qū)、程序區(qū)、常量區(qū)和堆棧區(qū)。到目前為之，幀緩存器是最大的內(nèi)存對(duì)象區(qū)，它能存儲(chǔ)編碼器和解碼器所需要的幀。視頻編解碼器基于以下兩個(gè)原則：幀內(nèi)冗余和幀間冗余。幀間冗余僅使用幀N的不同部分像素來壓縮幀N。幀間冗余使用每幀內(nèi)的像素而不是幀N中的部分像素來壓縮幀N，由于這個(gè)原因，視頻編解碼器需要過去(在某些情況下需要未來)幀的拷貝。MPEG4-SP簡單類解碼器在1/4VGA(QVGA)分辨率時(shí)需要兩個(gè)幀緩存器，每個(gè)幀緩存器容量為110KB，總共為220KB。堆區(qū)包含多種類型的臨時(shí)存儲(chǔ)器，容量為80KB，程序區(qū)大約是150KB，常量區(qū)是另外30KB，堆棧區(qū)大小是2KB。 　　

為了對(duì)視頻編解碼器內(nèi)存儲(chǔ)對(duì)象的布置作出最佳選擇，也必須量化每個(gè)對(duì)象所需的數(shù)據(jù)帶寬。表1給出了每個(gè)對(duì)象所需要的數(shù)據(jù)流量。例如，在解碼器中幀緩存要求圖像數(shù)據(jù)的每個(gè)像素具有4.36字節(jié)，這轉(zhuǎn)換到QVGA分辨率的30 fps情況下大約是10MB/s，這大約是完整解碼器所要求的總帶寬的一半。堆區(qū)要求大約是6.7MB/s，或者是總帶寬的32%。

表1 MPEG4的內(nèi)存對(duì)象和相對(duì)帶寬 　　

幀緩存器所需要的給定帶寬及其大小都放在在AD6900的外部存儲(chǔ)器中(第四級(jí))，即PSRAM或SDRAM。SDRAM接口(圖1中的SDC)能夠達(dá)到130MB/s的最大吞吐量。在這種情況下幀緩存所需要的帶寬10MB/s正好在可接受的限制范圍內(nèi)?？赡艿拇鎯?chǔ)器映射如表1所示，包括幀緩存器、所有片外存儲(chǔ)器的程序區(qū)和常量區(qū)以及系統(tǒng)RAM(第三級(jí))中的堆區(qū)。 　　

AD6900的視頻編解碼器支持MPEG4 simple profile Levels 0-3包括I-VOP和P-VOP幀格式、AC/DC系數(shù)預(yù)測、4-Motion向量、無限制向量移動(dòng)以及短標(biāo)頭模式。(MPEG4用語，VOP或稱為視頻對(duì)象平面是表示某一時(shí)刻采樣一幀圖像數(shù)據(jù)的單位。)為了最大程度提供集成靈活性和與其他DBB相連的代碼接口，AD6900的大多數(shù)代碼基(大約90%的代碼基)仍然使用C高級(jí)語言編寫，僅有很小部分(大約10%)的接口采用Blackfin專用匯編語言編寫。 　　

另外也對(duì)MPEG4視頻編解碼器進(jìn)行了優(yōu)化，以便匹配現(xiàn)有總線和外部接口資源，并且也為了它們能產(chǎn)生盡可能少的數(shù)據(jù)流量。通過精心的管理數(shù)據(jù)移動(dòng)，可使外部存儲(chǔ)器所需的帶寬減少30%。 　　

多媒系統(tǒng)統(tǒng)除了支持編解碼所需要的存儲(chǔ)對(duì)象外，還需具有額外的幀緩存來支持輸出和輸入顯示設(shè)備(例如液晶顯示器和圖像傳感器模塊)。然而，在APPBUS系統(tǒng)中也支持輸入和輸出設(shè)備本身，每種設(shè)備都有一個(gè)專用的外部接口。在最終的分析中，還必須考慮EBUS中這些存儲(chǔ)器的大小和帶寬分配。

可變的處理時(shí)間以及輸出和輸入緩存 　　與視頻編解碼相關(guān)的一個(gè)特殊問題是編碼或解碼一幀所要求的處理時(shí)間并不是常量。也就是說，它是與場景內(nèi)容(特別是場景的運(yùn)動(dòng)量)、比特率和特定編碼流結(jié)構(gòu)或圖像組(GOP)大小有關(guān)的一種復(fù)雜函數(shù)。 圖2所示為例，示出了使用Blackfin DSP解碼MPEG4流時(shí)，解碼每幀所需要的時(shí)鐘周期數(shù)。本測試的輸入流采用CIF格式編碼，比特率為350b/s，幀率為10fps，GOP大小為10。參數(shù)GOP表示兩個(gè)I-VOP之間的P-VOP數(shù)量，因此在本例中每隔9個(gè)P-VOP就有一個(gè)I-VOP。圖2中的每個(gè)點(diǎn)表示解碼某幀所需的時(shí)鐘周期數(shù)。實(shí)線表示20個(gè)采樣值的移動(dòng)平均數(shù)。從這幅圖中可以很清楚地看出，I-VOP比P-VOP需要大很多的處理能力，每十個(gè)幀點(diǎn)的趨勢明顯地表明大約有700萬～900萬個(gè)時(shí)鐘周期。P-VOP的處理時(shí)間最少為100萬個(gè)時(shí)鐘周期，最多高達(dá)1000萬個(gè)處理時(shí)鐘周期。

圖2 MPEG4解碼對(duì)時(shí)間的波動(dòng) 　　

每幀的時(shí)鐘周期平均數(shù)與場景中的運(yùn)動(dòng)量成比例。場景的初始部分(1～420幀)有相當(dāng)?shù)偷倪\(yùn)動(dòng)，而中間部分(421～630幀)有高的運(yùn)動(dòng)量。在場景的最后一部分(1260到最終的幀)中，場景中有非常大的運(yùn)動(dòng)量。這也表明P-VOP所需要的處理時(shí)間與場景的運(yùn)動(dòng)量有關(guān)，而I-VOP所要求的處理時(shí)間與此關(guān)聯(lián)較小。 　　從這幅圖中可以看出，當(dāng)設(shè)計(jì)播放器時(shí)，必須考慮可變的解碼時(shí)間。如果僅假設(shè)解碼器要求最差情況下的執(zhí)行時(shí)間，這時(shí)大約是每幀1000萬個(gè)時(shí)鐘周期，則由于大多數(shù)幀不需要那么多的時(shí)鐘周期，過于保守的設(shè)計(jì)浪費(fèi)了大量的DSP資源。 相反，現(xiàn)在是在解碼器的輸出端使用緩存來存儲(chǔ)幾個(gè)幀以為顯示做準(zhǔn)備。這種輸出緩存系統(tǒng)能夠平滑解碼器執(zhí)行時(shí)間的波動(dòng)，所以允許設(shè)計(jì)師工程師按照平均執(zhí)行時(shí)間來設(shè)計(jì)解碼器。

MPEG4的品質(zhì)因數(shù) 　　用來加速視頻編解碼器的許多優(yōu)化方案可能會(huì)對(duì)編碼器的數(shù)字性能引起負(fù)面影響。也就是說，使用太過分的措施減少編碼器時(shí)鐘周期數(shù)可能會(huì)引起由于峰值信噪比(PSNR)的減小而導(dǎo)致的編碼性能變差。下降的PSNR將減小編碼器壓縮視頻內(nèi)容的能力，從而造成規(guī)定質(zhì)量條件下輸出的比特率比預(yù)期的高。例如，使用運(yùn)動(dòng)估計(jì)的方法可以非常簡單或非常復(fù)雜，取決于所搜索的相鄰宏塊的數(shù)量。如果試圖減少計(jì)算量而搜索太少的宏塊數(shù)，則對(duì)于給定的壓縮比，PSNA值會(huì)變低。 　　

圖3示出四種不同MPEG4編碼器相應(yīng)的速率失真曲線，它們都工作在Simple Profile @ Level 2簡單類二級(jí)條件下。速率失真曲線是用來描述在給定某壓縮比(或比特率)條件下產(chǎn)生的噪聲(失真)進(jìn)入視頻流的程度。隨著比特率下降，噪聲增加(PSNR降低)。被測編碼器是Blackfin AD6900編碼器、ISO/IEC的anci C參考編碼器、微軟的參考編碼器和xvid編碼器。所使用的采樣是稱作“Akiyo”的測試順序。性能較好的編碼器可能對(duì)任何給定的比特速率都有較高的PSNR值。這幅圖表明了Blackfin編碼器和其他的編碼器具有相同或者更好的性能。

圖3 Blackfin DSP MPEG4-SP編碼器的PSNR性能

AD6900的音頻編解碼 　　早期的多媒體手機(jī)幾乎完全依靠于多種電話語音編解碼來支持音頻。例如AMR的標(biāo)準(zhǔn)編解碼器用來輔助記錄和播放QCIF格式甚至更低的低分辨率運(yùn)動(dòng)剪輯。而且，AMR也是MMS標(biāo)準(zhǔn)的主要部分，它可提供多媒體信息通信功能。然而，目前全功能多媒體手機(jī)需要支持多種音頻編解碼標(biāo)準(zhǔn)，例如MP3、AAC、AAC-LC、HE-AAC(也稱為aac Plus)、RealAudio、WMA以及WB-AMR。 　　在AD6900中，MCU和DSP都能夠運(yùn)行音頻編解碼，并且和視頻編解碼一樣，用哪一個(gè)處理器完成音頻編解碼取決于負(fù)載平衡、編解碼可用性以及其他考慮因素。一般地，用DSP實(shí)現(xiàn)音頻編解碼要比MCU執(zhí)行速度快并且功耗低。 　　以HE-AAC為例。Blackfin處理器實(shí)現(xiàn)高質(zhì)量(HQ)類需要40MIPS的速率，實(shí)現(xiàn)低功耗(LP)類需要25MIPS，兩種情況都采用立體聲。ARM9E實(shí)現(xiàn)LP類需要33MIPS的速率，或者大約30%以上的處理器資源。AAC-LC是一個(gè)以13.8MIPS速率運(yùn)行并且需要非常低DSP負(fù)荷的音頻編解碼的例子。 　　

Blackfin處理器為實(shí)現(xiàn)語音編解碼已做了高度優(yōu)化。特別是NB-AMR語音編解碼器，代碼區(qū)大小為50KB，數(shù)據(jù)區(qū)大小為30KB，編碼速率要求8～16MIPS的，解碼速率為2MIPS。WB-AMR編解碼器，代碼區(qū)大小為50KB，數(shù)據(jù)區(qū)大小為25KB，編碼速率要求20～30MIPS的速率，解碼速率為6～8MIPS。 　　將音頻編解碼器集成到數(shù)字基帶中所面臨的難題遠(yuǎn)不如上面所述的視頻編解碼器復(fù)雜。一般地，音頻編解碼器可能具有非常高的數(shù)據(jù)計(jì)算速率，因此不需要配置大量的外部總線接口和存儲(chǔ)器。音頻編解碼器所使用的數(shù)據(jù)對(duì)象也比較小。例如，HE-AAC的數(shù)據(jù)存儲(chǔ)器(音頻編碼標(biāo)準(zhǔn)中存儲(chǔ)器要求最大的一種)要求是70KB，而QVGA視頻編解碼器要求超過250KB。在AD6900中，通常將大多數(shù)音頻編解碼器的數(shù)據(jù)對(duì)象放置在外部存儲(chǔ)器上(例如，SDRAM或PSRAM)，這樣就不會(huì)產(chǎn)生寬帶寬問題。

結(jié)束語 　　本文討論了系統(tǒng)設(shè)計(jì)工程師在使用無線數(shù)字基帶處理器AD6900實(shí)現(xiàn)軟件多媒體標(biāo)準(zhǔn)時(shí)所遇到的幾個(gè)難題及其解決方案。在給定的大動(dòng)態(tài)無線環(huán)境中，無線手機(jī)不僅必須支持多種空中接口，而且也必須支持多種復(fù)雜的視頻和音頻標(biāo)準(zhǔn)，這種情況下，移動(dòng)終端利用軟件可編程能力以保持高度靈活性是很關(guān)鍵的。