用于便攜式多媒體SoC的視頻處理方案

強(qiáng)烈的消費(fèi)需求以及與便攜式多媒體設(shè)備相關(guān)的技術(shù)進(jìn)步向制造商提出了諸多挑戰(zhàn)，即要求在更小、更便宜和通用性更強(qiáng)的產(chǎn)品中繼承更多的功能和業(yè)務(wù)。為了理解如何設(shè)計(jì)出真正有價(jià)值的和滿足這一市場(chǎng)需要的差異化產(chǎn)品，首先必須了解目前典型的多媒體設(shè)備所能夠?qū)崿F(xiàn)的各種技術(shù)：

1. 多媒體。多種視頻、音頻和圖像編解碼標(biāo)準(zhǔn)，如H.264、VC-1、MPEG-4、AAC、MP3、JPEG；

2. 無(wú)線。GSM或CDMA、WCDMA、TD-SCDMA、1xEV-DO、WiMAX；

3. 圖形。包括用于游戲和高級(jí)圖形用戶界面的二維和三維圖形；

4. 語(yǔ)音識(shí)別。幾乎是市面上任何一臺(tái)新手機(jī)中的標(biāo)準(zhǔn)配置功能；

5. 基于連結(jié)和定位的技術(shù)。比如包括天線、射頻和基帶處理在內(nèi)的藍(lán)牙，以及GPS、Wi-Fi、UWB、WiMAX等。

在為SoC設(shè)計(jì)視頻引擎時(shí)，引擎必須支持許多不同的應(yīng)用和標(biāo)準(zhǔn)，比如：

1. 采用H.264、MPEG-4、VC-1或MPEG-2標(biāo)準(zhǔn)的視頻回放/記錄(電影、剪輯、Podcasts等)；

2. 采用H.263(MPEG-4短報(bào)頭)或H.264標(biāo)準(zhǔn)的視頻會(huì)議；

3. 采用H.264或VC-1標(biāo)準(zhǔn)的移動(dòng)電視。

更進(jìn)一步，在與目前的便攜式多媒體設(shè)備相關(guān)的各種視頻標(biāo)準(zhǔn)中，還存在許多內(nèi)容類型和文件格式。

1. 文件格式：3gp、m4v、mpg、avi等。

2. 內(nèi)容類型：

a. 基于文件。當(dāng)播放或記錄存儲(chǔ)在設(shè)備本地存儲(chǔ)器中的剪輯和電影時(shí)使用；

b. 視頻流。用于播放通過(guò)運(yùn)營(yíng)商網(wǎng)絡(luò)傳輸?shù)募糨嫞?

c. 廣播。用于移動(dòng)電視；

d. 交互。允許用戶與多媒體內(nèi)容進(jìn)行交互。

為了在便攜式多媒體SoC中支持上述所有的視頻標(biāo)準(zhǔn)和內(nèi)容類型，有三種可用的方案：硬件加速、視頻協(xié)處理器和通用處理器(DSP/RISC)。

硬件加速——規(guī)模小且效率高

硬件加速只執(zhí)行一個(gè)特定標(biāo)準(zhǔn)(通常是單個(gè)標(biāo)準(zhǔn))的單一功能(編碼或解碼)，具有最高的效率和較少的門數(shù)。研發(fā)時(shí)，不同的SoC只有在功能完全相同時(shí)才能復(fù)用。例如，當(dāng)加速器支持以VGA分辨率編碼的MPEG-4簡(jiǎn)單格式時(shí)，需要大約15萬(wàn)個(gè)等效二輸入與非門，而當(dāng)加速器需要同時(shí)支持MPEG-4(簡(jiǎn)單格式)和分辨率為D1的H.264(基線格式)編碼時(shí)，則需要完全重新設(shè)計(jì)，需要大約35萬(wàn)門。

圖1給出一個(gè)SoC的推薦架構(gòu)，其中包括了視頻硬件加速器，用于音視頻處理的DSP引擎，還有一個(gè)CPU用來(lái)實(shí)現(xiàn)音視頻之間的同步，并執(zhí)行其它的日常工作和系統(tǒng)任務(wù)。

圖1：采用硬件加速器的系統(tǒng)架構(gòu)示意圖。

采用硬件加速器具有以下幾個(gè)優(yōu)點(diǎn)：

1. 規(guī)模。只執(zhí)行固定的操作，不包括任何指令處理(存取、解碼)，也沒(méi)有程序存儲(chǔ)器管理。因此門數(shù)較少。

2. 功率。由于門數(shù)較少、效率高，因此功耗較小。

3. 性能。這是一項(xiàng)效率非常高的實(shí)現(xiàn)方案，按執(zhí)行時(shí)間計(jì)算該方案運(yùn)行較快。

但是該方案也有如下一些缺點(diǎn)：

1. 只能處理視頻。當(dāng)采用硬件加速器時(shí)，多媒體中的音頻和語(yǔ)音部分必須由SoC中的其它部分來(lái)處理(通常是CPU或DSP)；

2. 音視頻之間的同步必須在CPU上進(jìn)行。在CPU上實(shí)現(xiàn)同步增加了研發(fā)難度、集成難度和QA；

3. 功率耗散。當(dāng)采用硬件加速器時(shí)，CPU通常執(zhí)行算法的信息編碼(如CAVLC)和后處理(如解鎖濾波器)，這使得方案耗費(fèi)的功率極大(在大約150MHz的載荷上，一個(gè)ARM11內(nèi)核消耗的功率就高達(dá)120mW)；

4. 軟件升級(jí)和缺陷修復(fù)。無(wú)法通過(guò)軟件升級(jí)的方法來(lái)隔離或修復(fù)缺陷，這通常導(dǎo)致重新流片；

5. 新一代的產(chǎn)品。一個(gè)在SoC中執(zhí)行特定任務(wù)的硬件加速器似乎不能滿足下一代的需求；

6. 存儲(chǔ)器。在SoC中，加速器專用存儲(chǔ)器不易被其它元件訪問(wèn)，因此從成本和硅片面積的角度上來(lái)看效率較低。

一些硬件加速器能夠支持多種標(biāo)準(zhǔn)的解碼(如H.264基線格式和MPEG-4簡(jiǎn)單格式)。盡管這些加速器更有用，卻丟掉了門數(shù)少這個(gè)主要優(yōu)點(diǎn)。