視頻多媒體手機之系統(tǒng)架構(gòu)規(guī)劃

　　目前電子產(chǎn)業(yè)的設(shè)計動能，無疑將很大的一部分集中在移動終端，尤其是手機的開發(fā)上頭。就通信環(huán)境來說，移動通信系統(tǒng)持續(xù)朝向更高傳輸量及IP化發(fā)展，在應(yīng)用上則帶動了VoIP、email、簡訊、Java Game甚至是VoD、Mobile TV等網(wǎng)路、廣播服務(wù)的出現(xiàn)。這些應(yīng)用型態(tài)，對于移動終端的設(shè)計都是新的挑戰(zhàn)，本文將著重于探討多媒體手機的開發(fā)及系統(tǒng)架構(gòu)規(guī)劃。

　　為了因應(yīng)多媒體的表現(xiàn)，今日的手機必須在軟硬件架構(gòu)上進行必要的調(diào)整：首先是顯示器，除了螢?zāi)坏某叽缬鷣碛笸猓瑸樘嵘@示品質(zhì)，在解析度上從qQVGA、QCIF，一路往QVGA升級；面板技術(shù)上則從CSTN、A-TFT、LTPS，逐漸升級到OLED；此外，MVA、IPS等寬視角技術(shù)也愈來愈受重視。

　　在多媒體的應(yīng)用功能上，包括了視頻（錄影、視頻節(jié)目等）、音頻（語音、音樂、影音效果等）和圖形（照片、游戲等），分別需要用到專門的處理技術(shù)，以及鏡頭、感測器、處理器、記憶體和顯示器等硬件系統(tǒng)配備。以照相功能為例，手機相機除了訴求更高解析度、對動態(tài)攝影要求具有SDTV視頻的捕捉能力外，光學(xué)伸縮鏡頭（Optical zoom）、手振校正功能及閃光燈都將是高階手機的附加功能。

　　手機多媒體處理架構(gòu)

　　隨著多媒體任務(wù)愈來愈繁重，單單依賴基頻已難以承受所有處理工作，因此應(yīng)用處理器（application processor）的角色就因應(yīng)而生。將應(yīng)用處理功能從基頻中分離出來，一方面可以分擔(dān)彼此的工作，另一方面則可以視市場的需求而各自調(diào)整、升級個別的功能，例如基頻可以專注于因應(yīng)通信規(guī)格的變化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系統(tǒng)業(yè)者也能依自己的需求來搭配這兩個單元。

　　應(yīng)用處理器在功能上的演進壓力也很大，例如對照相功能得準備再升級到三百萬，甚至是五百萬畫素，視頻上也得進一步支援30ftp的VGA畫質(zhì)；在圖形處理方面，它得嵌入2D/3D繪圖引擎，以滿足游戲的臨場感；至于最新的應(yīng)用需求則是支援要DVB-H、T-DMB或Media FLO等移動電視規(guī)格。

　　由于業(yè)者的技術(shù)背景不同，目前市場上應(yīng)用處理器的架構(gòu)作法也不盡相同，以處理器技術(shù)見長的廠商提出採用高效能的單一ARM核心來處理所有工作的架構(gòu)；同時有更多人採用ARM加DSP的雙核心架構(gòu)，也就是將控制與訊號處理工作分流，由ARM的RISC核心主要進行控制工作，大量的訊號加、解碼工作則交給DSP來執(zhí)行。此外，有些專屬性應(yīng)用的處理工作非常消耗運算資源，這時，應(yīng)用處理平臺中會考慮加入專屬的加速器來提升處理效能。

　　由于手機中的應(yīng)用功能不斷增加，因此，在應(yīng)用處理平臺中加入包括視頻、音頻、2D/3D繪圖、PAN/WAN、安全和GPS定位等專屬功能加速器的分散式處理架構(gòu)，已成為多媒體手機的重要發(fā)展方向，請參考(圖一)。此架構(gòu)讓系統(tǒng)能以更低的時脈頻率達成復(fù)雜的多媒體工作，并能降低主處理器的負荷。以Nomadik平臺為例，即是在ARM926EJ-S的主處理器核心外，搭配智能性視頻加速器（Smart video accelerator）和智能音頻加速器（Smart audio accelerator）、多媒體信號處理器（MMDSP）、加速功能硬件（Acceleration hardware）等多顆可程式智能加速器來分擔(dān)在音頻和視頻上的前、后處理任務(wù)。

　　圖一　分散式處理模式（以Nomadik為例）

　　資料來源：ST

　　在任務(wù)執(zhí)行中，這些智能加速器在產(chǎn)生圖像、錄影、播放節(jié)目和雙向影音通信時，能獨立且同時的運作，進而讓系統(tǒng)能在低耗電的條件下達成需求的應(yīng)用功能表現(xiàn)，所提供處理動力和記憶體頻寬，足以驅(qū)動1024x1024 pixels的螢?zāi)?；此外，這些復(fù)雜的加速器能獨立地與區(qū)域DMA和記憶體資源一起工作，讓主處理器能在同一時間中更專注于處理應(yīng)用功能，或進入省電狀態(tài)來延長電池壽命。

　　視頻處理單元

　　在視頻壓縮技術(shù)方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相較之下，MPEG-4問世的時間較久，市場上採用的情況也較高，但H.264由于是最新的標準，能提供當(dāng)前最佳的視頻壓縮效能，并且已獲得MPEG/lS0和ITU兩大國際標準組織的支持，再加上它的適用范圍極廣，所以自2003年標準推出后，即成了HDTV、HD-DVD、手機及視頻串流等業(yè)者非常重視的規(guī)格。

　　不過，不同的視頻壓縮格式，由于規(guī)格復(fù)雜度不同，需要的運算資源也不同；此外，編碼（encode）又比解碼（decode）耗用更大的運算資源。以MPEG-4為例，以軟件來做解碼或許還可行，但若要以軟件來進行編碼就會耗掉太多的系統(tǒng)運算資源。類似地，不同的顯示器視頻品質(zhì)也意味著不同的運算需求，例如若要以單一處理器來提供30 fps的VGA畫質(zhì)視頻，可能得用到GHz等級的處理器才跑得動，不過，這在手機的環(huán)境下顯然是行不通的，因為此方案的耗電太驚人，散熱也難以處理。

　　在此情況下，專屬的視頻加速器就是最可行的方案。在Nomadik應(yīng)用平臺中的視頻加速器，能針對MPEG-4的編解碼提供30 fps的CIF畫質(zhì)、24 fps的VGA畫質(zhì)和384Kbit/s的傳輸率，也具備圖像前／后處理的能力，如(圖二)。在視頻的編、解碼上，除了運算處理外，記憶體的容量與架構(gòu)也是設(shè)計上的關(guān)鍵。舉例來說，以CIF的顯示器加上抓取緩沖（grab buffer）就需要1200 Kbyte以上才夠。若能開發(fā)一套智能性的動作估計演算法（motion estimation algorithm），就能大幅降低記憶體大小和耗電性。

　　Nomadik以48 Kbyte的on-chip SRAM來支援VGA視頻編碼，它用在視頻頻框的抓取和搜尋視窗的儲存，外部的記憶體則被用于其余視頻功能的處理。此一作法降低了記憶處理的延遟，讓效能可以大幅提升，同時也為改善了I/O和匯流排的設(shè)計，能進一步降低耗電；此外，在成本上也因晶片尺寸的縮小而降低。

　　此外，高品質(zhì)、低復(fù)雜性演算法對于H.264的編解碼也有很大的幫助，以ST來說，就已提出運動估算與速率控制演算法，以及用于H.264解碼的錯誤檢測與隱藏演算法，能讓解碼器承擔(dān)并隱藏數(shù)據(jù)封包損失，在無線封包網(wǎng)路上實現(xiàn)IP網(wǎng)路的最佳效能。

　　圖二　智能視頻加速器

　　資料來源：ST

　　音頻處理單元

　　手機的基本功能，即在處理語音的通話音頻。但在多媒體手機中，音頻的處理任務(wù)愈來愈復(fù)雜，除了語音外，還要求具備多音調(diào)振鈴、MP3音樂、FM廣播及游戲音效，而且不能只是單聲道的效果，現(xiàn)在還要求能提供Hi-Fi立體聲的臨場感體驗。

　　從單聲道到立體聲，對手機音頻系統(tǒng)的設(shè)計是一種改革性的挑戰(zhàn)。一般而言，Hi-Fi是指16-bit立體聲品質(zhì)、以44.1kHz取樣的音頻，也就是CD音樂的規(guī)格；電話語音則是8-bit和8kHz的單聲道（mono）、低階品質(zhì)音頻。過去這兩個世界是井水不犯河水的，但今日在手機上得一併考慮設(shè)計才行了。

　　在音頻編解碼（CODEC）上，也有琳瑯滿的規(guī)格需要支援：針對音效的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；針對人類語音有LPC、CELP與ACELP等；其他還有MPEG-2、MPEG-4、H.264、VC-1等視聽節(jié)目的編碼格式。手機多媒體格式的市場趨勢請參考(圖三)。

　　圖三　手機多媒體格式的應(yīng)用市場趨勢

　　在Nomadik中具有一個音頻加速器，它是一個完全以C語言加以程式化的多媒體DSP（MMDSP）核心，此核心採用採用超長指令集（very-long-instruction-word, VLIW）架構(gòu)，它的每個指令執(zhí)行為一個循環(huán)，而且完全是由C語言撰寫的程式，適用于與媒體內(nèi)容相關(guān)的處理，以及協(xié)定、負載平衡和多工架構(gòu)等用途。此一音頻加速器能夠?qū)ΠˋAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數(shù)字音頻格式進行加碼或解碼，也支援SRS、WOW等3D音頻環(huán)繞效果，如(圖四)。

　　圖四　智能音頻加速器

　　資料來源：ST

　　硬件加速器

　　為了要進一步降低耗電，有必要將硬件線路運算器（hardwired operator）和MMDSP一起使用，這樣能保證即使在最糟的狀況下還有足夠的效能表現(xiàn)。低頻率的硬件負責(zé)處理動作估計（motion estimation）、編碼轉(zhuǎn)換（transform coding）、變數(shù)長度解碼（variable length decoding）、圖像過濾（image filtering）和色彩轉(zhuǎn)換（color conversion）等需要大量MIPS計算的工作。

　　軟件架構(gòu)剖析

　　吸引人、負擔(dān)得起和互動性的多媒體通信、資訊和娛樂將新的移動服務(wù)中處處可見。但對軟件廠商和設(shè)備制造商來說，如果每次都要針對不同的無線平臺重新撰寫同樣的應(yīng)用功能，自然是讓人很氣餒的經(jīng)驗。Java這類run-time技術(shù)能支援下載游戲和應(yīng)用，但需要有足夠程式資源。有趣的多媒體應(yīng)用需要愈來愈多的資源和耗電，這對于體積小的手機設(shè)備是很大的挑戰(zhàn)。

　　要克服這些問題的一個務(wù)實方式，是採用開放多媒體介面的一般性架構(gòu)，而且是基于抽象硬件介面（hardware abstraction）的作法。在這個架構(gòu)同時提供上層和下層的觀點，上層的觀點提供應(yīng)用程式撰寫者一套針對特定作業(yè)系統(tǒng)的統(tǒng)一軟體介面，并對底層的處理器設(shè)計加以抽象化。

　　在底層的部分包括多媒體加速器和影音編解碼器，UART、USB及藍芽等通信介面，以及LCD控制器、影像感測器或照相機等一般性應(yīng)用週邊的標準硬件介面；在中間的部分為涵蓋核心、設(shè)備驅(qū)動程式和檔案系統(tǒng)的作業(yè)系統(tǒng)功能，以及多媒體架構(gòu)、語音及網(wǎng)路的通信架構(gòu)、Java和安全性架構(gòu)等等；上層的部分則是各種應(yīng)用功能，例如語音、游戲、短信、瀏覽、PIM等等功能。這三層之間則透過底層API及高層API來進行溝通，請參考(圖五)。

　　圖五　軟件架構(gòu)示意圖

　　資料來源：ST

　　結(jié)論

　　目前移動終端設(shè)備的應(yīng)用性不斷地延伸，其中最主要的趨勢自然是從單純語音走向消費性娛樂的多媒體應(yīng)用功能。單以視頻應(yīng)用來說，就包括攝影（camcorder）、媒體播放（media player）、移動電視、視頻電話（video telephony）等等，要提供這些應(yīng)用功能，今日的手機除了需要提升鏡頭、感測器、處理器、記憶體和顯示器等硬件系統(tǒng)配備外，開發(fā)者還得面臨不少設(shè)計挑戰(zhàn)。

　　先進的多媒體應(yīng)用平臺要能支援多重的視頻及音頻格式，以提供豐富的影音應(yīng)用功能；要支援更高的解析度和傳輸、處理速度，以提升用戶的視聽感受經(jīng)驗；在應(yīng)用處理負荷增加下，仍能保持或延長電池的使用壽命。要克服這些挑戰(zhàn)，在設(shè)計上有必要採取更先進的軟、硬技術(shù)與系統(tǒng)架構(gòu)。

　　本文中針對多媒體手機的系統(tǒng)需求提出了分散式處理的加速器架構(gòu)，它能有效地降低系統(tǒng)的負荷，并滿足各種應(yīng)用的處理效能。在新興的多媒體應(yīng)用及服務(wù)上，除了考慮處理效能及展現(xiàn)品質(zhì)外，往往還得解決內(nèi)容的安全性的問題，因此，手機系統(tǒng)也需針對行動商務(wù)（M-commerce）、身分證認（authentication）和數(shù)字版權(quán)管理（DRM）等應(yīng)用做出安全的安全保障架構(gòu)，這和終端本身記憶體的作法以及通信系統(tǒng)的認證機制息息相關(guān)，例如可用專屬的安全模組記憶體作法來儲存保密性的資料。

　　最后，在通信的世界中需要打造一個開放性的環(huán)境，才能讓這些內(nèi)容、應(yīng)用及服務(wù)遍及最多的用戶。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等國際組織在推動音、視頻及串流格式的一致性作法，以確保在不同的終端設(shè)備和電信系統(tǒng)中能順暢的傳遞視頻內(nèi)容。這些非營利組織之間也有密切的合作關(guān)系，在開放性的精神下，讓多媒體的服務(wù)能更快速的進入每個人的行動生活當(dāng)中。

　?。ㄗ髡邽橐夥ò雽?dǎo)體亞太區(qū)通信及移動多媒體事業(yè)部資深技術(shù)行銷工程師，聯(lián)絡(luò)方式：vincent.chiang@st.com）