Android多媒體框架初步分析

Android 系統(tǒng)整體架構(gòu)：

我們先看一下多媒體框架在整個Android系統(tǒng)所處的位置

從框架圖可以看出Media Framework處于Libraries這一層，這層的Library不是用Java實(shí)現(xiàn)，一般是C/C++實(shí)現(xiàn)，它們通過Java的JNI方式調(diào)用。

多媒體架構(gòu)：

基于第三方PacketVideo 公司的OpenCORE platform來實(shí)現(xiàn)

支持所有通用的音頻，視頻，靜態(tài)圖像格式

CODEC(編解碼器)使用OpenMAX 1L interface 接口進(jìn)行擴(kuò)展，可以方便得支持hardware / software codec plug-ins

支持的格式包括：MPEG4、H.264、MP3、AAC、AMR、JPG、PNG、GIF等。

l Open Core多媒體框架有一套通用可擴(kuò)展的接口針對第三方的多媒體遍解碼器，輸入，輸出設(shè)備等等 。

l 多媒體文件的播放，下載，包括3GPP, MPEG-4,AAC and MP3 containers

l 流媒體文件的下載，實(shí)時播放，包括：3GPP, HTTP and RTSP/RTP

l 動態(tài)視頻和靜態(tài)圖像的編碼，解碼，例如：MPEG-4, H.263 and AVC (H.264), JPEG

l 語音編碼格式： AMR-NB and AMR-WB

l 音樂編碼格式： MP3, AAC, AAC+

l 視頻和圖像格式： 3GPP, MPEG-4 and JPEG

l 視頻會議：基于H324-M standard

圖中用黃線圈出的是Media Framework

Open Core介紹：

Open Core是Android 多媒體框架的核心，所有Android平臺的音視頻采集，播放的操作都是通過它來實(shí)現(xiàn)。它也被稱為PV(Packet Video), Packet Video是一家專門提供多媒體解決方案的公司。

通過Open Core程序員可以方便快速的開發(fā)出想要的多媒體應(yīng)用程序，例如：音視頻的采集，回放，視頻會議，實(shí)時的流媒體播放等等應(yīng)用。

Open Core 框架

代碼結(jié)構(gòu)：

Open Core的代碼在Android代碼的External/Opencore目錄中。這個目錄是OpenCore的根目錄，其中包含的子目錄如下所示：

android：這里面是一個上層的庫，它實(shí)現(xiàn)了一個為Android使用的音視頻采集，播放的接口，和DRM數(shù)字版權(quán)管理的接口實(shí)現(xiàn)。

baselibs：包含數(shù)據(jù)結(jié)構(gòu)和線程安全等內(nèi)容的底層庫

codecs_v2：音視頻的編解碼器，基于OpenMAX實(shí)現(xiàn)

engines：核心部分，多媒體引擎的實(shí)現(xiàn)

extern_libs_v2：包含了khronos的OpenMAX的頭文件

fileformats：文件格式的解析(parser)工具

nodes：提供一些PVMF的NODE，主要是編解碼和文件解析方面的。

oscl：操作系統(tǒng)兼容庫

pvmi： 輸入輸出控制的抽象接口

protocols：主要是與網(wǎng)絡(luò)相關(guān)的RTSP、RTP、HTTP等協(xié)議的相關(guān)內(nèi)容

pvcommon：pvcommon庫文件的Android.mk文件，沒有源文件。

pvplayer：pvplayer庫文件的Android.mk文件，沒有源文件。

pvauthor：pvauthor庫文件的Android.mk文件，沒有源文件。

tools_v2：編譯工具以及一些可注冊的模塊。

Open Core 上層代碼結(jié)構(gòu)

在實(shí)際開發(fā)中我們并不會過多的研究Open Core的實(shí)現(xiàn)，Android提供了上層的Media API給開發(fā)人員使用，MediaPlayer和MediaRecorder

Android Media APIs

l The Android platform is capable of playing both audio and video media. It is also capable of playing media contained in the resources for an application, or a standalone file in the filesystem, or even streaming media over a data connection. Playback is achieved through the android.media.MediaPlayer class.

l The Android platform can also record audio. Video recording capabilities are coming in the future. This is achieved through the android.media.MediaRecorder class.

Media Player

提供的基本接口如下：

Public Methods

static MediaPlayer create(Context context, Uri uri)

Convenience method to create a MediaPlayer for a given Uri.

int getCurrentPosition()

Gets the current playback position.

int getDuration()

Gets the duration of the file.

int getVideoHeight()

Returns the height of the video.

int getVideoWidth()

Returns the width of the video.

boolean isPlaying()

Checks whether the MediaPlayer is playing.

void pause()

Pauses playback.

void prepare()

Prepares the player for playback, synchronously.

void prepareAsync()

Prepares the player for playback, asynchronously.

void release()

Releases resources associated with this MediaPlayer object.

void reset()

Resets the MediaPlayer to its uninitialized state.

void seekTo(int msec)

Seeks to specified time position.

void setAudioStreamType(int streamtype)

Sets the audio stream type for this MediaPlayer.

void setDataSource(String path)

Sets the data source (file-path or http/rtsp URL) to use.

void setDisplay(SurfaceHolder sh)

Sets the SurfaceHolder to use for displaying the video portion of the media.

void setVolume(float leftVolume, float rightVolume)

Sets the volume on this player.

void start()

Starts or resumes playback.