基于FFmpeg的高清視頻編輯模塊的設(shè)計(jì)方案

1 相關(guān)背景

視頻分析在體育領(lǐng)域中的應(yīng)用非常廣泛，教練員和運(yùn)動(dòng)員可以通過(guò)控制比賽錄像分割、回放、暫停等操作，仔細(xì)研究比賽細(xì)節(jié)，并對(duì)運(yùn)動(dòng)員的技戰(zhàn)術(shù)特點(diǎn)進(jìn)行分析和總結(jié)，作為第一手資料指導(dǎo)運(yùn)動(dòng)員日常訓(xùn)練及比賽。隨著多媒體技術(shù)以及視頻編解碼技術(shù)的不斷發(fā)展，高清視頻作為一種可以為研究運(yùn)動(dòng)員技戰(zhàn)術(shù)水平提供強(qiáng)力支持的重要工具，越來(lái)越受到各國(guó)教練團(tuán)隊(duì)的重視。

MTS 視頻格式是一種新興的高清視頻格式， 其視頻編碼通常采用H264 格式，音頻編碼采用AC-3 格式，分辨率為全高清標(biāo)準(zhǔn)1920*1080.由于MTS 視頻格式采用的H264 編碼的復(fù)雜性，決定了解碼MTS 對(duì)硬件的兼容能力的高要求，高清片源在許多現(xiàn)有的播放器上播放會(huì)出現(xiàn)停頓、失幀的現(xiàn)象，因此有必要轉(zhuǎn)化為兼容性更強(qiáng)的MPEG 格式。使用原來(lái)基于DrectShow 技術(shù)開(kāi)發(fā)的國(guó)家擊劍隊(duì)視頻管理系統(tǒng)進(jìn)行MTS 格式視頻編碼時(shí)會(huì)出現(xiàn)無(wú)法識(shí)別視頻格式的問(wèn)題，并且由于DrectShow 進(jìn)行視頻編碼的效率過(guò)低，導(dǎo)致處理高清視頻時(shí)間過(guò)長(zhǎng)，影響了系統(tǒng)工作效率。

為解決此問(wèn)題，本文在原視頻管理系統(tǒng)的基礎(chǔ)上，利用在Windows 環(huán)境下編譯FFmpeg 產(chǎn)生的二進(jìn)制庫(kù)，對(duì)原有的視頻編輯模塊進(jìn)行改進(jìn)，實(shí)現(xiàn)了MTS 格式高清視頻源的剪切和向MPEG 格式的壓縮轉(zhuǎn)換，并利用XML Parser 組件將剪輯完成視頻的時(shí)間線信息保存到XML 文檔，實(shí)現(xiàn)高清體育視頻的編輯、儲(chǔ)存和管理。

2 FFmpeg 編碼

2.1 FFmpeg 簡(jiǎn)介

FFmpeg 是一款強(qiáng)大的開(kāi)源免費(fèi)跨平臺(tái)音視頻編碼器與解碼器的集合，屬于自由軟件，采用GPL 或LGPL 許可證，支持MPEG、MTS、MPEG4 等40 多種編碼， MPEG、Matroska、OGG 等90 多種解碼，是一個(gè)集錄制、轉(zhuǎn)換、音/ 視頻編解碼功能為一體的、完整的開(kāi)源解決方案。FFmpeg 的開(kāi)發(fā)基于Linux 操作系統(tǒng)， 也可在大多數(shù)操作系統(tǒng)中編譯和使用， 并且編碼效率很高，因此基于以上優(yōu)點(diǎn)，本系統(tǒng)選擇FFmpeg 作為實(shí)現(xiàn)視頻編輯模塊的基礎(chǔ)。

2.2 FFmpeg 在Windows 環(huán)境下的編譯

FFmpeg 是一款基于Linux 系統(tǒng)的跨平臺(tái)開(kāi)源項(xiàng)目，采用gcc編譯器，在Windows 環(huán)境下編譯FFmpeg 不能使用BCB 或VC++ 等專用編譯器，需要先下載編譯工具鏈mingw 安裝包，并配置相應(yīng)的環(huán)境變量。此外還需安裝Msys 來(lái)模擬Linux 環(huán)境，并安裝yasm.

exe 的32.bit 版本(對(duì)應(yīng)自己的操作系統(tǒng))來(lái)編譯FFmpeg 里面的匯編代碼。

安裝完畢之后編輯C :MinGWmsys1.0msys.bat 文件，在最后一行加入VS2010 的相對(duì)路徑，加入這行后編譯FFmpeg 時(shí)會(huì)多出windows 下調(diào)用dll 對(duì)應(yīng)的lib,其中常用的有四個(gè)庫(kù)文件：libavcodec、libavformat、libavutil 和libswscale.其中l(wèi)ibavcodec 庫(kù)中存放的是用于音視頻解碼和編碼的decode/encode 模塊，libavformat 庫(kù)中存放的是用于合并/ 分離音頻和視頻流的muxer/demuxer 模塊，libavutil 庫(kù)中存放的是內(nèi)存操作等輔助性模塊。

2.3 FFmpeg 編碼的實(shí)現(xiàn)

本視頻編輯模塊主要是調(diào)用音頻/ 視頻編解碼庫(kù)libavcodec中的相應(yīng)函數(shù)來(lái)實(shí)現(xiàn)格式轉(zhuǎn)換與剪切功能。在使用FFmpeg 編碼之前， 首先需要初始化libavcodec 庫(kù)，注冊(cè)所有的編解碼器以及文件格式，導(dǎo)入編碼器碼率、幀速率、編碼像素格式等參數(shù)，然后尋找編碼器并打開(kāi)進(jìn)行編碼。通過(guò)用預(yù)設(shè)的視頻參數(shù)為結(jié)構(gòu)體AVCodecContext 中的各個(gè)成員參數(shù)來(lái)賦值，實(shí)現(xiàn)編碼參數(shù)的設(shè)置。編碼的核心函數(shù)是avcodec_encode_video( )。系統(tǒng)每采集一幀的數(shù)據(jù)， 就送給avcodec_encode_video( ) 函數(shù)編碼成H.264 視 頻流。編碼過(guò)程中詳細(xì)的函數(shù)和編碼流程如圖1 所示。

3 基于FFmpeg 的視頻編輯模塊的實(shí)現(xiàn)

改進(jìn)之后的高清視頻編輯模塊的結(jié)構(gòu)如圖2 所示。

FFmpeg 采用了主程序+ 核心庫(kù)的編程模式。FFmpeg 核心庫(kù)隱藏了其內(nèi)部各種函數(shù)的具體格式的實(shí)現(xiàn)， 對(duì)外提供了統(tǒng)一的調(diào)用方法。針對(duì)此設(shè)計(jì)模式的特點(diǎn)，本視頻編輯模塊具有以下設(shè)計(jì)特點(diǎn)：通過(guò)直接調(diào)用FFmpeg 核心庫(kù)中的函數(shù)來(lái)實(shí)現(xiàn)對(duì)視頻的編輯操作，同時(shí)還對(duì)libavformat 庫(kù)中的MPEG 文件格式處理部分的代碼進(jìn)行了修改，使之實(shí)現(xiàn)按固定碼率的輸出。系統(tǒng)的視頻編輯界面采用非線性布局，操作時(shí)間軸上需要記錄的信息有視頻剪輯的入點(diǎn)時(shí)間和出點(diǎn)時(shí)間( 精確到秒)， 每次在進(jìn)行視頻文件處理時(shí)，中間層會(huì)首先判斷用戶是否時(shí)間線有改動(dòng)，若有改動(dòng)則執(zhí)行剪切部分代碼，將時(shí)間軸上的入點(diǎn)信息和出點(diǎn)信息作為調(diào)用核心庫(kù)函數(shù)的參數(shù)導(dǎo)入結(jié)構(gòu)體AVCodecContext.系統(tǒng)調(diào)用avcodec_encode_video() 等相關(guān)函數(shù)對(duì)視頻進(jìn)行編碼，若用戶勾選了需要格式轉(zhuǎn)換則轉(zhuǎn)換為MPEG 格式，否則按原格式輸出。轉(zhuǎn)換完成之后還需將生成的新文件的句柄替換到有關(guān)的數(shù)據(jù)結(jié)構(gòu)之中，最后再將編輯的詳細(xì)信息通過(guò)XML Parser 組件生成XML 文檔。具體過(guò)程如圖3所示。

4 高清視頻分析系統(tǒng)

加入高清視頻編輯模塊之后的國(guó)家擊劍隊(duì)視頻分析系統(tǒng)如圖4 所示。

本文使用了擊劍隊(duì)標(biāo)準(zhǔn)高清測(cè)試視頻中的一段長(zhǎng)4 分05秒的片段對(duì)視頻編輯模塊進(jìn)行了測(cè)試，該片源的圖像分辨率為1920*1080,碼率為12414kbps, 幀率25 幀/ 秒，源文件大小為363MB,使用本系統(tǒng)截取了一段2 分鐘的視頻進(jìn)行格式轉(zhuǎn)換，編碼系統(tǒng)正確識(shí)別了源文件，并輸出了一個(gè)138MB 的MPEG 文件。播放器上實(shí)際的播放效果表明，改視頻編輯模塊能正確的將高清MTS格式源文件按用戶要求剪切并壓縮轉(zhuǎn)換為可流暢播放的MPEG 格式，基本符合了設(shè)計(jì)要求。

5 結(jié)束

本文詳細(xì)闡述了基于FFmpeg 的高清視頻編輯模塊的設(shè)計(jì)和實(shí)現(xiàn)，在分析了原有基于DrectShow 技術(shù)開(kāi)發(fā)的編輯模塊存在的不足的基礎(chǔ)上，分析和提出了基于FFMpeg 的改進(jìn)方案，并介紹了該方案的具體實(shí)現(xiàn)，該解決方案在保持了FFmpeg 高效的編碼速率、較好的編碼質(zhì)量的同時(shí)，做到了與原有系統(tǒng)其他模塊的兼容，剪輯出來(lái)的視頻符合國(guó)家擊劍隊(duì)訓(xùn)練使用的各項(xiàng)要求。