H.264壓縮算法詳解
加入技術(shù)交流群
原來(lái)國(guó)際電信標(biāo)準(zhǔn)化部門從1998年就H.26L的H.26S兩個(gè)分組，前者研制節(jié)目時(shí)間較長(zhǎng)的高壓縮編碼技術(shù)，后者則指短節(jié)目標(biāo)準(zhǔn)制訂部門。H.26S 的標(biāo)準(zhǔn)化技術(shù)的名稱為H.263，聽(tīng)起來(lái)很耳生，但實(shí)質(zhì)上卻早在用了，還被罵得很激烈。因?yàn)?，H.263先入為大，一直以MPEG-4大內(nèi)涵的名字在用。 H.263的全稱為MPEG-4 Visual或MPEG-4 Pall Ⅱ，即MPEG-4視頻簡(jiǎn)單層面的基礎(chǔ)編碼方式。2001年后，國(guó)際電信標(biāo)準(zhǔn)化部門ITU-T和MPEG的上級(jí)組織國(guó)際標(biāo)準(zhǔn)化組織ISO/國(guó)際電氣標(biāo)準(zhǔn)會(huì)議IEC成立了聯(lián)合視頻組JVT，在H.26L基礎(chǔ)進(jìn)行H.264的標(biāo)準(zhǔn)化。
2002年12月9日~13日，在日本香川縣淡路島舉行的MPEG聚會(huì)上確定了相關(guān)技術(shù)的規(guī)格。規(guī)格書(shū)定稿后，2003年3月17日，H.364的技術(shù)格式最終稿國(guó)際標(biāo)準(zhǔn)規(guī)格（FDIS）被確立。目前軟件和LSI芯片，服務(wù)及設(shè)備也都進(jìn)入了使用階段。格式書(shū)中，列出了比特流規(guī)定，解碼必要格式，和可供參考的編碼記載。
為了不引起誤解，ITU-T推薦使用H.264作為這一標(biāo)準(zhǔn)的正式名稱。實(shí)際上，MPEG-4里還有MPEG-4 Audio和MPEG-4 System的不同規(guī)格。
MPEG-4挨罵是因?yàn)镸PEG-4 Visual許可收費(fèi)離譜引起的。別以為有了專利就可以隨意向人要錢了，專利的最終目的的是使全社會(huì)的智力資料更合理地使用，防止重復(fù)勞動(dòng)，并不是犒賞最先發(fā)明者。按唯美史觀，當(dāng)社會(huì)技術(shù)發(fā)展到某一階段時(shí)，新技術(shù)必然會(huì)出現(xiàn)。不是你、就是他總會(huì)發(fā)明出來(lái)，只是細(xì)節(jié)、時(shí)間、成本上的微小差別。歷史上，這樣不約而同的發(fā)明很多，無(wú)線電的發(fā)明者是馬可尼還是波波夫，一直在西方和東方技術(shù)史界爭(zhēng)論。
而當(dāng)專利技術(shù)成為國(guó)際標(biāo)準(zhǔn)的一部份后，問(wèn)題就更加復(fù)雜了。國(guó)標(biāo)標(biāo)準(zhǔn)是強(qiáng)制的，向其中的專利付費(fèi)是否有壟斷之嫌？標(biāo)準(zhǔn)中的技術(shù)專利請(qǐng)求，是否合理？如何區(qū)分正當(dāng)?shù)恼?qǐng)求和不正當(dāng)?shù)恼?qǐng)求？等等一系列的理論、法律和道德問(wèn)題都出來(lái)了。要尊重專利法，也要遵守反壟斷法。這兩年國(guó)際上圍繞MPEG-4收費(fèi)問(wèn)題的大爭(zhēng)論就是由此而起。
在標(biāo)準(zhǔn)化進(jìn)程中，專利的爭(zhēng)端正在增加，任何黑白兩極的判斷都無(wú)法令人滿意。但奇怪的是標(biāo)準(zhǔn)中的專利爭(zhēng)端發(fā)展到要求判決的案例幾乎沒(méi)有，都是當(dāng)事者幕后交易解決，這使得不明確的法理更陷入惡性循環(huán)之中。同時(shí)也助長(zhǎng)了用戶對(duì)盜版的寬容，一邊是搶我的剪徑強(qiáng)資，另一邊是偷你的小賊，怎么講道德？！
MPEG-4的收費(fèi)問(wèn)題主要是從向傳輸環(huán)節(jié)收費(fèi)引起的。MPEG-4對(duì)解碼器和編碼器的收費(fèi)已經(jīng)比MPEG-2低了很多，這是各種壓縮技術(shù)競(jìng)爭(zhēng)的結(jié)果。但MPEG-2不對(duì)傳輸MPEG-2壓縮圖像的服務(wù)環(huán)節(jié)收費(fèi)，而MPEG-4則要對(duì)內(nèi)容配送者收取每分鐘0.0333美分的許可費(fèi)。錢數(shù)聽(tīng)起來(lái)不大，但倫理上卻有很大的差別。打個(gè)比方，你買了臺(tái)彩電，必要的專利費(fèi)用已經(jīng)通過(guò)彩電廠轉(zhuǎn)交到專利技術(shù)持有者的手中。而當(dāng)你打的把這臺(tái)彩電運(yùn)回家的時(shí)候，出租車主也要向?qū)＠钟姓呓毁M(fèi)！能不引起軒然大波嗎。
現(xiàn)在的專利收費(fèi)結(jié)構(gòu)已經(jīng)相當(dāng)商業(yè)化。一種產(chǎn)品、一個(gè)系統(tǒng)或一套技術(shù)標(biāo)準(zhǔn)中，包含有許許多多公司的專利技術(shù)，使用企業(yè)很難與一個(gè)個(gè)技術(shù)的發(fā)明者直接交涉簽約，這樣就出現(xiàn)了一種專利管理公司的企業(yè)。它把某一產(chǎn)品的一個(gè)個(gè)技術(shù)從專利持有者手中買下來(lái)，約定好收益的分配方案，再由它人使用技術(shù)的企業(yè)中收取許可費(fèi)。需要用這一產(chǎn)品技術(shù)的企業(yè)就只需與專利管理公司打交道，操作方便多了。但專利管理公司和著作權(quán)保護(hù)企業(yè)一樣，實(shí)際上是一個(gè)中間商，兩頭賺錢，未必把社會(huì)效益放在最高地位。
現(xiàn)在的MPEG-4，也即MPEG-4 Visual是由美國(guó)MPEG LA公司進(jìn)行專利許可管理的，他同時(shí)也在管理MPEG-2的專利，目前還在爭(zhēng)取H.264的專利許可權(quán)。MPEG LA公司于2002年9月就開(kāi)始募集H.264的主要專利，想采取先入為主的手段取得管理權(quán)。由于大量企業(yè)對(duì)MPEG-4收費(fèi)制度不滿，2003年6月， MPEG-4的支持團(tuán)體M4IF（MPEG-4工業(yè)論壇），決定數(shù)據(jù)流標(biāo)準(zhǔn)格式的美國(guó)ISMA（國(guó)際數(shù)據(jù)流媒體協(xié)會(huì)）和多媒體通信有關(guān)業(yè)界團(tuán)體IMTC （國(guó)際多媒體通信協(xié)會(huì)）發(fā)起召開(kāi)H.264的許可制度說(shuō)明會(huì)。總共有專利持有者和使用者團(tuán)隊(duì)45個(gè)，56人參加，對(duì)有關(guān)H.264許可問(wèn)題進(jìn)行早期意見(jiàn)交換，希望協(xié)調(diào)各方面的要求和利益。關(guān)于方面其它信息，我們稍后再細(xì)述，先看看H.264的特色吧。
H.264用大運(yùn)算量來(lái)?yè)Q取高壓縮率、高畫質(zhì)
H.264受人追捧有三大原因：高性能、國(guó)際標(biāo)準(zhǔn)和公正的無(wú)差別許可制度。
首先是超高壓縮率，其壓縮率為MPEG-2的2倍以上，MPEG-4的1.5至2倍。這樣的高壓縮率是以編碼的大運(yùn)算量來(lái)?yè)Q取的，H.264的編碼處理計(jì)算量有MPEG-2的十多倍。不過(guò)其解碼的運(yùn)算量并沒(méi)有上升很多，故對(duì)用戶接收播放來(lái)說(shuō)沒(méi)有什么難度。
從另一角度，編碼的大運(yùn)算量現(xiàn)在也不是什么大問(wèn)題。MPEG2是1994年推出的，當(dāng)時(shí)微處理器的工作頻率才100MHz，主存儲(chǔ)器容量也不滿10MB。 MPEG-2那樣的壓縮運(yùn)算適應(yīng)了當(dāng)時(shí)的技術(shù)水平。而現(xiàn)在CPU的工作頻率可上升到3GMz，DRAM用到256MB，提升了30倍上下，運(yùn)算量也不怕。實(shí)驗(yàn)表明在奔騰4處理器的3GHz電腦上，可用軟件實(shí)現(xiàn)D1（720×80）格式圖像的H.264實(shí)時(shí)編碼。
而且H.264才標(biāo)準(zhǔn)化，運(yùn)算順序還有改善的空間。當(dāng)作為國(guó)際標(biāo)準(zhǔn)確立后，還能結(jié)集起全世界的精英來(lái)優(yōu)化處理。這也反應(yīng)出技術(shù)發(fā)展的必然性，唯物史觀。
高壓縮率使圖像的數(shù)據(jù)量減少，給存儲(chǔ)和傳輸帶來(lái)了方便。加上基本規(guī)格公開(kāi)的國(guó)際標(biāo)準(zhǔn)和公正的許可制度，所以，電視廣播、家電和通信三大行業(yè)都進(jìn)入到H.264的實(shí)際運(yùn)用研發(fā)中心，見(jiàn)圖1。
H.264又一項(xiàng)減少運(yùn)算量的方法是在很多地方引入層次化運(yùn)算，把在矩陣數(shù)據(jù)塊變成小塊運(yùn)算，使計(jì)算式變得更加簡(jiǎn)單，見(jiàn)圖5。
本文引用地址：http://www.ex-cimer.com/article/201706/351445.htm在DCT中采用時(shí)，8×8像素塊層次化到2×2像素塊，變換就變得快捷。運(yùn)動(dòng)補(bǔ)償中也可利用。檢出運(yùn)動(dòng)矢量時(shí)，最初的模塊大，運(yùn)動(dòng)矢量的檢出范圍大，搜索快捷。當(dāng)檢出到有動(dòng)作的部分再調(diào)入小模塊細(xì)分析。H.264進(jìn)行運(yùn)動(dòng)預(yù)測(cè)的模板多，一旦先進(jìn)全面檢索，需要的時(shí)間就很長(zhǎng)，運(yùn)算量也大。用層次化處理，先進(jìn)行模板的收縮，接著小范圍檢索，就能減少計(jì)算量。在幀內(nèi)預(yù)測(cè)中利用層次化后，殘差計(jì)算的范圍就能變小，同樣有利于減少計(jì)算量。
H.264與MPEG-2和MPEG-4的不同還存在于糾錯(cuò)編碼塊中，H.264的糾錯(cuò)編碼為內(nèi)容自適應(yīng)可變長(zhǎng)度碼（CAVLC）和內(nèi)容自適應(yīng)二進(jìn)制算法編碼（CABAC），能提高糾錯(cuò)能力。而MPEG-2和MPEG-4杰霍夫曼編碼。另外，還加入了MPEG-2和MPEG-4沒(méi)有環(huán)路濾波器，有降低噪聲的效果。H.264的整數(shù)變換以4×4像素塊為單位，已比原來(lái)的8×8像素塊的塊噪聲少，再次降低，畫質(zhì)得到了進(jìn)一步提高。
從應(yīng)用角度看，H.264有三個(gè)層面，分為主要用于電視會(huì)議等通信的基線層面，面向高畫質(zhì)用途和錄像的主層面以及面向內(nèi)容配送的擴(kuò)展層面。各層面的清晰度和編碼速度取值不同。
基線層面的主要技術(shù)為圖像只含有I畫面，P畫面，系統(tǒng)內(nèi)有環(huán)路濾波，1/4幀間預(yù)測(cè)，4:2:0 YUV格式輸入，基于VLC的糾錯(cuò)編碼，彈性宏塊指令等。主要層面則在基線層面基礎(chǔ)上加入了CABAC運(yùn)算編碼技術(shù)和基于雙向預(yù)測(cè)的B畫面，濾波（接口）等技術(shù)，但不含彈性宏塊指令。擴(kuò)展層面則在基線層面里加入B畫面和濾波編碼等。
H.264分有4.1種不同樣式的圖像水平。水平1的編碼速度較小，最大只能達(dá)64kbps，像素格式為QCIF（176×144），30幀/秒和Sub QCIF（128×96），60幀/秒。適合手機(jī)、PDA等屏幕播放視頻用。水平2的編碼速度可達(dá)2Mbps，圖像的像素格式為CIF（352× 288），30幀/秒。水平3、水平4分別對(duì)應(yīng)SDTV、HDTV圖像格式，編碼速度為10Mbps，20Mbps。另外，還有能支持更高清晰度的水平 5，編碼速度高達(dá)135Mbps。故總稱為4.1水平。在各水平更細(xì)的分類中，最大編碼速度也還有不同規(guī)定。
最后，把H.264與MPEG-2/MPEG-4主要的不同技術(shù)比較與下表1。
針對(duì)H.264的特點(diǎn)，編碼軟件和編碼LSI開(kāi)發(fā)的廠家都把編碼/解碼運(yùn)算量的減少作為方向來(lái)研究，所以，實(shí)用前景大好。大多數(shù)半導(dǎo)體廠認(rèn)為在H.264中使用削減運(yùn)算量方法后，能獲得相當(dāng)于MPEG-2編碼LSI的2倍左右的處理能力。
由于技術(shù)的日益成熟，半導(dǎo)體廠商已在進(jìn)行H.264的編碼/解碼LSI的開(kāi)發(fā)。特別是HDD錄像機(jī)和DVD錄像機(jī)等設(shè)備中，采用H.264的實(shí)例已很多，更引起了半導(dǎo)體廠商的關(guān)心。加之，H.264采用的動(dòng)畫編碼方式和音頻編碼方式具有多樣化特性，今后幾乎將會(huì)是全部廠商的主要規(guī)格之一。
以目前芯片將H.264實(shí)用化的研究也在進(jìn)行之中。用德州儀器（TI）公司制造的DSP[TMS320C64××]對(duì)以H.264預(yù)先編碼的圖像已證實(shí)能進(jìn)行實(shí)時(shí)解碼。TI公司正在開(kāi)發(fā)的C6×系列DSP LSI，將在視頻編碼電路和存儲(chǔ)控制電路中，加入對(duì)應(yīng)H.264和MWV等的編碼/解碼功能。
TI公司推出的可以對(duì)MPEG-4編碼/解碼的用于便攜機(jī)開(kāi)發(fā)的TMS320DM270，只要用上新的CPU提高處理能力，就可用于H.264的編碼/解碼。
已經(jīng)有MWA9的編碼/解碼DSP樣品出廠的美國(guó)模擬設(shè)備公司也在向H.264前進(jìn)。
圖6是美國(guó)InStat/MDR公司對(duì)H.264功能LSI產(chǎn)量的預(yù)測(cè)。預(yù)測(cè)還只基于H.264的許可制度與MPEG-2一樣的前提下進(jìn)行的。
H.264的許可制度有望較友善
H.264替代MPEG-4的呼聲很高，除了其高性能外，作為國(guó)際標(biāo)準(zhǔn)和公正的無(wú)差別許可制度也至關(guān)重要。
MPEG-4的許可體系引起了幾大行業(yè)，特別是信息配送行業(yè)的強(qiáng)烈反對(duì)，使得新國(guó)際標(biāo)準(zhǔn)的許可收費(fèi)不得不向更為友善的方向發(fā)展。表2是幾種視頻壓縮技術(shù)的許可收費(fèi)價(jià)格。
表中可見(jiàn)，MPEG LA公司提出的MPEG-4配送過(guò)程也要付費(fèi)是空前絕后的。視頻壓縮產(chǎn)品只對(duì)終端收費(fèi)合乎常情，因而招至了很大反抗，直到今日仍在遭人反對(duì)。而且對(duì)采用 MPEG-4的產(chǎn)品和服務(wù)還分成6種標(biāo)準(zhǔn)：用戶記錄視頻，互聯(lián)網(wǎng)視頻，車載移動(dòng)視頻，特有用戶視頻，存儲(chǔ)視頻和企業(yè)視頻。連簡(jiǎn)單的移動(dòng)電視服務(wù)，如從現(xiàn)場(chǎng)到電視中心通訊時(shí)，若使用MPEG-4視頻的話，也需支付移動(dòng)視頻的許可費(fèi)。
因此，連原定在地面數(shù)字電視的編碼方式中采用MPEG-4的日本ARIB，也因許可費(fèi)問(wèn)題而開(kāi)始研討是否改用H.264。擁有各種內(nèi)容服務(wù)業(yè)者的移動(dòng)內(nèi)容論壇MCF也于2003年5月23日，致涵MPEG LA公司反對(duì)內(nèi)容收費(fèi)，要求重新考慮許可條件。MPEG LA也已松口表示希望以能相互滿意的形式交涉。
隨著掌握壓縮技術(shù)的企業(yè)增加和用戶巨增，H.264的許可管理收費(fèi)受到二個(gè)方面的壓力。一、用戶要求低價(jià)格，最好免費(fèi)使用；二、持有壓縮技術(shù)的企業(yè)增加，供應(yīng)空間大，不得不低價(jià)出售。目前具有高壓縮率特征的活動(dòng)圖像編碼技術(shù)的企業(yè)不少，如，美國(guó)數(shù)據(jù)流公司的XVD，能在一片CD-R碟片上放入2小時(shí)圖像，并能實(shí)時(shí)編碼。美國(guó)On2技術(shù)公司的活動(dòng)圖像編碼技術(shù)VP5和新版本VP6，國(guó)內(nèi)推出的EVD就采用這種編碼技術(shù)。美國(guó)AOL（America Online）公司也有新壓縮技術(shù)在進(jìn)行許可操作。微軟的WMV 9也在向家電產(chǎn)品擴(kuò)展，如美國(guó)工藝家庭娛樂(lè)公司使用WMV 9壓縮，將HDTV畫質(zhì)的“終結(jié)者2：審判日”放入DVD-ROM內(nèi)。
為此，H.264的許可制度設(shè)計(jì)有兩點(diǎn)引人之處：第一，部分格式將無(wú)償使用，H.264的基線層面全員免費(fèi)，無(wú)償使用；其二，許可體系要比MPEG-4單純，公正無(wú)差別對(duì)待用戶和專利持有者。以及其它能促進(jìn)普及的優(yōu)惠政策，如早期低價(jià)格許可等。
基線層面的免費(fèi)是以ITL-T主要活動(dòng)的企業(yè)為中心推動(dòng)的?，F(xiàn)得到美國(guó)蘋果公司和美國(guó)Cisco系統(tǒng)公司、中國(guó)聯(lián)想公司、芬蘭諾基亞、美國(guó)On2技術(shù)公司、德國(guó)西門子、美國(guó)德州儀器公司等的支持，并有美國(guó)政府為其撐腰。
基線層面免費(fèi)的最大目的是加速H.264的普及。當(dāng)基線層面普及以后，收費(fèi)的主層面和擴(kuò)展層面就能帶動(dòng)起來(lái)。盡管主要層面和擴(kuò)展層面要收費(fèi)，但從趨勢(shì)看，許可費(fèi)
應(yīng)較為便宜，因?yàn)楦鞣N編碼技術(shù)的許可費(fèi)都有不斷下降的趨勢(shì)，目前很熱門的美國(guó)微笑WMV 9的許可費(fèi)就比MPEG-2和MPEG-4要低，見(jiàn)表2。而且微軟的契約期為10年，比MPEG-2和MPEG-4還長(zhǎng)。
從MPEG-2向MPEG-4的發(fā)展看，編碼器（電路加軟件）和解碼（電路加軟件）的費(fèi)用就降到1/10，WMV9更低?？梢灶A(yù)計(jì)H.264的許可費(fèi)用會(huì)比WMV 9還低。
前文提到的45個(gè)團(tuán)體的聯(lián)合會(huì)傳出說(shuō)法，如果H.264采用MPEG-4 Visual一樣的許可體系，H.264就可能不被采用，態(tài)度強(qiáng)硬。標(biāo)準(zhǔn)中的專利收費(fèi)收益已遠(yuǎn)不止收回投入的開(kāi)發(fā)成本，而是在不斷地獲取暴利，故降低收費(fèi)在所必然。
當(dāng)然，只要沒(méi)有定局，變化依然存在。專利持有者的想法也各有不同，采用無(wú)差別對(duì)待原則是否行得通。專利實(shí)施充滿著大量利益誘惑，追名逐利者大有人在。目前已經(jīng)有兩家公司申稱對(duì)H.264具有許可管理權(quán)。在專利應(yīng)用前就開(kāi)始搶專利管理權(quán)的現(xiàn)象是前所未有的，兩家公司還都有淵源。一家是實(shí)際持有MPEG-2和 MPEG-4 Visual許可管理的美國(guó)MPEG LA公司。另一家是進(jìn)行MPEG-2 AAC和MPEG-4 Audio許可管理的美國(guó)杜比實(shí)驗(yàn)室的子公司美國(guó)Vialicensing公司。最終有哪一家公司管理，還是分割管理，現(xiàn)在都不清楚。
編輯：呂勇
評(píng)論