如何通過(guò)開(kāi)源API在DSP上進(jìn)行視頻處理

虛擬到物理地址的轉(zhuǎn)換由編解碼引擎處理。通過(guò)復(fù)用(指針指向)某些由驅(qū)動(dòng)器分配的緩沖器，可獲得物理上連續(xù)的存儲(chǔ)器，這里使用了Linux中的一些技術(shù)，比如dma_alloc_coherent()，來(lái)在內(nèi)核空間中分配這類(lèi)存儲(chǔ)器。由TI開(kāi)發(fā)的庫(kù)/內(nèi)核模塊CMEM，允許從用戶(hù)空間應(yīng)用來(lái)分配物理上連續(xù)的存儲(chǔ)器。

例如，我們利用前面提到的CMEM驅(qū)動(dòng)器來(lái)分配物理上連續(xù)的“輸出”緩沖器。編解碼引擎對(duì)幀進(jìn)行解碼，并把解碼后的幀放在輸出緩沖器中。

接下來(lái)，指向輸出緩沖器的指針被傳遞給fbvideosink(通過(guò) GstBuffer)。這個(gè)videosink必須把解碼后的數(shù)據(jù)memcpy(復(fù)制)到幀緩存中，然后才能顯示。由于memcpy操作是一種成本很高的GPP使用，這種方法使得ARM 和DDR接口的負(fù)載很重，因而增加了功耗，且效率極低。

這種技術(shù)對(duì)非常小的緩沖器是可行的，但在開(kāi)發(fā)人員使用D1(和更高)大小的緩沖器時(shí)，將開(kāi)始降低系統(tǒng)性能。一種更有效的方案是復(fù)用已經(jīng)驅(qū)動(dòng)器分配了的物理連續(xù)緩沖器，并在編解碼器引擎和videosink插件之間把指向這些緩沖器的指針來(lái)回傳遞。幸運(yùn)的是，GStreamer提供了一個(gè)便于這類(lèi)交互作用的API。

這個(gè)API替代方案利用gst_buffer_new()來(lái)創(chuàng)建新的緩沖器。當(dāng)元件獲知它將在哪一個(gè)源襯墊上推動(dòng)數(shù)據(jù)時(shí)，就對(duì)gst_pad_alloc_buffer()函數(shù)進(jìn)行調(diào)用。這允許對(duì)應(yīng)的元件為調(diào)用元件的工作提供特殊的“硬件”緩沖器，故而減少了系統(tǒng)所需的memcpys數(shù)量。

視頻解碼器插件(變換過(guò)濾器，通過(guò)編解碼器引擎API能夠充分利用DSP的優(yōu)勢(shì))將把從視頻呈現(xiàn)過(guò)濾器獲得的緩沖器用作視頻解碼器和執(zhí)行解碼的輸出緩沖器。一旦解碼完成，這個(gè)輸出緩沖器將被推動(dòng)(即指針被傳遞)給視頻呈現(xiàn)過(guò)濾器插件。由于解碼后的圖像已經(jīng)存在于視頻驅(qū)動(dòng)存儲(chǔ)器中，就不再需要memcpy了，在幀被顯示時(shí)，視頻呈現(xiàn)過(guò)濾器將只需把目前的顯示緩沖器轉(zhuǎn)換為這種特定的緩沖器就可以了。

AV同步處理

播放期間的音頻/視頻(AV)同步處理一般需要三類(lèi)決策：一是重復(fù)幀的決策。一般在媒體流的幀的顯示時(shí)間比幀間隔時(shí)間更大時(shí)采用。二是顯示幀的決策。一般在媒體流的幀的顯示時(shí)間在最小和最大閾值之間時(shí)采用。三是跳幀決策。一般在幀的顯示時(shí)間落后顯示時(shí)間至少兩個(gè)幀時(shí)采用。這樣，跳過(guò)當(dāng)前幀，處理下一個(gè)幀，以期彌補(bǔ)下一個(gè)幀間隔。持續(xù)這樣做直到下一個(gè)幀被顯示或不再剩有幀可供比較。

另外，管道中的所有元件都使用共同的時(shí)鐘，以便于這些活動(dòng)的進(jìn)行。幸運(yùn)的是，所有這些決策都由GStreamer內(nèi)核庫(kù)中的音頻視頻sink基類(lèi)來(lái)完成。這樣一來(lái)，AV同步的復(fù)雜性大部分都在用戶(hù)那里被轉(zhuǎn)移了。

以插件形式開(kāi)發(fā)的接口

TI開(kāi)發(fā)了一種GStreamer變換過(guò)濾器插件，它利用DSP來(lái)進(jìn)行視頻解碼，運(yùn)行于ARM上，使用Linux操作系統(tǒng)。TI還提供有Linux外設(shè)驅(qū)動(dòng)器，在驅(qū)動(dòng)器接口和編解碼引擎API方面符合標(biāo)準(zhǔn)開(kāi)源機(jī)構(gòu)的要求，后者注意了DSP編程的相當(dāng)大部分的復(fù)雜性。由硬件制造商提供的API，事先已針對(duì)硬件實(shí)現(xiàn)做了優(yōu)化。如果改用新的硬件，無(wú)需改變應(yīng)用代碼就可直接替以新的驅(qū)動(dòng)器。這種方案大幅度降低了視頻開(kāi)發(fā)的成本和交付周期。

硬件的計(jì)算資源以一種最優(yōu)方式被執(zhí)行，無(wú)需任何匯編編程。其中包括很多復(fù)雜的操作，比如DSP資源的最佳利用，和基于硬件的加速引擎；鏈接模式(chained mode)下增強(qiáng)型直接存儲(chǔ)器訪(fǎng)問(wèn)(Enhanced Direct Memory Access)外設(shè)的使用，以提高數(shù)據(jù)傳輸效率；以及中斷模式和tasklet模式的數(shù)據(jù)包處理，以靈活滿(mǎn)足不同應(yīng)用的要求。

由于GStreamer是一種非常流行、廣為人知的架構(gòu)，它已成為數(shù)字視頻開(kāi)發(fā)的一種標(biāo)準(zhǔn)，在這種環(huán)境中充分利用 DSP優(yōu)勢(shì)的能力使得編程人員不再需要學(xué)習(xí)專(zhuān)用DSP編程語(yǔ)言。

該方案還易于把DSP的功能和GPP內(nèi)核上運(yùn)行的典型應(yīng)用的一些其他要求集成在一起。利用其他GStreamer插件，可以把解碼編碼與數(shù)字視頻應(yīng)用所需的其他操作相結(jié)合。這種多媒體架構(gòu)通過(guò)把各種本來(lái)需要手工編碼的操作整合在一起來(lái)實(shí)現(xiàn)集成。

總而言之，這一新接口能夠利用GStreamer Linux多媒體構(gòu)架來(lái)充分發(fā)揮TI的DaVinci處理器平臺(tái)的軟件基礎(chǔ)架構(gòu)的優(yōu)勢(shì)。這種整合型的基礎(chǔ)架構(gòu)提供了靈活的構(gòu)架，能夠適應(yīng)新一代多媒體編解碼器的要求。

該軟件架構(gòu)可以實(shí)現(xiàn)各式廣泛的視頻產(chǎn)品的設(shè)計(jì)。利用這種開(kāi)源結(jié)構(gòu)，能為視頻設(shè)備設(shè)計(jì)人員提供社群支持、穩(wěn)健的基礎(chǔ)架構(gòu)，從而縮短上市時(shí)間。