嵌入式多媒體多核應(yīng)用軟件設(shè)計(jì)框架
加入技術(shù)交流群
軟件框架為多核應(yīng)用軟件的開發(fā)提供了一個(gè)更好的起點(diǎn)，可以幫助縮短開發(fā)時(shí)間。本文將詳細(xì)說(shuō)明嵌入式多媒體應(yīng)用軟件的設(shè)計(jì)框架，同時(shí)，本文的數(shù)據(jù)流模型也可擴(kuò)展到許多其它應(yīng)用中。該框架綜合了多媒體應(yīng)用軟件固有的數(shù)據(jù)并行結(jié)構(gòu)，并說(shuō)明了如何通過(guò)使用底層架構(gòu)來(lái)有效管理數(shù)據(jù)流。
在設(shè)計(jì)并行軟件的過(guò)程中有兩大挑戰(zhàn)：一是開發(fā)有效的并行算法，二是有效地利用存儲(chǔ)器、DMA（直接存儲(chǔ)器訪問(wèn)）通道和互連網(wǎng)絡(luò)等共享資源。在該過(guò)程中，順序運(yùn)行的應(yīng)用程序的性能可根據(jù)可用處理器核的數(shù)目進(jìn)行擴(kuò)展。
實(shí)現(xiàn)應(yīng)用程序的并行處理常常有多種方法。有些應(yīng)用程序表現(xiàn)出固有的并行特性，而其它的則具有極其復(fù)雜且不規(guī)則的數(shù)據(jù)存取模式。但總的來(lái)講，科學(xué)計(jì)算類的應(yīng)用程序和多媒體應(yīng)用程序的并行化通常易于實(shí)現(xiàn)，因?yàn)樗鼈兊臄?shù)據(jù)存取模式比那些控制類應(yīng)用程序相對(duì)容易預(yù)測(cè)。本文重點(diǎn)討論針對(duì)多媒體算法的并行技術(shù)，這類算法需要很高的處理能力，并且更適合嵌入式系統(tǒng)應(yīng)用。
多媒體應(yīng)用程序中存在數(shù)據(jù)的并行級(jí)別。一組數(shù)據(jù)幀與數(shù)據(jù)幀中的一個(gè)宏塊之間的并行粒度有很大差別。通常來(lái)講，粒度越小，共享單元（如處理器核和DMA通道等）之間所需的同步級(jí)別越高。粒度越小，并行程度就越高，網(wǎng)絡(luò)通信量越小；粒度越大，同步要求就越低，但網(wǎng)絡(luò)通信量會(huì)增大。因此，基于應(yīng)用的不同類型和系統(tǒng)需求，軟件框架也定義了不同的并行級(jí)別。
需要說(shuō)明的是，可擴(kuò)展并行軟件的開發(fā)還依賴于對(duì)互連網(wǎng)絡(luò)、分級(jí)存儲(chǔ)器體系以及外設(shè)/DMA資源的有效利用。系統(tǒng)嚴(yán)格的低功耗和低成本要求對(duì)所有這些要素都會(huì)構(gòu)成限制。在多核環(huán)境下編程時(shí)，有效利用這些資源需要進(jìn)行創(chuàng)新。本文提出了一些在ADI公司的Blackfin ADSP-BF561雙核處理器上有效管理資源的構(gòu)想。
多媒體數(shù)據(jù)流分析
為了實(shí)現(xiàn)數(shù)據(jù)并行，需要在數(shù)據(jù)流中找到這樣一個(gè)或一組數(shù)據(jù)塊：可以獨(dú)立處理并將其“喂”給一個(gè)處理元件。獨(dú)立的數(shù)據(jù)塊可以降低同步開銷并簡(jiǎn)化并行算法。要找到這種數(shù)據(jù)，必須弄清應(yīng)用的數(shù)據(jù)流模型，或者說(shuō)“數(shù)據(jù)存取模式”。
對(duì)于大多數(shù)多媒體應(yīng)用，可以將數(shù)據(jù)存取模式看成是2D（空間域）和3D（時(shí)間域）操作模式。在2D模式中，獨(dú)立的數(shù)據(jù)塊被限制在單個(gè)數(shù)據(jù)幀內(nèi)，而在3D模式中，獨(dú)立數(shù)據(jù)塊可以橫跨多幀。在空間域中，可以將幀劃分為由N個(gè)連續(xù)行和視頻幀宏塊組成的片段，而在時(shí)間域中，可以對(duì)數(shù)據(jù)流進(jìn)一步細(xì)分到幀級(jí)或圖片組(GOP)級(jí)。
采用片段或宏塊數(shù)據(jù)存取模式的算法對(duì)同步性要求較高，但網(wǎng)絡(luò)傳輸量較少，這是因?yàn)榉旨?jí)存儲(chǔ)器體系只需存儲(chǔ)圖像數(shù)據(jù)的一部分。對(duì)于幀或圖片組類型的數(shù)據(jù)存取模式，分級(jí)存儲(chǔ)器體系則需要存儲(chǔ)大量數(shù)據(jù)，但對(duì)同步性的要求則相對(duì)低得多，這是因?yàn)橄到y(tǒng)的并行粒度更大。圖1說(shuō)明了多媒體應(yīng)用軟件中的并行級(jí)別，同時(shí)顯示了四個(gè)級(jí)別的相對(duì)同步要求和網(wǎng)絡(luò)通信量。
圖1 多媒體應(yīng)用展示了不同的數(shù)據(jù)并行級(jí)別，這些級(jí)別對(duì)應(yīng)不同的同步要求和網(wǎng)絡(luò)通信量。
多核結(jié)構(gòu)分析
圖2顯示了ADSP-BF561的結(jié)構(gòu)，它包括獨(dú)立的指令和數(shù)據(jù)存儲(chǔ)器，分別屬于兩個(gè)處理器核專有，此外還包括共享的L2存儲(chǔ)器和外部存儲(chǔ)器。用戶可以利用可配置的仲裁方案將所有外圍設(shè)備和DMA資源連接到任一處理器核。該處理器有兩個(gè)DMA控制器，每個(gè)DMA控制器由兩組MDMA（存儲(chǔ)器DMA）通道組成。L2存儲(chǔ)器與每個(gè)處理器核之間通過(guò)獨(dú)立的總線連接，外部存儲(chǔ)器與兩個(gè)處理器核之間則由一條共享總線連接。
圖2 ADSP-BF561的結(jié)構(gòu)包括獨(dú)立的指令和數(shù)據(jù)存儲(chǔ)器，分別屬于兩個(gè)處理器核專有，此外還包括共享的L2存儲(chǔ)器和外部存儲(chǔ)器。
所有框架都利用DMA方式將數(shù)據(jù)流送入分級(jí)存儲(chǔ)器體系。另一種選擇是高速緩存，它不管理任何數(shù)據(jù)。如果清楚目標(biāo)應(yīng)用的數(shù)據(jù)存取模式，就可以利用DMA引擎對(duì)數(shù)據(jù)進(jìn)行有效的管理。而使用高速緩存需要忍受不確定的訪問(wèn)時(shí)間、高速緩存未命中的代價(jià)，以及需要較高的外部存儲(chǔ)器帶寬。利用DMA引擎，可以在處理器核請(qǐng)求數(shù)據(jù)之前就將數(shù)據(jù)送入L1存儲(chǔ)器，系統(tǒng)在后臺(tái)執(zhí)行傳輸操作，而不會(huì)因?yàn)閿?shù)據(jù)項(xiàng)請(qǐng)求使處理器核暫停工作。
由于每個(gè)DMA控制器上都有兩組MDMA通道，因此系統(tǒng)可以將MDMA通道在處理器核上均勻分配，從而可以對(duì)稱地進(jìn)行并行處理。
對(duì)于數(shù)據(jù)存取模式粒度較小的應(yīng)用，可以輕松地利用對(duì)L1和L2存儲(chǔ)器的快速訪問(wèn)。也可以直接將獨(dú)立的數(shù)據(jù)塊從外設(shè)接口傳送到L1或L2存儲(chǔ)器，而不需要訪問(wèn)慢速的外部存儲(chǔ)器，這樣可以節(jié)省寶貴的外存儲(chǔ)器帶寬和MDMA資源，并縮短數(shù)據(jù)傳輸時(shí)間。
對(duì)于數(shù)據(jù)存取模式粒度較大的應(yīng)用，存儲(chǔ)器可能成為瓶頸，因?yàn)檩^小的L1和L2存儲(chǔ)器級(jí)不足以容納大量的數(shù)據(jù)幀。然而，大量數(shù)據(jù)幀之間雖然存在數(shù)據(jù)關(guān)聯(lián)性，但這種關(guān)聯(lián)通常也僅存在于跨數(shù)據(jù)幀的較小數(shù)據(jù)塊上。如果能將所有關(guān)聯(lián)的數(shù)據(jù)幀存放在一個(gè)較大的存儲(chǔ)空間（外部存儲(chǔ)器）中，就可以將每一幀中的獨(dú)立數(shù)據(jù)塊相繼送入空閑的處理器核進(jìn)行處理。如果這些獨(dú)立的數(shù)據(jù)塊比數(shù)據(jù)幀小得多，符合L1或L2存儲(chǔ)器的容量，就可以減少存儲(chǔ)器存取延遲，高效地處理數(shù)據(jù)。
雖然L2和外部存儲(chǔ)器都有獨(dú)立的總線連接，但兩個(gè)處理器核仍共享這些存儲(chǔ)器接口總線。因此，應(yīng)當(dāng)盡量避免兩個(gè)處理器核同時(shí)對(duì)同一級(jí)別的存儲(chǔ)器進(jìn)行存取操作，以免因總線沖突而停止工作。為了減少總線沖突狀況，框架應(yīng)考慮代碼和數(shù)據(jù)對(duì)象的映射，讓一個(gè)處理器核主要訪問(wèn)L2存儲(chǔ)器核，而另一處理器核則主要訪問(wèn)外部存儲(chǔ)器。在這種情況下，雖然處理器核完成多數(shù)外部存儲(chǔ)器訪問(wèn)會(huì)出現(xiàn)較大的訪問(wèn)延遲，但總的訪問(wèn)延遲仍然小于總線沖突的代價(jià)。
框架把所有輸入外設(shè)接口分配給一個(gè)處理器核，把所有輸出外設(shè)接口分配給另一處理器核。框架利用視頻輸入/輸出接口，例如PPI（并行外設(shè)接口）來(lái)輸入和輸出視頻幀。BF561架構(gòu)有兩個(gè)PPI接口。
如果中斷處理時(shí)間比數(shù)據(jù)流的處理時(shí)間要短，則可將所有的外設(shè)接口分配給一個(gè)處理器核以便于編程，較短的中斷處理時(shí)間不會(huì)影響兩個(gè)處理器核的負(fù)荷平衡。
軟件框架的建議模型
基于數(shù)據(jù)存取模式的粒度，可以定義四種軟件框架：行處理（空間域）、宏塊處理（空間域）、幀處理（時(shí)間域）以及GOP處理（時(shí)間域）。如果某個(gè)應(yīng)用程序的數(shù)據(jù)存取模式適于這四種模型中的任何一種，就可以采用相應(yīng)的框架。如果一個(gè)數(shù)據(jù)流有兩種或更多的處理算法，還可以將多種框架結(jié)合起來(lái)，實(shí)現(xiàn)非對(duì)稱的并行處理。
在行處理模式中，關(guān)聯(lián)性只存在于行級(jí)，也就是說(shuō)，只存在于相鄰像素之間。每行數(shù)據(jù)形成一個(gè)數(shù)據(jù)塊，各處理器核都可以獨(dú)立處理。
圖3顯示了行處理框架的數(shù)據(jù)流模型。處理器核A處理視頻輸入，處理器核B處理視頻輸出。核A和B之間的數(shù)據(jù)由獨(dú)立的MDMA通道組進(jìn)行管理。L1存儲(chǔ)器使用多個(gè)緩神器，可以避免處理器核與外設(shè)DMA訪問(wèn)總線的沖突。兩個(gè)處理器核之間每行數(shù)據(jù)的同步通過(guò)計(jì)數(shù)信號(hào)量實(shí)現(xiàn)。在這種框架中，采用單處理器核方式將數(shù)據(jù)直接存入L1存儲(chǔ)器也具有優(yōu)勢(shì)，可以節(jié)省外部存儲(chǔ)器帶寬和DMA資源。這種框架的應(yīng)用實(shí)例包括色彩變換、直方圖均衡化、濾波和采樣。
圖3 行處理框架的數(shù)據(jù)流模型。處理器核A處理視頻輸入，處理器核B處理視頻輸出。
存儲(chǔ)器相關(guān)文章:存儲(chǔ)器原理
評(píng)論