基于 KeyStone DSP 的多核視頻處理技術(shù)

通信基礎(chǔ)局端網(wǎng)絡(luò)面臨的挑戰(zhàn)在于，如何才能夠?qū)⑺械膬?nèi)容交付給所有所需用戶，同時(shí)又能維持硬件資源的高利用率和高效性。為了進(jìn)一步闡述這一挑戰(zhàn)，不妨考慮一下這個(gè)事實(shí)，單個(gè) 1080i60 通道要求的處理負(fù)載與 164 個(gè)幀速率為 15 fps（假定負(fù)載與分辨率和幀數(shù)量之間呈線性關(guān)系）的 1/4 公用中分辨率格式 (QCIF)的通道相同。因此，支持單個(gè) 1080i60 通道的硬件也應(yīng)該能夠以同等的高效性和高利用率支持 164 個(gè) QCIF 通道。但是，以如此數(shù)量級(jí)實(shí)現(xiàn)的可擴(kuò)展性是一大挑戰(zhàn)。

為了符合高可擴(kuò)展性要求，必須采用可編程的硬件解決方案。部分視頻應(yīng)用要求處理器具有極高比特率的信號(hào)輸入與輸出，因此，基于處理器的解決方案必須擁有可支持足夠外部接口的理想外設(shè)。這種處理器必須具備足夠的處理能力，可處理實(shí)時(shí)的高清高質(zhì)量視頻，同時(shí)還需配備足夠的本機(jī)資源，如快速存儲(chǔ)器、內(nèi)部總線和 DMA 支持等，以使處理器的處理能力獲得高效利用。

單內(nèi)核 DSP 具有高度的靈活，能夠高效執(zhí)行各種算法。DSP 不僅能夠處理話音、音頻、視頻，還可以執(zhí)行其他功能。但是，由于單內(nèi)核 DSP 的計(jì)算能力不足，因而不能自由地處理任何分辨率的實(shí)時(shí)視頻，而只能處理 SQCIF、QCIF 以及公用中分辨率格式 (CIF) 等較低分辨率的視頻；而且，單內(nèi)核 DSP 的功耗也使其無(wú)法應(yīng)用在高密度視頻處理系統(tǒng)中。

新型的多內(nèi)核 DSP 具備非常高的處理能力，且其每次運(yùn)行的功耗也比單內(nèi)核 DSP 低。為了確定多內(nèi)核處理器對(duì)于通信基礎(chǔ)局端而言是否能夠成為有效的硬件解決方案，需要對(duì)其接口、處理性能、存儲(chǔ)器要求以及多內(nèi)核合作與同步機(jī)制針對(duì)各種不同的使用案例進(jìn)行符合性驗(yàn)證。

2.1 外部 I/O 接口
典型轉(zhuǎn)碼應(yīng)用的比特流是以 IP 數(shù)據(jù)包形式進(jìn)行打包。轉(zhuǎn)碼應(yīng)用所需的帶寬與分辨率以及用戶所需網(wǎng)絡(luò)的可用帶寬相關(guān)。以下針對(duì)單通道消費(fèi)類質(zhì)量 H.264 編碼視頻流作為分辨率函數(shù)時(shí)列出的公用帶寬要求：
• HD 分辨率，720p 或 1080i － 6 至 10 Mbps
• D1 分辨率，720×480，30 幀/秒 (fps)，或 720×576，25 幀/秒 – 1 至 3 Mbps
• CIF 分辨率，352×288，30 幀/秒 – 300 至 768 Kbps
• QCIF 分辨率，176×144，15 幀/秒 – 64 至 256 Kbps

轉(zhuǎn)碼應(yīng)用所需的總外部接口是輸入媒體流與輸出媒體流所需帶寬的總和。為了支持多個(gè) HD 分辨率通道或大量較低分辨率通道，至少需要一個(gè)串行千兆位介質(zhì)獨(dú)立接口 (SGMII)。

非轉(zhuǎn)碼視頻應(yīng)用涉及從 YUV（或同等）域?qū)υ家曨l媒體流進(jìn)行編碼或解碼。原始視頻流具有較高的比特率，且通常通過(guò) PCI、PCI Express 或串行快速輸入/輸出 (SRIO) 等高比特率的快速多通道總線直接從處理器輸入或輸出信號(hào)。
以下列出了使用 8 位像素?cái)?shù)據(jù)和 4:2:0 或 4:1:1 配色方案?jìng)鬏?YUV 域中單通道原始視頻流所需的帶寬：
• 1080i60 - 745.496 Mbps
• 720p60 - 663.552 Mbps
• D1（30fps NTSC 或 25 fps PAL）- 124.415 Mbps
• CIF（30 fps）- 36.49536 Mbps
• QCIF（15 fps）- 4.56192 Mbps

因此，可對(duì) 4 個(gè) 1080i60 H.264 通道進(jìn)行解碼的處理器要求能夠支持超過(guò) 4 Gbps 速率的總線，從而可假定總線的利用率為 60%。

2.2 處理性能
在可編程處理器的 H.264 通道上進(jìn)行視頻處理所需的處理性能取決于眾多參數(shù)，其中包括分辨率、比特率、影像質(zhì)量以及視頻剪輯內(nèi)容等。本章不僅將討論影響周期消耗的因素，而且還將給出普通應(yīng)用實(shí)例平均周期消耗的經(jīng)驗(yàn)法則。

與其他視頻標(biāo)準(zhǔn)一樣，H.264 僅定義解碼器算法。對(duì)于既定編碼媒體流而言，所有的解碼器都可生成相同的 YUV 視頻域數(shù)據(jù)。

因此，解碼器不決定影像質(zhì)量，而由編碼器決定。不過(guò)，編碼器質(zhì)量能影響解碼器的周期消耗。

熵解碼器的周期消耗取決于熵解碼器的類型和比特率。H.264 MP/HP 為熵解碼器定義了兩種無(wú)損算法，即上下文環(huán)境自適應(yīng)二進(jìn)制算術(shù)編碼 (CABAC) 和上下文環(huán)境自適應(yīng)可變長(zhǎng)度編碼 (CAVLC)。CABAC 能提供更高的壓縮比，因此，比特?cái)?shù)相同時(shí)影像質(zhì)量會(huì)更佳，但相比 CAVLC 在每個(gè)媒體流比特上約多消耗 25% 的周期。用于解碼 CABAC 或者 CAVLC 媒體流所需的周期量是比特?cái)?shù)的一個(gè)非線性單調(diào)函數(shù)。

所有其他解碼器功能的處理負(fù)載均是分辨率的函數(shù)。更高分辨率需要更多的周期，幾乎與宏模塊的總數(shù)量呈線性關(guān)系。視頻流內(nèi)容、編碼器算法與工具能在一定程度上影響解碼器的周期消耗。附錄 A – 解碼器性能依賴性 (Decoder Performance Dependency) 列舉了可能會(huì)影響解碼器周期消耗的編碼器算法和工具。

在可編程器件上實(shí)施既定比特率的編碼器需要在質(zhì)量與處理負(fù)載之間進(jìn)行權(quán)衡。附錄 B – 運(yùn)動(dòng)估算與比特率控制 分析了可能影響編碼器質(zhì)量并消耗大量周期的兩種編碼器算法。

對(duì)于典型的運(yùn)動(dòng)消費(fèi)類電子設(shè)備的高質(zhì)量視頻流而言，以下列表給出的經(jīng)驗(yàn)法則，可用以判斷常見使用案例中 H.264 編碼器消耗的周期數(shù)。
• QCIF 分辨率、15 fps、128 Kbps － 每通道 2,700 萬(wàn)個(gè)周期
• CIF 分辨率、30 fps、300 Kbps – 每通道 2 億個(gè)周期
• D1 分辨率、NTSC 或 PAL、2 Mbps –每通道 6.6 億個(gè)周期
• 720p 分辨率、30 fps、6 Mbps – 每通道 18.5 億個(gè)周期
• 1080i60、每秒 60 場(chǎng)、9 Mbps – 每通道 34.5 億個(gè)周期

與此類似，H.264 解碼器消耗的周期數(shù)為：
• QCIF 分辨率、15 fps、128IKbps – 每通道 1400 萬(wàn)個(gè)周期
• CIF 分辨率、30 fps、300 Kbps – 每通道 7050 萬(wàn)個(gè)周期
• D1 分辨率、NTSC 或 PAL、2 Mbps –每通道 2.92 億個(gè)周期
• 720p 分辨率、30 fps、6 Mbps – 每通道 7.8 億個(gè)周期
• 1080i60、每秒 60 場(chǎng)、9 Mbps –每通道 16.6 億個(gè)周期

轉(zhuǎn)碼應(yīng)用（包括完整的解碼器和編碼器）消耗的周期數(shù)是編碼器和解碼器所消耗的總和，在需要的情況下也會(huì)加上擴(kuò)展的消耗。

2.3 存儲(chǔ)器的考慮事項(xiàng)
在成本與存儲(chǔ)器要求之間進(jìn)行權(quán)衡折中是任何硬件設(shè)計(jì)都需要考慮的重要因素。在分析多核視頻處理解決方案的存儲(chǔ)器要求時(shí)，需要明確以下幾個(gè)問(wèn)題：
• 需要多大存儲(chǔ)量的存儲(chǔ)器，以及存儲(chǔ)器的類型（專有還是共享）是什么？
• 存儲(chǔ)器的速度是否足夠支持流量需求？
• 接入總線的速度是否足以支持流量需求？
• 存儲(chǔ)器架構(gòu)是否能夠以最少的多核性能損失支持多核接入？
• 存儲(chǔ)器架構(gòu)是否能以最小的數(shù)據(jù)沖突支持處理器數(shù)據(jù)流的輸入與輸出？
• 支持存儲(chǔ)器接入（諸如 DMA 通道、DMA 控制器、預(yù)取機(jī)制和快速智能高速緩沖架構(gòu) ）的現(xiàn)有硬件有哪些？所需存儲(chǔ)器的存儲(chǔ)量取決于應(yīng)用。以下三個(gè)應(yīng)用實(shí)例介紹了三種不同的存儲(chǔ)器要求：
－ 無(wú)線傳輸速率：在單幀運(yùn)動(dòng)估算參考 (single-motion estimation reference frame) 中以極低的延遲從 QCIF H.264BP 轉(zhuǎn)換至 QCIF H.264BP 需要足夠的存儲(chǔ)容量才能存儲(chǔ) 5 個(gè)幀。每幀需要 38016 個(gè)字節(jié)，那么一個(gè)通道（包括輸入和輸出媒體流的存儲(chǔ)）所需存儲(chǔ)器的存儲(chǔ)量為每通道不足 256KB。同時(shí)處理 200 個(gè)通道則需 50MB 的數(shù)據(jù)存儲(chǔ)。
－ 多通道解碼器應(yīng)用實(shí)例：對(duì)于 H264 HP 1080p 解碼器，如果兩個(gè)連續(xù)的 P 幀和 I 幀之間的 B 幀數(shù)目等于或少于 5，那么我們只需要足夠存儲(chǔ) 7~8 個(gè)幀的存儲(chǔ)空間，因而單個(gè)通道（包含存儲(chǔ)輸入和輸出媒體流）所需的存儲(chǔ)量應(yīng)少于每通道 25MB。同時(shí)處理 5 個(gè)通道需要 125MB 的數(shù)據(jù)存儲(chǔ)器。

－ 包含實(shí)時(shí)電視廣播的高質(zhì)量視頻流示例：應(yīng) FCC 的要求在系統(tǒng)中有 7 秒的延遲時(shí)，對(duì)實(shí)時(shí)電視節(jié)目采用 H.264HP 720P60 編碼需要每個(gè)通道存儲(chǔ) 600MB。并行處理兩個(gè)通道需要 1.2GB 的數(shù)據(jù)存儲(chǔ)量。

為了最大限度地提高視頻處理系統(tǒng)的低成本優(yōu)勢(shì)，數(shù)據(jù)必須駐留在外部存儲(chǔ)器中，其大小需要根據(jù)系統(tǒng)存儲(chǔ)器最差的應(yīng)用狀態(tài)來(lái)選擇。與此同時(shí)，處理過(guò)的數(shù)據(jù)必須存放在內(nèi)部存儲(chǔ)器中才能支持處理器的高吞吐量。優(yōu)化的系統(tǒng)會(huì)使用乒乓機(jī)制將數(shù)據(jù)從外部存儲(chǔ)器移至內(nèi)部存儲(chǔ)器，而將數(shù)據(jù)從內(nèi)存移至外部存儲(chǔ)器的同時(shí)還要處理來(lái)自內(nèi)部存儲(chǔ)器的數(shù)據(jù)。典型的處理器具有一個(gè)可配置為高速緩存或 RAM 的小型 L1 存儲(chǔ)器，用于每個(gè)內(nèi)核（可配置為高速緩存或 RAM）的較大型專用 L2 存儲(chǔ)器，以及處理器中每個(gè)內(nèi)核都能夠存取的共享 L2 存儲(chǔ)器均可使用。為加強(qiáng)乒乓機(jī)制，需要用多個(gè)相互獨(dú)立的 DMA 通道從外部存儲(chǔ)器中讀寫數(shù)據(jù)。

附錄C 外部存儲(chǔ)器帶寬－為支持乒乓機(jī)制用于上述三個(gè)應(yīng)用實(shí)例，估算了將數(shù)據(jù)從外部存儲(chǔ)器移至內(nèi)部存儲(chǔ)器所需的帶寬。外部存儲(chǔ)器的有效帶寬必須大于 3.5Gbps。