Helium 技術(shù)講堂 | 循環(huán)緩沖區(qū)的使用

當(dāng)人工智能 (AI) 下沉到各式各樣的應(yīng)用當(dāng)中，作為市場(chǎng)上最大量的物聯(lián)網(wǎng)設(shè)備也將被賦予智能性。Arm ? Helium? 技術(shù)正是為基于 Arm Cortex ? -M 處理器的設(shè)備帶來(lái)關(guān)鍵機(jī)器學(xué)習(xí)與數(shù)字信號(hào)處理的性能提升。

正如之前的文章內(nèi)容所述，Helium 是一種四節(jié)拍矢量架構(gòu)。將數(shù)據(jù)加載到矢量中的最直接的方法是連續(xù)加載操作（見(jiàn)圖一）。在每個(gè)節(jié)拍中，都從標(biāo)量寄存器中指定的基址開(kāi)始依次訪問(wèn)內(nèi)存。無(wú)論目標(biāo)數(shù)據(jù)類型如何（8、16 或 32 位），都可以通過(guò)充分利用總線寬度的訪問(wèn)來(lái)高效地執(zhí)行這一操作，因?yàn)閿?shù)據(jù)元素在內(nèi)存和矢量中都是相鄰的，存儲(chǔ)操作也是如此。

Helium 加載和存儲(chǔ)指令具有與 M 系列架構(gòu)的其他部分相同的豐富的尋址模式集，支持預(yù)遞增或后遞增以及指針回寫等功能。 這樣，在大多數(shù)情況下就不需要單獨(dú)進(jìn)行指針操作了。

DSP 應(yīng)用通常在數(shù)據(jù)結(jié)構(gòu)而非單個(gè)元素上運(yùn)行。例如，立體聲音頻數(shù)據(jù)通常以左右數(shù)值交織流的形式存儲(chǔ)。同樣，圖像數(shù)據(jù)通常以紅、綠、藍(lán)、Alpha 交錯(cuò)值的形式存儲(chǔ)。這是 上一篇文章 的主題內(nèi)容，其中介紹了可以有效實(shí)現(xiàn)這一目標(biāo)的結(jié)構(gòu)化加載/存儲(chǔ)指令。

有時(shí)，存儲(chǔ)在內(nèi)存中的數(shù)據(jù)無(wú)法以便捷的方式構(gòu)建以實(shí)現(xiàn)連續(xù)訪問(wèn)。在某些架構(gòu)中，這實(shí)際上會(huì)阻礙代碼的矢量化。 Helium 通過(guò)“離散?聚合”操作解決了這一問(wèn)題。 這些操作將偏移矢量指向內(nèi)存，這樣就可以用一條指令訪問(wèn)多個(gè)非連續(xù)地址（見(jiàn)圖三）。它們還能擴(kuò)展或截?cái)嗨L問(wèn)的數(shù)據(jù)。

DSP 應(yīng)用通常使用一種稱為循環(huán)尋址的內(nèi)存布局。可以按順序訪問(wèn)元素，但最多只能訪問(wèn)配置的緩沖區(qū)大小，之后的訪問(wèn)會(huì)繞回到第一個(gè)元素（見(jiàn)圖四）。例如，從元素 N?1 開(kāi)始的四元素讀取操作將會(huì)訪問(wèn)元素 N?1, 0, 1, 2。

這在 DSP 應(yīng)用中用途廣泛，包括在處理數(shù)據(jù)流后只需要前 N 個(gè)數(shù)據(jù)樣本時(shí)避免指針操作。在 FIR 濾波器中，最后 N 個(gè)數(shù)據(jù)樣本需要與一組系數(shù)相乘，才能產(chǎn)生所需的濾波器響應(yīng)。當(dāng)一個(gè)新的數(shù)據(jù)樣本到來(lái)時(shí)，需要處理的是之前的 N?1 個(gè)樣本和新樣本，最舊的樣本不再使用。數(shù)據(jù)可以重新排列，使要處理的緩沖區(qū)總是按正確的順序包含元素，但這需要在開(kāi)始處理前將每個(gè)樣本復(fù)制到不同的位置，耗費(fèi)大量資源。 如果使用循環(huán)緩沖區(qū)，就可以就地訪問(wèn)數(shù)據(jù)，必要時(shí)還可以繞回到開(kāi)頭，而且只需要寫入一次就可以用最新的樣本替換最舊的樣本。

一些 DSP 通過(guò)專用訪問(wèn)指令和專用寄存器來(lái)實(shí)現(xiàn)循環(huán)緩沖區(qū)的起始地址和結(jié)束地址。指針每次遞增時(shí)，硬件都會(huì)將其與結(jié)束地址進(jìn)行比較，并相應(yīng)地回繞。這意味著同時(shí)支持的循環(huán)緩沖區(qū)數(shù)量受到可用硬件的限制。這也意味著每次中斷都需要保留大量額外狀態(tài)，而這會(huì)影響延遲。為此，所需的硬件支持不容忽視；在典型的實(shí)施中，需要更復(fù)雜的地址生成單元。為了避免這種情況，一些 DSP 要求循環(huán)緩沖區(qū)的大小等于 2 的冪次方，緩沖區(qū)的地址調(diào)整為該大小的倍數(shù)?？梢酝ㄟ^(guò)將指針與位掩碼進(jìn)行 AND 運(yùn)算實(shí)現(xiàn)，從而簡(jiǎn)化硬件要求。但是，這樣會(huì)限制這些緩沖區(qū)的放置和使用，特別是幾乎無(wú)法直接從高級(jí)語(yǔ)言使用緩沖區(qū)。由于 M 系列的宗旨是讓一切都能通過(guò) C 語(yǔ)言輕松使用，因此我們需要想出一種更好的方法。

我們的解決方案是將循環(huán)緩沖區(qū)分成兩個(gè)不同的操作，其方式與上文討論的反位尋址類似。我們將用于生成回繞偏移的指令與離散?聚合指令相結(jié)合來(lái)訪問(wèn)這些偏移地址的數(shù)據(jù)。這就為緩沖區(qū)大小和位置提供了靈活性，而且關(guān)鍵路徑上也不需要有專用硬件。 循環(huán)緩沖區(qū)生成指令 (VIWDUP) 可創(chuàng)建一個(gè)矢量，其中包含一連串遞增的偏移量，當(dāng)?shù)竭_(dá)終點(diǎn)位置時(shí)會(huì)回繞到開(kāi)頭（見(jiàn)圖五）。該指令用從 R0 值開(kāi)始的序列填充矢量寄存器 Q0，并在達(dá)到 R1 值時(shí)回繞。然后，它將更新后的起始偏移量 2 寫回 R0。這條指令的一個(gè)巧妙設(shè)計(jì)是，每次寫入 Q0 的偏移量矢量都是由標(biāo)量值重新生成的。通常下一條指令就是使用偏移量的離散?聚合指令，因此 Q0 可以直接重復(fù)用于其他目的。立即值指定偏移量的增量，這對(duì)于處理不同的元素大小非常有用。例如，如果加載的是 32 位數(shù)值，將使用四個(gè)字節(jié)的增量?？梢灾付ㄈ我庠隽炕驕p量，因此該指令可用于其他需要通用數(shù)字模式的情況。通過(guò)這種方式，Helium 可以提供任意數(shù)量的循環(huán)緩沖區(qū)，在內(nèi)存中具有靈活的大小、方向和對(duì)齊方式，而且這個(gè)過(guò)程只需要使用現(xiàn)有的硬件就可以提供序列生成指令。

那么性能表現(xiàn)如何呢？雖然需要額外的偏移生成指令 (VIWDUP)，但我們發(fā)現(xiàn)在許多情況下，可能會(huì)因?yàn)榕c內(nèi)存訪問(wèn)本身重疊而隱藏了開(kāi)銷。在所有情況下，這一開(kāi)銷都小于在沒(méi)有硬件支持的情況下管理回繞的計(jì)算工作量。我們之前也說(shuō)過(guò)，出于性能考慮，最好使用連續(xù)訪問(wèn)。循環(huán)緩沖區(qū)的特別之處在于，大部分訪問(wèn)都是連續(xù)的，只有偶爾發(fā)生回繞時(shí)才會(huì)出現(xiàn)不連續(xù)。一種方法是離散-聚合指令比較偏移值，然后合并連續(xù)的訪問(wèn)。遺憾的是，這樣做將需要大量額外的硬件，并給設(shè)計(jì)的關(guān)鍵部分增加許多額外的復(fù)雜性。在負(fù)載連續(xù)的情況下，離散?聚合操作會(huì)降低性能，這違背了我們追求將每個(gè) gate 的性能發(fā)揮到極致的原則。

當(dāng)我們?cè)噲D找到解決這個(gè)問(wèn)題的方法時(shí)，我們注意到偏移生成指令 (VIWDUP) 已經(jīng)掌握回繞點(diǎn)的位置。如果能將這一信息傳遞給離散-聚合指令，它就能將訪問(wèn)提升為連續(xù)訪問(wèn)，而無(wú)需使用昂貴又耗時(shí)的偏移比較器。那么我們能不能指定一個(gè)額外的標(biāo)量寄存器來(lái)傳輸這些信息呢？遺憾的是，這將增加所需的讀取端口數(shù)量，而且標(biāo)量依賴關(guān)系從 VIWDUP 改為離散?聚合指令將會(huì)導(dǎo)致指令無(wú)法重疊。Helium 實(shí)現(xiàn)是否可以將這些信息存儲(chǔ)在隱藏的微架構(gòu)元數(shù)據(jù)中，并在矢量發(fā)生修改時(shí)清除元數(shù)據(jù)？一般不建議這樣做，因?yàn)樵獢?shù)據(jù)需要在中斷時(shí)保留，而這會(huì)影響延遲。但我們發(fā)現(xiàn)，在這種情況下，我們不需要保留元數(shù)據(jù)。在出現(xiàn)異常的極少數(shù)情況時(shí)，備選措施是正常執(zhí)行離散-聚合，而不是優(yōu)化連續(xù)訪問(wèn)。通過(guò)使用易失性隱藏元數(shù)據(jù)來(lái)指示連續(xù)訪問(wèn)，可以優(yōu)化普通非回繞情況下的性能，同時(shí)避免出現(xiàn)額外的架構(gòu)狀態(tài)和中斷延遲。

在受限的環(huán)境中工作極具挑戰(zhàn)性，Helium 要求我們不斷尋找創(chuàng)新的解決方案，充分發(fā)揮硬件性能。我們努力聯(lián)合設(shè)計(jì)架構(gòu)和微架構(gòu)，尋找一系列內(nèi)存訪問(wèn)指令，既能滿足 DSP 應(yīng)用的需要，又能最大限度地減少實(shí)現(xiàn)這些指令所需的硬件數(shù)量。 特別是在循環(huán)緩沖區(qū)方面，我們延續(xù)了 M 系列的傳統(tǒng)，確保每個(gè) gate 都物盡其用，從而以較低的面積實(shí)現(xiàn)性能表現(xiàn)，同時(shí)為終端用戶提供良好的體驗(yàn)感。

我們 將在下一篇 Helium 文章中介紹如何通過(guò)一些有趣的循環(huán)處理指令來(lái)避免阿姆達(dá)爾 (Amdahl) 定律帶來(lái)的影響。持續(xù)關(guān)注 Helium 技術(shù)講堂，我們下期再見(jiàn)！