RISC-V 在 AI 計算的前景

近日，Semidynamics 首席執(zhí)行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強調內存帶寬和針對 AI 和 HPC 的定制。他重點介紹了他們的 

近日，Semidynamics 首席執(zhí)行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強調內存帶寬和針對 AI 和 HPC 的定制。他重點介紹了他們的 Gazzillion Misses 延遲處理 IP、集成張量單元，并專注于實際性能而非基準測試。Espasa 認為 RISC-V 正在超越 Arm，在標準化與靈活性之間取得平衡，并預測 AI 和 chiplet 的采用將發(fā)生轉變。

其解決方案范圍從獨立的 CPU 內核到圍繞張量、矢量和 CPU 組合構建的一體化設計（包括 NPU）。Semidynamics 的主要差異化因素之一是其對內存帶寬和定制化的重視。Gazzillion TLB（翻譯后備緩沖器）和可配置內存子系統(tǒng)等功能使設計人員能夠根據特定工作負載調整處理器，尤其是針對 AI 和數(shù)據密集型應用。

在接受 JPR 的 David Harold 采訪時，Semidynamics 首席執(zhí)行官 Roger Espasa 談到了該公司的 RISC-V IP 以及他對 RISC-V 未來的展望。

Espasa 表示，「我們大約在 2017 年開始創(chuàng)業(yè)。頭兩年專注于服務，為一家美國初創(chuàng)公司設計 RISC-V 芯片。之后，我們決定開發(fā)自己的 IP。到 2020-2022 年，我們的技術已經準備就緒，并且我們確保了全球客戶對我們的矢量技術感興趣?！?/p>

「我們是第一個推出 RISC-V 大型向量單元的公司，也是第一個將無序向量單元與無序核心相結合的公司。這在 HPC 中尤為重要，而 HPC 現(xiàn)已與 AI 融合。HPC 和 AI 之間的界限已經消失。轉向 AI 的客戶表示，他們喜歡矢量單元，但需要更多操作。因此，我們開發(fā)并開源了完全符合 RISC-V 的張量指令。這些指令目前正在 RISC-V 工作組中推進。我們的目標是幫助客戶使用簡單的、僅 RISC-V 軟件堆棧部署 AI，確保我們的解決方案在 AI 發(fā)展過程中仍然可行。」

RISC-V 內部似乎正在向標準化轉變，配置文件確保兼容性，同時允許進行一些定制。您是這樣認為的嗎？

Espasa 表示:「定制是 RISC-V 成功的關鍵，盡管一些競爭對手似乎對此猶豫不決。配置文件很有用——它們?yōu)檐浖?yōu)化提供了基礎，并充分利用了多年的開發(fā)成果，就像 Linux 一樣。

但是，如果 RISC-V 是純標準化的，為什么不直接使用 Arm 呢？RISC-V 的吸引力在于通過定制提供額外的性能。訣竅是在標準化與靈活性之間取得平衡——利用配置文件，同時添加客戶特定的增強功能而不破壞兼容性?！?/p>

您的架構支持多種配置，從張量核心到矢量核心。這如何讓您與競爭對手脫穎而出？

Espasa：「許多人認為計算僅限于筆記本電腦、智能手機或數(shù)據中心，但處理器無處不在——汽車、網關、電視。這些應用程序需要專門的優(yōu)化，而這正是 RISC-V 的優(yōu)勢所在。

我們專注于高效傳輸數(shù)據，而不是追求峰值基準測試分數(shù)。SPECint 或 Dhrystone 等傳統(tǒng) CPU 基準測試都很好，但我們優(yōu)先考慮實際工作負載，例如 McCalpin 的 Stream 基準測試，它可以測量內存帶寬利用率?！?/p>

Gazzillion 技術有何不同？

Espasa：「Gazzillion 允許單核實現(xiàn)內存帶寬最大化。一位客戶原本預計需要四個核心，但很高興只用一個核心就能實現(xiàn)同樣的性能，從而簡化設計并縮短上市時間。

為了實現(xiàn)這一目標，我們優(yōu)化了整個管道（從指令重命名到內存請求），確保核心充分利用可用帶寬。如果提供更多帶寬，我們會相應地進行擴展?！?/p>

AI 需要大量數(shù)據傳輸，Gazzillion 如何支持 AI 工作負載？

Espasa：「RISC-V 中關于張量單元有兩種思想流派——一種主張在總線上使用獨立的張量單元，另一種則主張將其集成在核心中。由于我們可以提供高帶寬，因此我們選擇了集成。

獨立張量單元需要復雜的 DMA 編程、同步和數(shù)據傳輸。通過我們的方法，張量單元位于核心內，從而簡化了 AI 工作負載并降低了軟件復雜性。」

Ventana 和其他公司正在探索小芯片，部分是為了 IP 強化。Arm 現(xiàn)在也在討論單片設計。您對小芯片和您的商業(yè)模式持什么態(tài)度？

Espasa：「我們的商業(yè)模式是傳統(tǒng)的許可加版稅。

小芯片是一種顯而易見的演進，這不一定是因為 Arm 大力推廣，而是因為它們在更接近硅片的地方能獲得更多價值。有些客戶無法承受三年的設計周期，他們更喜歡能在 18 個月內部署的解決方案。

芯片組還不是一站式解決方案。目前，主要公司（如 Nvidia）正在內部連接自己的芯片組。下一步是讓不同的供應商集成他們的芯片組。在此之前，我們預計客戶會將現(xiàn)有的芯片組與 PCIe 或 UCIe 等標準接口集成。我們正在積極開展這一領域的工作，但目前還沒有宣布任何消息。」

可以采取什么措施來優(yōu)化電源效率？

Espasa：「你需要優(yōu)化觸發(fā)器、時鐘門控和時鐘樹。新設計比幾十年來積累的低效率舊設計更具優(yōu)勢。我們的全新設計可實現(xiàn)更精簡的電源管理。此外，我們實施了積極的電源門控—在運行張量時關閉矢量單元，反之亦然?！?/p>

隨著 RISC-V 日趨成熟，大規(guī)模采用還面臨哪些障礙？

Espasa：「RISC-V 基金會正在努力開發(fā)服務器領域，由于需要大量規(guī)范，該領域非常復雜。AI 標準化是另一個關鍵領域——我們需要一種統(tǒng)一的方法來實現(xiàn)軟件的可重用性，同時保持靈活性。RISC-V 已經占據了微控制器領域的主導地位。接下來是手機和筆記本電腦，但這取決于主要參與者是否確保軟件準備就緒，尤其是針對 Android?！?/p>