Rambus高速GDDR6 PHY打通AI應(yīng)用的數(shù)據(jù)瓶頸

幾年前當AI剛開始流行之時，很多人預(yù)測AI應(yīng)用最大的瓶頸將是存儲器的讀取和寫入速度，這會嚴重影響訓(xùn)練和推斷的效率，以及做出相應(yīng)反饋的速度。特別是2023年以來，以ChatGPT為代表的生成式AI讓人們看到了智能世界的無限可能，而如何有效地采集、存儲、傳輸、處理數(shù)據(jù)和模型則成為實現(xiàn)高質(zhì)量AI的關(guān)鍵，這就需要高速傳輸技術(shù)的革新。

無論是云端AI訓(xùn)練還是向網(wǎng)絡(luò)邊緣轉(zhuǎn)移的AI推理，都需要高帶寬、低時延的內(nèi)存。鑒于GPU已經(jīng)成為目前人工智能訓(xùn)練和推理中的核心處理單元，邁向高性能GDDR6內(nèi)存接口已是大勢所趨。近日，半導(dǎo)體IP和芯片供應(yīng)商Rambus推出業(yè)界領(lǐng)先24Gb/s GDDR6 PHY，致力于通過進一步提升傳輸速度解決AI訓(xùn)練和推理面臨的存儲焦慮問題。

Rambus致力于使數(shù)據(jù)傳輸更快更安全，關(guān)注產(chǎn)品的產(chǎn)品和方案的易用性，通過一站式的解決方案以及完善的服務(wù)機制，使產(chǎn)品方案變得更容易在客戶端集成使用。產(chǎn)品方面，Rambus的內(nèi)存接口芯片不斷提高數(shù)據(jù)中心內(nèi)存模塊的速度和容量，數(shù)據(jù)安全方面，Rambus有著豐富的安全IP產(chǎn)品線，對用于靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)安全保護都有專門的產(chǎn)品方案，包括安全信任和MACsec和Ipsec等等，整體來說，Rambus的產(chǎn)品應(yīng)用領(lǐng)域聚焦于服務(wù)器、主內(nèi)存、智能網(wǎng)卡、網(wǎng)絡(luò)服務(wù)和交換機，以及面向未來的內(nèi)存擴展和池化等市場。“ChatGPT等AIGC應(yīng)用與我們公司的產(chǎn)品組合是非常契合的?！盧ambus大中華區(qū)總經(jīng)理蘇雷說，他特別談到于中國市場，中國目前AI應(yīng)用和部署走在世界前列，Rambus希望更多、更緊密地支持中國公司在AI產(chǎn)業(yè)的發(fā)展，“Rambus面對中國客戶的需求，有最好的技術(shù)、最快的響應(yīng)和最好的技術(shù)支持來服務(wù)中國市場?！?

Rambus GDDR6 PHY以及控制器的配套產(chǎn)品，可以實現(xiàn)業(yè)界領(lǐng)先的24Gb/s數(shù)據(jù)傳輸速率，作為全新的一個行業(yè)標桿，將為AI推理等應(yīng)用場景帶來巨大性能優(yōu)勢和收益。除性能之外，該組合另一大優(yōu)勢是對功耗的管理。當設(shè)備在高速和高帶寬環(huán)境下運行時，良好的功耗管理非常重要。

在系統(tǒng)層面設(shè)計的考量方面，如果要確保系統(tǒng)在24Gb/s環(huán)境下運行，需要良好的系統(tǒng)級信號完整性。Rambus信號完整性的工程師，也會與客戶進行非常緊密的從設(shè)計初期開始的合作，能夠確保客戶運行系統(tǒng)的時候達到最高的性能。另外，Rambus提供的產(chǎn)品已經(jīng)實現(xiàn)了PHY以及控制器的完整集成。在客戶收到產(chǎn)品之后，可以直接對這些子系統(tǒng)進行定制化應(yīng)用。

Rambus IP核產(chǎn)品營銷高級總監(jiān)Frank Ferro介紹，AI推理應(yīng)用對帶寬的需求通常在200到500Gb/s的范圍之間波動，每一個GDDR6設(shè)備的帶寬都可以達到96Gb/s，因此通過將4-5個GDDR6設(shè)備組合在一起，就能輕松滿足500Gb/s及以下的帶寬需求。如果用到一個HBM3設(shè)備，基本上會把這個帶寬需求的數(shù)字翻倍，能夠達到接近800Gb/s的帶寬，而這超過了AI推理本身所需要的400到500Gb/s帶寬，會使成本增加3~4倍。在這種條件下，HBM并非一個經(jīng)濟高效的選擇，GDDR6則是一個更好的替代。他特別建議按需選擇HBM或是GDDR6內(nèi)存，對于對高帶寬和低延遲有很高要求的AI訓(xùn)練場景，HBM可能是更好的選擇；對于需要更大容量、更高帶寬的AI推理場景，GDDR6會是更合適的選擇。

Rambus的產(chǎn)品實現(xiàn)了PHY和控制器的完整集成，其內(nèi)存接口系統(tǒng)包括PHY物理層、控制器、DRAM和客戶端ASIC，其中，PHY的物理層與DRAM直接相連，接口由兩個16位插槽組成，共32位，另一側(cè)的DFI接口與內(nèi)存控制器連接，控制器會直接接入整個系統(tǒng)的邏輯控制。Rambus會提供下圖中的藍色部分——即完整的子系統(tǒng)（與Rambus GDDR6數(shù)字控制器IP相結(jié)合），使得客戶可以根據(jù)場景所需進行定制化使用。此外，Rambus可以保障良好的系統(tǒng)級信號完整性和電源完整性（SI/PI），并且支持LabStation開發(fā)環(huán)境，能夠快速建立系統(tǒng)，進行特性分析和調(diào)試。

如今，GDDR在AI/ML場景（如AI推理等）中有著廣泛的使用，還會應(yīng)用于圖形計算、網(wǎng)絡(luò)等場景。與DDR相比，GDDR在帶寬、速度、功耗等方面有著顯著優(yōu)勢，吸引了更多的客戶將其結(jié)合到各類先進設(shè)計中。作為系統(tǒng)級解決方案的一部分，Rambus GDDR6可以為AI/ML、圖形和網(wǎng)絡(luò)應(yīng)用提供高效益、高帶寬、低延遲的內(nèi)存接口解決方案。同時，RambusGDDR6 PHY還有著更優(yōu)的功耗管理表現(xiàn)。

Rambus通過領(lǐng)先的高性能內(nèi)存和互聯(lián)解決方案以及硬件級安全，支持下一代數(shù)據(jù)中心的發(fā)展。其產(chǎn)品應(yīng)用領(lǐng)域聚焦于服務(wù)器主內(nèi)存、人工智能和網(wǎng)絡(luò)加速器、智能網(wǎng)卡、網(wǎng)絡(luò)存儲、網(wǎng)絡(luò)交換機以及內(nèi)存擴展和池化等。蘇雷介紹，Rambus有著豐富的接口IP產(chǎn)品組合，同時也提供像DDR、LPDDR以及HBM等產(chǎn)品，并非常關(guān)注SerDes產(chǎn)品的開發(fā)，主要聚焦于PCIe和CXL接口，會開發(fā)配套的PHY及控制器。Rambus的HBM產(chǎn)品擁有領(lǐng)先的市占率，同時其HBM3產(chǎn)品已經(jīng)能夠提供高達8.4Gbps/s的數(shù)據(jù)傳輸速率。