HBM4持續(xù)加速：AI時(shí)代競(jìng)爭(zhēng)新焦點(diǎn)

近日，標(biāo)準(zhǔn)組織JEDEC固態(tài)技術(shù)協(xié)會(huì)公布了新一代的高帶寬內(nèi)存HBM4的標(biāo)準(zhǔn)制定即將完成。HBM4是目前發(fā)布的HBM3標(biāo)準(zhǔn)的進(jìn)化版，旨在進(jìn)一步提高數(shù)據(jù)處理速率，同時(shí)保持基本特性，例如更高的帶寬、更低功耗和更大的每個(gè)芯片和/或堆棧容量 —— 這些對(duì)于需要高效處理大數(shù)據(jù)集和復(fù)雜計(jì)算的應(yīng)用至關(guān)重要，包括生成人工智能（AI）、高性能計(jì)算、高端顯卡和服務(wù)器。

算力性能發(fā)揮的關(guān)鍵

隨著人工智能領(lǐng)域的蓬勃發(fā)展，大模型參數(shù)量呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。算力越強(qiáng)每秒處理數(shù)據(jù)的速度越快，帶寬越大每秒可訪問的數(shù)據(jù)越多，算力強(qiáng)弱主要由AI芯片決定，而帶寬由存儲(chǔ)器決定，存力是限制AI芯片性能的瓶頸之一。AI芯片引發(fā)了對(duì)與之匹配的內(nèi)存系統(tǒng)進(jìn)行升級(jí)的迫切需求，需要高帶寬、低能耗，同時(shí)在不占用面積的情況下可以擴(kuò)展容量的存儲(chǔ)器。

內(nèi)存系統(tǒng)從微觀到宏觀可劃分為存儲(chǔ)單元、陣列、die、封裝、系統(tǒng)等五個(gè)層級(jí)。不同DRAM標(biāo)準(zhǔn)如DDR、LPDDR、GDDR、HBM等采用不同的封裝形式，如LPDDR和GDDR常將1至多個(gè)die直接安裝于主板PCB上，而DDR則多采用DIMM模塊插入主板插槽。HBM則獨(dú)樹一幟采用垂直堆疊封裝，意味著在同一物理空間內(nèi)可以容納更多的內(nèi)存單元，通過TSV技術(shù)實(shí)現(xiàn)die間互連，借助CoWoS技術(shù)與處理器高效通信，擁有遠(yuǎn)超其他DRAM的帶寬。

HBM憑借堆疊結(jié)構(gòu)和垂直TSV互連技術(shù)，具備高帶寬、高存儲(chǔ)密度、低功耗和緊湊尺寸等優(yōu)勢(shì)，尤其在AI和HPC應(yīng)用中，其高帶寬對(duì)大模型訓(xùn)練和推理效率的提升至關(guān)重要。但高于普通DRAM數(shù)倍的價(jià)格，使得對(duì)HBM一直都是“名氣沒輸過、銷售沒贏過”的獨(dú)特存在，AI大模型的出現(xiàn)讓HBM找到完美的應(yīng)用場(chǎng)景。

HBM（HighBandwidth Memory，高帶寬內(nèi)存）其實(shí)就是將很多個(gè)DDR芯片堆疊在一起后和GPU封裝在一起，實(shí)現(xiàn)大容量、高位寬的DDR組合陣列，被視為新一代DRAM解決方案。當(dāng)前HBM遵循相當(dāng)標(biāo)準(zhǔn)的設(shè)計(jì)：內(nèi)存堆棧通過微凸塊連接到位于基礎(chǔ)封裝層上的中介層，微凸塊連接到堆棧中的硅通孔（TSV或連接孔）；中介層上還安裝了一個(gè)處理器，并提供到處理器的連接。

HBM4持續(xù)加速

高帶寬內(nèi)存已存在約十年，從HBM1目前最新到HBM3E，迭代方向是提高容量和帶寬，容量可以通過堆疊層數(shù)或增加單層容量獲得提升，帶寬提升主要是通過提升I/O速度。但隨著內(nèi)存?zhèn)鬏斔俾实奶岣?，尤其是在DRAM單元的基本物理特性沒有改變的情況下，這種速度也越來越難以維持。因此，對(duì)于HBM4計(jì)劃進(jìn)行更實(shí)質(zhì)性的改變，把內(nèi)存堆棧接口從1024位擴(kuò)展至2048位，這將是自八年前推出這種內(nèi)存類型以來HBM規(guī)范最重要的變化之一。

現(xiàn)有的HBM采用了TC（熱壓）鍵合技術(shù)，該技術(shù)在DRAM中創(chuàng)建TSV通道，并通過小突起形式的微凸塊進(jìn)行電連接。使用現(xiàn)有的接合實(shí)際上不可能在720μm處實(shí)現(xiàn)16層DRAM堆疊HBM4，業(yè)界關(guān)注的替代方案是混合鍵合（Hybrid bonding）。

混合鍵合是一種在芯片和晶圓之間直接鍵合銅布線的技術(shù)，相較于傳統(tǒng)的鍵合工藝，摒棄了在DRAM內(nèi)存層間添加凸塊的繁瑣步驟，這不僅提高了信號(hào)傳輸速率，同時(shí)也降低了DRAM層間距，使得HBM模塊的整體高度得到縮減。

HBM4在堆棧的層數(shù)上也有所變化，除了首批的12層垂直堆疊，還會(huì)帶來16層垂直堆疊。此外，HBM還會(huì)往更為定制化的方向發(fā)展，不僅排列在SoC主芯片旁邊，部分還會(huì)轉(zhuǎn)向堆棧在SoC主芯片之上。

sk海力士

根據(jù)SK海力士最新公布的信息顯示，HBM4將比第五代HBM3E速度提升40%，而耗電量?jī)H為后者的70%，并在5月舉行的記者招待會(huì)上表示，其HBM4內(nèi)存的量產(chǎn)時(shí)間已提前到2025年。具體來說，計(jì)劃2025年下半年推出采用12層DRAM堆疊的首批HBM4產(chǎn)品，而16層堆疊HBM稍晚于2026年推出。

同時(shí)，SK海力士將繼續(xù)采用批量回流模制底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進(jìn)封裝工藝作為核心技術(shù)。其中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接；模塑底部填充（MUF）是在堆疊的芯片之間填充保護(hù)材料從而提高耐久性和散熱效果。

但是MR-MUF有容易翹曲、導(dǎo)致晶圓末端彎曲、空洞現(xiàn)象（即保護(hù)材料在某些區(qū)域分布不均勻）等缺點(diǎn)。SK海力士表示，與HBM開發(fā)初期相比已經(jīng)成功地減少了翹曲現(xiàn)象，目前正在開發(fā)克服這一問題的技術(shù)。作為替代方案而出現(xiàn)的混合鍵合技術(shù)則預(yù)計(jì)由于HBM標(biāo)準(zhǔn)的放寬而緩慢引入。

SK海力士還計(jì)劃在HBM4基礎(chǔ)裸片上采用臺(tái)積電的N5和N12FFC+工藝，以便可以將附加功能封裝到有限的空間中，也有助于其生產(chǎn)定制HBM。SK海力士和臺(tái)積電還同意合作優(yōu)化SK海力士的HBM和臺(tái)積電的CoWoS（基板上晶圓芯片）技術(shù)的集成，響應(yīng)常見客戶與HBM相關(guān)的要求。

三星

和SK海力士不一樣，三星采用的TC-NCF（thermal compression with non-conductive film），也就是非導(dǎo)電薄膜熱壓縮技術(shù)封裝HBM。該技術(shù)在每次堆疊芯片時(shí)，都會(huì)在各層之間放置一層不導(dǎo)電的粘合膜，用于使芯片彼此絕緣并保護(hù)連接點(diǎn)免受撞擊。這種方法的優(yōu)點(diǎn)是可以最大限度地減少隨著層數(shù)增加和芯片厚度減小而可能發(fā)生的翹曲，使其更適合構(gòu)建更高的堆棧。

優(yōu)化熱量和壓力是TC-NCF成功的關(guān)鍵。在三星看來，HBM的熱阻主要受芯片間距的影響，減少芯片之間NCF材料的厚度，并利用熱壓縮技術(shù)使芯片更加緊密，實(shí)現(xiàn)了業(yè)界最小的7μm芯片間距。此外，在芯片鍵合過程中，三星策略性地設(shè)計(jì)了需要信號(hào)傳輸?shù)男⊥箟K和散熱至關(guān)重要的大凸塊，優(yōu)化增強(qiáng)了散熱和產(chǎn)量。

SK海力士在第二代HBM之前也使用NCF ，但從第三代（HBM2E）開始改用MUF（特別是MR-MUF），分析人士更是認(rèn)為MUF是SK海力士能夠在HBM市場(chǎng)脫穎而出的原因。不過，三星副總裁Kim Dae-woo表示，在最多8個(gè)堆疊時(shí)，MR-MUF 的生產(chǎn)效率比TC-NCF更高，但一旦堆疊達(dá)到12個(gè)或以上，后者將具有更多優(yōu)勢(shì)。

據(jù)三星的規(guī)劃，HBM4將在2025年生產(chǎn)樣品，希望通過針對(duì)高溫環(huán)境優(yōu)化的NCF組裝技術(shù)以及混合鍵合技術(shù)等尖端工藝技術(shù)，利用邏輯代工+HBM內(nèi)存+先進(jìn)封裝的全流程方案與SK海力士爭(zhēng)奪HBM訂單。此外，三星還公布了其HBM技術(shù)藍(lán)圖，預(yù)測(cè)到2026年，其HBM的出貨量將比2023年高出13.8倍。

美光

美光科技也加快了追趕兩家韓國(guó)存儲(chǔ)巨頭的步伐，披露了暫名為HBMnext的下一代HBM內(nèi)存，業(yè)界猜測(cè)這有可能便是其HBM4，預(yù)計(jì)將提供36GB和64GB容量，這意味著多種配置，例如12-Hi 24Gb堆棧（36GB）或16-Hi 32Gb堆棧（64GB）。至于性能，美光宣稱每個(gè)堆棧的帶寬為1.5TB/s～2+TB/s，這意味著數(shù)據(jù)傳輸速率超過11.5GT/s/pin。不過在技術(shù)細(xì)節(jié)上，美光并未公布太多信息。

三星和SK海力士不同，美光并不打算把HBM和邏輯芯片整合到一個(gè)芯片中，似乎想要通過HBM-GPU的組合芯片形式以獲得更快的內(nèi)存訪問速度。不過隨著機(jī)器學(xué)習(xí)訓(xùn)練模型的增大和訓(xùn)練時(shí)間的延長(zhǎng)，通過加快內(nèi)存訪問速度和提高每個(gè)GPU內(nèi)存容量來縮短運(yùn)行時(shí)間的壓力也將隨之增加，而為了獲得鎖定HBM-GPU組合芯片設(shè)計(jì)（盡管具有更好的速度和容量）而放棄標(biāo)準(zhǔn)化DRAM的競(jìng)爭(zhēng)供應(yīng)優(yōu)勢(shì)，可能不是正確的前進(jìn)方式。

全球HBM銷售額預(yù)計(jì)將從2023年的16億美元，增長(zhǎng)到2027年266億美元，年均增長(zhǎng)率為59%。據(jù)路透社報(bào)道，HBM目前占通用內(nèi)存市場(chǎng)的15%，而去年這一比例為8%。SK海力士在HBM市場(chǎng)擁有最大的市場(chǎng)份額，是占據(jù)AI GPU市場(chǎng)80%份額的英偉達(dá)的HBM3內(nèi)存唯一供應(yīng)商，并于今年三月開始量產(chǎn)最新一代HBM3E。

美光和三星等競(jìng)爭(zhēng)供應(yīng)商正在開發(fā)HBM產(chǎn)品，以阻止SK海力士主導(dǎo)市場(chǎng)。據(jù)媒體最近報(bào)道，三星已通過或即將通過英偉達(dá)HBM3E認(rèn)證，并有望在下季度或第四季度開始向英偉達(dá)供貨，盡管三星取得了一定進(jìn)展，但短期內(nèi)其HBM銷售額可能不會(huì)顯著增加，SK海力士憑借其市場(chǎng)主導(dǎo)地位和高利潤(rùn)率，仍將在未來幾年內(nèi)保持強(qiáng)勁增長(zhǎng)。