全球HBM戰局打響！

AI服務器浪潮席卷全球，帶動AI加速芯片需求。DRAM關鍵性產品HBM異軍突起，成為了半導體下行周期中逆勢增長的風景線。業界認為，HBM是加速未來AI技術發展的關鍵科技之一。

近期，HBM市場動靜不斷。先是SK海力士、美光科技存儲兩大廠釋出2024年HBM產能售罄。與此同時，HBM技術再突破、大客戶發生變動、被劃進國家戰略技術之一...一時間全球目光再度聚焦于HBM。

1
HBM：三分天下

HBM（全稱為High Bandwidth Memory），是高帶寬存儲器，是屬于圖形DDR內存的一種。從技術原理上講，HBM是將很多個DDR芯片堆疊在一起后，再和GPU封裝合成，通過增加帶寬，擴展內存容量，組成DDR組合陣列，以此實現讓更大的模型、更多的參數留在離核心計算更近的地方，從而減少內存和存儲解決方案所帶來的延遲。

圖片來源：SK海力士官網

通俗來講，傳統DDR內存芯片是一層平房結構，具備HBM結構的內存是現代化的摩天大樓，在占地面積不變的基礎上，向三維高度發展。

與傳統DRAM芯片相比，HBM具有高帶寬、高容量、低延時與低功耗等優勢，可以加快AI數據處理速度。業界指出，HBM可以將專用數據處理器直接集成在DRAM中，將部分數據計算工作從主機處理器轉移到存儲器當中，從而滿足AI芯片訓練的高寬帶要求，也因此更適用于ChatGPT等高性能計算場景。

目前，HBM市場高度集中，呈現三足鼎立的態勢。此前據TrendForce集邦咨詢研究顯示，2022年三大原廠HBM市占率分別為SK海力士（SK hynix）50%、三星（Samsung）約40%、美光（Micron）約10%。

圖片來源：拍信網

從技術迭代上看，自2014年全球首款硅通孔（TSV, Through Silicon Via）HBM產品問世以來，HBM已經從HBM、HBM2、HBM2E，發展至被業界認為即將成為市場主流的HBM3、HBM3E。未來或將到達HBM4，甚至HBM4E。

圖表來源：全球半導體觀察制表

2
大廠沖鋒，HBM3E扛技術大旗

從存儲大廠HBM布局路線來看，率先走在起跑線上的是SK海力士。2013年，SK海力士與AMD合作開發了全球首款HBM。作為領跑者，SK海力士不負眾望陸續成功研發出HBM迭代產品HBM2、HBM2E、HBM3、HBM3E。該公司計劃在2024年上半年將HBM3E投入量產。

三星則從HBM2起跑，雖是后起之軍，卻也不堪落后。三星于2016年推出HBM2，2020年2月HBM2E，2021年2月推出了HBM-PIM（存算一體），實現內存半導體和AI處理器合二為一，其HBM3也于2020年量產。今年2月27日三星發布了首款36GB HBM3E 12H DRAM，這是三星目前為止容量最大的HBM產品。目前，三星已開始向客戶提供HBM3E 12H樣品，預計于今年下半年開始大規模量產。

另一大廠美光科技開始出擊，該公司選擇跳過第四代HBM3，直接布局第五代HBM3E。美光于2023年9月推出HBM3E，并于今年2月26日宣布已開始批量生產HBM3E解決方案。其中24GB 8-High HBM3E將成為NVIDIA H200 Tensor Core GPU的一部分，該GPU將于 2024 年第二季度開始發貨；而36GB 12-High HBM3E樣品擴大了其領先地位，與競爭解決方案相比，該產品預計將提供超過1.2 TB/s的性能。

圖表來源：全球半導體觀察制表

從規格上看，目前HBM市場主流為HBM2E，包含NVIDIA A100/A800、AMD MI200以及多數CSPs自研加速芯片皆以此規格設計。不過隨著各大原廠不斷加速突破技術堡壘，業界稱未來HBM3與HBM3E將挑起大梁。

TrendForce集邦咨詢預估，2024年HBM供給情況可望大幅改善。以規格而言，伴隨AI芯片需要更高的效能，HBM主流也將在2024年移轉至HBM3與HBM3E。整體而言，在需求位元提高以及HBM3與HBM3E平均銷售價格高于前代產品的情形下，2024年HBM營收可望有顯著的成長。

此外，關于業界十分關心的HBM4問題，據TrendForce集邦咨詢預計，HBM4有望于2026年推出。目前包含NVIDIA以及其他CSP（云端業者）在未來的產品應用上，規格和效能將更優化。例如，隨著客戶對運算效能要求的提升，HBM4在堆棧的層數上，除了現有的12hi (12層)外，也將再往16hi (16層)發展，更高層數也預估帶動新堆棧方式hybrid bonding的需求。HBM4 12hi產品將于2026年推出；而16hi產品則預計于2027年問世。

3
大頭客戶策略有變，或牽動HBM

AI模型復雜化正推動HBM發展。從應用領域看，HBM主要應用領域AI服務器在單條模組上則多采用64~128GB，平均容量可達1.2~1.7TB之間。TrendForce集邦咨詢認為，相較于一般服務器而言，AI服務器多增加GPGPU的使用，因此以NVIDIA A100 80GB配置4或8張計算，HBM用量約為320~640GB。未來在AI模型逐漸復雜化的趨勢下，將刺激更多的存儲器用量，并同步帶動Server DRAM、SSD以及HBM的需求成長。并預期AI服務器2023~2027年出貨量年復合成長率約12.2%。

從大頭客戶產品規格來看，AI服務器GPU市場中配備了HBM的主要以NVIDIA H100、A100、A800以及AMD MI250、MI250X系列為主。展望2024年，英偉達的產品所采用的HBM將升級至HBM3E，此外新一代B100產品將進一步拉升市場對HBM的容量需求；AMD產品仍采用HBM3，預計下一代MI350將升級為HBM3E；而英特爾產品仍將使用HBM2E。

具體來看，自去年發酵至今，HBM市場仍舊火熱，而上游關鍵客戶英偉達的H100與200依舊是市面上最搶手的GPU產品。據TrendForce集邦咨詢最新預估，以2024年全球主要云端服務業者（CSP）對高端AI服務器（包含搭載NVIDIA（英偉達）、AMD或其他高端ASIC芯片等）需求量觀察，搭載NVIDIA GPU的AI服務器機種占大宗。

根據去年11月底TrendForce集邦咨詢的研究數據顯示，2023年，NVIDIA高端AI芯片（采用HBM）既有產品包括A100/A800以及H100/H800，2024年該公司將再推出使用6顆HBM3E的H200以及8顆HBM3E的B100，并同步整合NVIDIA自家基于Arm架構的 CPU與GPU，推出GH200以及GB200。

TrendForce集邦咨詢最新研究指出，NVIDIA 2024年起將正式替換A100產品，而以價格更高的H100系列為主軸。除H100，預估自今年第二季末開始小量出貨搭載更高HBM3E規格的H200產品。另預估NVIDIA未來在價格上將更積極采差別訂價，H100采部分折價策略，H200應維持約H100原價格水位，以提供更高性價比方式，穩固云端CSP客戶。除此之外，NVIDIA將采用NRE（一次性工程費用；Non-recurring engineering Expense）模式，與Meta、Google、AWS及OpenAI等廠商展開洽談，并將目標擴及電信、車用及電競客戶。

TrendForce集邦咨詢預期，NVIDIA自2024年下半年將推出新一代B100產品，相較H系列可望在效能上又有所提升，在HBM存儲器容量將高出H200約35~40%，以應對更高效能HPC或加速LLM AI訓練需求。而在中低端產品上，除L40S針對企業客戶做邊緣端較小型AI模型訓練或AI推理外，另亦規劃以L4取代既有T4，作為云端或邊緣AI推理應用。

值得注意的是，為避免2023年GPU供應不足問題，NVIDIA亦積極參與CoWoS及HBM等擴建產能需求，預期今年第二季在相關原廠產能逐步開出后，原交付Lead Time平均約40周也將減半，逐步去除下游供應鏈因GPU短缺而使AI服務器供應進度受阻問題。

在AMD和Intel方面，TrendForce集邦咨詢此前指出，AMD 2024年出貨主流為MI300系列，采用HBM3，下一代MI350將采用HBM3E，預計2024下半年開始進行HBM驗證，實際看到較明顯的產品放量（Ramp Up）時間預估應為2025年第一季。Intel Habana 2022下半年推出的Gaudi 2采用6顆HBM2E，2024年中預期在新型號Gaudi 3持續采取HBM2E，但將用量升級至8顆。

4
列為國家戰略，韓國重點發力

存儲器是韓國的支柱型產業之一，2024年AI浪潮更順勢拉動了HBM的市場比重，在此背景下，韓國將HBM指定為國家戰略技術，并列出多項措施鼓勵相關企業。

2月27日，韓國企劃財政部公布了《2023年稅法修正案后續執行規則修正案草案》，旨在對被納入韓國國家戰略技術的高帶寬存儲器（HBM）、有機發光二極管（OLED）和氫相關設施，進一步擴大稅收支持。

其中，韓國國家戰略性技術產業研發投資稅收抵免，中小企業為40%至50%，大中型企業為30%至40%。據悉大中型企業包括三星、SK海力士等。

5
結語

值得一提的是，大廠財報透露，營收虧損幅度均有所收窄，其中HBM已成為拉動大廠們業績回升的主力。目前消費電子已出現復蘇信號，行業新的轉機正在孕育生成，AI催生存力新需求，2024年存儲市場有望迎來新的轉機。

總體而言，受生成式AI大模型等領域的驅動，HBM逐漸發展成為新興熱門產業之一，隨著上游客戶不斷發出新的需求，目前HBM市場正釋放出供不應求的信號。對此，上述各方瞄準HBM積極布局，大廠們繼續埋頭攻破技術壁壘，以迅速抓住市場新機遇，屬于HBM市場的一場爭奪戰正式開啟。