你所需要知道的HBM技術

在2024年即將到來之際，多家機構給出預測，認定生成式AI將成為2024年的增長重點之一?；仡?023年，年初的ChatGPT引爆了今年的生成式AI熱潮，不僅僅是下游市場的AI應用，這股大火一直燒到了上游芯片領域，根據權威機構預測，2023年和2024年，AI服務器將有38%左右的增長空間。隨著GPU等AI芯片走向高峰的同時，也極大帶動了市場對新一代內存芯片HBM（高帶寬內存）的需求。

HBM是何方神圣？

首先，我們先來了解一下什么是HBM。HBM全稱為High Bandwich Memory，直接翻譯即是高帶寬內存，是一款新型的CPU/GPU內存芯片。其實就是將很多個DDR芯片堆疊在一起后和GPU封裝在一起，實現大容量、高位寬的DDR組合陣列。這么說可能有一些不明所以，簡單來講，如果說傳統的DDR內存芯片是一層的平房結構，那么采用了HBM結構的內存就是現代化的摩天大樓，占地面積不變的基礎上，向3維高度發展，從而可實現了更高的性能和帶寬。

我們以上圖中AMD專為AI訓練打造的旗艦GPU MI300X為例，彩色部分是GPU單元，而兩側就是AMD為其配備的8個HBM 3堆棧，每個堆棧為 12-Hi，同時集成了 16 Gb IC，每個 IC 為 2 GB 容量或每個堆棧 24 GB。

我們不難發現，隨著AI應用的越來越廣泛，HBM的相關應用也是越來越多，需求水漲船高，這篇文章就帶各位讀者介紹一下HBM相關知識，讓各位大致了解一下，為什么我們的AI需要HBM。

在文章開頭筆者就說明了簡單來講，HBM技術就是把傳統的DDR內存從“平房”改成了“樓房”。從土木工程的角度來看，建一個樓房可要比建一個平房要困難很多，從底層地基到布線都需要重新設計。而同樣地，作為微觀結構上的“樓房”，想要實現將DDR蓋成樓房的HBM技術也是困難重重。

使得HBM技術得以實現的是基于TVS技術的3D封裝技術的成熟，對于封裝技術的闡述，各位讀者感興趣可以移步筆者之前寫過的另一篇文章：

從2D到3D：半導體封裝工藝與DTCO

本篇就不再過多贅述，在這篇文章中，筆者來簡單說明一下HBM中的TVS技術的應用。

首先，在這個由DRAM組成的微觀“大樓”中，DRAM被堆疊在一起，并且每個DRAM芯片之間使用TVS（Transient Voltage Suppressor）連接方式進行連接。在DRAM下方是DRAM邏輯控制單元，該單元負責對DRAM進行控制。GPU與DRAM之間通過uBump和Interposer（一種具有互聯功能的硅片）進行連接。Interposer再通過Bump與Substrate（封裝基板）連接，最終連接到BGA（球柵陣列）BALL上。最后，BGA BALL連接到PCB（印刷電路板）上。就如下圖所示：

得益于這種堆棧結構，HBM通過中介層實現緊湊而快速的連接，節省了94%的表面積，其具備的特性幾乎與芯片集成的RAM相同，可實現更多的IO數量。此外，HBM重新調整了內存的功耗效率，使每瓦帶寬比GDDR5高出3倍以上，這意味著功耗降低了3倍以上。

為什么AI需要HBM？

為了回答這個問題，我們需要先認識到另一個現實：為什么GPU相比CPU更加適合AI訓練？

我們可以舉一個有趣的例子：

CPU是一個多才多藝的博士，但通常都是獨自工作或最多與幾個博士伙伴一起（多核心多線程）。有一天，操作系統帶來一個新任務，列出了一系列的簡單的百以內加減乘除運算。CPU看到這個任務感到雖然簡單，但是自己一個人一道一道算，有些吃力。這時，顯卡找上門來，告訴CPU說：“CPU，我這里有幾百個只會做加減乘除的小學生（GPU核心），他們做得又快又準。你可以指揮他們來做，這樣會輕松很多?！?CPU覺得這個主意不錯，于是顯卡就把那本冊子拿走了，并讓那幾百個孩子開始工作，任務很快就完成了。沒過多久，操作系統又來了，手里拿著一本新冊子。CPU一看，封面寫著“AI訓練”。他心里有些不安，不知道這次又是什么新挑戰。他打開冊子一看，還是那些加減乘除的運算。

從上述的這個小故事中，我們可以簡單總結一下GPU更適合訓練AI的主要原因，主要有這兩點：首先，GPU具備強大的并行計算能力，使其能夠同時處理多個任務，從而加速AI模型的訓練過程；其次，GPU的顯存相較于CPU的系統內存在處理大規模數據時更為高效，這使得GPU能夠更有效地處理AI訓練所需的大量數據。

回答本節之中所提出的問題，為什么AI需要HBM技術呢？HBM可以為顯卡帶來更大的顯存容量和顯存傳輸帶寬，而一旦GPU擁有更高的內存帶寬和更大的顯存容量，這就會使得它能夠更快地讀取和寫入數據，提高數據吞吐量。對于處理大規模數據的AI任務來說，這是非常重要的。因此HBM技術所帶來的顯存性能的顯著提升，對于顯卡完成AI任務來說十分重要。

不僅如此，在深度學習中，需要頻繁地訪問內存進行數據傳輸。GPU通過HBM技術獲得得更高的內存帶寬和更快的內存訪問速度，就能夠更快地進行數據傳輸，提高計算效率。此外，HBM帶來的更大容量顯存也可以使得GPU在AI任務中能夠處理更大規模的數據集和模型，在如今生成式AI向著越來越大數據規模的方向發展之中，起到了重要的支持作用。

HBM技術的演進

在HBM技術的開發過程中，有兩個廠商功不可沒，它們就是AMD和海力士。一些信息表明，AMD在2009年就意識到DDR的局限性并產生開發堆疊內存的想法，后來其與SK海力士聯手研發HBM。并于2013年，推出了首款HBM1技術的顯卡，即Radeon R9 290X。這款GPU采用了4顆HBM芯片，總容量為4GB，可以提供更高的顯存帶寬和更高的內存容量，從而提高了GPU的性能和效率。不僅如此，這項全新技術，還被定為JESD235行業標準：HBM1的工作頻率約為1600 Mbps，漏極電源電壓為1.2V，芯片密度為2Gb（4-hi），具有4096bit的帶寬，遠超過了GDDR5的512bit。

可以說在當時，海力士認定了這才是未來的顯存，但是AMD卻在2016年發布完產品后完全轉向，近乎放棄了HBM。唯一仍然保留HBM技術的是用于AI計算的加速卡。因此，在第二代HBM技術問世的2016年，這個賽道中變成了海力士和新加入的三星之間的對決。

2016年1月，三星宣布開始量產4GB HBM2 DRAM，并在同一年內生產8GB HBM2 DRAM；2017年下半年，被三星趕超的SK海力士開始量產HBM2；2018年1月，三星宣布開始量產第二代8GB HBM2"Aquabolt"；2019年8月，SK海力士宣布成功研發出新一代"HBM2E"；2020年2月，三星也正式宣布推出其16GB HBM2E產品"Flashbolt"，于2020年上半年開始量產；到了2022年，JEDEC組織正式發布了新一代高帶寬內存HBM3的標準規范，這一新標準在存儲密度、帶寬、通道、可靠性、能效等各個層面都進行了擴充和升級。JEDEC表示，HBM3是一種創新的方法，是更高帶寬、更低功耗和單位面積容量的解決方案。對于那些需要處理大量數據和高數據速率的應用場景來說，HBM3十分重要，比如圖形處理和高性能計算的服務器。

從HBM1到HBM3，SK海力士和三星一直是HBM行業的領軍企業。而對于AMD來說，可謂是起了個大早，趕了個晚集。AMD既沒有憑借HBM在游戲顯卡市場中反殺英偉達，反而被英偉達利用HBM鞏固了AI計算領域的地位，煞是可惜。

HBM領域市場分析

    在本文開頭筆者就已經提到，生成式AI的火熱同時也帶動了HBM領域的熱度，那就有必要在年末之時粗略向各位讀者分析一下目前以及未來HBM市場的競爭格局。

調研機構TrendForce集邦咨詢也指出，預估2023年全球HBM需求量將年增近六成，來到2.9億GB，2024年將再增長三成。2023年HBM將處于供不應求態勢，到2024年供需比有望改善。據其他權威機構預測，預計 2024 年隨著各原廠 積極擴產的效果顯現，HBM 供需比有望獲改善，預估將從 2023 年的-2.4%，轉為 0.6%。而從各產品的占比來看，2023 年主流 HBM 需求從 HBM2E 升級為 HBM3 甚至 HBM3E，HBM3 需求比重預估約為 39%，較 2022 年提升超 30%，并在 2024 年達到 60%，屆時份額比重也將超過 HBM2E。

目前，HBM的平均售價至少是DRAM的三倍，而由于ChatGPT的拉動和產能不足的限制，HBM的價格一路上漲，與性能最高的DRAM相比，HBM3的價格上漲了五倍。而在即將到來的2024年，可以預見的是高端AI服務器GPU搭載HBM芯片將成為主流，這進一步推動了HBM市場的增長。根據TrendForce的數據，2022年全球HBM容量約為1.8億GB，2023年增長約60%達到2.9億GB，2024年將再增長30%。如果以HBM每GB售價20美元進行測算，2022年全球HBM市場規模約為36.3億美元。預計到2026年，市場規模將達到127.4億美元，對應年復合增長率（CAGR）約為37%。

而其市場格局也將形成三足鼎力的形勢。海力士作為將HBM技術最早商業化的廠商將繼續領先，而三星將緊隨其后，2023年海力士和三 星的 HBM 份額占比約為 46-49%，而美光的份額將下降至 4%-6%，并在 2024 年進 一步壓縮至 3%-5%。

在這三家爭霸的局勢之中，美光科技由于起步較晚，在2022年僅僅占據了HBM市場份額的10%，而未來還有繼續下降的趨勢。最近的美光科技財報電話會議數據顯示，美光的DRAM業績明顯不如SK海力士和三星。美光2024財年的資本支出預計將比2023財年略有增長，不過WFE支出將再次同比下降。

在美光2023年第四季度的DRAM收入顯示，美光的DRAM收入增長率僅為3%，明顯低于競爭對手。而考慮到采用了HBM技術的DRAM價格約為普通DRAM的7倍，而美光的DRAM業務僅僅微漲了3%。在業內，美光是首家拿出HBM3e樣品的公司，其性能和能效在業內均處于行業領先地位。其技術能力于其他在HBM領域的競爭對手相比并不落下風。因此筆者認為，美光的HBM產品在客戶接受度上，還有很高的提升空間。

未來進入2024年，有權威機構分析表示：美光科技在HBM方面將繼續面臨逆風。SK海力士是全球唯一一家大規模生產HBM3的公司，并為英偉達獨家供應H100 Tensor Core GPU。美光公司也表示自己將要推出的HBM3 Gen2產品將有更好的性能，其預計引腳速度將超過9.2GB/s。但是隨著海力士與英偉達強強聯合之下，這對于美光來說，2024年的HBM領域也是面臨嚴峻挑戰的一年。

但是面對逆境挑戰，美光CEO Mehrotra樂觀表示：“這就是創建人工智能軟件的計算機所需要的超快訪問芯片類型。AI給我們所帶來的高營收、高利潤機會才剛剛開始?！?/p>

而HBM技術在國內發展，整體上并不樂觀，目前HBM相關產業鏈布局相對較小，只有一些企業涉及封測領域。在國內涉及HBM產業鏈的公司主要包括雅克科技、中微公司、和拓荊科技等公司。其中，雅克的子公司UP Chemical是SK海力士的核心供應商，為其提供HBM前驅體。

在更遠的未來，預計AI的浪潮還將繼續愈演愈烈，而HBM今后的存在感或許會越來越強。據semiconductor-digest預測，到2031年，全球高帶寬存儲器市場預計將從2022年的2.93億美元增長到34.34億美元，在2023-2031年的預測期內復合年增長率為31.3%。筆者相信，HBM技術將在很長一段時間中都會是AI硬件領域的重要技術，隨著越來越多的廠商入局HBM，HBM一定會受到持續的關注和更快的發展。