巨頭搶奪戰(zhàn),HBM被徹底引爆
在英偉達(dá)一步步站穩(wěn)萬億市值腳根的道路上,少不了兩項關(guān)鍵技術(shù)支持,其中之一是由臺積電主導(dǎo)的 CoWoS 先進(jìn)封裝,另一個便是席卷當(dāng)下的 HBM(高帶寬存儲)。
本文引用地址:http://www.ex-cimer.com/article/202407/461090.htm英偉達(dá) H200 是首次采用 HBM3E 存儲器規(guī)格的 AI 加速卡。借助內(nèi)存速度更快、容量更大的 HBM3e,英偉達(dá) H200 以每秒 4.8TB 的速度提供 141GB 的內(nèi)存,與 A100 相比,容量幾乎是其兩倍,帶寬也提升了 43%,從而加速生成式 AI 和大語言模型,提高高性能計算(HPC)的工作負(fù)載。
隨著人工智能的興起,HBM 成為巨頭們搶占的高地。三星、SK 海力士、美光等存儲巨頭紛紛將 HBM 視為重點生產(chǎn)產(chǎn)品之一。
HBM 的火熱,給市場掀起巨大波瀾。一起看看 HBM 這股熱潮給市場帶來了哪些轉(zhuǎn)折?
HBM 走紅,帶來三大影響
HBM 成為力挽行業(yè)下行的關(guān)鍵詞之一
數(shù)個季度的持續(xù)低迷下,頭部存儲廠商相繼展現(xiàn)出季度收入環(huán)比增長趨勢,其中以 SK 海力士的表現(xiàn)最為亮眼,背后就離不開由 HBM 拉動對 DRAM 的需求提升。
今年 Q1,SK 海力士收入創(chuàng)歷史同期新高,營業(yè)利潤也創(chuàng)下了市況最佳的 2018 年以來同期第二高,公司將其視為擺脫了長時間的低迷期,開始轉(zhuǎn)向了全面復(fù)蘇期。SK 海力士表示:「憑借 HBM 等面向 AI 的存儲器技術(shù)領(lǐng)導(dǎo)力,公司提升了面向 AI 服務(wù)器的產(chǎn)品銷量,同時持續(xù)實施以盈利為主的經(jīng)營活動,從而實現(xiàn)了營業(yè)利潤環(huán)比增長 734% 的業(yè)績?!?/p>
三星電子曾表示生成式 AI 市場應(yīng)用將帶來 HBM 等支持大規(guī)模數(shù)據(jù)處理的內(nèi)存產(chǎn)品需求快速增長,公司接到了大量客戶需求。預(yù)計 2024 年 HBM 的需求可能出現(xiàn)陡峭增長。
美光表示,AI 服務(wù)器的 DRAM 容量是普通服務(wù)器的 6 倍到 8 倍,NAND 容量是普通服務(wù)器的 3 倍。英偉達(dá) DGX GH200 所需的 DRAM 容量是普通服務(wù)器的數(shù)百倍。
通用 DRAM 恐缺貨漲價
通用型 DRAM 內(nèi)存芯片面臨的供應(yīng)短缺,主要源于業(yè)界對 HBM 等類型的 DRAM 進(jìn)行了大量的投資,而通用型 DRAM 的產(chǎn)能利用率相對較低。目前,三星和 SK 海力士的產(chǎn)能利用率僅為 80% 到 90%,遠(yuǎn)低于 NAND 閃存的全速生產(chǎn)狀態(tài)。
自 2024 年初以來,通用型 DRAM 的產(chǎn)能僅提升了大約 10%,但智能手機(jī)、PC 和服務(wù)器市場的增長率預(yù)計僅為 2% 到 3%。全球云計算和科技公司在 AI 基礎(chǔ)設(shè)施上的投資削減,并未能顯著推動 DRAM 需求的復(fù)蘇。
然而,在同一時期內(nèi),企業(yè)級固態(tài)硬盤(eSSD)的需求卻因人工智能的普及而激增。因此,三星、SK 海力士等主要制造商在第二季度滿負(fù)荷運(yùn)行其 NAND 生產(chǎn)線。此外,鎧俠也在市場條件改善后結(jié)束了減產(chǎn),NAND 產(chǎn)能利用率恢復(fù)至 100%。
由于通用 DRAM 內(nèi)存芯片在消費市場,如個人電腦和移動終端等領(lǐng)域發(fā)揮著巨大作用,而隨著市場需求的放大,可能會出現(xiàn)大范圍的短缺。根據(jù)摩根士丹利最新報告,全球內(nèi)存市場在 2025 年將迎來一次前所未有的供需失衡,2025 年 HBM 的供應(yīng)不足率將達(dá)到-11%,而整個 DRAM 市場的供應(yīng)不足率將高達(dá)-23%。
爭奪戰(zhàn),不只是技術(shù)
存儲巨頭在 HBM 技術(shù)領(lǐng)域的爭奪戰(zhàn)日益激烈,從 HBM1 到 HBM2、HBM3,再到最新的 HBM3e,每一代技術(shù)的演進(jìn)都標(biāo)志著存儲性能的顯著提升和市場競爭的加劇。
HBM1 最早于 2014 年由 AMD 與 SK 海力士共同推出,作為 GDDR 競品,為 4 層 die 堆疊,提供 128GB/s 帶寬,4GB 內(nèi)存,顯著優(yōu)于同期 GDDR5。
HBM2 于 2016 年發(fā)布,2018 年正式推出,為 4 層 DRAMdie,現(xiàn)在多為 8 層 die,提供 256GB/s 帶寬,2.4Gbps 傳輸速度,和 8GB 內(nèi)存。
HBM2E 于 2018 年發(fā)布,于 2020 年正式提出,在傳輸速度和內(nèi)存等方面均有較大提升,提供 3.6Gbps 傳輸速度,和 16GB 內(nèi)存。
HBM3 于 2020 年發(fā)布,2022 年正式推出,堆疊層數(shù)及管理通道數(shù)均有增加,提供 6.4Gbps 傳輸速度,傳輸速度最高可達(dá) 819GB/s,和 16GB 內(nèi)存。
HBM3E 由 SK 海力士發(fā)布 HBM3 的增強(qiáng)版,提供高達(dá) 8Gbps 的傳輸速度,24GB 容量,2024 年開始大規(guī)模量產(chǎn)。
然而這不僅僅是一場單純的技術(shù)較量,更是一場激烈無比的產(chǎn)能競賽。
根據(jù)存儲三巨頭表示,今年的 HBM 供應(yīng)能力已全部耗盡,明年的產(chǎn)能也已經(jīng)大部分售罄。據(jù)專業(yè)機(jī)構(gòu)分析,今明兩年 HBM 需求的動態(tài)缺口約為產(chǎn)能的 5.5% 和 3.5%。因此,三大廠商紛紛開啟產(chǎn)能沖刺競賽。比如 SK 海力士正在大幅擴(kuò)產(chǎn)第 5 代 1b DRAM,以應(yīng)對 HBM 與 DDR5 DRAM 的需求增加。按照晶圓投入量看,公司計劃將 1b DRAM 月產(chǎn)能從今年一季度的 1 萬片增加到年末的 9 萬片,到明年上半年進(jìn)一步提升至 14 萬-15 萬片,是今年一季度產(chǎn)能的 14-15 倍。三星 3 月底曾表示,預(yù)計今年 HBM 產(chǎn)能將增至去年的 2.9 倍。美光正在美國建設(shè)先進(jìn)的 HBM 測試生產(chǎn)線,并考慮首次在馬來西亞生產(chǎn) HBM,以抓住 AI 熱潮帶來的更多需求。
相比 GDDR,HBM 強(qiáng)在哪兒?
根據(jù)產(chǎn)品分類,DRAM 可以分為 DDR、LPDDR、GDDR、HBM。前三類產(chǎn)品主要用于傳統(tǒng)周期領(lǐng)域,HBM 則主要是 AI 市場的帶動。其中 DDR 主要用于消費電子、服務(wù)器、PC 領(lǐng)域;LPDDR 主要用于移動設(shè)備、手機(jī)及汽車領(lǐng)域;GDDR 主要用于圖像處理方面的 GPU 等。
隨著數(shù)據(jù)量越發(fā)龐大加之 AI 芯片的加速發(fā)展,馮氏計算架構(gòu)問題凸顯:「存」「算」之間性能失配,使得計算機(jī)的計算能力增長遇到瓶頸,雖然多核并行加速技術(shù)可以提高算力,但存儲帶寬的限制仍對計算系統(tǒng)的算力提升產(chǎn)生了制約。GDDR 是目前應(yīng)用較為廣泛的顯存技術(shù),但在 AI 計算領(lǐng)域 GDDR 也難堪重任,于是制造商將目光投向 HBM 技術(shù)。
HBM 具備高帶寬的優(yōu)勢。通過多層堆疊,HBM 能達(dá)到更高的 I/O 數(shù)量,使得顯存位寬達(dá)到 1024 位,幾乎是 GDDR 的 32 倍,顯存帶寬顯著提升。顯存帶寬顯著提升解決了過去 AI 計算「內(nèi)存墻」的問題,HBM 逐步提高在中高端數(shù)據(jù)中心 GPU 中的滲透比率。
HBM 具備高密度、小體積等優(yōu)勢。相比傳統(tǒng) DRAM,HBM 在相同的物理空間內(nèi)能夠容納更多的存儲單元,從而提供更高的存儲容量。這對于存儲千億參數(shù)乃至更大規(guī)模的大模型至關(guān)重要。此外,HBM 通過 3D 封裝工藝實現(xiàn) DRAM die 的垂直方向堆疊封裝,可以較大程度節(jié)約存儲芯片在片上占據(jù)的面積。HBM 芯片的尺寸比傳統(tǒng)的 DDR4 芯片小 20%,比 GDDR5 芯片節(jié)省了 94% 的表面積。根據(jù)三星電子的統(tǒng)計,3D TSV 工藝較傳統(tǒng) POP 封裝形式節(jié)省了 35% 的封裝尺寸。
受構(gòu)造影響,GDDR 的總帶寬上限低于 HBM。總帶寬=I/O 數(shù)據(jù)速率(Gb/s)*位寬/8。為解決 DDR 帶寬較低的問題,本質(zhì)上需要對單 I/O 的數(shù)據(jù)速率和位寬(I/O 數(shù)*單 I/O 位寬)進(jìn)行提升,可分為 GDDR 單體式方案和 HBM 堆疊式方案。單體式 GDDR 采取大幅提升單 I/O 數(shù)據(jù)速率的手段來改善總帶寬,GDDR5 和 GDDR6 的單 I/O 數(shù)據(jù)速率已達(dá)到 7 Gb/s 到 16Gb/s,超過 HBM3 的 6.4 Gb/s。HBM 利用 TSV 技術(shù)提升 I/O 數(shù)和單 I/O 位寬,從而大幅提升位寬,雖然維持較低的單 I/O 數(shù)據(jù)速率,但總帶寬遠(yuǎn)優(yōu)于 GDDR。
HBM 的綜合功耗也低于 GDDR。HBM 通過增加 I/O 引腳數(shù)量來降低總線頻率,從而實現(xiàn)更低的功耗。盡管片上分布的大量緩存能提供足夠的計算帶寬,但由于存儲結(jié)構(gòu)和工藝制約,片上緩存占用了大部分的芯片面積(通常為 1/3 至 2/3),限制了算力提升。
如今,HBM 已經(jīng)成為超級計算機(jī)、數(shù)據(jù)中心等核心設(shè)施中不可或缺的關(guān)鍵組件,為大規(guī)模并行計算提供了堅實的內(nèi)存基礎(chǔ)。尤其在圖形處理領(lǐng)域,HBM 的高帶寬特性使得 GPU 能夠更快速地訪問和處理圖像數(shù)據(jù),從而為用戶帶來更加流暢、逼真的視覺體驗。
即便是業(yè)界領(lǐng)先的英偉達(dá),也對這一產(chǎn)品展現(xiàn)出了高度的依賴性。據(jù)悉,英偉達(dá)近幾年發(fā)布的多款旗艦產(chǎn)品(如 A100、H100、H200)均搭配了不同數(shù)量的 HBM。HBM 已然是英偉達(dá) AI 芯片的必備搭檔。然而全球約九成的 HBM 市場被 SK 海力士和三星兩家韓系企業(yè)壟斷。
2024 年末,HBM 是持續(xù)短缺?還是供過于求?
在存儲三巨頭的競爭中,由于海力士 HBM3 產(chǎn)品性能領(lǐng)先,率先拿下英偉達(dá)訂單,成為其服務(wù)器 GPU 的主要供應(yīng)商。
三星主攻一些云端客戶的訂單,美光則直接跳過了 HBM3,將主要精力放在了 HBM3E 產(chǎn)品上。僅從當(dāng)下來看,美光的市場占有率和前面兩個玩家有一些差距。
但不管怎樣,三位存儲芯片的大佬都在擴(kuò)產(chǎn)能上不留余力。比如海力士已經(jīng)放下豪言壯語,計劃到 2028 年投資高達(dá) 748 億美元,其中 80% 將用于 HBM 的研發(fā)和生產(chǎn),而且將下一代 HBM4 芯片的量產(chǎn)時間提前到 2025 年。
據(jù)專業(yè)機(jī)構(gòu)分析,今明兩年 HBM 需求的動態(tài)缺口約為產(chǎn)能的 5.5% 和 3.5%。
不過根據(jù)海豚投研的數(shù)據(jù)顯示,HBM 有望從 2023 年末的「供不應(yīng)求」轉(zhuǎn)為 2024 年末的「供大于求」。
海豚投研比較了 2023—2024 年 HBM 的供需關(guān)系情況。 從需求端來看,結(jié)合云服務(wù)廠商的資本開支和 AI 出貨量情況,市場對 HBM 的需求有望從 2023 年的 284MGB 提升至 512MGB; 從供給端來看,結(jié)合存儲主流廠商的產(chǎn)能計劃,HBM 的供給端更可能從 2023 年的 147MGB 快速提升至 1000MGB 以上。
在此供需關(guān)系中,2023 年供給端僅能滿足需求的 1/2,嚴(yán)重供不應(yīng)求。供不應(yīng)求的局面,推動各家廠商大幅提升產(chǎn)能計劃。如果產(chǎn)能規(guī)劃如實落地,2024 年的 HBM 供需關(guān)系可能會出現(xiàn)明顯反轉(zhuǎn),供給端反而會超出整體的市場需求。
對于 HBM 的價格,當(dāng)前由于供給仍相對緊張,因此整體價格在 2024 年將有所上漲。但隨著三星產(chǎn)品通過認(rèn)證和產(chǎn)能端的釋放,HBM 的產(chǎn)品價格也可能出現(xiàn)回落。
國產(chǎn)廠商加速突破
隨著 AIGC 技術(shù)應(yīng)用的快速發(fā)展,AI 服務(wù)器和高端 GPU 的需求持續(xù)增長,將進(jìn)一步推動 HBM 市場的高速增長。據(jù)預(yù)計,到 2025 年,中國 HBM 的需求量規(guī)模有望超過 100 萬顆。
而中國,在這一賽道還屬于后來者。
不久前,國家集成電路產(chǎn)業(yè)投資基金三期橫空出世。大基金三期注冊資本高達(dá) 3440 億元,這一規(guī)模遠(yuǎn)超前兩期基金,顯示出國家對集成電路產(chǎn)業(yè)的重視和大力支持。如此龐大的資金注入,無疑將為集成電路產(chǎn)業(yè)的發(fā)展提供強(qiáng)大的動力。
目前,大基金三期對外投資重點還未正式披露。據(jù)悉,大基金三期有望增加覆蓋人工智能芯片環(huán)節(jié),在 HBM 產(chǎn)業(yè)鏈扶持大型晶圓廠。
今年 3 月,武漢新芯發(fā)布了《高帶寬存儲芯粒先進(jìn)封裝技術(shù)研發(fā)和產(chǎn)線建設(shè)》招標(biāo)項目,這一行動標(biāo)志著該公司正式進(jìn)軍 HBM 市場。通過利用三維集成多晶圓堆疊技術(shù),武漢新芯旨在打造更高容量、更大帶寬、更小功耗的存儲解決方案,以滿足市場對高性能存儲芯片的需求。面對海外大廠對于 HBM3E 的量產(chǎn),國內(nèi)存儲廠商也在 HBM 技術(shù)上進(jìn)行著加速突破,有望在 AI 大浪潮的需求下提升競爭實力。
面對海外大廠對于 HBM3E 的量產(chǎn),國內(nèi)存儲廠商也在 HBM 技術(shù)上進(jìn)行著加速突破,有望在 AI 大浪潮的需求下提升競爭實力。
封測龍頭長電科技在投資者互動中表示,其 XDFOI 高密度扇出封裝解決方案也同樣適用于 HBM 的 Chip to Wafer 和 Chip to Chip TSV 堆疊應(yīng)用;通富微電此前表示,南通通富工廠先進(jìn)封裝生產(chǎn)線建成后,公司將成為國內(nèi)最先進(jìn)的 2.5D/3D 先進(jìn)封裝研發(fā)及量產(chǎn)基地,實現(xiàn)國內(nèi)在 HBM(高帶寬內(nèi)存)高性能封裝技術(shù)領(lǐng)域的突破,對于國家在集成電路封測領(lǐng)域具有重要意義。
中國主要的存儲芯片公司也在與封測廠商通富微電合作開展 HBM 相關(guān)項目。
然而總體來看,國內(nèi)廠商在 HBM 技術(shù)上的發(fā)展仍處于早期階段。盡管國際上已經(jīng)有了更先進(jìn)的 HBM3 和 HBM3E 產(chǎn)品,但國內(nèi)存儲廠商目前還處于 HBM2 的研發(fā)和產(chǎn)業(yè)化階段。
面對海外大廠在 HBM3E 等先進(jìn)技術(shù)上的量產(chǎn)優(yōu)勢,國內(nèi)廠商仍需加快追趕步伐,克服技術(shù)壁壘,實現(xiàn)從技術(shù)跟隨到技術(shù)引領(lǐng)的轉(zhuǎn)變。在此過程中,客戶對于 AI 服務(wù)器性能、內(nèi)存帶寬及內(nèi)存大小的持續(xù)高要求,既是對 HBM 技術(shù)的巨大挑戰(zhàn),也是推動其不斷前行的動力源泉。
值得注意的是,盡管 HBM 在帶寬性能上占據(jù)優(yōu)勢地位,但其高昂的成本與功耗也促使行業(yè)探索更多元化的解決方案。GDDR、LPDDR 等內(nèi)存技術(shù)的快速發(fā)展,為 AI 處理器提供了更多選擇,尤其是在成本、性能與功耗之間尋求最佳平衡點的應(yīng)用場景中。例如,GDDR7 的推出不僅顯著提升了內(nèi)存容量與數(shù)據(jù)傳輸率,還因其相對較低的復(fù)雜度成為部分 AI 應(yīng)用的理想之選。
綜上所述,隨著 AI 技術(shù)的不斷演進(jìn)與市場需求的日益多樣化,HBM 作為高性能存儲技術(shù)的代表,將繼續(xù)在特定領(lǐng)域發(fā)揮關(guān)鍵作用。同時,國內(nèi)廠商需緊抓機(jī)遇,加速技術(shù)創(chuàng)新與產(chǎn)業(yè)升級,以更加靈活多樣的內(nèi)存解決方案,滿足 AI 時代對高性能計算的多元化需求。
評論