臺積電董事長劉德音預(yù)測:未來 15 年每瓦 GPU 性能提升 1000 倍,GPU 晶體管數(shù)破萬億
GTC 2024 大會上,老黃祭出世界最強(qiáng) GPU——Blackwell B200 ,整整封裝了超 2080 億個晶體管。
本文引用地址:http://www.ex-cimer.com/article/202403/457011.htm比起上一代 H100(800 億),B200 晶體管數(shù)是其 2 倍多,而且訓(xùn) AI 性能直接飆升 5 倍,運行速度提升 30 倍。
若是,將千億級別晶體管數(shù)擴(kuò)展到 1 萬億,對 AI 界意味著什么?
今天,IEEE 的頭版刊登了臺積電董事長和首席科學(xué)家撰寫的文章 ——「我們?nèi)绾螌崿F(xiàn) 1 萬億個晶體管 GPU」?
這篇千字長文,主打就是為了讓 AI 界人們意識到,半導(dǎo)體技術(shù)的突破給 AI 技術(shù)帶來的貢獻(xiàn)。
從 1997 年戰(zhàn)勝國際象棋人類冠軍的「深藍(lán)」,到 2023 年爆火的 ChatGPT,25 年來 AI 已經(jīng)從實驗室中的研究項目,被塞入每個人的手機(jī)。
這一切都要歸功于,3 個層面的重大突破:ML 算法創(chuàng)新、海量數(shù)據(jù),以及半導(dǎo)體工藝的進(jìn)步。
臺積電預(yù)測,在未來 10 年,GPU 集成的晶體管數(shù)將達(dá)到 1 萬億!與此同時,未來 15 年,每瓦 GPU 性能將提高 1000 倍。
半導(dǎo)體工藝不斷演變,才誕生了 ChatGPT
從軟件和算法到架構(gòu)、電路設(shè)計乃至器件技術(shù),每一層系統(tǒng)都極大地提升了 AI 的性能。但是基礎(chǔ)的晶體管器件技術(shù)的不斷提升,才讓這一切成為可能:
IBM 訓(xùn)練「深藍(lán)」使用的芯片工藝是 0.6 微米和 0.35 微米。
Ilya 團(tuán)隊訓(xùn)練贏得 ImageNet 大賽的深度神經(jīng)網(wǎng)絡(luò)采用的 40 納米工藝。
2016 年,DeepMind 訓(xùn)出的 AlphaGo 戰(zhàn)勝了李世石,使用了 28 納米工藝。
而訓(xùn)練 ChatGPT 的芯片基于的是 5 納米工藝,而最新版的 ChatGPT 推理服務(wù)器的芯片工藝已經(jīng)達(dá)到了 4 納米。
可以看出,從 1997 年到現(xiàn)在,半導(dǎo)體工藝節(jié)點取得的進(jìn)步,推動了如今 AI 飛躍式的發(fā)展。
如果 AI 革命想要繼續(xù)保持當(dāng)前的發(fā)展速度,那么它更需要半導(dǎo)體行業(yè)的創(chuàng)新和支持。
如果仔細(xì)研究 AI 對于算力的要求會發(fā)現(xiàn),最近 5 年,AI 訓(xùn)練所需的計算和內(nèi)存訪問量增長了好幾個數(shù)量級。
以 GPT-3 為例,它的訓(xùn)練需要的計算量相當(dāng)于每秒進(jìn)行超過 5 千萬億億次的運算,持續(xù)整整一天(相當(dāng)于 5000 千兆浮點運算天數(shù)),同時需要 3TB(3 萬億字節(jié))的內(nèi)存容量。
隨著新一代生成式 AI 應(yīng)用的出現(xiàn),對計算能力和內(nèi)存訪問的需求仍在迅速增加。
這就帶來了一個迫在眉睫的問題:半導(dǎo)體技術(shù)如何才能跟上這種發(fā)展的速度?
從集成芯片到集成芯片組
自從集成電路誕生以來,半導(dǎo)體行業(yè)一直在想辦法把芯片造得更小,這樣才能在一個指甲蓋大小的芯片中集成更多的晶體管。
如今,晶體管的集成工藝和封裝的技術(shù)已經(jīng)邁向更高層次 —— 行業(yè)已經(jīng)從 2D 空間的縮放,向 3D 系統(tǒng)集成邁進(jìn)。
芯片行業(yè)正在將多個芯片整合到一個集成度更高、高度互連的系統(tǒng)中,這標(biāo)志著半導(dǎo)體集成技術(shù)的巨大飛躍。
AI 的時代,芯片制造的一個瓶頸在于,光刻芯片制造工具只能制造面積不超過大約 800 平方毫米的芯片,這就是所謂的光刻極限。
但現(xiàn)在,臺積電可以通過將多個芯片連接在一塊內(nèi)嵌互連線路的硅片上來突破這一極限,實現(xiàn)在單一芯片上無法達(dá)到的大規(guī)模集成。
舉個例子,臺積電的 CoWoS 技術(shù)能夠?qū)⒍噙_(dá) 6 個光刻極限范圍內(nèi)的芯片,以及十二個高帶寬內(nèi)存(HBM)芯片封裝在一起。
高帶寬內(nèi)存(HBM)是 AI 領(lǐng)域越來越依賴的一項關(guān)鍵半導(dǎo)體技術(shù),它通過將芯片垂直堆疊的方式來集成系統(tǒng),這一技術(shù)在臺積電被稱為系統(tǒng)集成芯片(SoIC)。
HBM 由多層 DRAM 芯片垂直堆疊而成,他們都位于一個控制邏輯 IC 之上。它利用硅穿孔(TSV)這種垂直連接方式讓信號穿過每層芯片,并通過焊球來連接各個內(nèi)存芯片。
目前,最先進(jìn)的 GPU 都非常依賴 HBM 技術(shù)。
未來,3D SoIC 技術(shù)將提供一種新的解決方案,與現(xiàn)有的 HBM 技術(shù)相比,它能在堆疊芯片之間實現(xiàn)更密集的垂直連接。
通過最新的混合鍵合技術(shù),可以將 12 層芯片堆疊起來,從而開發(fā)出全新的 HBM 結(jié)構(gòu),這種銅對銅(copper-to-copper)的連接方式比傳統(tǒng)的焊球連接更為緊密。
論文地址:https://ieeexplore.ieee.org/document/9265044
這種內(nèi)存系統(tǒng)在一個更大的基礎(chǔ)邏輯芯片上以低溫鍵合,整體厚度僅為 600 微米。
隨著由眾多芯片組成的高性能計算系統(tǒng)運行大型 AI 模型,高速有線通信可能成為計算速度的下一個瓶頸。
目前,數(shù)據(jù)中心已經(jīng)開始使用光互連技術(shù)連接服務(wù)器架。
文章地址:https://spectrum.ieee.org/optical-interconnects
不久的將來,臺積電將需要基于硅光子技術(shù)的光接口,把 GPU 和 CPU 封裝到一起。
論文地址:https://ieeexplore.ieee.org/document/10195595
這樣才能實現(xiàn) GPU 之間的光通信,提高帶寬的能源和面積效率,從而讓數(shù)百臺服務(wù)器能夠像一個擁有統(tǒng)一內(nèi)存的巨型 GPU 那樣的方式高效運行。
所以,由于 AI 應(yīng)用的推動,硅光子技術(shù)將成為半導(dǎo)體行業(yè)中最為關(guān)鍵的技術(shù)之一。
邁向一萬億晶體管 GPU
當(dāng)前用于 AI 訓(xùn)練的 GPU 芯片,約有 1000 億的晶體管,已經(jīng)達(dá)到了光刻機(jī)處理的極限。若想繼續(xù)增加晶體管數(shù)量,就需要采用多芯片,并通過 2.5D、3D 技術(shù)進(jìn)行集成,來完成計算任務(wù)。
目前,已有的 CoWoS 或 SoIC 等先進(jìn)封裝技術(shù),可以在 GPU 中集成更多晶體管。
臺積電預(yù)計,在未來十年內(nèi),采用多芯片封裝技術(shù)的單個 GPU,將擁有超 1 萬億晶體管。
此同時,還需要將這些芯片通過 3D 堆疊技術(shù)連接起來。但幸運的是,半導(dǎo)體行業(yè)已經(jīng)能夠大幅度縮小垂直連接的間距,從而增加了連接密度。
而且,未來在提高連接密度方面還有巨大的潛力。臺積電認(rèn)為,連接密度增長一個數(shù)量級,甚至更多是完全有可能的。
▲ 3D 芯片中的垂直連接密度的增長速度與 GPU 中的晶體管數(shù)量大致相同
GPU 的能效性能趨勢
那么,這些領(lǐng)先的硬件技術(shù),是如何提升系統(tǒng)整體性能的呢?
通過觀察服務(wù)器 GPU 的發(fā)展,可以明顯看到一個趨勢:所謂的能效性能(EEP)—— 一個反映系統(tǒng)能效和運行速度的綜合指標(biāo) —— 正穩(wěn)步提升。
過去 15 年中,半導(dǎo)體行業(yè)已經(jīng)實現(xiàn)了,每兩年將 EEP 提高約 3 倍的壯舉。
而在臺積電看來,這種增長趨勢將會延續(xù),將會得益于眾多方面的創(chuàng)新,包括新型材料的應(yīng)用、設(shè)備與集成技術(shù)的進(jìn)步、EUV 技術(shù)的突破、電路設(shè)計的優(yōu)化、系統(tǒng)架構(gòu)的革新,以及對所有這些技術(shù)要素進(jìn)行的綜合優(yōu)化等因素的共同推動。
此外,系統(tǒng)技術(shù)協(xié)同優(yōu)化(STCO)這一概念將變得日益重要。
在 STCO 中,GPU 內(nèi)不同的功能模塊將被分配到專屬的小芯片(chiplets)上,每個模塊都采用最適合其性能和成本效益的技術(shù)進(jìn)行打造。
這種針對每個部件的最優(yōu)化選擇,將對提高整體性能和降低成本發(fā)揮關(guān)鍵作用。
▲ 得益于半導(dǎo)體技術(shù)的進(jìn)步,EEP 指標(biāo)有望每兩年提升 3 倍
3D 集成電路的革命性時刻
1978 年,加州理工學(xué)院的 Carver Mead 教授和 Xerox PARC 的 Lynn Conway,共同開發(fā)了一種革命性的計算機(jī)輔助設(shè)計方法。
他們制定了一系列設(shè)計規(guī)則,簡化了芯片設(shè)計的過程,讓工程師即使不深諳過程技術(shù),也能輕松設(shè)計出復(fù)雜的大規(guī)模集成電路。
論文地址:https://ai.eecs.umich.edu/people/conway/VLSI/VLSIText/PP-V2/V2.pdf
而在 3D 芯片設(shè)計領(lǐng)域,也面臨著類似的需求。
設(shè)計師不僅要精通芯片和系統(tǒng)架構(gòu)設(shè)計,還需要掌握硬件與軟件優(yōu)化的知識。
而制造商則需要深入了解芯片技術(shù)、3D 集成電路技術(shù)和先進(jìn)封裝技術(shù)。
就像 1978 年那樣,我們需要一種共通語言,讓電子設(shè)計工具能夠理解這些技術(shù)。
如今,一種全新的硬件描述語言 ——3Dblox,已經(jīng)得到了當(dāng)下多數(shù)技術(shù)和電子設(shè)計自動化公司的支持。
它賦予了設(shè)計師自由設(shè)計 3D 集成電路系統(tǒng)的能力,且無需擔(dān)心底層技術(shù)的限制。
走出隧道,迎接未來
在人工智能的大潮中,半導(dǎo)體技術(shù)成為了推動 AI 和應(yīng)用發(fā)展的關(guān)鍵力量。
新一代 GPU 已經(jīng)打破了傳統(tǒng)的尺寸和形狀限制。半導(dǎo)體技術(shù)的發(fā)展,也不再局限于僅在二維平面上縮小晶體管。
一個 AI 系統(tǒng)可以集成盡可能多的節(jié)能晶體管,擁有針對特定計算任務(wù)優(yōu)化的高效系統(tǒng)架構(gòu),以及軟硬件之間的優(yōu)化關(guān)系。
過去 50 年,半導(dǎo)體技術(shù)的進(jìn)步就像是在一條明確的隧道中前進(jìn),每個人都清楚下一步應(yīng)該怎么做:不斷縮小晶體管的尺寸。
現(xiàn)在,我們已經(jīng)走到了這條隧道的盡頭。未來的半導(dǎo)體技術(shù)開發(fā)將面臨更多挑戰(zhàn),但同時,隧道外也有著更加廣闊的可能性。
而我們將不再被過去的限制所束縛。
評論