定制芯片市場(chǎng),被巨頭瞄準(zhǔn)了
最近,有消息傳出英偉達(dá)正在建立一個(gè)新的業(yè)務(wù)部門,這個(gè)部門專注為云計(jì)算公司和其他公司設(shè)計(jì)定制芯片(ASIC)。
本文引用地址:http://www.ex-cimer.com/article/202402/455695.htm這個(gè)新的部門將由半導(dǎo)體資深人士 Dina McKinney 領(lǐng)導(dǎo)。McKinney 曾擔(dān)任負(fù)責(zé) AMD CPU 設(shè)計(jì)和 Marvell 基礎(chǔ)設(shè)施處理器的副總裁,他將負(fù)責(zé)監(jiān)督為云計(jì)算、5G 電信、游戲、汽車等領(lǐng)域構(gòu)建定制芯片的團(tuán)隊(duì)。
那么,英偉達(dá)為什么要下場(chǎng)定制芯片(ASIC 芯片),英偉達(dá)下場(chǎng)后能夠在 ASIC 市場(chǎng)中稱王稱霸嗎?
為什么英偉達(dá)選擇 ASIC?
英偉達(dá)選擇 ASIC 的原因,其實(shí)從其新部門面向客戶中可以窺見一二。新部門面向的主要是云計(jì)算公司,這和英偉達(dá)目前在主要的北美 CSP(云計(jì)算供應(yīng)商)企業(yè)重疊,包括 Google Cloud、AWS、Microsoft Azure 和 Meta 等企業(yè)。
這些企業(yè)都已經(jīng)開始進(jìn)行自家芯片的開發(fā),例如 Google 的 TPU 和微軟的 AI 加速器 Maia 及專為 Azure 設(shè)計(jì)的 CPU「Cobalt」。
因此英偉達(dá)進(jìn)軍 ASIC 的原因有二:第一,占領(lǐng)新的市場(chǎng)。第二,保護(hù)自己免受替代。
先來(lái)看占領(lǐng)新的市場(chǎng)。數(shù)據(jù)中心定制芯片的蛋糕并不小,據(jù)研究公司 650 Group 估計(jì),數(shù)據(jù)中心定制芯片市場(chǎng)今年將增長(zhǎng)至 100 億美元,到 2025 年將翻一番。
Needham 分析師 Charles Shi 表示,2023 年更廣泛的定制芯片市場(chǎng)價(jià)值約為 300 億美元,約占全球芯片年銷售額的 5%。
數(shù)據(jù)中心的定制芯片的市場(chǎng)中有兩大巨頭:博通和 Marvell。在高端 ASIC 市場(chǎng),博通以 35%的市占率,穩(wěn)坐龍頭寶座,Marvel 以 12%的市占率居次。博通和 Marvell 其實(shí)都認(rèn)為隨著數(shù)據(jù)中心處理器變的多樣,會(huì)讓定制芯片的模式重新煥發(fā)生機(jī)。
原因在于,AI 時(shí)代中,ASIC 芯片也能撐起一片天。
這就談回了一個(gè)老問(wèn)題:ASIC、GPU,誰(shuí)是最合適的 AI 芯片?其實(shí)這兩類芯片有各自的特點(diǎn),但在滿足算力需求上是相互競(jìng)爭(zhēng)的。簡(jiǎn)單來(lái)說(shuō),GPU 有先發(fā)優(yōu)勢(shì),技術(shù)發(fā)展時(shí)間長(zhǎng),使用成本較低,但是功耗高。ASIC 面向特定用戶需求設(shè)計(jì)的定制芯片,在吞吐量、功耗、算力水平等方面都有優(yōu)勢(shì)。
在 20 世紀(jì) 90 年代時(shí),很多大型企業(yè)都渴望設(shè)計(jì)和提供針對(duì)特定應(yīng)用的定制 ASIC 設(shè)備,同時(shí)提供更好的性能。Sony、Toshiba 和 IBM 最初設(shè)計(jì)的用于 Sony Playstation 3 的 Cell Processor 就是一個(gè)例子。不過(guò),由于 ASIC 的成本高,隨著為特定產(chǎn)品設(shè)計(jì) ASIC 變得越來(lái)越難以合理規(guī)模,ASIC 的歲月似乎過(guò)去。
ASIC 和 GPU 的分歧就在這:成本。
因?yàn)閺男阅軄?lái)看,針對(duì)特定場(chǎng)景或應(yīng)用所設(shè)計(jì)的 ASIC 芯片,會(huì)比英偉達(dá)所賣的通用 GPU 更有優(yōu)勢(shì)。以前一直使用 GPU,也帶火了英偉達(dá)等廠商的業(yè)績(jī)和股價(jià),但后來(lái)大家發(fā)現(xiàn),隨著機(jī)器學(xué)習(xí)、邊緣計(jì)算發(fā)展,算法更加成熟和穩(wěn)定,自己完全有足夠的計(jì)算需求去分?jǐn)?ASIC 的成本。
尤其 ChatGPT 爆火以后,英偉達(dá) GPU 產(chǎn)品掉隊(duì),很多企業(yè)都是靠著服務(wù)器 CPU+ASIC 的形式,來(lái)滿足用戶對(duì)于 AI 訓(xùn)練和推理的算力需求。
這就展示出 ASIC 在 AI 時(shí)代的作用。Marvell 的計(jì)算與定制集團(tuán)技術(shù)副總裁 Mark Kuemerle 觀察到:「關(guān)于這些數(shù)據(jù)中心客戶的有趣事實(shí)是,如果他們的系統(tǒng)中出現(xiàn)輕微的瓶頸點(diǎn),問(wèn)題會(huì)被放大 1000 倍甚至更多(因?yàn)樗鼈儾渴鹪诔笠?guī)模中)?!惯@樣的瓶頸點(diǎn)可能導(dǎo)致 NIC 卡住。現(xiàn)成的機(jī)器學(xué)習(xí)設(shè)備可能無(wú)法匹配工作負(fù)載或滿足靈活性或可編程性的需求。
Kuemerle 說(shuō):「這些超大規(guī)模數(shù)據(jù)中心真的必須將一切精確調(diào)整到他們的工作負(fù)載。那么,他們投資建設(shè)定制芯片絕對(duì)是值得的?!?/span>
ASIC 早已成為 GPU 面臨的強(qiáng)大競(jìng)爭(zhēng)者。
雖說(shuō)各大廠商購(gòu)買英偉達(dá) GPU,花錢如流水,既然都是流水,為什么不定制更適合自家應(yīng)用場(chǎng)景的芯片呢?要定制就要花錢,英偉達(dá)同樣想把大廠定制芯片的錢,納入自己的錢包。
再來(lái)看「免受替代」是怎么回事。目前,谷歌、亞馬遜、特斯拉和 Meta 都推出了 ASIC 芯片。
谷歌 2015 年發(fā)布首款 ASIC 芯片 TPU v1,去年已經(jīng)迭代到了 v5。根據(jù)官方提供的數(shù)據(jù),每個(gè) TPU v5p pod 在三維環(huán)形拓?fù)浣Y(jié)構(gòu)中,通過(guò)最高帶寬的芯片間互聯(lián)(ICI),以 4,800 Gbps/chip 的速度將 8,960 個(gè)芯片組合在一起,與 TPU v4 相比,TPU v5p 的 FLOPS 和高帶寬內(nèi)存(HBM)分別提高了 2 倍和 3 倍。
谷歌使用 TPU v5p 壘起一道抵御英偉達(dá) GPU 的高墻。
對(duì)于谷歌來(lái)說(shuō),要錢有錢,要技術(shù)有技術(shù),要應(yīng)用場(chǎng)景有應(yīng)用場(chǎng)景,可以說(shuō)是各大科技巨頭中在自研 AI 芯片這條路上走得最遠(yuǎn)的,其他廠商目前還在源源不斷地給英偉達(dá)賬戶打錢,但谷歌卻早已做好了兩手準(zhǔn)備。
微軟則也是打響了「逃離英偉達(dá)」的信號(hào)槍。最新的消息,微軟正在開發(fā)一款新的網(wǎng)卡,可以提高其 Maia AI 服務(wù)器芯片的性能,并有可能減少該公司對(duì)芯片設(shè)計(jì)商 Nvidia 的依賴。
有知情人士表示,微軟首席執(zhí)行官薩蒂亞·納德拉 (Satya Nadella ) 已任命網(wǎng)絡(luò)設(shè)備開發(fā)商瞻博網(wǎng)絡(luò) (Juniper Networks) 聯(lián)合創(chuàng)始人普拉迪普·辛杜 (Pradeep Sindhu) 來(lái)領(lǐng)導(dǎo)網(wǎng)卡工作。
看來(lái)出于成本和自主率考慮,大廠還是更愿意使用自家的 ASIC。買英偉達(dá)的 GPU 不但價(jià)格高昂,并且受制于人。不過(guò),使用自家芯片多一些,那就用英偉達(dá) GPU 少一些。
英偉達(dá)能稱霸嗎?
谷歌推出自家 ASIC 的背后,與博通有很大關(guān)系。去年說(shuō)到最紅火的企業(yè)是英偉達(dá),而背后還有一個(gè)賣鏟人也在悶聲發(fā)財(cái)——博通。目前博通的市值已經(jīng)達(dá)到了 5741.98 億美元,已經(jīng)超過(guò)了臺(tái)積電的市值。
其實(shí)從收入來(lái)看,博通是全球第二大人工智能芯片公司,僅次于英偉達(dá)。博通加速器的銷售額往往高達(dá)數(shù)十億美元。
谷歌與博通合作,負(fù)責(zé)谷歌 TPU 的物理設(shè)計(jì),本質(zhì)上是基于谷歌的設(shè)計(jì)圖紙開發(fā)芯片。此外,博通還負(fù)責(zé)監(jiān)督臺(tái)積電的芯片代工業(yè)務(wù)。自谷歌和博通開始合作以來(lái),谷歌每?jī)赡曜笥野l(fā)布新一代 TPU。知情人士稱,谷歌和博通把每一代 TPU 的性價(jià)比提高了至少 50%。
博通與各大巨頭公司合作定制芯片。不但參與了谷歌每一代 TPU 處理器的設(shè)計(jì),還與 Meta、蘋果等公司達(dá)成合作,共同設(shè)計(jì)生產(chǎn)芯片。
研究機(jī)構(gòu) SemiAnalysis 創(chuàng)始人表示,博通定制芯片業(yè)務(wù)規(guī)模達(dá) 100 億美元,美滿電子規(guī)模達(dá) 20 億美元,英偉達(dá)的參與確實(shí)是一個(gè)威脅。
英偉達(dá)能否稱霸 ASIC 市場(chǎng)關(guān)鍵也是看兩點(diǎn)能力:設(shè)計(jì)和議價(jià)能力。
先來(lái)看設(shè)計(jì)能力。作為定制芯片,芯片設(shè)計(jì)的好壞肯定直接會(huì)影響到 CSP 大廠數(shù)據(jù)中心的運(yùn)行能力,以及成本高低。對(duì)于大廠來(lái)說(shuō),只要能夠提供強(qiáng)大的性能,即使芯片的價(jià)格偏高,也會(huì)愿意買單。
我們先來(lái)看看一臺(tái) AI 服務(wù)器究竟需要哪些芯片?如果拆開一臺(tái) AI 服務(wù)器內(nèi)部,以 HGX H100 8-GPU 為例,8 塊 H100 GPU 在全新的 FP8 精度下 AI 性能比上一代高 6 倍,可提供 900GB/s 的帶寬,該服務(wù)器內(nèi)部包含 NVLink、PCIe 和 QPI 等主板總線。GPU 之間的互聯(lián)通過(guò) NVSwitch 芯片來(lái)實(shí)現(xiàn),CPU 與 GPU 之間的互聯(lián)則通過(guò) PCIe 5.0 總線實(shí)現(xiàn)。
英偉達(dá)自家的高速傳輸 NV Link、開發(fā)者軟件 CUDA 和 Omniverse 等軟件套件,這些帶了極大優(yōu)勢(shì)。
但是 PCle Switch 也很重要,而這個(gè)領(lǐng)域是博通的天下。全球 PCle Switch 三大供應(yīng)商,博通、微芯、祥碩科技三家,共占有全球約 58% 的份額。博通作為 PCI Express 交換領(lǐng)域的領(lǐng)導(dǎo)者,出貨量超過(guò) 10 億個(gè)。
前文我們提到博通參與了很多公司的定制芯片,為什么各大公司都看中博通呢?不僅僅是芯片設(shè)計(jì)的能力,博通有自己的「護(hù)城河」芯片間的通信。
博通是 SerDes(串行器/解串器)的通信技術(shù)無(wú)可爭(zhēng)議的壟斷巨頭。SerDes 接口通過(guò)在傳輸之前將低速并行數(shù)據(jù)轉(zhuǎn)換為高速串行數(shù)據(jù),然后在接收端轉(zhuǎn)換回并行數(shù)據(jù),目的在于允許數(shù)據(jù)從一個(gè) TPU 高速移動(dòng)到另一個(gè) TPU,提升信號(hào)傳輸效率。在全球 50GB/S 的 SerDes 市場(chǎng)中,博通占據(jù)了 76% 的市場(chǎng)份額。
這么來(lái)看,英偉達(dá)、博通在芯片設(shè)計(jì)方面,都有自己的「護(hù)城河」。
從芯片議價(jià)能力來(lái)說(shuō),英偉達(dá)在晶圓的采購(gòu)量上要比博通、邁威爾大得多。在這樣的狀況下,議價(jià)能力也相對(duì)較高。沿用此邏輯來(lái)看,即使 CSP 廠擁有強(qiáng)大的 IC 設(shè)計(jì)團(tuán)隊(duì),也不見得可取得最佳價(jià)格。
如果 CSP 能與臺(tái)積電簽訂具價(jià)格競(jìng)爭(zhēng)力的長(zhǎng)約,有機(jī)會(huì)在價(jià)格上獲得優(yōu)勢(shì),打破英偉達(dá)的壟斷局面。
結(jié)語(yǔ)
總的來(lái)說(shuō),由于仍有許多存在于云端大廠外的語(yǔ)言模型,因此通用型 GPU 仍有生存空間。
目前英偉達(dá)是否會(huì)成立 ASIC 部門還未確認(rèn)。一名 IC 設(shè)計(jì)代工管理層透露,英偉達(dá)一直都有在看 ASIC 市場(chǎng),曾經(jīng)找上門希望能外包部分 ASIC 方案。換句話說(shuō),當(dāng)時(shí)的英偉達(dá)即使正生產(chǎn)通用型芯片,仍一面通過(guò)外包的方式,吃下 ASIC 市場(chǎng)。
如今,ASIC 的市場(chǎng)需求日益壯大,作為 AI 霸主英偉達(dá)自然不會(huì)視而不見,加上還擁有如高速傳輸 NV Link、開發(fā)者軟件 CUDA 等技術(shù)優(yōu)勢(shì)。目前 ASIC 競(jìng)爭(zhēng)對(duì)手如博通(Broadcom)、Marvell 亦多有布局,博通執(zhí)行長(zhǎng)更在傳出加入 Meta 董事會(huì),英偉達(dá)的新策略是否沖擊市場(chǎng),值得持續(xù)關(guān)注。
評(píng)論