英偉達 Q3 狂賣 50 萬 GPU，AI 爆火背后是顯卡的爭奪
據統計，英偉達在第三季度大約賣出了 50 萬臺 H100 和 A100 GPU，大語言模型爆火的背后，是眾組織機構對 GPU 的爭奪，是英偉達近千噸的顯卡出貨量。
本文引用地址：http://www.ex-cimer.com/article/202312/453518.htm據市場跟蹤公司 Omdia 的統計分析，英偉達在第三季度大約賣出了 50 萬臺 H100 和 A100 GPU！
此前，Omdia 通過英偉達第二季度的銷售額，估計其大概賣出了 900 噸 GPU！
大語言模型火爆的背后，英偉達建立起了強大的顯卡帝國。
在人工智能的大潮之下，GPU 成為了各機構、公司，甚至是國家在全球范圍內爭奪的對象。
在本財年第三季度，Nvidia 在數據中心硬件上獲得了 145 億美元的收入，比去年同期幾乎翻了兩番。
—— 這顯然得益于隨著人工智能和高性能計算（HPC）的發展而變得炙手可熱的 H100 GPU。
市場跟蹤公司 Omdia 表示，Nvidia 售出了近 50 萬個 A100 和 H100 GPU，龐大的需求量也導致了，基于 H100 的服務器需要 36~52 周的時間才能交付。
從上圖可以看出，Meta 和微軟是最大買家。它們各自采購了多達 15 萬個 H100 GPU，大大超過了谷歌、亞馬遜、甲骨文和騰訊采購的數量（各 5 萬個）。
值得注意的是，大多數服務器 GPU 都供應給了超大規模云服務提供商。而服務器原始設備制造商（如戴爾、聯想、HPE）目前還無法獲得足夠的 AI 和 HPC GPU。
Omdia 預計，到 2023 年第四季度，Nvidia 的 H100 和 A100 GPU 的銷量將超過 50 萬臺。
不過，幾乎所有大量采購 Nvidia H100 GPU 的公司都在為人工智能、HPC 和視頻工作負載開發定制自己的芯片。
因此，隨著他們轉向使用自己的芯片，對 Nvidia 硬件的采購量可能會逐漸減少。
上圖統計了服務器的情況，2023 年服務器出貨量同比下跌了 17% 到 20%，而服務器收入則同比上漲了 6% 到 8%。
Omdia 云和數據中心研究實踐總監 Vlad Galabov 和數據中心計算和網絡首席分析師 Manoj Sukumaran 預計，到 2027 年，服務器市場價值將達到 1956 億美元，比十年前翻一番多。
隨著大公司紛紛轉向超異構計算，或使用多協處理器來優化服務器配置，服務器處理器和協處理器的需求將持續增長。
目前，就運行人工智能訓練和推理的服務器而言，用于大型語言模型訓練的最流行服務器是配置了 8 個 H100 / A100 GPU 的 Nvidia DGX 服務器，以及亞馬遜的配置了 16 個定制協處理器（Inferentia 2）的 AI 推理服務器。
而對于配備了許多定制協處理器的視頻轉碼服務器，最流行的是擁有 20 個 VCU（視頻編碼單元）的谷歌視頻轉碼服務器，以及使用了 12 個可擴展視頻處理器的 Meta 視頻處理服務器。
隨著一些應用的需求逐漸成熟，構建優化定制處理器的成本效益會越來越高。
媒體和人工智能會是超異構計算的早期受益者，之后數據庫和網絡服務等其他工作負載也會出現類似的優化。
Omdia 的報告指出，高度配置的人工智能服務器的增加正在推動數據中心物理基礎設施的發展。
例如，今年上半年的機架配電收入比去年增長了 17%，在需要液體冷卻解決方案的趨勢之下，數據機柜熱管理收入有望在 2023 年實現 17% 的增長。
另外，隨著生成式人工智能服務的普及，企業將廣泛采用 AI，而當前人工智能部署速度的瓶頸可能是電力供應。
熱情的買家們
除了上面提到的巨頭們，「民間」也有各種組織和公司紛紛采購 NVIDIA 的 H100，以發展自己的業務，或者投資未來。
Bit Digital 是一家提供數字資產和云計算服務的可持續數字基礎設施平臺，總部位于紐約。公司已與客戶簽訂條款，開展 Bit Digital AI 業務，為客戶的 GPU 加速工作負載提供支持。
根據協議，Bit Digital 將為客戶提供最少 1024 個、最多 4096 個 GPU 的租賃服務。
同時，Bit Digital 公司已同意購買 1056 塊 NVIDIA H100 GPU，并已支付了首筆定金。
由美國公司 Del Complex 創建的 BlueSea Frontier Compute Cluster（BSFCC）本質上是一艘巨大的駁船，包含 10000 個 Nvidia H100 GPU，總價值 5 億美元。
據路透社報道，一家名為 Voltage Park 的非營利組織以 5 億美元的價格收購了 24000 個 Nvidia H100 芯片。
Volatage Park 是一家人工智能云計算組織，由億萬富翁 Jed McCaleb 資助，計劃為人工智能項目租賃計算能力。
Voltage Park 提供的 GPU 價格低至每 GPU 每小時 1.89 美元。按需租賃的客戶可以租用 1 到 8 個 GPU，希望租用更多 GPU 的用戶則需要保證一定的租賃期限。
與之相比，亞馬遜通過 8 臺 H100 的 P5 節點為用戶提供按需服務，但價格要貴得多。
以 8 卡的節點來計算，AWS 的收費為每小時 98.32 美元，而 Voltage Park 的收費為每小時 15.12 美元。
在人工智能的熱潮之下，英偉達也是雄心勃勃。
據英國《金融時報》報道，這家硅谷芯片巨頭希望提高 H100 處理器的產量，目標是明年出貨 150 萬至 200 萬臺。
由于 ChatGPT 等大型語言模型的爆火，今年 5 月，Nvidia 市值飆升，成功躋身萬億美元俱樂部。
作為開發大型語言模型的基礎組件，GPU 成為了人工智能公司，甚至是國家在全球范圍內爭奪的對象。
《金融時報》稱，沙特阿拉伯和阿聯酋已經購買了數千臺英偉達的 H100 處理器。
與此同時，有富裕資金的風險投資公司，也忙著為投資組合中的初創公司購買 GPU，以建立自己的人工智能模型。
GitHub 前首席執行官 Nat Friedman 和 Daniel Gross 曾支持過 GitHub、Uber 和其他許多成功的初創公司，他們購買了數千個 GPU，并建立了自己的人工智能云服務。
這個名為仙女座集群（Andromeda Cluster）的系統，擁有 2512 個 H100 GPU，能夠在大約 10 天內訓練出一個 650 億參數的人工智能模型。雖然不是目前最大的模型，但也相當可觀。
盡管只有兩位投資人支持的初創企業，才能使用這些資源。此舉還是受到了好評。
Anthropic 的聯合創始人 Jack Clark 表示，個人投資者在支持計算密集型初創企業方面所做的工作超過了大多數政府。
相比于第三季度的 145 億，第二季度，Nvidia 售出了價值 103 億美元的數據中心硬件。
對于這個成績，Omdia 曾作出估計：一個帶有散熱器的 Nvidia H100 計算 GPU 的平均重量超過 3 公斤（6.6 磅），而 Nvidia 在第二季度出貨了超過 30 萬臺 H100，算下來總重量超過 900 噸（180 萬磅）。
讓我們把這 900 噸具象化一點，它相當于：
4.5 架波音 747
11 架航天飛機軌道飛行器
215827 加侖水
299 輛福特 F150
181818 臺 PlayStation 5s
32727 只金毛獵犬
有網友對此表示：
不過也有媒體覺得這個估計不太準確。因為 Nvidia H100 有三種不同的外形，重量也各不相同。
Nvidia H100 PCIe 顯卡重 1.2 千克，而帶散熱片的 OAM 模塊的最高重量為 2 千克。
假設 Nvidia H100 出貨量的 80% 是模塊，20% 是顯卡，那么單個 H100 的平均重量約為 1.84 千克左右。
不管怎樣吧，這都是一個驚人的數字。而且英偉達在第三季度的銷量是顯著增長的，如果按照 50 萬塊 GPU 每塊 2 千克，那么總重量就是 1000 噸。
—— 現在的顯卡都是按噸賣的了，不知道大家怎么看？
評論