英偉達發(fā)布新一代 AI 芯片 H200

當(dāng)?shù)貢r間 11 月 13 日，英偉達宣布推出 NVIDIA HGX? H200，為全球領(lǐng)先的 AI 計算平臺帶來強大動力。該平臺基于 NVIDIA Hopper? 架構(gòu)，配備 NVIDIA H200 Tensor Core GPU 和高級內(nèi)存，可處理生成 AI 和高性能計算工作負載的海量數(shù)據(jù)。H200 將于 2024 年第二季度開始向全球系統(tǒng)制造商和云服務(wù)提供商供貨。

NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的內(nèi)存，可加速生成式 AI 和大型語言模型，同時推進 HPC 工作負載的科學(xué)計算。借助 HBM3e，NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 內(nèi)存，與前身 NVIDIA A100 相比，容量幾乎翻倍，帶寬增加 2.4 倍。

H200、H100、A100 性能對比，來源：anandtech

英偉達超大規(guī)模和 HPC 副總裁 Ian Buck 表示：「要通過生成式 AI 和 HPC 應(yīng)用程序創(chuàng)建智能，必須使用大型、快速的 GPU 內(nèi)存高速有效地處理大量數(shù)據(jù)。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級計算平臺能夠更快地解決世界上一些最重要的挑戰(zhàn)?！?/span>

NVIDIA H200 將應(yīng)用于具有四路和八路配置的 NVIDIA HGX H200 服務(wù)器主板，這些主板與 HGX H100 系統(tǒng)的硬件和軟件兼容。它還可用于 8 月份發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper? 芯片。

英偉達表示，H200 可以部署在各種類型的數(shù)據(jù)中心中，包括本地、云、混合云和邊緣。NVIDIA 的全球合作伙伴服務(wù)器制造商生態(tài)系統(tǒng)（包括華擎 Rack、華碩、戴爾科技、Eviden、技嘉、慧與、英格拉科技、聯(lián)想、QCT、Supermicro、緯創(chuàng)資通和緯穎科技）可以使用 H200 更新其現(xiàn)有系統(tǒng)。

除了 CoreWeave、Lambda 和 Vultr 之外，從 2024 年開始，亞馬遜網(wǎng)絡(luò)服務(wù)、谷歌云、微軟 Azure 和甲骨文云基礎(chǔ)設(shè)施將成為首批部署基于 H200 實例的云服務(wù)提供商。

HGX H200 由 NVIDIA NVLink? 和 NVSwitch? 高速互連提供支持，可為各種應(yīng)用工作負載提供最高性能，包括針對超過 1750 億個參數(shù)的最大模型的 LLM 訓(xùn)練和推理。

八路 HGX H200 提供超過 32 petaflops 的 FP8 深度學(xué)習(xí)計算和 1.1TB 聚合高帶寬內(nèi)存，可在生成式 AI 和 HPC 應(yīng)用中實現(xiàn)最高性能。

當(dāng)與具有超快 NVLink-C2C 互連的 NVIDIA Grace? CPU 配合使用時，H200 創(chuàng)建了帶有 HBM3e 的 GH200 Grace Hopper 超級芯片——一種旨在服務(wù)于大規(guī)模 HPC 和 AI 應(yīng)用的集成模塊。

富國銀行 (Wells Fargo) 分析師 Aaron Rakers 說，H200 是英偉達首款采用 HBM3e 內(nèi)存的圖形處理器，這使其擁有更高的帶寬和容量，并凸顯出了內(nèi)存在下一代人工智能工作負載中的重要性。

英偉達表示，H200 Tensor Core GPU 具有改變游戲規(guī)則的性能和內(nèi)存功能，可增強生成式 AI 和高性能計算 (HPC) 工作負載。

H200 基于 NVIDIA Hopper 架構(gòu)，是首款以每秒 4.8 TB/s 的速度提供 141 GB HBM3e 內(nèi)存的 GPU，幾乎是 NVIDIA H100 Tensor Core GPU 容量的兩倍，內(nèi)存帶寬提高了 1.4 倍。H200 更大、更快的內(nèi)存可加速生成式 AI 和 LLM，同時以更高的能效和更低的總擁有成本推進 HPC 工作負載的科學(xué)計算。

在處理 Llama2 等 LLM 時，H200 的推理速度比 H100 GPU 提高了 2 倍。

對于模擬、科學(xué)研究和人工智能等內(nèi)存密集型 HPC 應(yīng)用，H200 更高的內(nèi)存帶寬可確保高效地訪問和操作數(shù)據(jù)，與 CPU 相比，獲得結(jié)果的時間最多可加快 110 倍。

英偉達表示，H200 的能源效率和 TCO 達到了新的水平。H200 在性能增長的同時，功率配置與 H100 相同。人工智能工廠和超級計算系統(tǒng)不僅速度更快，而且更環(huán)保，提供了推動人工智能和科學(xué)界向前發(fā)展的經(jīng)濟優(yōu)勢。

英偉達表示，NVIDIA Hopper 架構(gòu)比其前身實現(xiàn)了前所未有的性能飛躍，并通過 H100 的持續(xù)軟件增強（包括最近發(fā)布的 NVIDIA TensorRT-LLM?等強大的開源庫）繼續(xù)提高標(biāo)準(zhǔn)。