英偉達(dá)針對(duì) AI 市場(chǎng)推出雙 GPU 產(chǎn)品 H100 NVL，最高使用 188GB HBM3 顯存

IT之家 3 月 22 日消息，英偉達(dá)在 GTC Spring 2023 主題演講中，針對(duì)不斷增長(zhǎng)的 AI 市場(chǎng)，推出了全新的雙 GPU 產(chǎn)品 H100 NVL。H100 NVL 在頂部配備了 3 個(gè) NVLink 連接器，使用兩個(gè)相鄰的 PCIe 顯卡插槽。

英偉達(dá)表示在運(yùn)行大型語(yǔ)言模型（LLM）時(shí)，常規(guī)顯卡的顯存無(wú)法駕馭龐大的數(shù)據(jù)流。因此本次推出的 H100 NVL 最高可以提供 188GB HBM3 顯存，單卡顯存容量 94GB。

H100 NVL 的功耗略高于 H100 PCIe，每個(gè) GPU 為 350-400 瓦（可配置），增加了 50W。IT之家從報(bào)道中獲悉，總性能實(shí)際上是 H100 SXM 的兩倍：FP64 為 134 teraflops，TF32 為 1979 teraflops，F(xiàn)P8 為 7916 teraflops，INT8 為 7916 teraops。

內(nèi)存帶寬也比 H100 PCIe 高很多，每個(gè) GPU 為 3.9 TB / s，總和為 7.8 TB / s（H100 PCIe 為 2 TB / s，H100 SXM 為 3.35 TB / s）。