英偉達(dá)：CPU 已落伍，用 GPU 訓(xùn)練大語言模型成本可降低 96%

IT之家 5 月 29 日消息，根據(jù)英偉達(dá)在 2023 年臺(tái)北電腦展會(huì)上的演講，該公司宣稱其 GPU 可以大幅降低訓(xùn)練大型語言模型（LLM）的成本和耗能。

英偉達(dá)首席執(zhí)行官黃仁勛在演講中，向 CPU 行業(yè)發(fā)起了挑戰(zhàn)，他認(rèn)為生成式人工智能和加速計(jì)算是未來計(jì)算的方向。他宣布傳統(tǒng)的摩爾定律已經(jīng)過時(shí)，未來的性能提升將主要來自生成式人工智能和基于加速計(jì)算的方法。

英偉達(dá)在展會(huì)上展示了一份 LLM 的總體擁有成本（Total Cost of Ownership，TCO）分析：首先，他們計(jì)算了訓(xùn)練一個(gè) LLM 所需的 960 個(gè) CPU 組成的服務(wù)器集群的完整成本（包括網(wǎng)絡(luò)、機(jī)箱、互連等所有設(shè)備），發(fā)現(xiàn)這需要花費(fèi)約 1000 萬美元（IT之家備注：當(dāng)前約 7070 萬元人民幣），并消耗 11 千兆瓦時(shí)的電力。

相比之下，如果保持成本不變，購買一個(gè)價(jià)值 1000 萬美元的 GPU 集群，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時(shí)）下訓(xùn)練 44 個(gè) LLM。如果轉(zhuǎn)而保持電力消耗不變，那么可以通過 GPU 集群實(shí)現(xiàn) 150 倍的加速，以 11 千兆瓦時(shí)的電力消耗訓(xùn)練 150 個(gè) LLM，但這需要花費(fèi) 3400 萬美元，此外這個(gè)集群的占地面積比 CPU 集群小得多。最后，如果只想訓(xùn)練一個(gè) LLM，那么只需要一個(gè)價(jià)值 40 萬美元、消耗 0.13 千兆瓦時(shí)電力的 GPU 服務(wù)器就可以了。

英偉達(dá)所要表達(dá)的意思是，相比 CPU 服務(wù)器，客戶可以以 4% 的成本和 1.2% 的電力消耗來訓(xùn)練一個(gè) LLM，這是一個(gè)巨大的成本節(jié)省。