谷歌公布新一代AI超算,稱比英偉達(dá)A100更快、更節(jié)能
Alphabet旗下的谷歌周二公開了其用于訓(xùn)練人工智能模型的超級計算機(jī)的新細(xì)節(jié),稱其比英偉達(dá)A100芯片的系統(tǒng)更快、更節(jié)能。
本文引用地址:http://www.ex-cimer.com/article/202304/445335.htm谷歌公司設(shè)計了自己的定制芯片,稱為Tensor Processing Unit(TPU),并將這些芯片應(yīng)用于90%以上的人工智能訓(xùn)練工作。這個過程通過模型對數(shù)據(jù)進(jìn)行訓(xùn)練,以提高其在類似人類文本響應(yīng)或生成圖像等任務(wù)中的實用性。
目前,谷歌TPU已經(jīng)進(jìn)入第四代。谷歌公司在周二發(fā)布了一篇科學(xué)論文,詳細(xì)介紹了如何利用自己開發(fā)的定制光學(xué)開關(guān)將4000多個芯片連接成一個超級計算機(jī)。
對于構(gòu)建AI超級計算機(jī)的公司來說,改善這些連接已經(jīng)成為競爭的關(guān)鍵點。因為所謂的大規(guī)模語言模型正在不斷增大,已無法在單個芯片上存儲,而這些模型正驅(qū)動著谷歌的Bard或OpenAI的ChatGPT等技術(shù)。
這些模型必須被分割到數(shù)以千計的芯片中,然后這些芯片必須協(xié)同工作數(shù)周或更長時間來訓(xùn)練模型。谷歌的PaLM模型 —— 迄今為止其公開披露的最大的語言模型 —— 它通過分布在兩臺擁有4000個芯片的超級計算機(jī)上進(jìn)行了50天的訓(xùn)練。
谷歌表示,其超級計算機(jī)可以輕松地動態(tài)重新配置芯片之間的連接,有助于避免故障并進(jìn)行性能優(yōu)化。
“電路交換使得我們能夠輕松避開故障組件,”谷歌高級研究員Norm Jouppi和谷歌杰出工程師David Patterson在一篇關(guān)于該系統(tǒng)的博客文章中寫道。“這種靈活性甚至使我們能夠改變超級計算機(jī)互聯(lián)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),以加速M(fèi)L(機(jī)器學(xué)習(xí))模型的性能?!?/p>
雖然谷歌直到現(xiàn)在才公開其超級計算機(jī)的詳細(xì)信息,但它自2020年以來就已經(jīng)在俄克拉荷馬州梅斯縣的數(shù)據(jù)中心內(nèi)運(yùn)行。谷歌表示,初創(chuàng)公司Midjourney使用該系統(tǒng)來訓(xùn)練其模型,該模型可以在輸入文字后生成圖像。
谷歌在論文中表示,與相同規(guī)模的系統(tǒng)相比,它的超級計算機(jī)比基于英偉達(dá)A100芯片的系統(tǒng)更快1.7倍,更節(jié)能1.9倍。谷歌表示,之所以沒有將其第四代TPU與英偉達(dá)目前的旗艦H100芯片進(jìn)行比較,因為H100是在谷歌這款芯片應(yīng)用后上市的,并且采用了更新的技術(shù)。
谷歌暗示正在研發(fā)一款新的TPU,將與英偉達(dá)H100競爭,但沒有提供詳細(xì)信息。Jouppi告訴媒體,谷歌有“充足的未來芯片儲備”。
評論