英特爾ARM英偉達力推規(guī)范草案，想統(tǒng)一AI數(shù)據(jù)交換格式

9月15日消息，當?shù)貢r間周三芯片公司

9月15日消息，當?shù)貢r間周三芯片公司英特爾、ARM和英偉達共同發(fā)布了一項所謂人工智能通用交換格式的規(guī)范草案，目的是使機器處理人工智能的過程速度更快、更高效。

英特爾、ARM和英偉達在草案中推薦人工智能系統(tǒng)使用8位的FP8浮點處理格式。他們表示，F(xiàn)P8浮點處理格式有可能優(yōu)化硬件內(nèi)存使用率，從而加速人工智能的發(fā)展。這種格式同時適用于人工智能訓練和推理，有助于開發(fā)速度更快、更高效的人工智能系統(tǒng)。

在開發(fā)人工智能系統(tǒng)時，數(shù)據(jù)科學家面臨的關(guān)鍵問題不僅是收集大量數(shù)據(jù)來訓練系統(tǒng)。此外還需要選擇一種格式來表達系統(tǒng)權(quán)重，權(quán)重是人工智能從訓練數(shù)據(jù)中學習到影響系統(tǒng)預測效果的重要因素。權(quán)重使得GPT-3這樣的人工智能系統(tǒng)能夠從一個長句子提示自動生成整個段落，還能讓DALL-E 2人工智能基于某個特定標題生成逼真的肖像畫。

人工智能系統(tǒng)權(quán)重常用的格式有半精度浮點數(shù)FP16和單精度浮點數(shù)FP32，前者使用16位數(shù)據(jù)表示系統(tǒng)權(quán)重，后者則使用32位。半精度浮點數(shù)以及更低精度浮點數(shù)能減少了訓練和運行人工智能系統(tǒng)所需的內(nèi)存空間，同時還加快計算速度，甚至減少占用的帶寬資源和耗電量。但因為位數(shù)較單精度浮點數(shù)更少，準確性會有所降低。

然而，包括英特爾、ARM和英偉達在內(nèi)的許多行內(nèi)公司都將8位的FP8浮點處理格式作為最佳選擇。英偉達產(chǎn)品營銷總監(jiān)薩沙·納拉西姆漢（Shar Narasimhan）在一篇博客文章中指出，F(xiàn)P8浮點處理格式在計算機視覺和圖像生成系統(tǒng)等用例中的精度與半精度浮點數(shù)相當，同時有“明顯”加速。

英偉達、ARM和英特爾表示，他們將讓FP8浮點處理格式成為一種開放標準，其他公司無需許可證即可使用。三家公司在一份白皮書對FP8進行了詳細描述。納拉西姆漢表示，這些規(guī)范都將提交給技術(shù)標準化組織IEEE，看FP8格式能否成為人工智能行業(yè)的通用標準。

納拉西姆漢說：“我們相信，一個通用的交換格式將帶來硬件和軟件平臺的快速進步，提高互操作性，從而推進人工智能計算的進步。”

當然，三家公司之所以不遺余力推動FP8格式成為通用交換格式也是出于自身研究的考慮。英偉達的GH100 Hopper架構(gòu)已經(jīng)實現(xiàn)對FP8格式的支持，英特爾的Gaudi2人工智能訓練芯片組也支持FP8格式。

但通用的FP8格式也會使SambaNova、AMD、Groq、IBM、Graphcore和Cerebras等競爭對手受益，這些公司都曾在開發(fā)人工智能系統(tǒng)時試驗或采用FP8格式。人工智能系統(tǒng)開發(fā)商Graphcore聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯（Simon Knowles）在今年7月份的一篇博客文章中寫道，“8位浮點數(shù)的出現(xiàn)在處理性能和效率方面為人工智能計算帶來了巨大優(yōu)勢”。諾爾斯還稱，這是行業(yè)確定“單一開放標準”的“一個機會”，比采取多種格式相互競爭要好得多。