新版摩爾定律也要靠算力 英偉達(dá)稱AI訓(xùn)練速度可再提高1萬(wàn)倍

ChatGPT之父、OpenAI公司CEO奧特曼（Sam Altman）周日在一條Twitter上寫(xiě)道：“新版摩爾定律很快就要來(lái)了，宇宙中的智能數(shù)量每18個(gè)月就會(huì)翻一倍。”

摩爾定律是英特爾聯(lián)合創(chuàng)始人摩爾對(duì)半導(dǎo)體行業(yè)的預(yù)測(cè)，指芯片中的晶體管數(shù)量大約每?jī)赡攴环?，同時(shí)價(jià)格降一半。幾年前，芯片巨頭英偉達(dá)創(chuàng)始人CEO黃仁勛就曾表示：“摩爾定律已死?！?/p>

奧特曼的最新言論很快在社交媒體上發(fā)酵，但他沒(méi)有具體解釋所謂的“智能”（intelligence）到底是指什么，這也引發(fā)了業(yè)內(nèi)的熱烈討論。

宇宙智能數(shù)量18個(gè)月翻番指什么？

“當(dāng)（人腦之外的）另一個(gè)結(jié)構(gòu)可以突破（神經(jīng)元）總量限制時(shí)，智能的確會(huì)不斷爆炸。”獵豹移動(dòng)董事長(zhǎng)傅盛在微信朋友圈中寫(xiě)道。他向第一財(cái)經(jīng)記者解釋稱：“這里的智能應(yīng)該指神經(jīng)元參數(shù)?！?/p>

瀾舟科技創(chuàng)始人CEO周明對(duì)第一財(cái)經(jīng)記者表示，雖然神經(jīng)元參數(shù)確實(shí)是可以數(shù)值化衡量的指標(biāo)，但是過(guò)去幾年里，神經(jīng)元參數(shù)似乎并沒(méi)有18個(gè)月就實(shí)現(xiàn)翻番。

“我認(rèn)為Altman說(shuō)的意思比較含糊，我個(gè)人的理解是，世界上的人工智能能力每18個(gè)月翻一倍，但怎么才算翻一倍，是增加新的能力的個(gè)數(shù)，還是已有能力的翻倍提升，他沒(méi)有明確說(shuō)明?！敝苊鲗?duì)第一財(cái)經(jīng)記者表示。

第一財(cái)經(jīng)記者就如何理解“智能”翻番向ChatGPT提問(wèn)。首先問(wèn)：“宇宙中智能數(shù)量每18個(gè)月翻一倍，這里的智能是指什么？”ChatGPT回答道：“聲稱宇宙中的智能數(shù)量每18個(gè)月翻番是沒(méi)有科學(xué)依據(jù)的，因?yàn)橹悄懿皇且粋€(gè)可以用這種方式測(cè)量或量化的物理量，通常認(rèn)為它是一個(gè)具有復(fù)雜特性的東西，不能簡(jiǎn)化為單個(gè)指標(biāo)或者數(shù)值?！?/p>

當(dāng)?shù)谝回?cái)經(jīng)記者在提問(wèn)中加入ChatGPT創(chuàng)始人奧特曼的名字，再問(wèn)：“奧特曼所說(shuō)的新版摩爾定律是指什么？”ChatGPT回答稱：“新摩爾定律指的是奧特曼在2018年做出的關(guān)于人工智能快速發(fā)展及其能力呈指數(shù)級(jí)增長(zhǎng)的預(yù)測(cè)。奧特曼表示，人工智能發(fā)展的速度目前正在超過(guò)摩爾定律。”

從ChatGPT的回答中可以看出，這一預(yù)測(cè)是奧特曼早在2018年就曾作出的，但當(dāng)時(shí)OpenAI的能力遠(yuǎn)不如今天，這一表態(tài)自然也未受到關(guān)注。

如今，奧特曼重新將他的“新版摩爾定律”拋出，背后是深度學(xué)習(xí)和AI的崛起。但不管ChatGPT如何強(qiáng)大，背后也離不開(kāi)算力的支撐。

隨著人類對(duì)于算力的要求越來(lái)越高，要滿足新的高性能運(yùn)算需求，芯片就需要不斷迭代，成本也會(huì)隨之增加。目前支撐包括ChatGPT大模型在內(nèi)的95%用于機(jī)器學(xué)習(xí)的芯片都是英偉達(dá)的A100，該芯片的單價(jià)超過(guò)1萬(wàn)美元。

在上周英偉達(dá)的財(cái)報(bào)會(huì)議上，黃仁勛稱，英偉達(dá)的GPU在過(guò)去的十年里將AI的處理性能提高了100萬(wàn)倍。英偉達(dá)現(xiàn)在希望將AI的訓(xùn)練速度提高至少1萬(wàn)倍。

研究機(jī)構(gòu)Gartner分析師盛陵海對(duì)第一財(cái)經(jīng)記者表示：“過(guò)去十年是AI發(fā)展從0到100的階段，但是要從100到10000，是完全不同的場(chǎng)景。過(guò)去十年芯片的發(fā)展還遵循摩爾定律，但隨著摩爾定律接近極限，未來(lái)計(jì)算機(jī)的能力要進(jìn)一步提升越來(lái)越困難，除非量子計(jì)算能有大的突破?！?/p>

誰(shuí)能顛覆人工智能“主力”A100？

根據(jù)研究機(jī)構(gòu)New Street Research發(fā)布的一份報(bào)告，英偉達(dá)的A100目前已成為人工智能領(lǐng)域的“主力”，占據(jù)了用于機(jī)器學(xué)習(xí)的圖形處理器市場(chǎng)95%的份額。

訓(xùn)練大型語(yǔ)言模型需要大量GPU，這些GPU還能進(jìn)行“推理”。擁有熱門(mén)AI產(chǎn)品的公司通常需要購(gòu)買(mǎi)更多GPU來(lái)處理峰值期間的數(shù)據(jù)或用于模型的改進(jìn)。例如，人工智能公司Stability AI公司過(guò)去一年購(gòu)買(mǎi)的A100芯片數(shù)量增加到目前的5400個(gè)。Stability AI的軟件用于圖像生成器Stable Diffusion，使用256個(gè)A100芯片訓(xùn)練模型，訓(xùn)練總時(shí)長(zhǎng)達(dá)20萬(wàn)個(gè)小時(shí)。

除了單個(gè)的A100芯片之外，英偉達(dá)還出售一個(gè)包含8個(gè)A100的服務(wù)器系統(tǒng)DGX，售價(jià)接近20萬(wàn)美元。根據(jù)機(jī)構(gòu)測(cè)算，微軟基于ChatGPT的人工智能搜索必應(yīng)（Bing AI）需要超過(guò)2萬(wàn)臺(tái)DGX服務(wù)器系統(tǒng)，才能使Bing的模型支持每個(gè)人的搜索，這表明該功能可能需要微軟投資40億美元的基礎(chǔ)設(shè)施支出。

而谷歌每天進(jìn)行近百億次的搜索服務(wù)需要的服務(wù)器能力更大。根據(jù)New Street Research的技術(shù)分析師Antoine Chkaiban的預(yù)測(cè)，谷歌要滿足所有人的搜索，需要在DGX上花費(fèi)800億美元。“這說(shuō)明每個(gè)使用如此龐大的語(yǔ)言模型的用戶都需要一臺(tái)大型超級(jí)計(jì)算機(jī)。”Chkaiban在報(bào)告中寫(xiě)道。

但目前僅有大公司才有實(shí)力進(jìn)行如此巨大的投資。為了讓更多小公司能夠使用英偉達(dá)AI的能力，英偉達(dá)正在拓展一種全新商業(yè)模式。黃仁勛在上周的財(cái)報(bào)電話會(huì)議中表示，未來(lái)將直接出售對(duì)DGX系統(tǒng)的云訪問(wèn)，從而降低小公司研究人員使用AI能力的入門(mén)成本。

在黃仁勛看來(lái)，英偉達(dá)提供的價(jià)值是將原來(lái)需要投入10億美元運(yùn)行CPU的數(shù)據(jù)中心縮減為僅用1億美元就能搞定的數(shù)據(jù)中心，現(xiàn)在將該數(shù)據(jù)中心放在云端共享，意味著可以由100家公司來(lái)分擔(dān)這一成本，因此每家公司支付的實(shí)際上是非常少的費(fèi)用。“現(xiàn)在企業(yè)可以花一兩千萬(wàn)來(lái)構(gòu)建一個(gè)類似GPT的大型語(yǔ)言模型，這是可以支付得起的?！秉S仁勛表示。

盡管英偉達(dá)并不是唯一一家生產(chǎn)用于人工智能GPU的公司，但根據(jù)研究機(jī)構(gòu)State of AI的報(bào)告，截至去年12月，超過(guò)2萬(wàn)篇開(kāi)源AI論文中都使用了英偉達(dá)的AI芯片，其中A100在2022年的使用量迅速增長(zhǎng)，成為英偉達(dá)被使用第三多的芯片，僅次于其售價(jià)1500美元的游戲芯片。

目前能與A100的使用量競(jìng)爭(zhēng)的仍然是英偉達(dá)去年量產(chǎn)的下一代人工智能芯片H100。這款芯片的售價(jià)更高，并且在截至今年1月的財(cái)季中，H100芯片的收入已經(jīng)超過(guò)了A100。英偉達(dá)表示，H100是該公司推出的首款針對(duì)transformer架構(gòu)進(jìn)行優(yōu)化的數(shù)據(jù)中心GPU，transformer正在越來(lái)越多地用于新的頂級(jí)人工智能應(yīng)用程序，重要性日益凸顯。

“H100采用了5納米的制程，相比于A100的7納米制程而言，H100的性能應(yīng)該是顯著優(yōu)于A100的。”盛陵海對(duì)第一財(cái)經(jīng)記者表示。