超越摩爾定律； 半導(dǎo)體創(chuàng)新仍在繼續(xù)，但更加艱難

半導(dǎo)體在摩爾定律的指導(dǎo)下發(fā)展了數(shù)十年，摩爾定律描述了數(shù)字技術(shù)以及近年來深度學(xué)習(xí)等先進(jìn)人工智能形式的巨大發(fā)展背后的進(jìn)步。

摩爾定律實(shí)際上是一種觀察結(jié)果，由英特爾聯(lián)合創(chuàng)始人戈登·摩爾 (Gordon Moore) 在 1965 年提出，該定律認(rèn)為芯片上的晶體管數(shù)量大約每年都會增加一倍。 1975年，他將公式調(diào)整為每兩年一次。 幾十年來，這一點(diǎn)一直成立，有助于解釋當(dāng)今世界的很多問題，包括為什么智能手機(jī)和其他數(shù)字設(shè)備的性價比顯著提高，尤其是與許多其他種類的商品相比。 晶體管的售價一度高達(dá)每個 150 美元。 2019 年，典型的英特爾微處理器包含 50 億個，每個成本為 0.0000001 美元。

但有人說，由于晶體管尺寸現(xiàn)在如此之小，摩爾定律所描述的穩(wěn)定、可預(yù)測的進(jìn)步已經(jīng)結(jié)束，因?yàn)槟承┡σ呀?jīng)接近經(jīng)濟(jì)和物理學(xué)的極限。 與深度學(xué)習(xí)和其他形式人工智能的進(jìn)步密切相關(guān)的其他類型的半導(dǎo)體創(chuàng)新正在進(jìn)行中。 但是，現(xiàn)在已經(jīng)不可能以如此清晰、容易被公眾掌握的方式來描述芯片創(chuàng)新的下一階段來預(yù)測未來。

半導(dǎo)體巨頭英偉達(dá) (Nvidia) 的首席科學(xué)家比爾·達(dá)利 (Bill Dally) 表示：“那些日子已經(jīng)一去不復(fù)返了，對吧？”該公司設(shè)計(jì)了人工智能最需要的芯片。英偉達(dá)以圖形處理單元而聞名，圖形處理單元是一種采用 許多核心同時進(jìn)行計(jì)算。人工智能對于 GPU 的需求非常大，尤其是具有許多密集層的神經(jīng)網(wǎng)絡(luò)。

雖然摩爾定律所描述的進(jìn)步不再像以前那樣迅速發(fā)展，但英偉達(dá)、谷歌 DeepMind 和其他公司的研究人員正在一系列領(lǐng)域取得進(jìn)展。

“深度學(xué)習(xí)是由硬件驅(qū)動的。 我們感到繼續(xù)下去的巨大壓力，”斯坦福大學(xué)計(jì)算機(jī)科學(xué)系前系主任達(dá)利說，他仍然是該校的兼職教授。

“事情變得越來越困難，但我們?nèi)匀挥泻玫南敕ā哪旰?，我們已?jīng)非常清楚性能的來源。 我們做了很多探索性的努力來回答這個問題：在那之后性能將來自哪里，”Dally 說，他領(lǐng)導(dǎo)著一個由 300 名擁有博士學(xué)位的研究人員組成的團(tuán)隊(duì)。

Dally 表示，Nvidia 的先進(jìn)數(shù)據(jù)中心芯片 Hopper 架構(gòu)于 2022 年推出，并設(shè)法將更多晶體管封裝到芯片上，但該芯片的成本比之前的版本更高，而且單個晶體管的成本也更高。 “較小的晶體管并沒有真正幫助我們太多，”達(dá)利補(bǔ)充道，“隨著我們從一代過渡到下一代，我們不再降低晶體管的成本?！?/p>

盡管如此，考慮到摩爾定律之外存在的其他類型的創(chuàng)新，Hopper 的性價比還是有所提高。 達(dá)利表示，他相信至少在未來四年內(nèi)，實(shí)現(xiàn)更多創(chuàng)新的道路是明確的，這意味著與人工智能不斷增長的力量密切相關(guān)的硬件改進(jìn)也應(yīng)該繼續(xù)下去，這將對醫(yī)療等眾多行業(yè)產(chǎn)生影響。 科學(xué)和醫(yī)療保健到金融和電子商務(wù)。

這項(xiàng)工作利用了稀疏性或?qū)ⅰ靶　睌?shù)字舍入為零等概念，從而減少了芯片必須執(zhí)行的乘法量。

八年前，現(xiàn)在麻省理工學(xué)院的 Dally 和 Song Han 以及其他人在 NeurIPS 會議上發(fā)表了一篇論文，該論文表明，對于很多神經(jīng)網(wǎng)絡(luò)，他們可以將 90% 的數(shù)字歸零，并且不會改變神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。

“我們?nèi)栽谘芯咳绾卫酶玫挠布砝眠@一點(diǎn)，”達(dá)利說。

另一個創(chuàng)新領(lǐng)域涉及數(shù)字表示，其中數(shù)字以各種方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 個而不是 16 或 32 個單位或位）來完成此操作，那么乘法等過程中芯片所需的工作量就會相應(yīng)減少。 這提高了芯片的整體功率和效率。

英偉達(dá)和谷歌一直致力于為人工智能定制芯片。 這使得他們能夠比摩爾定律更快地?cái)U(kuò)展人工智能芯片性能，盡管在芯片上放置更多晶體管變得越來越困難。 2020 年，《華爾街日報(bào)》專欄作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛 (Jensen Huang) 的名字命名了黃氏定律 (Huang’s Law)，該定律指出，為人工智能提供動力的硅芯片的性能每兩年就會增加一倍以上。

然而，存在一個根本性的差異：人工智能算法每隔幾個月就會進(jìn)化一次，而設(shè)計(jì)芯片則需要兩到三年的時間。

通過采用先進(jìn)的人工智能，可以顯著減少芯片設(shè)計(jì)的時間和成本。 一些研究人員認(rèn)為人工智能可以將設(shè)計(jì)過程從幾年縮短到幾天。 在軟件方面，更好的資源調(diào)度和更優(yōu)化的代碼可以提高現(xiàn)有芯片設(shè)計(jì)的性能。

數(shù)據(jù)中心和芯片研究總監(jiān) Olivier Temam 表示，緩慢而昂貴的芯片設(shè)計(jì)還有一個更微妙的后果：它需要人工智能研究人員為現(xiàn)有芯片創(chuàng)建算法，這反過來可能會限制他們設(shè)想的人工智能算法的范圍。 ，谷歌 DeepMind。 如果研究人員能夠更容易、更便宜地制造適應(yīng)新穎人工智能算法的芯片，可能會在該領(lǐng)域釋放更多創(chuàng)造力。

Temam 表示：“人工智能驅(qū)動的芯片設(shè)計(jì)的最新進(jìn)展與持續(xù)的探索相結(jié)合，表明我們有一天可能能夠?qū)崿F(xiàn)芯片設(shè)計(jì)的自動化，最終帶來生產(chǎn)力的大幅提升，從而改變整個行業(yè)。”