谷歌研究人員利用深度強化學(xué)習(xí)來優(yōu)化芯片設(shè)計

優(yōu)化芯片設(shè)計是提高當(dāng)今系統(tǒng)計算能力的關(guān)鍵。然而這是一個需要花費大量時間的過程，人們正在努力使其更有效率?？紤]到這一點，現(xiàn)在谷歌研究人員已經(jīng)將目光投向了機器學(xué)習(xí)，以幫助解決這個問題。

在最近發(fā)表在《arXiv上》的一篇題為 "通過深度強化學(xué)習(xí)進行芯片布局（Chip Placement with Deep Reinforcement Learning） "的論文中，谷歌的團隊將芯片布局問題定位為強化學(xué)習(xí)（RL）問題。然后，訓(xùn)練好的模型將芯片block（每個芯片block都是一個獨立的模塊，如內(nèi)存子系統(tǒng)、計算單元或控制邏輯系統(tǒng)）放置到芯片畫布上。

確定芯片block的布局，這個過程被稱為芯片布局規(guī)劃，是芯片設(shè)計過程中最復(fù)雜和最耗時的階段之一，它涉及到將網(wǎng)表放置到芯片畫布（2D網(wǎng)格）上，這樣可以使功率、性能和面積（PPA）最小化，同時遵守密度和布線擁塞方面的限制。盡管在這個問題上已經(jīng)進行了數(shù)十年的研究，但仍然需要人類專家進行數(shù)周的迭代，以產(chǎn)生滿足多方面設(shè)計標(biāo)準(zhǔn)的解決方案。

深度強化學(xué)習(xí)模型的輸入是芯片網(wǎng)表、當(dāng)前要放置節(jié)點的ID和一些網(wǎng)表元數(shù)據(jù)。網(wǎng)表圖和當(dāng)前節(jié)點通過一個基于邊緣的圖神經(jīng)網(wǎng)絡(luò)來生成部分放置的圖和候選節(jié)點的嵌入。

然后，前饋神經(jīng)網(wǎng)絡(luò)將其作為一個聚合輸入，輸出一個學(xué)習(xí)到的表示方法，該方法可以捕捉有用的特征，并幫助在所有可能的網(wǎng)格單元中生成一個概率分布，通過策略網(wǎng)絡(luò)可以將當(dāng)前節(jié)點放置在該節(jié)點上。整個過程可以用下面的GIF來封裝。左邊的芯片顯示了從頭進行的宏放置，右邊的芯片則是對一些初始放置進行微調(diào)。

通過這種設(shè)置，研究人員展示了效率和放置質(zhì)量的提高，并表示對于一個人類專家需要數(shù)周時間的過程，用他們訓(xùn)練有素的ML模型在6個小時內(nèi)完成。

我們的目標(biāo)是將PPA（功率、性能和面積）降到最低，我們表明，在6個小時內(nèi)，我們的方法可以產(chǎn)生出在現(xiàn)代加速器網(wǎng)表上的超人類或可比性的安置，而現(xiàn)有的基線需要人類專家在循環(huán)中進行，需要幾周的時間。

展望未來，該團隊認(rèn)為，其模型展示了一種強大的自動芯片布局方法，可以大大加快芯片設(shè)計的速度，這也是針對任何芯片布局問題，這將使芯片設(shè)計過程的早期階段也能實現(xiàn)協(xié)同優(yōu)化。