速度優(yōu)勢(shì)是HBM產(chǎn)品成功的關(guān)鍵

高帶寬存儲(chǔ)器（HBM, High Bandwidth Memory）是一種可以實(shí)現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，適用于超級(jí)計(jì)算機(jī)、AI加速器等對(duì)性能要求較高的計(jì)算系統(tǒng)。隨著計(jì)算技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)的應(yīng)用日漸廣泛，而機(jī)器學(xué)習(xí)的基礎(chǔ)是自20世紀(jì)80年代以來(lái)一直作為研究熱點(diǎn)的神經(jīng)網(wǎng)絡(luò)模型。作為速度最快的DRAM產(chǎn)品，HBM在克服計(jì)算技術(shù)的局限性方面發(fā)揮著關(guān)鍵的作用。

HBM的高帶寬離不開(kāi)各種基礎(chǔ)技術(shù)和先進(jìn)設(shè)計(jì)工藝的支持。由于HBM是在3D結(jié)構(gòu)中將一個(gè)邏輯die與4-16個(gè)DRAM die堆疊在一起，因此開(kāi)發(fā)過(guò)程極為復(fù)雜。鑒于技術(shù)上的復(fù)雜性，HBM是公認(rèn)最能夠展示廠商技術(shù)實(shí)力的旗艦產(chǎn)品。

從2015年推出HBM1到2021年10月開(kāi)發(fā)業(yè)界第一款HBM3 DRAM，SK海力士一直是HBM行業(yè)的領(lǐng)軍企業(yè)。SK海力士的HBM產(chǎn)品大獲成功的首要因素是產(chǎn)品特性，具體而言，產(chǎn)品設(shè)計(jì)在保證市場(chǎng)競(jìng)爭(zhēng)力方面發(fā)揮了重要作用。SK海力士HBM設(shè)計(jì)團(tuán)隊(duì)負(fù)責(zé)將產(chǎn)品規(guī)格落實(shí)到實(shí)際電路中，同時(shí)開(kāi)發(fā)配套的產(chǎn)品架構(gòu)和設(shè)計(jì)技術(shù)，以確保準(zhǔn)確實(shí)現(xiàn)產(chǎn)品功能、高性能和低功耗特性。得益于對(duì)產(chǎn)品的全面了解，HBM設(shè)計(jì)團(tuán)隊(duì)還在未來(lái)產(chǎn)品規(guī)劃及規(guī)格定義方面發(fā)揮著至關(guān)重要的作用。此外，HBM設(shè)計(jì)團(tuán)隊(duì)會(huì)聆聽(tīng)客戶反饋，并圍繞問(wèn)題展開(kāi)分析。

產(chǎn)品特性通常分為三類：性能、功耗和面積，即PPA (Power, Performance, Area)。本文著重探討如何通過(guò)卓越的設(shè)計(jì)工藝來(lái)提高產(chǎn)品性能或創(chuàng)造速度優(yōu)勢(shì)。如前所述，HBM支持高帶寬，而帶寬指的是在特定單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量。由于具有高帶寬的特性，HBM主要應(yīng)用于高性能計(jì)算場(chǎng)景。

通過(guò)機(jī)器學(xué)習(xí)解決偏移問(wèn)題

過(guò)去八年來(lái)，HBM產(chǎn)品帶寬增加了七倍，目前已接近1TB/秒的里程碑節(jié)點(diǎn)。鑒于同期內(nèi)其他產(chǎn)品的帶寬僅增加兩到三倍，我們有理由將HBM產(chǎn)品的快速發(fā)展歸功于存儲(chǔ)器制造商之間激烈的競(jìng)爭(zhēng)。

<圖1： ISSCC上發(fā)表的HBM相關(guān)文章的趨勢(shì)>

存儲(chǔ)器帶寬指單位時(shí)間內(nèi)可以傳輸?shù)臄?shù)據(jù)量，要想增加帶寬，最簡(jiǎn)單的方法是增加數(shù)據(jù)傳輸線路的數(shù)量。事實(shí)上，每個(gè)HBM由多達(dá)1024個(gè)數(shù)據(jù)引腳組成，HBM內(nèi)部的數(shù)據(jù)傳輸路徑隨著每一代產(chǎn)品的發(fā)展而顯著增長(zhǎng)，如圖2所示。

<圖2：各代HBM產(chǎn)品的數(shù)據(jù)傳輸路徑配置>

但是，芯片的尺寸限制了傳輸路徑的增加。因?yàn)樵黾拥牟粌H是數(shù)據(jù)傳輸線路，還有使用每條傳輸線路的傳輸/接收電路。此外，隨著傳輸線路的增加，等量匹配每條傳輸線路長(zhǎng)度和配置的難度加大，使得運(yùn)行速度無(wú)法提升。

傳輸線路之間的時(shí)序差異就是我們所說(shuō)的偏移。為了減少偏移，每條傳輸線路的總長(zhǎng)度和電子元件應(yīng)采用相似的設(shè)計(jì)。然而，HBM有數(shù)千條內(nèi)部傳輸線路，逐一匹配幾乎是不可能的任務(wù)。為此，SK海力士引入了機(jī)器學(xué)習(xí)。強(qiáng)化學(xué)習(xí)（Reinforcement learning）技術(shù)可以在每條傳輸線路上附加多余的傳輸路徑，無(wú)需工程師手動(dòng)作業(yè)，即可精確地優(yōu)化偏移問(wèn)題，由此減少整個(gè)傳輸路徑間的偏移。

<圖3：基于機(jī)器學(xué)習(xí)技術(shù)的信號(hào)線路優(yōu)化＞

圖3顯示了這一優(yōu)化過(guò)程。一些90度彎曲的線路具有不同的特性，因此必須通過(guò)增加紅色附加線的方式來(lái)減少偏移（Skew）。與初始的隨機(jī)解決方案（如圖3左側(cè)所示）相比，強(qiáng)化學(xué)習(xí)技術(shù)的使用可以帶來(lái)最優(yōu)結(jié)果（如右圖所示）。通過(guò)這種方法，偏移從100皮秒（100 ps）縮短至70皮秒（70 ps），降幅達(dá)30%。

通過(guò)PVT感知時(shí)序優(yōu)化來(lái)提高速度

即使偏移問(wèn)題得到優(yōu)化，各種信號(hào)之間相對(duì)時(shí)序關(guān)系的匹配仍然是一個(gè)難題。例如，每32個(gè)數(shù)據(jù)信號(hào)對(duì)應(yīng)一個(gè)時(shí)鐘信號(hào)（clock signal)*，如果需要由時(shí)鐘信號(hào)來(lái)控制數(shù)據(jù)信號(hào)，那么時(shí)鐘信號(hào)必須采用與數(shù)據(jù)信號(hào)不同的電路。電路配置的差異也會(huì)導(dǎo)致關(guān)系的變化，具體取決于工藝、電壓、溫度（PVT）的變化。無(wú)論何種情況下，時(shí)鐘都必須位于數(shù)據(jù)的特定時(shí)序部分。但是，隨著運(yùn)行速度的提升，時(shí)序部分會(huì)減少，由此增加了設(shè)計(jì)復(fù)雜度。

* 時(shí)鐘信號(hào)（clock signal）：在同步數(shù)字電路中，時(shí)鐘信號(hào)在高位和低位狀態(tài)之間振蕩，并且像節(jié)拍器一樣用于協(xié)調(diào)數(shù)字電路的動(dòng)作。

為了解決這一問(wèn)題，SK海力士采用PVT感知時(shí)序優(yōu)化技術(shù)來(lái)檢測(cè)HBM3中的PVT變化，以找到最佳時(shí)序。這項(xiàng)技術(shù)可以確定單元電路的哪一個(gè)分級(jí)與精確循環(huán)的外部時(shí)鐘輸入具有相同的周期，并基于該數(shù)據(jù)自動(dòng)優(yōu)化主時(shí)序裕量電路（timing margin circuit） 中的電路配置。如圖4所示，隨著PVT的變化，時(shí)鐘時(shí)序通常會(huì)將時(shí)鐘移動(dòng)到一側(cè)，而PVT感知時(shí)序優(yōu)化技術(shù)可以在任何情況下讓時(shí)鐘始終保持在中心位置，以此來(lái)提高速度。

<圖4：PVT感知時(shí)序優(yōu)化技術(shù)＞

為了增加作為HBM關(guān)鍵性能指標(biāo)的帶寬，SK海力士正在開(kāi)發(fā)一系列設(shè)計(jì)技術(shù)，包括數(shù)據(jù)路徑優(yōu)化、基于機(jī)器學(xué)習(xí)的信號(hào)線路優(yōu)化、PVT感知時(shí)序優(yōu)化技術(shù)以及全新工藝技術(shù)等?；A(chǔ)die與典型DRAM工藝的不同之處在于基礎(chǔ)die沒(méi)有單元，利用這一特性，我們正在開(kāi)發(fā)HBM優(yōu)化工藝技術(shù)以及用于3D堆棧的先進(jìn)封裝技術(shù)。

通過(guò)上述一系列努力，SK海力士實(shí)現(xiàn)了HBM的快速發(fā)展。然而，為了滿足客戶不斷增加的期望，打破現(xiàn)有框架進(jìn)行新技術(shù)開(kāi)發(fā)勢(shì)在必行。此外，SK海力士還在與HBM生態(tài)系統(tǒng)中的參與者（客戶、代工廠和IP公司等）通力合作，以提升生態(tài)系統(tǒng)等級(jí)。商業(yè)模式的轉(zhuǎn)變同樣是大勢(shì)所趨。作為HBM領(lǐng)軍企業(yè)，SK海力士將致力于在計(jì)算技術(shù)領(lǐng)域不斷取得進(jìn)步，全力實(shí)現(xiàn)HBM的長(zhǎng)期發(fā)展。

*樸明宰：SK海力士HBM設(shè)計(jì)團(tuán)隊(duì)project leader