毋懼炎炎高溫：OCP如何應(yīng)對(duì)下一代數(shù)據(jù)中心的散熱設(shè)計(jì)挑戰(zhàn)

隨著數(shù)據(jù)密集應(yīng)用不斷增長(zhǎng)，超大規(guī)模數(shù)據(jù)中心的工作負(fù)荷日益繁重。數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量顯著增加，促使架構(gòu)師開始尋找新方法以實(shí)現(xiàn)更高的數(shù)據(jù)速率和吞吐量。

目前， 最先進(jìn)的網(wǎng)絡(luò)適配器(NIC) 達(dá)到每端口200 G 速率。然而，為了滿足數(shù)據(jù)中心日益增長(zhǎng)的需求，業(yè)界正朝向使用400 G NIC 方向發(fā)展，但前提是相關(guān)的支持技術(shù)需要同時(shí)進(jìn)步，而這絕非易事。Molex（莫仕）深入探討伴隨這項(xiàng)轉(zhuǎn)變而來(lái)的散熱挑戰(zhàn)，以及我們的合作工作小組解決這些難題的獨(dú)特方法。

400G運(yùn)作的散熱挑戰(zhàn)

下一代數(shù)據(jù)中心會(huì)過(guò)渡至400G 網(wǎng)絡(luò)適配器，因而面臨各種散熱方面的難題。

我們面對(duì)的第一項(xiàng)挑戰(zhàn)是更高的數(shù)據(jù)速率會(huì)消耗更多的功率。通過(guò)廣泛的研究、試驗(yàn)和仿真，我們發(fā)現(xiàn)數(shù)據(jù)速率和熱量產(chǎn)生之間的關(guān)系大致是線性的，其中數(shù)據(jù)速率提高一倍，將使得系統(tǒng)發(fā)熱量增加兩倍以上。結(jié)論是什么？那就是網(wǎng)絡(luò)適配器速率從200 G 轉(zhuǎn)變成400 G后，系統(tǒng)熱量將會(huì)大幅增加。

第二項(xiàng)挑戰(zhàn)則在于需要可支持400 G NIC 的基礎(chǔ)設(shè)施。與使用無(wú)源直接連接電纜(DAC) 的200 G NIC 不同，有時(shí)400 G NIC可能需要使用大功率有源光纜(AOC)來(lái)支持高數(shù)據(jù)速率。這些大功率AOC 的功耗可高達(dá)8W，會(huì)將自身的熱量導(dǎo)入系統(tǒng)，再加上以高速率運(yùn)送數(shù)據(jù)，使得溫度不斷升高。

質(zhì)疑基礎(chǔ)設(shè)施

這些迫在眉睫的散熱挑戰(zhàn)，使得我們對(duì)目前NIC 環(huán)境基礎(chǔ)架構(gòu)中某些零組件的可行性產(chǎn)生懷疑。我們與英偉達(dá)(NVIDIA) 和Meta 兩家公司合作，更加深入地研究這個(gè)難題。

一項(xiàng)研究重點(diǎn)是外形尺寸。具體而言，我們調(diào)研了使用OCP NIC 3.0 業(yè)界標(biāo)準(zhǔn)小型光纖連接頭(small form factor，SFF) 產(chǎn)品的可行性，看看它能否匹敵早前提出的TSFF(tall SFF)。眾所周知，TSFF 可以提供更多空間，因此能實(shí)現(xiàn)更優(yōu)異的I/O 散熱解決方案。在理想情況，系統(tǒng)架構(gòu)師可以在可能的情況下繼續(xù)采用SFF。真正的問(wèn)題在于，SFF 是否能為400 G NIC 提供可行的解決方案？或者我們是否需要轉(zhuǎn)而將TSFF 定為業(yè)界標(biāo)準(zhǔn)？這個(gè)問(wèn)題很難給予直接的答復(fù)，因?yàn)橛袔讉€(gè)變量可能會(huì)對(duì)結(jié)論有所影響。出于這個(gè)原因，我們的研究工作考慮了許多可能顯著影響散熱性能的因素，包括以下幾個(gè)方面。

●   外形尺寸：TSFF 對(duì)比SFF。

●   NIC ASIC 功率限制( 僅限使用DAC 電纜)。

●   模塊類型：QSFP-DD Type 1 對(duì)比Type 2 A。

●   監(jiān)測(cè)位置點(diǎn)：機(jī)箱后部上方的平均溫度、散熱器

底座溫度和前端溫度。

●   測(cè)試裝置類型︰有/ 無(wú)測(cè)試裝置。

●   冷信道對(duì)比熱信道。

模擬試驗(yàn)的設(shè)置與假設(shè)

每一攝氏度溫度的變化，都對(duì)結(jié)論有影響。由于涉及到可行性，因此有必要確保模擬試驗(yàn)反映著現(xiàn)實(shí)且合理的使用狀況。

對(duì)此，我們的模擬試驗(yàn)同時(shí)使用了TSFF 和SFF 兩種外形尺寸的OCP NIC 3.0 網(wǎng)絡(luò)適配器來(lái)建立模型。英偉達(dá)公司慷慨地為研究提供了進(jìn)行模擬試驗(yàn)的ASIC 原型設(shè)計(jì)散熱模型ConnectX-6 DX。為了進(jìn)行模擬試驗(yàn)，我們假設(shè)功率上限為23 W，并根據(jù)配備標(biāo)準(zhǔn)鋁制散熱器的裝置建立了模型。

對(duì)于QSFP-DD 類型模塊，我們使用了常態(tài)功耗為10.2 W 的多信道散熱模型。與ASIC 原型設(shè)計(jì)相似，我們選擇為QSFP-DD 模型配備了標(biāo)準(zhǔn)鋁制散熱器，使得覆蓋的受熱表面積最大化，但不采用任何先進(jìn)的冷卻技術(shù)或材料，目的是了解前面所強(qiáng)調(diào)的變量之間的相對(duì)影響。

對(duì)于模擬試驗(yàn)的環(huán)境，我們同時(shí)測(cè)試了熱信道和冷信道兩種環(huán)境。熱信道的環(huán)境溫度為55°C，氣流速度范圍為200 至1 000 LFM( 每分鐘線性英尺)，氣流方向從后至前。所有這些都符合OCP 3.0 技術(shù)規(guī)范。另一個(gè)不同環(huán)境是冷信道，模型環(huán)境溫度為35°C，氣流速度范圍為200 到600 LFM，氣流方向從前至后。如圖1 所示，我們的模擬實(shí)驗(yàn)使用了符合英偉達(dá)OCP NIC 3.0 規(guī)范的測(cè)試裝置，包括安裝在測(cè)試盒內(nèi)的兩個(gè)相同的網(wǎng)絡(luò)適配器。

圖1 在模擬測(cè)試中所使用的測(cè)試裝置和模型設(shè)置

調(diào)研結(jié)果：外形尺寸的影響

通過(guò)模擬試驗(yàn)結(jié)果，我們了解到數(shù)個(gè)邊界條件和變量如何對(duì)散熱性能產(chǎn)生了非零影響( 即是超過(guò)幾攝氏度)。

在調(diào)研中，第一個(gè)值得注意的結(jié)果是，外形尺寸對(duì)QSFP-DD 模型的散熱性能造成了重要的影響。如圖2所示，我們發(fā)現(xiàn)TSFF 的散熱性能明顯優(yōu)于SFF，尤其是在氣流速度較低的時(shí)候。在這種情況下，散熱性能提升了多達(dá)6 C ° 。盡管這個(gè)結(jié)果并不令人驚訝，但6°C 的改進(jìn)幅度確實(shí)很突出。

同樣地，我們的研究結(jié)果顯示，在熱信道應(yīng)用中使用TSFF 尺寸時(shí)，ASIC 原型設(shè)計(jì)的散熱性能提高了10°C之多。另外，關(guān)于NIC ASIC原型設(shè)計(jì)的功率限制參數(shù)( 無(wú)源DAC 應(yīng)用)，與在熱信道條件下使用SFF相比，采用TSFF 的模塊功率限制增加了約2.5 W。

圖2 我們?cè)谀M試驗(yàn)中發(fā)現(xiàn)TSFF的散熱性能明顯優(yōu)于SFF

調(diào)研結(jié)果︰還須考慮其他變量

除了外形尺寸，我們的調(diào)研還深入了解模塊類型和監(jiān)測(cè)位置點(diǎn)對(duì)于散熱結(jié)果的影響。在比較兩款業(yè)界標(biāo)準(zhǔn)模塊時(shí)，我們發(fā)現(xiàn)QSFP-DD Type 2 A 模塊具有出色的散熱性能，改進(jìn)了大約4 C ° 。這項(xiàng)性能改進(jìn)的主要原因是Type 2A 模塊本身前端有一個(gè)外部整合散熱器。同樣地，這個(gè)結(jié)果并不令人驚訝，但非常突出。

最后，我們發(fā)現(xiàn)不同的監(jiān)測(cè)位置點(diǎn)( 也就是模塊上的探測(cè)點(diǎn)) 之間存在溫度偏差。例如，仿真試驗(yàn)顯示，散熱器底座的監(jiān)測(cè)溫度相比前端的監(jiān)測(cè)溫度降低5 C ° 。如圖3 所示，在量化NIC 模塊的熱性能時(shí)，監(jiān)測(cè)位置點(diǎn)顯然是不可忽視的考慮因素。

圖3 所使用的監(jiān)測(cè)位置點(diǎn)對(duì)散熱結(jié)果有重大影響

調(diào)研結(jié)論

我們的調(diào)研深入了解了幾個(gè)特定變量和邊界條件對(duì)散熱性能的影響，但結(jié)果并不是主要的結(jié)論。相比發(fā)現(xiàn)哪些設(shè)置“合理呈現(xiàn)真實(shí)環(huán)境”而言，更重要的是，這項(xiàng)研究表明業(yè)界迫切需要就這些變量和邊界條件達(dá)成共識(shí)。

以模塊類型和監(jiān)測(cè)位置點(diǎn)等變量為示例，試驗(yàn)結(jié)果顯示， 模塊類型對(duì)于散熱性能會(huì)造成重大的影響( ? 4°C )，這個(gè)發(fā)現(xiàn)帶來(lái)一個(gè)問(wèn)題：除了排除SFF 尺寸在400G NIC 的可用性之外，是否可以保留SFF 尺寸但改用Type 2 A QSFP-DD 模塊呢？到目前為止，業(yè)界尚未達(dá)成共識(shí)。如要對(duì)SFF 的可行性得出真正的結(jié)論，首先要進(jìn)行定義并在業(yè)界達(dá)成共識(shí)。

同樣地，業(yè)界目前也沒有針對(duì)監(jiān)測(cè)位置點(diǎn)達(dá)成一致的標(biāo)準(zhǔn)。調(diào)研顯示，監(jiān)測(cè)散熱性能的位置點(diǎn)會(huì)對(duì)仿真試驗(yàn)結(jié)果產(chǎn)生重大影響，差距甚至可高達(dá)5 C ° 。如果我們不能就監(jiān)測(cè)位置點(diǎn)達(dá)成一致共識(shí)，那么所有的研究數(shù)據(jù)之間就缺乏一致性，這將導(dǎo)致無(wú)法真正地比較試驗(yàn)結(jié)果。這里再次強(qiáng)調(diào)，OCP 和整個(gè)業(yè)界要邁向400G NIC 發(fā)展，首先必須達(dá)成共識(shí)。

呼吁采取行動(dòng)

如何才能達(dá)成關(guān)鍵的業(yè)界共識(shí)？我們認(rèn)為模塊、I/O、NIC、系統(tǒng)和數(shù)據(jù)中心多個(gè)專業(yè)領(lǐng)域需要參與更多。這樣的合作將幫助OCP 更好地協(xié)調(diào)可實(shí)現(xiàn)的目標(biāo)，并確定最合適的環(huán)境來(lái)進(jìn)行這些可行性研究。而且，到目前為止的研究所涵蓋的范圍并不全面，我們還必須考慮其他的變量，包括采用QSFP-DD 有源電纜(AEC) 的可行性，預(yù)計(jì)其耗散熱量低于AOC。

如果業(yè)界發(fā)現(xiàn)SFF 無(wú)法適用于AOC，下一步可能考慮使用AEC。此外，如果發(fā)展采用TSFF 尺寸網(wǎng)絡(luò)適配器，就需要擴(kuò)展研究?jī)?nèi)容，涵蓋采用整合散熱器的八個(gè)SFF 可插拔模塊(OSFP-RHS) 端口的可行性。

業(yè)界多方合作對(duì)于達(dá)成散熱設(shè)計(jì)共識(shí)極為重要，而OCP 將會(huì)發(fā)揮關(guān)鍵的作用。Molex 莫仕非常榮幸能與Meta 和英偉達(dá)合作，針對(duì)相關(guān)的下一代解決方案進(jìn)行試驗(yàn)研究。我們?nèi)胶献髟O(shè)計(jì)測(cè)試方案，并仔細(xì)進(jìn)行模擬以量化每一個(gè)已定義變量的影響，然后共同分析結(jié)果，并且在數(shù)據(jù)中心需要援手時(shí)，尋求達(dá)到新性能水平的方法。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年3月期）