騰訊云：服務(wù)器資源池化技術(shù)發(fā)展趨勢(shì)

海量數(shù)據(jù)正以前所未有的增長趨勢(shì)沖擊著整個(gè)數(shù)據(jù)中心行業(yè)，數(shù)據(jù)中心建設(shè)者們不得不以一種新的思考方式去重新審視IT系統(tǒng)架構(gòu)。服務(wù)器作為數(shù)據(jù)中心的核心部件之一，為了適應(yīng)未來大規(guī)模業(yè)務(wù)增長的需求，也需要對(duì)其架構(gòu)進(jìn)行優(yōu)化和重構(gòu)。

服務(wù)器的硬件重構(gòu)關(guān)乎大規(guī)模數(shù)據(jù)中心的效率和成本問題，目標(biāo)是降低服務(wù)器硬件購置成本、提高服務(wù)器硬件資源的利用率、降低服務(wù)器運(yùn)維成本，降低綜合TCO。

騰訊作為服務(wù)器"天蝎標(biāo)準(zhǔn)"的引領(lǐng)者，一直在服務(wù)器領(lǐng)域深耕細(xì)作，精細(xì)化運(yùn)營。尤其在新技術(shù)領(lǐng)域敢為人先，那么對(duì)于服務(wù)器資源池化技術(shù)，騰訊又是怎么看怎么做的呢？請(qǐng)跟隨小編去一步步探討。

WHY服務(wù)器資源池化？

騰訊的現(xiàn)役服務(wù)器超過數(shù)十萬臺(tái)，其中傳統(tǒng)的機(jī)架式服務(wù)器占比超過90%。傳統(tǒng)的機(jī)架式服務(wù)器計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源配比較為均衡，具有很好的通用性，是比較典型的"One size fits all"方案。所以，在騰訊十多年服務(wù)器發(fā)展歷程中，機(jī)架式服務(wù)器承擔(dān)著非常重要的奠基石作用。但是，隨著騰訊的單體業(yè)務(wù)的規(guī)模膨脹，傳統(tǒng)機(jī)架式服務(wù)器在應(yīng)對(duì)大規(guī)模業(yè)務(wù)模型時(shí)，顯露出些絲疲態(tài)，在運(yùn)行某一種資源密集型的應(yīng)用，效率不夠高，還影響密度。譬如：

計(jì)算密集型應(yīng)用，空著的內(nèi)存插槽、驅(qū)動(dòng)器倉、擴(kuò)展槽位都影響計(jì)算密度；

內(nèi)存密集型應(yīng)用，驅(qū)動(dòng)器倉和擴(kuò)展槽位可能是浪費(fèi)空間；

存儲(chǔ)密集型應(yīng)用，CPU 和內(nèi)存的設(shè)計(jì)配置過高了……

為此，我們付出的代價(jià)是：定制不同型號(hào)的服務(wù)器。目前騰訊現(xiàn)役機(jī)型超過百種，新采購機(jī)型超過數(shù)十種。服務(wù)類型的增加，不僅給服務(wù)器的資源管理帶來了困難，也給服務(wù)器的運(yùn)營增加了很多困難和成本。

傳統(tǒng)機(jī)架式服務(wù)器應(yīng)對(duì)大規(guī)模數(shù)據(jù)中心暴露出來的問題，不僅僅是騰訊一家，業(yè)界很多互聯(lián)網(wǎng)企業(yè)、云服務(wù)提供商都面臨著這個(gè)問題。數(shù)據(jù)中心的負(fù)責(zé)是多樣性的，下圖很形象的展示了數(shù)據(jù)中心不同負(fù)載對(duì)CPU、MEM、IO的需求：

數(shù)據(jù)中心工作負(fù)載的多樣性，橫軸是I/O 密集程度，縱軸是CPU 和內(nèi)存密集程度，可見一個(gè)計(jì)算和存儲(chǔ)等資源配比相對(duì)均衡的系統(tǒng)，是很難做到對(duì)多種不同應(yīng)用優(yōu)化的。

另外，不同類型資源之間也存在生命周期不同步的問題。譬如，CPU 是發(fā)展速度最快的，每兩三年就性能翻倍，然而存儲(chǔ)的技術(shù)發(fā)展相對(duì)緩慢，從而會(huì)造成CPU性能和功耗的浪費(fèi)。

服務(wù)器資源池化技術(shù)，除了能夠帶來靈活、彈性的資源部署，提高資源利用率這個(gè)優(yōu)勢(shì)，還能夠更有效的提高服務(wù)器的故障修復(fù)能力，提升服務(wù)器運(yùn)營效率。綜合騰訊十多年的運(yùn)營數(shù)據(jù)，硬盤是故障率最高的部件之一，在實(shí)現(xiàn)存儲(chǔ)池化技術(shù)后，多盤存儲(chǔ)資源池為單體硬盤提供了很好的冗余設(shè)計(jì)能力。當(dāng)單個(gè)硬盤出現(xiàn)故障后，可以及時(shí)使用其他硬盤資源進(jìn)行無損恢復(fù)，無需立即現(xiàn)場(chǎng)更換硬盤。

誰在研究服務(wù)器資源池化？

為了解決這個(gè)問題，業(yè)界以Intel、Google為首的多家公司著手研究新型的服務(wù)器架構(gòu)。

Intel提出了RSA（Rack Scale Architecture）架構(gòu)、Google攜手伯克利大學(xué)提出了WSC（Warehouse Scale Computer）的概念。Intel的RSA架構(gòu)已經(jīng)有了清晰的架構(gòu)設(shè)計(jì)和路標(biāo)，目前原型機(jī)已經(jīng)面世。而Google的WSC仍在概念階段，只有簡(jiǎn)單的時(shí)間表，2020年。

服務(wù)器資源池化的挑戰(zhàn)？

在這里，我們以Intel的RSA為范例，簡(jiǎn)單介紹一下服務(wù)器資源池化技術(shù)。用一句形象的話來比喻RSA：Rack As a Server，即一個(gè)機(jī)柜就像是一臺(tái)大型服務(wù)器。Intel RSA(Rack Scale Architecture) 架構(gòu)提供了一種機(jī)架重構(gòu)的方案，其思想是將幾種重要的資源池化：CPU 池、內(nèi)存池、存儲(chǔ)池，池化的RSA 模型可以很方便地進(jìn)行管理和擴(kuò)展，并降低運(yùn)行維護(hù)成本。業(yè)務(wù)軟件或者OS的視角看到的還是一臺(tái)傳統(tǒng)的服務(wù)器，有CPU、內(nèi)存、硬盤、網(wǎng)卡等，如下圖所示：

服務(wù)器重構(gòu)并資源池化后，面臨的最大的挑戰(zhàn)就是，挑戰(zhàn)一：互連與時(shí)延（拓?fù)浣Y(jié)構(gòu)與接口）；挑戰(zhàn)二：配置與管理（協(xié)議與監(jiān)控）。

挑戰(zhàn)一：互連與時(shí)延。資源池之間的網(wǎng)絡(luò)互連，在鏈路層協(xié)議上，可以有很多種，Intel RSA采用的是以太網(wǎng)，行業(yè)上還有其他公司采用PCIe、SAS、Fabric等。不同的網(wǎng)絡(luò)互連協(xié)議，各具優(yōu)缺點(diǎn)，我們也期待著各種技術(shù)的探索成果。但是在物理層上，各家的觀點(diǎn)殊途同歸：硅光技術(shù)。硅光技術(shù)不僅繼承了光纖傳輸?shù)母咚?、低時(shí)延的特點(diǎn)，同時(shí)也大幅提升了接口密度。

挑戰(zhàn)二：配置與管理。服務(wù)器的部件資源池化后，需要對(duì)部件資源進(jìn)行發(fā)現(xiàn)、記錄、分配、回收，以及對(duì)邏輯服務(wù)器進(jìn)行組裝、卸載等，需要定義一套新的管理軟件和協(xié)議。目前Intel定義了一套R(shí)SA管理軟件，提供對(duì)服務(wù)器資源池的發(fā)現(xiàn)、配置和管理。

RSA管理軟件不僅僅實(shí)現(xiàn)對(duì)內(nèi)部池化資源的配置管理，同樣對(duì)上提供管理接口，對(duì)接OpenStack或VMware等管理軟件。服務(wù)器資源池化后，產(chǎn)生了大量的配置管理的數(shù)據(jù)，傳統(tǒng)使用I2C總線的IPMI接口和協(xié)議，由于傳輸速率低、協(xié)議承載信息量小，無法滿足資源池化的配置管理需求。此前，Intel聯(lián)合HP、Dell建立了一套新的數(shù)據(jù)中心管理軟件協(xié)議Redfish，也被Intel導(dǎo)入RSA軟件架構(gòu)，用于優(yōu)化資源池化管理。

業(yè)務(wù)軟件的同事可能比較關(guān)心，服務(wù)器資源池化后，對(duì)業(yè)務(wù)軟件會(huì)有什么影響嗎？答案是，不會(huì)。服務(wù)器資源池化，是從硬件角度對(duì)服務(wù)器硬件資源進(jìn)行優(yōu)化重構(gòu)；從軟件層面來看，是透明的。創(chuàng)建了邏輯服務(wù)器后，軟件和OS看到的與傳統(tǒng)服務(wù)器的硬件部件沒有區(qū)別。

服務(wù)器資源池化能力如何助力云服務(wù)？

目前虛擬化技術(shù)和云服務(wù)都是基于虛擬化技術(shù)，將單個(gè)服務(wù)器硬件虛擬成多個(gè)虛擬機(jī)VM，其目的也是在于提高服務(wù)器資源的利用率。但是，由于單個(gè)服務(wù)器的CPU、內(nèi)存、硬盤資源顆粒度較小，因此在虛擬化應(yīng)用中，經(jīng)常出現(xiàn)資源配置空洞，要么是CPU核數(shù)沒有分配完，要么是內(nèi)存沒有分配完，更多的情況是硬盤容量存在大量空閑。

而服務(wù)器資源池化可以更好的解決上述問題。據(jù)了解，現(xiàn)在騰訊云的虛擬化服務(wù)是一虛多的能力，而未來將借助服務(wù)器資源池化技術(shù)逐步實(shí)現(xiàn)多虛多的能力。

這樣一來，騰訊云通過軟件層面提供的虛擬化服務(wù)，同時(shí)利用服務(wù)器資源池化在硬件層面提供的虛擬化能力，能夠?yàn)橛脩籼峁└屿`活的云服務(wù)。服務(wù)器資源池化后，創(chuàng)建出來的邏輯服務(wù)器上，可以繼續(xù)運(yùn)行虛擬化和云服務(wù)器軟件，再創(chuàng)建出虛擬機(jī)給用戶使用。服務(wù)器資源池化后，可以進(jìn)一步減少云服務(wù)產(chǎn)生的資源配置空洞，進(jìn)一步提高硬件資源的利用率，減少TCO成本。

騰訊目前在服務(wù)器資源池化上的研究進(jìn)展

2014年騰訊服務(wù)器平臺(tái)中心基于資源池化的概念，進(jìn)行了存儲(chǔ)池化的技術(shù)預(yù)研和POC驗(yàn)證。使用現(xiàn)有的傳統(tǒng)機(jī)架服務(wù)器，搭建了一套存儲(chǔ)池化的簡(jiǎn)易POC模型，如下圖所示：

將20臺(tái)騰訊的B/C類服務(wù)器去除硬盤后，組成計(jì)算資源池，使用1臺(tái)TSx存儲(chǔ)服務(wù)器作為存儲(chǔ)資源池，然后基于萬兆網(wǎng)絡(luò)完成存儲(chǔ)池與計(jì)算池的互連。資源配置方面，將存儲(chǔ)池的硬盤劃分成20個(gè)LUN，用于分配給20個(gè)Bx/Cx計(jì)算節(jié)點(diǎn)的啟動(dòng)盤。

實(shí)驗(yàn)中，騰訊實(shí)現(xiàn)了20臺(tái)邏輯服務(wù)器的組裝，實(shí)現(xiàn)了服務(wù)器的批量自動(dòng)部署、遠(yuǎn)程網(wǎng)絡(luò)啟動(dòng)、邏輯服務(wù)器復(fù)位后自組裝啟動(dòng)等功能，證實(shí)了啟動(dòng)盤存儲(chǔ)池化的可行性設(shè)計(jì)。性能數(shù)據(jù)方面，通過多次測(cè)試和數(shù)據(jù)捕捉，發(fā)現(xiàn)單臺(tái)TSx的磁盤性能基本能夠滿足20臺(tái)Bx/Cx的同時(shí)啟動(dòng)的數(shù)據(jù)讀取需求；網(wǎng)絡(luò)端口的流量上，10GE網(wǎng)卡剛剛能夠滿足20臺(tái)Bx/Cx的數(shù)據(jù)吞吐量要求，而且網(wǎng)絡(luò)吞吐量與啟動(dòng)節(jié)點(diǎn)數(shù)成正比，如下圖：

整體數(shù)據(jù)表明，存儲(chǔ)池化技術(shù)是可以滿足多計(jì)算節(jié)點(diǎn)共享啟動(dòng)盤的需求的。這為服務(wù)器彈性部署和擴(kuò)展提供了強(qiáng)有力的數(shù)據(jù)支撐。為騰訊下一步在服務(wù)器資源池化的研究奠定了堅(jiān)實(shí)的基礎(chǔ)。

前文也提到過資源池化在故障運(yùn)維上帶來的優(yōu)勢(shì)，為此，騰訊在2014年的POC驗(yàn)證中，也設(shè)計(jì)并驗(yàn)證了單體硬盤故障的無損恢復(fù)功能。

在POC設(shè)計(jì)上，存儲(chǔ)池采用全局RAID設(shè)計(jì)，當(dāng)單個(gè)物理硬件出現(xiàn)故障時(shí)，不影響業(yè)務(wù)使用。單個(gè)資源的故障可在線使用備用資源實(shí)時(shí)無損修復(fù)，無需人工立即到現(xiàn)場(chǎng)進(jìn)行磁盤更換修復(fù)。

綜述

服務(wù)器資源池化技術(shù)在靈活彈性部署、故障冗余能力、降低TCO等方面都具備優(yōu)勢(shì)，但是在技術(shù)細(xì)節(jié)上還存在很多疑問有待探索。騰訊正持續(xù)跟進(jìn)行業(yè)最新的資源池化技術(shù)動(dòng)態(tài)，保持與合作伙伴的密切合作，設(shè)計(jì)T-Rack3.0，并把T-Rack3.0（Tencent Rack3.0）中標(biāo)準(zhǔn)化的、共性的設(shè)計(jì)開放到天蝎3.0標(biāo)準(zhǔn)中，優(yōu)化行業(yè)整體實(shí)力。

相信未來騰訊在云計(jì)算、大數(shù)據(jù)領(lǐng)域會(huì)給整個(gè)行業(yè)帶來更具競(jìng)爭(zhēng)力的服務(wù)器解決方案。