從Facebook學(xué)習(xí)八大數(shù)據(jù)中心管理經(jīng)驗

任何希望打造高效率數(shù)據(jù)中心或者進(jìn)一步為現(xiàn)有設(shè)施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻(xiàn)的系統(tǒng)優(yōu)化大餐。這些已經(jīng)公開的秘密沒準(zhǔn)會在大家自己的項目中發(fā)揮意料之外的指導(dǎo)作用。

Facebook作為開源開放計算項目的發(fā)起者，Facebook在數(shù)據(jù)中心的創(chuàng)建及運維方面可謂睥睨天下;而最近他們剛剛在項目中公開了其基礎(chǔ)設(shè)施運作效率如此之高的幾大訣竅。OCP為我們提供了詳細(xì)的資料，例如高效服務(wù)器組件的規(guī)格細(xì)節(jié)及運行準(zhǔn)則——從主板到機(jī)箱——以及硬件設(shè)施，包括供電及冷卻等信息。在俄勒岡州的Prineville聳立著Facebook堪稱藝術(shù)品的最新數(shù)據(jù)中心，而這一整套系統(tǒng)正是在這里為全世界范圍內(nèi)的用戶提供服務(wù)。

任何希望打造高效率數(shù)據(jù)中心或者進(jìn)一步為現(xiàn)有設(shè)施削減成本的企業(yè)，都不妨了解了解這套由Facebook與OCP攜手奉獻(xiàn)的系統(tǒng)優(yōu)化大餐。這些已經(jīng)公開的秘密沒準(zhǔn)會在大家自己的項目中發(fā)揮意料之外的指導(dǎo)作用。

英特爾主板

OCP此次曝光了兩套英特爾主板設(shè)計及管理規(guī)范，它們在性能全面優(yōu)化之余還采用了極為簡單的工程設(shè)計方案，這使得能源利用率大大提高。V 1.0是擁有18個DIMM槽位的雙插槽主板(采用英特爾至強5500或英特爾至強5600處理器)。而V 2.0則在一塊主板上采用兩塊下一代至強處理器，等于擁有了雙倍計算密度。為了節(jié)約能源，像PCIe通道、PCI通道、USB接口、SATA/SAS端口等很少用到的功能都被直接禁用。BIOS同樣經(jīng)過嚴(yán)格調(diào)整，以確保系統(tǒng)功耗始終處于最低水平。根據(jù)規(guī)范要求，BIOS還在設(shè)定方面做出了有針對性的修改，進(jìn)而使各組件以特定的速度及功率運轉(zhuǎn)。主板上配有五個熱敏元件，負(fù)責(zé)監(jiān)測CPU、PCH、輸入接口及輸出接口的溫度。若偵測到溫度過高，這些元件還會自動控制風(fēng)扇轉(zhuǎn)速，以確保冷卻效果與運行狀態(tài)相吻合。

AMD主板

與英特爾主板一樣，OCP公布了兩套AMD主板規(guī)范。V 1.0規(guī)范詳細(xì)描述了擁有24個DIMM槽位的雙插槽AMD皓龍6100系列主板。而V2.0則在單塊主板上配備了兩個AMD Magny-Cours或Interlagos CPU，借以提高計算密度。AMD與英特爾主板規(guī)范中有許多相同的內(nèi)容，包括針對供電優(yōu)化進(jìn)行的BIOS設(shè)置以及內(nèi)部熱敏元件等。兩套規(guī)范都為供電系統(tǒng)提供了直接接口，而且都配備了供電延遲機(jī)制——這就避免了同一臺服務(wù)器兩塊主板的用電量同時提高所導(dǎo)致的短時電流過強現(xiàn)象。經(jīng)過優(yōu)化的CPU VRM(即電壓調(diào)整模塊)則提高了電力轉(zhuǎn)換系統(tǒng)的運作效率。

94.5 %高效供電系統(tǒng)

OCP的450瓦供電系統(tǒng)通過優(yōu)化設(shè)計消除了電力轉(zhuǎn)換過程中造成的能源浪費量。它采用單電壓12.5伏直流供電、封閉式框架、自冷卻系統(tǒng)以及兩個輸入接口。其中主連接器用于接收277伏交流供電，這比傳統(tǒng)的208伏交流供電系統(tǒng)在執(zhí)行效率上更具優(yōu)勢。次要連接器則接收48伏直流供電，主要用于在停電時保持設(shè)施運轉(zhuǎn)?？偠灾?，這套新型供電系統(tǒng)的能源使用率高達(dá)94.5%。

簡潔明快、易于管理的服務(wù)器機(jī)箱

OCP機(jī)箱的主要設(shè)計特色在于簡潔明快，通過簡單的結(jié)構(gòu)為兩塊定制主板及一套供電系統(tǒng)提供運行環(huán)境。由于不需要螺絲的快速裝拆組件的廣泛應(yīng)用，數(shù)據(jù)中心管理員在主板安裝工作方面可謂得心應(yīng)手。硬盤驅(qū)動器與冷卻風(fēng)扇利用嵌入式滑軌實現(xiàn)位置變動。整個機(jī)箱高度為1.5U，充足的空間能夠容納體積更大的散熱片，進(jìn)而提高設(shè)備組件的散熱效率。這套設(shè)計還允許管理員在降低功耗的同時使用尺寸更大的風(fēng)扇。OCP設(shè)計的這套服務(wù)器重約6磅，甚至低于標(biāo)準(zhǔn)的1U服務(wù)器。而且根據(jù)OCP工程經(jīng)理Amir Michael的說法，管理人員可以在9分鐘之內(nèi)不借助任何工具完成服務(wù)器的裝配工作。

彈簧承載下的三層機(jī)架易于移動

聊完了OCP服務(wù)器，我們再來看看Facebook為其配備的三層機(jī)架。每套三層機(jī)架由相鄰的三個42U機(jī)架縱列構(gòu)成，每套三層機(jī)架都在頂端布置了兩臺交換機(jī)。三個機(jī)架縱列共能容納最多30臺服務(wù)器，也就是說三層機(jī)架的最大設(shè)備容納能力為90臺。

Facebook不希望額外的網(wǎng)絡(luò)端口帶來設(shè)計外的開支，“因此每套機(jī)架中所容納的服務(wù)器數(shù)量是經(jīng)過嚴(yán)格計算的，為的就是保證服務(wù)器與交換機(jī)端口之間保持一對一的匹配關(guān)系，”Michael解釋道。

與OCP服務(wù)器類似，機(jī)架在設(shè)計過程中也考慮到了實際應(yīng)用中的維護(hù)工作：一般來說大家都會利用滑軌裝置實現(xiàn)服務(wù)器的滑入滑出，但Facebook的管理人員選擇的是彈簧式柱塞方案。他們將服務(wù)器插入鈑金機(jī)架后，再利用這些柱塞加以固定。

電池柜幫助服務(wù)器高效備份

獨立電池柜由多塊電池構(gòu)成，能夠在交流電池發(fā)生中斷時為備份系統(tǒng)提供直流供電。通過由線纜與插座組成的簡單連接系統(tǒng)，每個電池柜與兩套三層機(jī)架相連。電池柜中包含一個交/直流整流器用以為電池充電，同時還配備了電池狀態(tài)監(jiān)測器。當(dāng)某塊電池需要被換掉時，監(jiān)測器會自動通過網(wǎng)絡(luò)發(fā)送提醒，這樣技術(shù)人員就能夠有針對性地解決問題。這套電池系統(tǒng)的執(zhí)行效率為99.5%，Michael告訴我們;而傳統(tǒng)的UPS系統(tǒng)則只能達(dá)到90%到95%。

電路系統(tǒng)：減少電力轉(zhuǎn)換過程中的浪費

Facebook為俄勒岡州Prineville數(shù)據(jù)中心采用的是OCP的高效電路系統(tǒng)。整個體系由一套48伏直流UPS系統(tǒng)與一套227伏交流服務(wù)器供電系統(tǒng)組合而成。它最大的特色在于將配電工作從變電站轉(zhuǎn)移到數(shù)據(jù)中心內(nèi)部，這樣一來整個轉(zhuǎn)換過程所造成的能源損耗大大降低。根據(jù)Facebook的測算，傳統(tǒng)電力轉(zhuǎn)換過程所損失掉的電量為21%到27%，而Prineville數(shù)據(jù)中心這套自給自足的方案則只帶來7.5%的能源損耗。

系統(tǒng)中還包括大量其它設(shè)計元素，例如備份用柴油發(fā)電機(jī)、電池監(jiān)控、服務(wù)器-電池備份以及能源利用率更高的LED照明系統(tǒng)。總體來說，這套系統(tǒng)的設(shè)計水平達(dá)到甚至超過了絕大多數(shù)現(xiàn)有執(zhí)行標(biāo)準(zhǔn)，包括國家電器設(shè)計規(guī)范、國家防火規(guī)范、電氣及電子工程師協(xié)會和保險商實驗室提出的規(guī)定等等。

卻系統(tǒng)大大超過ASHRAE(即美國采暖、制冷與空調(diào)工程師學(xué)會)的規(guī)定

Facebook的Prineville數(shù)據(jù)中心還展示了由OCP設(shè)計的高效冷卻系統(tǒng)，這套系統(tǒng)利用蒸發(fā)冷卻系統(tǒng)實現(xiàn)現(xiàn)場散熱，達(dá)成了100%全風(fēng)冷的綠色發(fā)展目標(biāo)。方案沒有借助任何制冷機(jī)或者冷卻塔設(shè)施。Facebook官方宣稱，這套方案通過無管道式頂棚引導(dǎo)模式根據(jù)現(xiàn)場溫、濕度情況進(jìn)行冷風(fēng)分配，其優(yōu)異的冷卻效果及令人贊嘆的低運轉(zhuǎn)功耗大大超過了ASHRAE的相關(guān)規(guī)定。