PCI Express與以太網(wǎng)：水火不容亦或和諧共處？

到現(xiàn)在為止，PCI Express(PCIe)和以太網(wǎng)之間的界限涇渭分明：PCIe用于芯片與芯片間互連;以太網(wǎng)作為一種系統(tǒng)與系統(tǒng)之間的連接技術(shù)。有很好的理由可以說明為什么該界限可以長(zhǎng)久維持。無論如何，這兩種技術(shù)一直是絕對(duì)共存的。雖然沒有跡象表明這一局面會(huì)徹底改變，但越來越多的情形顯示，在過去以太網(wǎng)獨(dú)大的領(lǐng)域，PCIe正越來越多地顯山露水，特別是在機(jī)架內(nèi)。PCIe真的在同以太網(wǎng)競(jìng)爭(zhēng)并能勝出嗎?

當(dāng)前的架構(gòu)

目前批量部署的傳統(tǒng)系統(tǒng)具有需要被支持的多種互連技術(shù)。如圖1所示，光纖通道和以太網(wǎng)是這些互連的兩個(gè)例子(顯然有更多種技術(shù)——如InfiniBand)。

圖1：目前使用的傳統(tǒng)I/O系統(tǒng)示例。

這種架構(gòu)有如下局限：

* 多種I/O互連技術(shù)共存

* 輸入/輸出端點(diǎn)利用率低

* 因?yàn)樾枰鄠€(gè)I/O端點(diǎn)，使系統(tǒng)的功耗和成本都增高

* 在建構(gòu)體系架構(gòu)時(shí)，I/O就固定了，靈活性差

* 管理軟件必須處理多個(gè)I/O協(xié)議，需占用處理能力

這種架構(gòu)的致命弱點(diǎn)就是使用了多種I/O互連技術(shù)，因?yàn)檫@增加了延遲時(shí)間、加大了成本、電路板所占空間和功耗。如果所有端點(diǎn)在這段時(shí)間都100%地工作，則這種架構(gòu)會(huì)比較有用。然而，更多的情況是，端點(diǎn)常常是空閑的，這意味著系統(tǒng)用戶要為這有限的利用率掏腰包。增加的延遲是因?yàn)檫@些系統(tǒng)內(nèi)處理器上本帶的PCIe接口要被轉(zhuǎn)換成多種協(xié)議。(設(shè)計(jì)師可以使用處理器自帶的PCIe，并融合使用PCIe的所有端點(diǎn)來縮短系統(tǒng)延遲。)

顯然，共享I/O端點(diǎn)(見圖2)是解決這些限制的有效辦法。該概念對(duì)系統(tǒng)設(shè)計(jì)師極具吸引力，因?yàn)樗档土顺杀竞凸摹⑻岣吡诵阅芎屠寐?、并?jiǎn)化了設(shè)計(jì)。因?yàn)楣蚕矶它c(diǎn)有如此多的優(yōu)勢(shì)，所以多個(gè)組織都在試圖這么做，如PCI-SIG發(fā)表了多條I/O虛擬化(Multi-Root I/O Virtualization——MR-IOV)規(guī)范來實(shí)現(xiàn)這一目標(biāo)。然而，由于技術(shù)和商業(yè)因素的綜合原因，即使MR-IOV已發(fā)布五年多，但作為規(guī)范一直沒被普遍接受。

圖2：將PCI Express用于共享I/O的一種傳統(tǒng)I/O系統(tǒng)

共享I/O的其它優(yōu)點(diǎn)有：

* 隨著I/O速度的提高，唯一需要的額外投資是更換I/O適配器卡。在早期部署中，當(dāng)在同一張卡上使用多種I/O技術(shù)時(shí)，設(shè)計(jì)師將不得不重新設(shè)計(jì)整個(gè)系統(tǒng)，而在共享I/O模式，當(dāng)需要升級(jí)一種特定I/O技術(shù)時(shí)，設(shè)計(jì)師可以簡(jiǎn)單地用新卡替舊卡。

* 由于多個(gè)I/O端點(diǎn)不需要存在于同一塊卡上，設(shè)計(jì)師或是可以制造更小的卡，以進(jìn)一步降低成本和功耗;或是保留現(xiàn)有的大小，利用拿去卡上多個(gè)I/O端點(diǎn)所省出的空間，通過增加多個(gè)CPU、加大內(nèi)存和/或增加其它端點(diǎn)的方式來差異化其產(chǎn)品。

* 設(shè)計(jì)師可以減少系統(tǒng)內(nèi)縱橫交錯(cuò)的電纜的數(shù)量。因?yàn)槎鄠€(gè)互連技術(shù)會(huì)需要不同的電纜，以支持協(xié)議的帶寬和開銷。然而，隨著設(shè)計(jì)的簡(jiǎn)化以及有限的I/O互連技術(shù)種類，系統(tǒng)正常工作所需的電纜數(shù)量也在減少，從而降低了設(shè)計(jì)復(fù)雜性、節(jié)約了成本。

在PCIe交換機(jī)內(nèi)實(shí)現(xiàn)共享I/O是實(shí)現(xiàn)如圖2所述架構(gòu)的關(guān)鍵推動(dòng)者。如前述，MR-IOV技術(shù)并沒被普遍接受，一種普遍看法是，它可能永遠(yuǎn)也不會(huì)。為此。單根I/O虛擬化(SR-IOV)技術(shù)出場(chǎng)救援，為提高性能，它用硬件實(shí)現(xiàn)了I/O虛擬化，并在一臺(tái)物理服務(wù)器上提供了基于硬件的安全和質(zhì)量服務(wù)(QoS)特性。SR-IOV還允許在同一臺(tái)服務(wù)器上運(yùn)行的多個(gè)客戶操作系統(tǒng)共享I/O設(shè)備。

2007年，PCI-SIG發(fā)布了SR-IOV規(guī)范，以吁求將單一物理PCIe設(shè)備劃分成多個(gè)虛擬功能，無論是網(wǎng)絡(luò)接口卡、主機(jī)總線適配器、還是主機(jī)信道適配器。然后，虛擬機(jī)可以使用任一虛擬功能，允許許多虛擬機(jī)及其客戶操作系統(tǒng)共享一臺(tái)物理設(shè)備。

這需要I/O廠商開發(fā)支持SR-IOV的設(shè)備。而SR-IOV提供了在不同應(yīng)用間，共享資源和I/O設(shè)備的最簡(jiǎn)單方法。目前的趨勢(shì)是，大部分終端廠商都支持SR-IOV，而越來越多的廠商將加入這一陣營(yíng)。

前面已列舉了PCIe的很多好處，錦上添花的是：在傳輸層，PCIe是種無損建構(gòu)。

PCIe規(guī)范定義了一種強(qiáng)健的流控制機(jī)制，以防止數(shù)據(jù)包丟失。在每一“跳”，會(huì)對(duì)每個(gè)PCIe數(shù)據(jù)進(jìn)行確認(rèn)，確保了傳輸成功。在傳輸錯(cuò)誤的情況下，該包被重新傳輸——該過程由硬件完成，無需上層協(xié)議的任何介入。因此，在基于PCIe的存儲(chǔ)系統(tǒng)中，幾乎不可能發(fā)生數(shù)據(jù)丟失和損壞。

通過允許所有的I/O適配器(萬(wàn)兆以太網(wǎng)、FC或其他)移出服務(wù)器，PCIe提供了一個(gè)簡(jiǎn)化方案。借助PCIe交換機(jī)架構(gòu)提供的虛擬化支持，每個(gè)適配器都可以被多個(gè)服務(wù)器共享，且同時(shí)為各服務(wù)器提供了一個(gè)邏輯適配器。服務(wù)器(或每個(gè)服務(wù)器上的虛擬機(jī))可繼續(xù)在共享適配器上直接訪問自己的硬件資源集。實(shí)現(xiàn)的這種虛擬化允許更好的可擴(kuò)展性，其中I/O和服務(wù)器可以彼此獨(dú)立地進(jìn)行調(diào)適。I/O虛擬化避免了服務(wù)器或I/O資源的過度配置，從而降低了成本和功耗。

表1提供了PCIe和10G以太網(wǎng)的高層次成本比較概覽;表2提供了兩者的高層次功耗比較概覽。

表1：PCIe和以太網(wǎng)所節(jié)省成本的比較

表2：PCIe和以太網(wǎng)的降耗對(duì)比。

價(jià)格估算基于廣泛的行業(yè)調(diào)查，對(duì)ToR(top-of-rack)交換機(jī)和適配器來說，還假設(shè)其價(jià)格會(huì)因批量、可用性和與供應(yīng)商的關(guān)系深淺有所不同。這兩個(gè)表為理解將PCIe用于IO共享(特別是通過拿掉了適配器)所帶來的成本和功耗方面的好處提供了框架。

當(dāng)然，這引發(fā)出這樣一個(gè)疑問：比較成本和功耗為什么按每秒千兆字節(jié)計(jì)算，而不以每個(gè)端口為依據(jù)?主要原因是：眼下，對(duì)數(shù)據(jù)中心供應(yīng)商來說，其收費(fèi)趨勢(shì)是按照所用帶寬而不是連接數(shù)來計(jì)算。PCIe提供的帶寬約是10G以太網(wǎng)的3倍，并允許供應(yīng)商用它獲利更多，若有人曾做過比較(用同樣多的端口數(shù)建構(gòu)相同的系統(tǒng))，會(huì)得出相同結(jié)論：PCIe會(huì)比以太網(wǎng)省50%以上。

總結(jié)

本文的重點(diǎn)是PCIe和以太網(wǎng)在成本和功耗方面的比較，當(dāng)然，也應(yīng)在兩者間比較其他技術(shù)指標(biāo)。但是，隨著主要處理器供應(yīng)商越來越多地在其處理器上內(nèi)置PCIe，這讓設(shè)計(jì)師從中受益匪淺。借助此新一代CPU，設(shè)計(jì)師可以直接將PCIe交換器與CPU連接，從而降低了延遲和元件成本。

PCIe技術(shù)已變得無處不在，該強(qiáng)大互連技術(shù)的第3代代表(每鏈路8Gbps)不僅僅能夠支持共享I/O和集群，還為系統(tǒng)設(shè)計(jì)師提供了一款無與倫比的工具，以使他們的設(shè)計(jì)優(yōu)化、高效。

為滿足共享IO和集群細(xì)分市場(chǎng)的需求，如PLX Technology等廠商在向市場(chǎng)推出高性能、靈活、低功耗、體積小的設(shè)備。這些交換機(jī)被雕琢為可適應(yīng)上面提到的全方位應(yīng)用。展望未來，速度可達(dá)每鏈路16Gbps的第四代PCIe只會(huì)有助于加快PCIe技術(shù)進(jìn)入新的細(xì)分市場(chǎng)并擴(kuò)大這些市場(chǎng)，同時(shí)用其進(jìn)行設(shè)計(jì)和使用也會(huì)更容易和經(jīng)濟(jì)。

多家全球廠商已經(jīng)采用了這種無處不在的互聯(lián)技術(shù)以支持I/O端點(diǎn)共享，因此，降低了系統(tǒng)成本和功耗要求，減小了維護(hù)和升級(jí)需求?；赑CI的共享I/O端點(diǎn)有望使價(jià)值數(shù)十億美元的數(shù)據(jù)中心市場(chǎng)脫胎換骨。