數(shù)據(jù)中心的整體測試方案

1 引言

數(shù)據(jù)中心(Data Center)集中為各種企業(yè)業(yè)務(wù)提供數(shù)據(jù)，實(shí)現(xiàn)了IT系統(tǒng)整合和集中管理。這也導(dǎo)致數(shù)據(jù)中心規(guī)模越來越大，復(fù)雜度越來越高。為了建設(shè)集中扁平化，統(tǒng)一多種應(yīng)用的融合數(shù)據(jù)中心，未來數(shù)據(jù)中心建設(shè)將圍繞融合網(wǎng)絡(luò)和虛擬化展開，大量新技術(shù)應(yīng)用在數(shù)據(jù)中心中，如數(shù)據(jù)中心以太網(wǎng)，F(xiàn)ibre Channel Over Ethernet，虛擬化等。新技術(shù)的驗(yàn)證和性能評(píng)估是數(shù)據(jù)中心部署的第一步，在測試中需要把新舊組件結(jié)合起來，進(jìn)行集中的整體分析。思博倫通信推出業(yè)界第一個(gè)整體數(shù)據(jù)中心測試解決方案。本文從數(shù)據(jù)中心網(wǎng)絡(luò)基準(zhǔn)性能測試方法，數(shù)據(jù)中心以太網(wǎng)測試，F(xiàn)CoE測試，虛擬化測試等方面，對思博倫數(shù)據(jù)中心整體分析解決方案進(jìn)行論述。

2 基準(zhǔn)性能測試

基準(zhǔn)性能測試是數(shù)據(jù)中心設(shè)備最基本的測試項(xiàng)目。通信界長期以來形成了一系列測試標(biāo)準(zhǔn)，定義了基準(zhǔn)性能和基準(zhǔn)性能測試方法。這些標(biāo)準(zhǔn)對包括數(shù)據(jù)中心在內(nèi)的網(wǎng)絡(luò)設(shè)備和系統(tǒng)都非常有效。系列標(biāo)準(zhǔn)包括：RFC 1242/2544：網(wǎng)絡(luò)和網(wǎng)絡(luò)設(shè)備的基準(zhǔn)性能測試術(shù)語和測試方法學(xué)。RFC 2432/2889：以太網(wǎng)二層交換機(jī)基準(zhǔn)性能測試術(shù)語和測試方法學(xué)。RFC 2432/3918：組播基準(zhǔn)性能測試術(shù)語和測試方法學(xué)。RFC 2647/3511：防火墻基準(zhǔn)性能測試術(shù)語和測試方法學(xué)。其他對數(shù)據(jù)中心測試非常有效的測試標(biāo)準(zhǔn)，比如RFC 5180，定義了RFC2544在IPv6上擴(kuò)展，RFC 4814，定義偽隨機(jī)測試流量模式。RFC 4689，定義網(wǎng)絡(luò)層QoS測試術(shù)語。

Spirent TestCenter為上述基準(zhǔn)性能測試提供了標(biāo)準(zhǔn)自動(dòng)測試套件。在此基礎(chǔ)上，Spirent TestCenter提供了很多對數(shù)據(jù)中心有效的測試擴(kuò)展：

(1)基準(zhǔn)性能測試標(biāo)準(zhǔn)中定義的是固定幀長的測試。一般說來，設(shè)備對大幀的轉(zhuǎn)發(fā)性能優(yōu)于小幀。但現(xiàn)網(wǎng)中有各種幀長，所以有了Internet混合幀長(IMIX)的概念。在IMIX模型中，用戶可以根據(jù)應(yīng)用自定義不同幀長幀的比例關(guān)系(見圖1)。Spirent TestCenter還可以完成隨機(jī)幀長和IMIX的基準(zhǔn)性能測試。

圖1 RFC 3393 Jitter原理圖

(2)巨型幀(Jumbo Frame)基準(zhǔn)性能測試。傳統(tǒng)的以太網(wǎng)幀最大幀長是1518字節(jié)。而數(shù)據(jù)中心業(yè)務(wù)傳輸大塊數(shù)據(jù)，F(xiàn)ibre Channel幀最長為2112字節(jié)。為了避免FCoE分片帶來的額外開銷，數(shù)據(jù)中心以太網(wǎng)要求支持2.5kbyte的Jumbo Frame。Spirent TestCenter能夠支持最大16kbyte的巨型幀，支持Jumbo Frame的基準(zhǔn)性能測試。

(3)隨著實(shí)時(shí)業(yè)務(wù)的增加，一些能有效反映實(shí)時(shí)業(yè)務(wù)質(zhì)量的統(tǒng)計(jì)量被越來越重視。比如，抖動(dòng)，RFC3393和MEF10對抖動(dòng)提供了標(biāo)準(zhǔn)的定義：It’s defined as absolute value of difference between Latency A and Latency B。

Spirent TestCenter能在基準(zhǔn)性能測試的同時(shí)，測試出不同負(fù)載下的抖動(dòng)。

●數(shù)據(jù)中心網(wǎng)絡(luò)要求幀的順序傳遞。RFC4737/MEF10對幀的順序性提供了明確定義。Spirent TestCenter是目前惟一支持RFC 4737/MEF10幀的順序定義的測試儀表。
●在任意拓?fù)渲系幕鶞?zhǔn)性能測試。傳統(tǒng)測試中，基準(zhǔn)性能測試和協(xié)議測試往往是分開的，在進(jìn)行某項(xiàng)測試時(shí)，系統(tǒng)所有資源都在為這項(xiàng)測試服務(wù)，而現(xiàn)網(wǎng)中，協(xié)議和數(shù)據(jù)轉(zhuǎn)發(fā)是同時(shí)運(yùn)行的。Spirent TestCenter 把協(xié)議平面和數(shù)據(jù)轉(zhuǎn)發(fā)平面測試結(jié)合起來，能先建立協(xié)議平面拓?fù)?，然后在此拓?fù)渲线\(yùn)行基準(zhǔn)性能測試。比如，先在測試端口之間建立FCoE Session，然后在之上運(yùn)行FCoE數(shù)據(jù)的RFC 2544測試。

Spirent TestCenter能夠每端口產(chǎn)生32k條獨(dú)立測試流和實(shí)時(shí)分析64k條獨(dú)立的測試流，能夠在一個(gè)端口上仿真經(jīng)過RR調(diào)度，WRR調(diào)度和絕對優(yōu)先級(jí)調(diào)度的測試流量，能非常好地測試流量的優(yōu)先級(jí)區(qū)分功能和QoS能力。

Spirent TestCenter提供了業(yè)界最高的10ns測量精度，具備業(yè)界最優(yōu)的時(shí)延補(bǔ)償算法，其任何類型的端口，包括10/100/1000Mbit/s和10G接口在任何幀長和負(fù)載下的自環(huán)時(shí)延，都在0.3us以下。數(shù)據(jù)中心設(shè)備轉(zhuǎn)發(fā)時(shí)延都在us級(jí)別。Spirent TestCenter自有時(shí)延可以忽略，而且由于各種接口的自有時(shí)延一致，進(jìn)行不同類型接口之間性能測試，比如千兆和萬兆接口之間測試，不存在時(shí)延無法補(bǔ)償問題。由于數(shù)據(jù)中心設(shè)備的轉(zhuǎn)發(fā)時(shí)延和抖動(dòng)要求非常高，所以Spirent TestCenter的測試精度和時(shí)延補(bǔ)償算法對數(shù)據(jù)中心測試非常重要。

3 數(shù)據(jù)中心以太網(wǎng)和Fibre Channel over Ethernet

傳統(tǒng)的Fibre Channel技術(shù)廣泛應(yīng)用在存儲(chǔ)網(wǎng)絡(luò)(SANs)中。而以太網(wǎng)技術(shù)在網(wǎng)絡(luò)領(lǐng)域占據(jù)統(tǒng)治地位。企業(yè)的數(shù)據(jù)中心網(wǎng)絡(luò)中，可能會(huì)建若干網(wǎng)絡(luò)，其中以太網(wǎng)承載IP流量，F(xiàn)ibre Channel承載基于塊讀寫的SCSI流量，可能還會(huì)由InfiniBand來承載高速I/O。這造成了大量的線纜、能耗和費(fèi)用。把這些應(yīng)用融合到以太網(wǎng)上，建設(shè)統(tǒng)一融合的數(shù)據(jù)中心以太網(wǎng)(Data Center Ethernet，DCE)，能夠大幅減少線纜和能耗，大大降級(jí)運(yùn)維成本。數(shù)據(jù)中心以太網(wǎng)也稱為融合增強(qiáng)型以太網(wǎng)(Converged Enhanced Ethernet，CEE)。

3.1 數(shù)據(jù)中心以太網(wǎng)測試

在DCE/CEE中，F(xiàn)ibre Channel幀映射到以太網(wǎng)上來進(jìn)行承載。Fibre Channel提供流控機(jī)制，保證無丟包，并且對時(shí)延的增加/變化或者抖動(dòng)非常敏感。而傳統(tǒng)的以太網(wǎng)絡(luò)可以容忍一定的丟包和時(shí)延變化/抖動(dòng)。所以IEEE定義了一系列標(biāo)準(zhǔn)，規(guī)范DCE/CEE對于傳統(tǒng)以太網(wǎng)增強(qiáng)，主要包括：

●802.1Qbb Priority Flow Control(PFC)：802.1Qbb是基于優(yōu)先級(jí)的流控標(biāo)準(zhǔn)。在一條物理鏈路上，分成8個(gè)優(yōu)先級(jí)通道。一條鏈路上可以承載多種業(yè)務(wù)類型，包括FCoE和非FCoE的業(yè)務(wù)。當(dāng)發(fā)生擁塞時(shí)候，接收端可以在特定的優(yōu)先級(jí)通道上發(fā)送XOFF和XON幀，抑制或者繼續(xù)特定的業(yè)務(wù)，保證高優(yōu)先級(jí)或者時(shí)延敏感的業(yè)務(wù)的傳輸。圖2是802.1qbb的原理圖。

圖2 802.1Qbb原理

●802.1Qaz Enhanced Transmision Selection(ETS)：保證不同服務(wù)級(jí)別上的質(zhì)量。在DCE業(yè)務(wù)中，IPC是時(shí)延敏感的業(yè)務(wù)，SAN是對丟包敏感的業(yè)務(wù)，而IP業(yè)務(wù)是可以允許一定的丟包和時(shí)延。鏈路上的業(yè)務(wù)，可以分為若干優(yōu)先級(jí)組(Priority Group，PG)，并且定義每個(gè)PG的帶寬屬性。重要的業(yè)務(wù)，比如存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)被賦予高優(yōu)先級(jí)，保證帶寬。低優(yōu)先級(jí)業(yè)務(wù)只能在高優(yōu)先級(jí)業(yè)務(wù)帶寬不占用的情況下，才能使用分配帶寬之外的額外帶寬。圖3是ETS和PG的典型例子。

圖3 ETS和PG實(shí)例

●Data Center Bridge Exchange(DCBX)：IEEE LinkLayer Discovery Protocol(LLDP)的擴(kuò)展，可以在鏈路建立的時(shí)候交換兩端設(shè)備的能力參數(shù)，比如是否支持PFC，以及802.1Qaz Priority Group。

●其他相關(guān)標(biāo)準(zhǔn)：包括IEEE 802.1Qau端到端擁塞管理標(biāo)準(zhǔn)，為克服生成樹協(xié)議單路徑和收斂慢特點(diǎn)的Layer2 Multipathing(L2MP)協(xié)議等。

DCE/CEE測試，首先要完成前述的基準(zhǔn)性能測試，其次是傳統(tǒng)以太網(wǎng)的測試，如生成樹/多生成樹協(xié)議，VLAN，訪問控制列表(ACL)，路由協(xié)議等。此外，最重要的就是對上述以太網(wǎng)增強(qiáng)功能和性能進(jìn)行測試。Spirent TestCenter提供了全面的測試方案。

(1)ETS測試

Spirent TestCenter每端口可以支持產(chǎn)生32k條和實(shí)時(shí)分析64k調(diào)獨(dú)立的測試Stream，產(chǎn)生豐富的測試流量，驗(yàn)證ETS各Priority Group的帶寬分配、流量整形等功能。Spirent TestCenter能為每一優(yōu)先級(jí)和Priority Group提供基本帶寬以及其他高級(jí)統(tǒng)計(jì)功能，包括實(shí)時(shí)丟包，實(shí)時(shí)RFC 4737序列，實(shí)時(shí)RFC 3393 Jitter，誤碼率等，評(píng)估每一種Priority Group的流量特性。圖4是業(yè)務(wù)設(shè)置和結(jié)果顯示。

圖4 Spirent TestCenter ETS測試和測試結(jié)果

(2)PFC測試

PFC測試是要驗(yàn)證DCE設(shè)備在擁塞情況下對于PFC幀的發(fā)生和響應(yīng)情況。PFC XOFF幀中包含抑制流量的時(shí)間，以512bit時(shí)間為單位，稱為Pause Quanta，在10G速率下對應(yīng)51.2ns。Spirent TestCenter可以對每個(gè)優(yōu)先級(jí)的抑制時(shí)間和XOFF和XON幀的發(fā)送間隔和序列進(jìn)行用戶自定義。

Spirent TestCenter可以統(tǒng)計(jì)兩個(gè)PFC重要指標(biāo)：Pause持續(xù)時(shí)間和Pause響應(yīng)時(shí)間。Pause響應(yīng)時(shí)間是指從儀表發(fā)送XOFF幀，到收到這個(gè)優(yōu)先級(jí)上最后一個(gè)數(shù)據(jù)幀的時(shí)間。

Spirent TestCenter可以在多個(gè)優(yōu)先級(jí)上產(chǎn)生不同Pause Quanta的異步XON/XOFF序列，同時(shí)發(fā)送不同幀長的雙向測試流量，驗(yàn)證每條流的最大時(shí)延和PAUSE功能。一個(gè)典型的測試?yán)鐖D5所示。

圖5 真實(shí)PFC測試場景

在這個(gè)和真實(shí)網(wǎng)絡(luò)非常相似的測試場景中，一共有3級(jí)流量，分別是P1，P2和P3：

●Spirent TestCenter同時(shí)在P1，P2和P3上發(fā)送不同幀長的雙向流量。
●Spirent TestCenter同時(shí)在3個(gè)優(yōu)先級(jí)上發(fā)送Pause Quanta為65535的XOFF消息。
●150us時(shí)候，Spirent TestCenter先在P2上發(fā)送XON消息，結(jié)束P2優(yōu)先級(jí)上的流量抑制。
●200us時(shí)候，Spirent TestCenter在P1上發(fā)送XON消息。
●300us時(shí)候，Spirent TestCenter在P3上發(fā)送XON消息。
●600us時(shí)候(150+450)，在P2上發(fā)送XOFF，重復(fù)上述行為。
●700us時(shí)候，在P1上發(fā)送XOFF，重復(fù)上述行為。
●1000us時(shí)候，在P3上發(fā)送XOFF，重復(fù)上述行為。

經(jīng)過若干輪循環(huán)后，不同優(yōu)先級(jí)上流量異步，給被測設(shè)備造成很大的壓力。我們評(píng)估每條測試流的最大時(shí)延和Pause時(shí)間。當(dāng)具有幾十/上百個(gè)端口的設(shè)備同時(shí)做這類測試，將給設(shè)備帶來極大的壓力，能測出系統(tǒng)或者設(shè)備的性能極限。

3.2 FCoE測試

FCoE用以太網(wǎng)替換了Fibre Channel中的FC-0和FC-1，把Fibre Channel幀作為Layer 3協(xié)議直接封裝在以太網(wǎng)之上傳輸。圖6是FCoE的協(xié)議層次。FCoE要求以太網(wǎng)支持上述DCE擴(kuò)展特性。

圖6 FCoE的協(xié)議層次圖

2個(gè)Fibre Channel節(jié)點(diǎn)之間的典型通信過程包括：

●Link初始化。
●F_LOGI：完成交換機(jī)發(fā)現(xiàn)，N_Port和F_Port之間交換能力參數(shù)，節(jié)點(diǎn)FCID分配，初始化流控參數(shù)。
●P_LOGI：建立端到端的連接，交換PWWN，NWWN和協(xié)商操作參數(shù)。
●可選的PRLI：進(jìn)行端到端進(jìn)程級(jí)別的服務(wù)參數(shù)協(xié)商。

FCoE要求和傳統(tǒng)的FC Fabric無縫對接，所以FCoE必須透明支持所有Fibre Channel特性。FCoE分為2個(gè)部分：FC初始化協(xié)議(FC Initialization Protocol，F(xiàn)IP)和FCoE協(xié)議。

FIP協(xié)議完成Fabric發(fā)現(xiàn)和F_LOGI功能。FCoE協(xié)議包含P_LOGI，PRLI以及Fibre Channel幀的傳輸。圖7是FIP和FCoE的協(xié)議封裝圖。

圖7 FIP和FCoE協(xié)議封裝圖(上圖是FCoE協(xié)議封裝，下圖是FIP協(xié)議封裝)

基本的FCoE測試包括協(xié)議功能測試和性能測試，包括：FIP協(xié)議功能(Discovery，Login，Logout 等功能)；FCID和Ethernet MAC映射；FCoE Session之上的性能測試；FCoE和非FCoE混合性能測試。

Spirent TestCenter能夠仿真FC Initiator和Target。圖8是Spirent TestCenter進(jìn)行FCoE協(xié)議和性能測試的拓?fù)浣Y(jié)構(gòu)。

圖8 FCoE測試拓?fù)?/p>

Spirent TestCenter提供了完整的Fibre Channel測試功能，包括：基于狀態(tài)的真實(shí)FIP和FCoE協(xié)議仿真；FIP協(xié)議包括Discovery and FLOGI/FLOGO；支持SPMA，F(xiàn)PMA(Mac Address Assignment)；每端口仿真500個(gè)FCoE Host；FCoE拓?fù)渲系臄?shù)據(jù)平面性能測試，測試流量綁定；FPMA/SPMA分配的地址；靜態(tài)WWN分配；豐富的實(shí)時(shí)統(tǒng)計(jì)。

Spirent TestCenter為FCoE測試提供方便快捷的測試向?qū)?，幫助用戶快速完成?fù)雜的系統(tǒng)測試配置。測試向?qū)Ъ闪薖FC配置和集成的測試流量配置。

4 虛擬化和云計(jì)算測試

隨著數(shù)據(jù)中心物理服務(wù)器成倍增加，硬件成本高漲，所以整合是必然趨勢。通過整合，將多種業(yè)務(wù)集成在同一臺(tái)服務(wù)器上，減少服務(wù)器數(shù)量，有效降低服務(wù)器硬件成本和管理難度。

多種業(yè)務(wù)集成在一臺(tái)服務(wù)器上，如何保證資源的合理分配，如何保證安全是一個(gè)難題。虛擬化是解決這些問題的途徑。虛擬化指用多個(gè)物理實(shí)體創(chuàng)建一個(gè)邏輯實(shí)體，或者用一個(gè)物理實(shí)體創(chuàng)建多個(gè)邏輯實(shí)體。實(shí)體可以是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)或應(yīng)用資源。虛擬化的實(shí)質(zhì)就是將不同的業(yè)務(wù)和業(yè)務(wù)資源隔離開來，從而保證業(yè)務(wù)對于資源的要求。

虛擬化對擴(kuò)展性測試提出了很高的要求。新的虛擬化產(chǎn)品可以在一個(gè)物理服務(wù)器上支持64個(gè)或以上的虛擬化實(shí)例。一個(gè)數(shù)據(jù)中心可能會(huì)有成百的物理服務(wù)器，這將導(dǎo)致非常大的網(wǎng)絡(luò)流量。同時(shí)部署虛擬服務(wù)器，將導(dǎo)致額外的管理流量。比如VMware Vmotion產(chǎn)品，可以在數(shù)據(jù)中心中遷移虛擬服務(wù)器，這增強(qiáng)了實(shí)時(shí)性和可靠性，同時(shí)也產(chǎn)生了大量網(wǎng)絡(luò)流量。

隨著實(shí)體交換機(jī)的精簡和虛擬化，物理交換機(jī)也被一并整合到虛擬平臺(tái)。

以虛擬化技術(shù)為核心的云計(jì)算成為電信業(yè)，互聯(lián)網(wǎng)業(yè)和IT業(yè)的市場和技術(shù)熱點(diǎn)。“云”是一些可以自我維護(hù)和管理的虛擬計(jì)算資源，通常為一些大型服務(wù)器集群。云計(jì)算通過虛擬平臺(tái)將所有計(jì)算資源集中起來，并由軟件實(shí)現(xiàn)自動(dòng)管理，無需人為參與。這使應(yīng)用提供者無需關(guān)注繁瑣的細(xì)節(jié)，能夠?qū)Ｗ⒂谧约旱臉I(yè)務(wù)。

對虛擬設(shè)備的測試，包括性能測試和協(xié)議的測試，比如VLAN，ACL，組播協(xié)議等。僅通過把測試儀表接到集成虛擬交換機(jī)的服務(wù)器的物理接口上測試是不夠的，一臺(tái)物理服務(wù)器上有很多虛擬設(shè)備，很難隔離評(píng)估每一個(gè)虛擬設(shè)備的性能。這就需要測試工具虛擬化。虛擬化測試工具以軟件形式駐留在服務(wù)器內(nèi)部，具備對應(yīng)的物理測試工具的功能。從虛擬網(wǎng)絡(luò)設(shè)備角度看，一個(gè)虛擬化測試工具的端口和一個(gè)物理測試端口是一樣的。虛擬化測試工具能夠在任何虛擬端口以及虛擬端口和物理端口之間提供測試L2—L7測試流量。

Spirent TestCenter Virtual是Spirent TestCenter的虛擬化測試模塊，可以駐留在虛擬機(jī)上，用于評(píng)估虛擬服務(wù)器交換機(jī)和基于云的虛擬技術(shù)的性能。圖9顯示了Spirent TestCenter Virtual的基本測試原理。

圖9 Spirent TestCenter Virtual測試原理圖

Spirent TestCenter Virtual 是業(yè)界第一個(gè)虛擬化測試解決方案，提供下列功能：

●提供L2—L7 線速測試流量，測試虛擬設(shè)備和物理設(shè)備的性能。
●仿真VLAN，IGMP，F(xiàn)CoE等協(xié)議，產(chǎn)生真實(shí)基于狀態(tài)的應(yīng)用層流量。
●提供RFC 2544，RFC 2889，RFC 3918組播等基準(zhǔn)性能測試。
●和Spirent TestCenter硬件結(jié)合測試業(yè)務(wù)和路徑可以是物理網(wǎng)絡(luò)?VM，VM?VM和物理網(wǎng)絡(luò)?物理網(wǎng)絡(luò)，為整個(gè)系統(tǒng)及系統(tǒng)的每個(gè)部分提供詳盡的性能和功能分析。
●集成虛擬網(wǎng)絡(luò)架構(gòu)性能，擴(kuò)展性和安全性分析。
●通過Spirent TestCenter GreenPut關(guān)聯(lián)網(wǎng)絡(luò)負(fù)載和能耗關(guān)系，測試在不同的網(wǎng)絡(luò)負(fù)載下的能耗以及Throughput Per Watt。

通過Spirent TestCenter和Spirent TestCenter Virtual組成的測試系統(tǒng)，我們可以完成：

●在虛擬交換機(jī)上完成所有在物理交換機(jī)上需要進(jìn)行的測試。
●快速定位影響網(wǎng)絡(luò)性能的物理或虛擬組件。
●完成對虛擬交換機(jī)、防火墻、負(fù)載均衡器和其他虛擬組件的基準(zhǔn)性能測試，包括單播和組播測試。
●實(shí)時(shí)驗(yàn)證在實(shí)時(shí)虛擬服務(wù)器遷移和資源調(diào)配中應(yīng)用的可靠性。
●比較評(píng)估不同廠家的虛擬化平臺(tái)的性能。
●對整個(gè)數(shù)據(jù)中心系統(tǒng)或者云計(jì)算系統(tǒng)進(jìn)行全面評(píng)估。