基于網(wǎng)絡處理器的核心路由器設計技術研究

1 網(wǎng)絡處理器硬件架構

IXP2400網(wǎng)絡處理器是Intel公司在2002年推出的第二代互聯(lián)網(wǎng)交換架構IXA網(wǎng)絡處理器。它面向中高端應用，可用于實現(xiàn)OC-48的網(wǎng)絡路由交換設備。IXP2400的結構充分體現(xiàn)了片上系統(tǒng)SoC (System onChip)的思想。IXP2400結構框圖如圖l所示，它的內(nèi)部主要包括8個完全可編程的8線程微引擎ME和1個XSc ale核。此外，還有用于連接外部設備MAC的媒質(zhì)和交換結構接口MSF單元、連接各種存儲器和總線的接口單元等。這些單元通過內(nèi)部的高速數(shù)據(jù)總線和控制總線彼此協(xié)作。

XScale核是32位的嵌入式精簡指令集處理器，時鐘頻率是600MHz，具有32KB的指令緩存和32KB的數(shù)據(jù)緩存，它在 IXP2400中起控制和管理作用。具體包括：對系統(tǒng)初始化和配置；提供系統(tǒng)時鐘；建立并管理路由表；提供一個對應于IXP2400各寄存器、存儲器和外部存儲器的地址映射表等。它在應用中主要完成加載微碼、啟動微引擎、完成必要的數(shù)據(jù)分析、高復雜度的算法、統(tǒng)計、管理等應用任務。

IXP2400中的每個微引擎就是一個32位精簡指令集RISC處理器，時鐘頻率是600MHz，可以由8個并行硬件線程共享。數(shù)據(jù)包的接收、處理和發(fā)送等任務均由微引擎指令存儲區(qū)中微代碼程序的各線程并行執(zhí)行。網(wǎng)絡處理器數(shù)據(jù)的高速轉(zhuǎn)發(fā)正是因為充分利用了硬件的并行性。

IXP2400通過數(shù)據(jù)線連接著各種存儲設備，如SRAM和DRAM等。DRMA主要用于存放需要處理和轉(zhuǎn)發(fā)的數(shù)據(jù)包、路由表等大型數(shù)據(jù)結構；SRAM主要存放對數(shù)據(jù)包包頭進行處理所需的重要信息和數(shù)據(jù)包的隊列描述等內(nèi)容，如表、緩沖區(qū)描述符。

IXP2400具有豐富的標準高速I／0接口，包括物理鏈路接口、交換接口、存儲器接口、PCI總線接口，能夠方便地與其他廠家的設備進行接口、互連；擁有專用硬件加速處理單元；采用專用硬件對特定協(xié)議操作進行協(xié)處理：如CRC、哈希查找、樹查找、字符匹配；針對安全產(chǎn)品，提供加／解密、大數(shù)運算等硬件單元。

綜上所述，IXP2400擁有網(wǎng)絡處理的一般特點，從系統(tǒng)角度看，IXP2400屬于一個并行式的多處理器共享總線的計算機系統(tǒng)。

2 網(wǎng)絡處理器軟件開發(fā)平臺

Intel提供丁網(wǎng)絡處理器開發(fā)平臺，稱為Intd IXA可移植框架(Intel IXA portability framework)。IXP2400軟件開發(fā)可移植框架層次圖如圖2所示。

Intel IXA可移植框架中，將數(shù)據(jù)的處理分為兩個層次：數(shù)據(jù)面(Data Plane，也稱為Fast Path)處理和控制面(Control Plane，也稱為Slow Path)處理。

數(shù)據(jù)平面主要運行在微引擎處理之上，充分利用數(shù)據(jù)包的無關性，采取并行處理方式，用于實現(xiàn)高速轉(zhuǎn)發(fā)數(shù)據(jù)包的處理功能，具有線速執(zhí)行特點。數(shù)據(jù)面的數(shù)據(jù)包處理可分為若干微模塊Microblock。各個微模塊之間相互獨立，可實現(xiàn)數(shù)據(jù)面層次上的可移植性。

控制平面一般運行在網(wǎng)絡處理器核上，處理各種通信協(xié)議、更新路由表、管理數(shù)據(jù)平面任務與狀態(tài)、完成高層的QoS控制等。這些操作的性能要求低于數(shù)據(jù)層面，因此通常采用高性能通用處理器硬件平臺。為了有效支持網(wǎng)絡處理功能，控制平面與數(shù)據(jù)平面之間存在復雜的信息交互與依賴關系。

IXP2400的軟件開發(fā)分為內(nèi)核程序和微代碼兩部分。XScale內(nèi)孩的開發(fā)通常使用基于嵌入式操作系統(tǒng)集成開發(fā)工具，如WindRiver公司提供的基于嵌入式操作系統(tǒng)VxWorks的集成開發(fā)工具Tornado或BMR TEC CO提供的基于嵌入式操作系統(tǒng)Montavista Linux的集成開發(fā)工具Teja。Teja開發(fā)工具給基于網(wǎng)絡處理器的嵌入式開發(fā)帶來極大的方便，它能縮短開發(fā)周期，優(yōu)化生成代碼，提高代碼性能，而且生成的代碼很容易移植到不同的目標系統(tǒng)。使用Teja集成開發(fā)工具，能獨立于復雜的硬件而將網(wǎng)絡應用表達為狀態(tài)機。狀態(tài)機邏輯可以被映射到選定的目標網(wǎng)絡處理器的分布資源，基于這種邏輯設計和到硬件的邏輯映射，生成優(yōu)化的目標代碼(C、C++和MicroC)并且編譯生成最終的映像文件。此外，Teja對于此邏輯和系統(tǒng)設計還能提供模擬測試和調(diào)試功能；IXP2400中對微引擎的編程使用Intel公司提供的Developer Workbench開發(fā)環(huán)境，主要使用微代碼來進行編程。Developer Workbench提供了完善的編譯、鏈接、仿真和調(diào)試功能。

Intel IXA可移植框架中最重要的組成部分就是在微引擎上和XScale核上開發(fā)的代碼模塊。基于不同硬件開發(fā)的代碼模塊分別為微模塊和核心組件(Core component)。每個模塊都代表了一個進行包處理的代碼單元。這里實際上引入了構件的思想．各種模塊以一定的順序組織在一起，形成一個特定的應用。

3 基于網(wǎng)絡處理器IXP2400的核心路由器體系結構

路由器體系結構的發(fā)展經(jīng)歷了四次大的發(fā)展，由單機集中式到單機分布式共享總線，再到分布式Crossbar結構，最后到多機互聯(lián)的集群式結構，目前正朝著系統(tǒng)化、高性能、可擴展方向發(fā)展。由于基于網(wǎng)絡處理器的路由器體系能夠滿足這些要求，被公認為推 動下一代網(wǎng)絡向靈活性和高性能發(fā)展的核心技術。Princeton大學的可擴充路由器VERA和Columbia大學的Genesis系統(tǒng)在這方面做了一些推進。前者主要是基于區(qū)分服務Diffserv體系結構，注重服務的靈活性和可擴充性；后者基于“Spawn”思想和Netbind機制，注重虛擬網(wǎng)絡系統(tǒng)的動態(tài)創(chuàng)建，但是兩者都沒有提出一個通用的體系模型。

從本質(zhì)上說，路由器是一種進行網(wǎng)絡數(shù)據(jù)包轉(zhuǎn)發(fā)的網(wǎng)絡設備，其體系結構可分為三大部分：(1)輸入/輸出端口；(2)路由計算及處理；(3)交換結構。其中路由計算和處理是路由器的關鍵，對路由器高性能和靈活性起決定作用。由于網(wǎng)絡處理器IXP2400具有高速和靈活性，本文采用IXP2400作為路由計算和處理部分，提出了一種全雙工、可擴展的高性能路由器系統(tǒng)體系結構，如圖3所示。

在圖3中，IXP2400是系統(tǒng)核心部分，負責對數(shù)據(jù)包進行轉(zhuǎn)發(fā)，實現(xiàn)路由功能。SBAM是IXP2400的外接存儲設備，通過SBAM Controller與IXP2400連接，主要實現(xiàn)存儲數(shù)據(jù)包處理過程中用到的發(fā)送列隊、查找表等數(shù)據(jù)結構。DRAM也是IXP2400外接的存儲設備，通過DRAM Controller與IXP2400連接，主要存儲數(shù)據(jù)包和路由表。控制處理器是IXP2400的外接處理器，通過PCIController與 IXP2400連接，主要為系統(tǒng)提供高層的控制和管理功能。物理層設備收發(fā)數(shù)據(jù)包，通過介質(zhì)和交換接口MSF與IXP2400連接。交換結構作為處理器與外部接口的傳輸樞紐，對整個系統(tǒng)的性能起著至關重要的作用。它主要分為總線、Cross-bar(縱橫制矩陣)和共享內(nèi)存三種方式。Cross-bar同其他技術相比，具有成本低，可擴展性良好和非阻塞特性，并且可以根據(jù)實際需要擴充寬帶。

4 基于網(wǎng)絡處理器IXP2400的核心路由器系統(tǒng)處理軟件模型

基于IXP2400的核心路由器軟件模塊框圖如圖4 所示。入口(Ingress)IXP2400首先通過IXF1104或IXF6048從外部網(wǎng)絡接收數(shù)據(jù)包，然后對數(shù)據(jù)進行處理，并將處理后的數(shù)據(jù)通過交換接口芯片發(fā)送到交換結構(SF)；出口(Egress)IXP2400首先通過交換接口芯片從交換結構接收數(shù)據(jù)，然后對數(shù)據(jù)包進行處理，最后通過 IXFll04或IXF6048將數(shù)據(jù)包發(fā)送出去。微引擎的編程模式有流水線模式(HTC)和線程池(POTS)模式，二者各有優(yōu)缺點。本文采用了HTC 和POTS相結合的編程模式，揚長避短，以取得最佳的處理效率。所有的Context Pipe Stage模塊(如包接收、包發(fā)送、列隊管理等)各自占據(jù)一個單獨的微引擎，采用HTC方式，每個Context Pipe Stage模塊都映射到單獨的一個微引擎上。而Funcational Pipeline映射到4個微引擎上，采用POTS方式，執(zhí)行PPP Decap(數(shù)據(jù)包解封裝)、Classfieation(數(shù)據(jù)包分類)和IP Forwarding(IP數(shù)據(jù)包轉(zhuǎn)發(fā))等操作。

如圖4所示，系統(tǒng)的數(shù)據(jù)處理由以下模塊組成：

(1)包接收模塊。包接收(Packet Rx)模塊是一個與低層硬件密切相關的驅(qū)動模塊。負責接收來自外部網(wǎng)絡的數(shù)據(jù)包分片mpacke，并將mpacket重組得到一個完整的數(shù)據(jù)包。將重組后的數(shù)據(jù)包寫入DRAM，建立包頭信息，Packet Rx模塊使用一個微引擎上的8個Thread來進行mpacket包的接收和重組，每個Thread負責處理一個mpaeket 。

(2)解封裝/分類/過濾模塊。數(shù)據(jù)包處理模塊包括PPP解封裝、分類、轉(zhuǎn)發(fā)、過濾子模塊。這些子模塊組成Funeational Pipeline．運行在4個微引擎、32個線程上。PPP解封裝子模塊通過修改Metadata中的offset和size，將MAC幀頭去掉，提取 IP數(shù)據(jù)幀，實現(xiàn)數(shù)據(jù)包的解封裝功能。分類子模塊執(zhí)行分類操作，將數(shù)據(jù)包分為IPv4、IPv6和ARP等類型。如果是ARP數(shù)據(jù)包，將其標記為異常數(shù)據(jù)包送到Xscale Core作進一步處理；否則，將數(shù)據(jù)包傳送到下一個處理模塊處理。

(3)包轉(zhuǎn)發(fā)模塊。首先檢查包頭是否符合RFC2460規(guī)范。如果不符合，則將該包丟棄；否則，根據(jù)IP頭進行最長前綴匹配LPM查找，得到Next Hop ID(下一跳ID)、Fabric Blade ID和Output Port三個參數(shù)。如果LPM沒有找到匹配表項，則將包標記為異常提交給Xscale Core作進一步的處理；否則，根據(jù)Next Hop ID進行表查詢，獲得PPP頭信息。將數(shù)據(jù)包封裝為PPP格式之 后，F(xiàn)orwarder將包交給DL-QM-Sink模塊，該模塊判斷數(shù)據(jù)包是否合法，若合法。則向列隊管理發(fā)送加入隊列請求，將數(shù)據(jù)包加入到相應的發(fā)送隊列。此外，F(xiàn)orwarder還將修改后的IP頭和包描述符Metadata寫回 SRAM。

(4)隊列管理模塊。管理模塊是一個運行在單個微引擎的驅(qū)動模塊，負責利用SRAM Controller中的Q-Array硬件結構對發(fā)送隊列執(zhí)行解封裝Decap和封裝Encap操作。

(5)發(fā)送調(diào)度模塊。模塊將處理來自Fabric的流量控制信息、來自QM的隊列轉(zhuǎn)換信息和來自MSF的發(fā)送狀態(tài)機

(6)CSIX發(fā)送模塊。該模塊是位于單個微引擎的驅(qū)動模塊，接收來自QM發(fā)送的消息，對于每次發(fā)送請求，微模塊將每個Cframer寫入發(fā)送緩沖TBUF，通過MSF發(fā)送狀態(tài)機發(fā)送到Fabric。

(7)CSIX接收模塊。接收來自CSIX Fabric的Cframer，并將其重組為IP數(shù)據(jù)包。

(8)包封裝模塊。為接收到的信息添加包頭，將IP Packet封裝為PPP格式，并向隊列管理發(fā)送加入隊列請求，請求將封裝后的包加入到相應的發(fā)送隊列。

(9)出口的隊列模塊。該模塊與信元隊列模塊的區(qū)別在于列隊中傳遞的是分組而不是信元。對于每個出隊請求，分組隊列模塊向調(diào)度模塊返回一個出隊響應消息。

(10)出口包調(diào)度模塊。出口包調(diào)度模塊是基于分組的調(diào)度，不需要處理來自Fabric的流控信息，出口調(diào)度模塊對端口進行WRR調(diào)度，對每個端口的隊列可進行DRR(Deficit Round Robin)調(diào)度。

(11)包發(fā)送模塊。通過媒體介質(zhì)接口發(fā)送分組，將分組分段成mpacket，并寫入TBUF，通過MSF狀態(tài)機進行發(fā)送。

本文以Intel IXF2400網(wǎng)絡處理器為例，討論了網(wǎng)絡處理器硬件結構和軟件開發(fā)技術，并在此基礎上提出了一種基于網(wǎng)絡處理器的路由器體系結構和軟件開發(fā)流程。在今后幾年里，基于網(wǎng)絡處理器的路由器將有著非常巨大的發(fā)展空間，但其發(fā)展也是一個復雜的、長期的過程，將面臨嚴峻的挑戰(zhàn)。