千兆以太網(wǎng)交換芯片BCM5690及其在交換整機中的應用
加入技術交流群
關鍵詞：千兆以太網(wǎng)；BCM5690；堆疊；數(shù)據(jù)流程
目前，萬兆芯片技術不斷取得新的發(fā)展，尤其在“真”萬兆的問題上，只有擁有更先進的芯片，設備廠商才能夠在芯片功能與特性的基礎上開發(fā)自身的交換機體系架構。雖然Ｂｒｏａｄｃｏｍ、Ｉｎｔｅｌ、Ｍａｒｖｅｌｌ、美國國家半導體（ＮＳ）、英飛凌（Ｉｎｆｉｎｅｏｎ）和意法半導體（ＳＴＭｉｃｒｏ ｅｌｅｃｔｒｏｎｉｃｓ）都推出了最新的千兆以太網(wǎng)芯片產(chǎn)品。但萬兆芯片的發(fā)展無疑會從硬件與架構層面來加快萬兆產(chǎn)品的發(fā)展速度。
為此， ＢｒｏａｄＣＯＭ公司開發(fā)了ＢＣＭ５６９０（１２＋１）單芯片交換方案。該集成電路芯片集成了１２個千兆端口和１個萬兆端口，是一款功能比較強大和全面的三層千兆以太網(wǎng)交換芯片。文中將詳細介紹ＢＣＭ５６９０芯片的功能特性以及基于該芯片的交換機實現(xiàn)方法。
１ ＢＣＭ５６９０芯片簡介
１．１ ＢＣＭ５６９０芯片結構
ＢＣＭ５６９０是芯片提供有１２個ＧＥ接口（千兆端口）和１個ＨｉＧｉｇ接口（內(nèi)聯(lián)端口），并具有堆疊功能。器件的端口采用ＰＣＩ接口進行管理。其結構框圖如圖１所示。
由圖１可以看出：ＢＣＭ５６９０芯片由以下一些主要功能模塊組成：
（１）ＧＩＧＡ接口控制器ＧＰＩＣ：用于提供ＧＥ口與交換邏輯之間的接口。
（２）內(nèi)聯(lián)端口（ＨｉＧｉｇ）控制器ＩＰＩＣ：主要提供ＨｉＧｉｇ口與內(nèi)部交換邏輯之間的接口，有時也被用于多片ＢＣＭ５６９０之間的堆疊操作。
（３） ＣＰＵ管理接口ＣＭＩＣ：主要提供ＣＰＵ與ＢＣＭ５６９０設備不同功能塊之間的接口，同時也用于諸如ＭＩＩＭ、Ｉ２Ｃ和燈的處理等功能。該模塊通過ＰＣＩ接口與ＣＰＵ相聯(lián)，可使ＣＰＵ訪問和控制ＢＣＭ５６９０，而ＤＭＡ引擎則支持數(shù)據(jù)從ＣＰＵ傳向ＢＣＭ５６９０或從ＢＣＭ５６９０傳向ＣＰＵ。
（４） 地址解析邏輯ＡＲＬ：該邏輯功能模塊可在數(shù)據(jù)包的基礎上確定該數(shù)據(jù)包的轉發(fā)策略。它利用二層表（Ｌ２＿ＴＡＢＬＥ）、二層組播表?Ｌ２ＭＣ ＴＡＢＬＥ?、三層表（Ｌ３＿ＴＡＢＬＥ）、三層最長前綴匹配表（ＤＥＦ＿ＩＰ＿ＨＩ和ＤＥＦ＿ＩＰ＿ＬＯ）、三層接口表?Ｌ３－ＩＮＴＦ?、ＩＰ組播表（Ｌ３＿ＩＰＭＣ）、ＶＬＡＮ表（ＶＬＡＮ）以及ｓｐａｎｎｉｎｇ ｔｒｅｅ Ｇｒｏｕｐ表（ＶＬＡＮ＿ＳＴＡＧ）來決定如何轉發(fā)數(shù)據(jù)包。
（５） 公共緩沖池ＣＢＰ?ＣＢＰ實際上是１ＭＢ共享的包緩沖區(qū)。ＣＢＰ由８１９２（８Ｋ）個單元組成，每個單元１２８字節(jié)。設備里的每個數(shù)據(jù)包消耗一至多個單元。
（６）內(nèi)存管理單元ＭＭＵ：ＢＣＭ５６９０有一個單獨的內(nèi)存管理單元。每個ＭＭＵ與設備的功能塊（ＧＰＩＣ、ＩＰＩＣ等）相關聯(lián)。ＭＭＵ負責數(shù)據(jù)包的緩沖和調(diào)度。它首先接收數(shù)據(jù)包，然后再將數(shù)據(jù)包緩沖，并在發(fā)送時加以調(diào)度，同時它還管理交換單元的流控特性。概括來說，就是緩沖邏輯、調(diào)度邏輯、流控邏輯。緩沖邏輯從ＣＰ－ＢＵＳ接收包并存放在ＣＢＰ，同樣也從ＣＢＰ獲取包并將它們發(fā)送到ＣＰ－ＢＵＳ上去。包的發(fā)送順序由調(diào)度邏輯根據(jù)包的優(yōu)先級別確定。流控邏輯包括Ｈｅａｄ－ｏｆ－Ｌｉｎｅ?ＨＯＬ?阻塞預防和Ｂａｃｋｐｒｅｓｓｕｒｅ兩種方式。
１．２ ＢＣＭ５６９０芯片特性及功能介紹
Ｂｒｏａｄｃｏｍ公司ＸＧＳ系列芯片的重要特性是具有堆疊功能，該功能可以將多個交換芯片組合在一起，以形成一個更大規(guī)模的系統(tǒng)，或者將多個帶交換芯片的系統(tǒng)組合在一起形成一個完整的系統(tǒng)設備。這種功能最多可以實現(xiàn)３０個設備的堆疊。
ＢＣＭ５６９０能夠通過Ｈｉ－Ｇｉｇ和ＧＩＧＡ來擴展系統(tǒng)容量。它有四種模式，其中ｃａｓｃａｄｅ模式通過Ｈｉ－Ｇｉｇ口單向互聯(lián)來形成(環(huán)行組網(wǎng))；而全雙工堆疊模式則通過ＢＣＭ５６９０的Ｈｉ－Ｇｉｇ口雙向地與ＢＣＭ５６７Ｘ相連來擴展容量(環(huán)形組網(wǎng))；第三是ｃｈａｓｓｉｓ模式，該模式是將Ｈｉ－Ｇｉｇ通過背板互連形成（星形組網(wǎng)）?？蓪崿F(xiàn)冗余備份和逐級交換，不需中轉，且效率比環(huán)行組網(wǎng)高；最后是ＳＬ形式的堆疊，它通過ＧＩＧＡ口來互連ＢＣＭ５６９０。圖２所示為ＢＣＭ５６９０的邏輯框圖。
ＢＣＭ５６９０是一款千兆以太網(wǎng)交換芯片，它支持二層交換、三層路由以及第２～７層數(shù)據(jù)包的分類和過濾等。
地址解析邏輯是ＢＣＭ５６９０集成電路芯片的中心部件?ＧＰＩＣ的入口邏輯用它來決定單個包的轉發(fā)方向。
ＢＣＭ５６９０集成電路芯片中的快速過濾處理器（ＦＦＰ）是一個通過第２～７層數(shù)據(jù)包進行分類和過濾的引擎。每個ＧＥ口各有一個ＦＦＰ來負責包的分類和更新。ＦＦＰ可以通過配置寄存器ＧＩＭＡＳＫ和ＧＩＲ-ＵＬＥ來改變符合條件的數(shù)據(jù)包特性?其中ＧＩＭＡＳＫ用于配置匹配選項，ＧＩＲＵＬＥ用于產(chǎn)生操作命令。對于每個數(shù)據(jù)包來說，最多可以改變１６個匹配特性。如果同時有多個特性符合匹配條件，則在ＧＩＭＡＳＫ里處于高位的優(yōu)先配置。
對于包的緩沖和流控，ＢＣＭ５６９０還集成了１ＭＢ的數(shù)據(jù)包緩沖區(qū)ＣＢＰ，這個緩沖區(qū)可為所有端口共用。
ＢＣＭ５６９０中的寄存器ＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ和ＩＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ用來設置被鏡像端口與鏡像端口，兩個寄存器的內(nèi)容應保持一致。它支持本芯片內(nèi)的鏡像。
ＢＣＭ５６９０集成電路芯片中的鏈路聚合（ｔｒｕｎｋ）最大可支持８端口的Ｔｒｕｎｋｉｎｇ，共３２組Ｔｒｕｎｋ，并可進行跨芯片的端口Ｔｒｕｎｋ。另外，ＢＣＭ５６９０還支持速度高達 ６６ＭＨｚ的ＰＣＩ接口，并可對所有數(shù)據(jù)包的線速交換以及ＲＭＯＮ、ＳＮＭＰ、ＳＴＰ和Ｒａｐｉｄ ＳＴＰ提供支持。
２ 訪問控制方式及數(shù)據(jù)流程
２．１ 訪問控制方式
ＢＣＭ５６９０支持一系列符合ＰＣＩ標準的寄存器?這些寄存器允許對設備再分配?ＭＯＤＩＤ?、地址空間的自動配置和再映射。ＣＰＵ對ＢＣＭ５６９０的控制都是通過訪問ＰＣＩ寄存器來實現(xiàn)的。ＢＣＭ５６９０的寄存器分為直接訪問和非直接訪問兩種?？芍苯釉L問的寄存器映射到ＰＣＩ的內(nèi)存空間?這些寄存器相對于ＰＣＩ控制寄存器有一個固定的地址偏移。上電初始化期間，系統(tǒng)自動配置每個ＰＣＩ設備的基地址及地址范圍，以便能夠唯一地訪問每一個ＰＣＩ設備中的寄存器。ＢＣＭ５６９０的訪問機制分為三個類型：一是ＰＣＩ配置空間；二是ＰＣＩ ｍｅｍｏｒｙ 映射的Ｉ／Ｏ，比如通過ＰＣＩ設備對ＤＭＡ、ＭＩＩＭ和Ｉ２Ｃ的控制；第三是消息機制。
２．２ 數(shù)據(jù)流程
所有的數(shù)據(jù)流通過交換芯片都要經(jīng)過輸入部分(Ｉｎｇｒｅｓｓ)、內(nèi)存管理單元(ＭＭＵ)和輸出部分（Ｅｇｒｅｓｓ）這三個流程。其數(shù)據(jù)流程如圖３所示。
Ｉｎｇｒｅｓｓ（輸入邏輯）是數(shù)據(jù)包在每端口上的邏輯流程。每端口都有自己的輸入邏輯，輸入邏輯負責所有包的轉發(fā)（交換）策略，決定將包送給哪個端口，根據(jù)轉發(fā)信息將數(shù)據(jù)包發(fā)送給ＭＭＵ，進行緩沖和調(diào)度，并以線速對包進行處理。輸入邏輯與大部分交換功能關聯(lián)。
ＭＭＵ（內(nèi)存管理單元）主要負責數(shù)據(jù)包的緩沖與調(diào)度，它接收從輸入邏輯過來的數(shù)據(jù)包并緩沖這些包，同時對這些包進行調(diào)度并將它們送給輸出邏輯。數(shù)據(jù)包進入ＭＭＵ時將存儲在ＣＢＰ里。ＣＢＰ有１ＭＢ的大小供所有端口共用。ＭＭＵ主要有四部分功能：資源計數(shù)、背壓、ＨＯＬ預防機制、調(diào)度。其中資源計數(shù)主要是統(tǒng)計當前消耗的ＣＢＰ單元數(shù)或ＣＢＰ數(shù)據(jù)包個數(shù)，決定數(shù)據(jù)包什么時候進入背壓或ＨＯＬ預防；調(diào)度則是根據(jù)優(yōu)先級和ＣＯＳ的四種調(diào)度準則來確定包發(fā)送的先后順序和權重。
Ｅｇｒｅｓｓ（輸出邏輯）主要從ＭＭＵ獲取數(shù)據(jù)包并將其送入各個端口，這是整個流程中最簡單的一環(huán)。它先將包發(fā)給輸出端口，然后確定是否在發(fā)送的數(shù)據(jù)包上添加ｔａｇ。具體流程如下：首先從ＭＭＵ請求數(shù)據(jù)包，如果發(fā)送的包要求不帶ｔａｇ，則負責將ｔａｇ去掉；然后計算數(shù)據(jù)包的ＣＲＣ；最后將包交給ＭＡＣ發(fā)送（特殊情況下，ＣＭＩＣ將直接把數(shù)據(jù)包以ＤＭＡ方式發(fā)送給ＣＰＵ）。
３ 基于ＢＣＭ５６９０的交換整機設計
３．１ 硬件實現(xiàn)
筆者在設計中采用了兩片ＢＣＭ５６９０和四片ＢＣＭ５４６４，外加四個ＳＦＰ接口的千兆光接口來實現(xiàn)１６端口的１０／１００／１０００Ｍ的電口和４個千兆光口的交換整機。ＢＣＭ５４６４是ＢｒｏａｄＣｏｍ的四端口的千兆ＰＨＹ。
圖４是該交換整機的主控板硬件結構，其硬件電路由交換單元、物理接口單元、ＲＪ４５和燈接口單元、光接口單元、控制單元、ＣＰＵ連接器單元、時鐘單元、電源單元組成。其中交換單元選用了兩片ＢＣＭ５６９０，它們之間通過Ｈｉ－Ｇｉｇ口背靠背連接實現(xiàn)通信，帶有與其它大部分單元的接口。每片ＢＣＭ５６９０通過ＰＣＩ接口與ＣＰＵ連接器相連,主要用來與ＣＰＵ通信以實現(xiàn)對芯片的管理。
圖４所示電路中的ＣＰＵ采用Ｍｏｔｏｒｏｌａ公司的ＰＰＣ８２４０，主要負責整個系統(tǒng)的運轉調(diào)度。１２個電口通過背板總線與各個線卡相連，以實現(xiàn)各線卡的上聯(lián)功能。當主控板單獨作為一個獨立的三層交換機時，它將同時作為與其它三層設備互聯(lián)的接口。４個千兆光接口與本設備上聯(lián)可擴展以太網(wǎng)的傳輸距離。
本系統(tǒng)使用了兩個背靠背連接的ＢＣＭ５６９０來進行設計，這樣可將該系統(tǒng)歸為ｃａｓｃａｄｅ模式。在堆疊完成之后，通過在堆疊口的以太網(wǎng)包首部加上頭信息，可使芯片與芯片之間、系統(tǒng)與系統(tǒng)之間通過Ｂｒｏａｄｃｏｍ專有的通信協(xié)議來實現(xiàn)相互之間的信息傳輸，從而實現(xiàn)數(shù)據(jù)包在不同芯片、不同系統(tǒng)之間的轉發(fā)。
另外，還可以通過設置ＩＰＩＣ ＣＯＮＦＩＧ 寄存器(ＩＰＩＣ＿ＣＡＳＣＡＤＥ, ＭＹ＿ＭＯＤＩＤ)、ＭＯＤＰＯＲＴ表和Ｇｉｇａ ｂｉｔ端口ＣＯＮＦＩＧ寄存器來對堆疊進行配置。
３．２ 軟件實現(xiàn)
ａ．初始化流程
在設計軟件模塊的初始化流程時，首先是頭模式的設置，由于ＢＣＭ５６９０固定工作在小頭?ｌｉｔｔｌｅ＿ｅｎｄｉａｎ?模式，而ＰＰＣ８２４０工作在大頭模式，因此需要對頭模式進行設置；接下來是查找ＰＣＩ設備，以獲取各個ＰＣＩ設備的設備號以及各自的基地址；之后應對堆疊模式進行設置，以便兩片ＢＣＭ５６９０之間的二層表內(nèi)容能夠互通；最后是基本交換功能和ＤＭＡ通道的配置。
ｂ．軟件結構
圖５是筆者設計的軟件結構簡圖。其中涉及驅動程序和驅動程序封裝的是ＳＡＬ層、Ｄｒｉｖｅｒ層和ＢＣＭ層。ＳＡＬ層可對操作系統(tǒng)與驅動層進行隔離，可提供ＰＣＩ中斷以及ＰＣＩ設備的查找、線程、中斷、同步和內(nèi)存管理。Ｄｒｉｖｅｒ層包括ＢＣＭ５６９０寄存器的訪問方式實現(xiàn)、表的初始化、內(nèi)存初始化、芯片堆疊模式的設置、Ｌ２和Ｌ３地址的操作與查找、數(shù)據(jù)包的發(fā)送／接收以及端口的管理等。
評論