利用FPGA和多通道光模塊組合長距離傳送高速數(shù)據(jù)

目前基于銅電纜的高速串口能夠以數(shù)千兆位速率進行數(shù)據(jù)傳送，并可通過使用多個并行通道達成超過100Gbps的數(shù)據(jù)傳輸率，不過傳送的距離卻受到限制，一個可以改善傳輸距離的作法是使用光互連來取代銅電纜，Altera和Avago公司共同發(fā)展出結合FPGA以及光發(fā)射和接收模塊的單一集成方案，可以取代銅電纜互連和多個卡邊緣光收發(fā)器。

介紹

數(shù)據(jù)中心以及互聯(lián)網(wǎng)上越來越大量的數(shù)據(jù)移動對于嘗試趕上的基礎設施形成壓力，核心功能如存儲次系統(tǒng)、數(shù)據(jù)交換機和路由器，甚至是計算系統(tǒng)都受到輸入輸出的限制，外部數(shù)據(jù)的移動則受限于數(shù)據(jù)可以在連接所有交換機、路由器和存儲陣列的電纜或其他互連機制上以多快的速度和多遠的距離移動。

目前基于銅電纜的高速串口能夠以數(shù)千兆位速率進行數(shù)據(jù)傳送，并可通過使用多個并行通道達成超過100Gbps的數(shù)據(jù)傳輸率，但要達到如此速度需付出一個代價，那就是受到限制的傳輸距離，基本上，數(shù)據(jù)率越高所能傳送的距離就越短，除非在信號完整性、功率以及通道材料成本上做出犧牲。

為了補償信號的劣化，通常使用復雜的信號處理功能在發(fā)射端和接收端進行信號均衡，這樣的方式搭配上經(jīng)過仔細設計但價格昂貴的銅電纜可以提供數(shù)米長度的距離延伸，足夠讓單一機架間的設備互連，不過如果要讓數(shù)據(jù)在數(shù)據(jù)中心或網(wǎng)絡中心的機架間傳送，就需要更長的電纜，在許多情況下，面臨的成本和大量電纜問題使這種作法變得不切實際。

光互連

一個可以改善傳輸距離的方法是使用光學方式來取代銅電纜，光纖連接目前雖然已經(jīng)進入數(shù)據(jù)通信產(chǎn)業(yè)，但許多連線需要非常耗電的卡邊緣光接口模塊，并仍然面臨系統(tǒng)邏輯到光模塊的電氣互連問題，請參考圖1。高速串口的邏輯部分通常會在FPGA中實施，原因是這類器件可以提供設計工程師在電路板特性、功能以及輸入輸出選擇的高靈活度，不過這樣做FPGA的引腳必須連接光模塊，無可避免地帶來電路板上的高速走線。

圖1：網(wǎng)絡交換機或路由器的典型電路板布局顯示輸入輸出邏輯和光模塊間的距離

FPGA的好處

FPGA的靈活度和可重配置能力使它們成為需要各種高速輸入輸出系統(tǒng)的理想方案，達到1Gbps傳送能力的高速LVDS串口和串化/解串器(SERDES)首先被集成到了FPGA中，接著是超過3Gbps的更高速度SERDES，目前FPGA已經(jīng)集成10Gbps甚至更高數(shù)據(jù)率的SERDES，舉例來說，Altera公司的新28nm Stratix V FPGA 就可以達到28Gbps的速度。除了高速輸入輸出能力外，F(xiàn)PGA還提供有數(shù)百萬個可配置邏輯門、大量的片上靜態(tài)存儲器以及其他專門的系統(tǒng)資源，包括處理器核心、鎖相環(huán)(PLL)、數(shù)字信號處理(DSP)方塊、PCI Express® (PCIe®)通道以及存儲控制器等。

所有FPGA上的資源允許設計工程師將許多系統(tǒng)功能配置到器件的邏輯電路上，縮減系統(tǒng)電路板上所需的電路數(shù)量，另外，F(xiàn)PGA的可配置特性使得設計工程師可以更改邏輯來增加或移除功能、修補邏輯臭蟲或者改善性能。

圖2：對于10Gbps的數(shù)據(jù)傳送，數(shù)據(jù)可以移動的最大距離有著大幅度差異，主要依使用的為銅電纜(紅色部分)或光接口(橘色和橙色)而定

雖然在10Gbps數(shù)據(jù)率下FPGA到光模塊的距離僅數(shù)英吋，但就算電路板上數(shù)英吋的走線路徑都可能損害信號的品質，圖2顯示了10Gbps數(shù)據(jù)流可以傳送的距離會因使用的接口而有所不同，因此為了確保光模塊可以得到最佳的信號，如何將FPGA連接到光連接端口發(fā)射器輸入和接收器輸出的距離極小化就成了必須面對的挑戰(zhàn)。

集成型光封裝

為了把FPGA和光模塊間的距離極小化并降低整個芯片到模塊連結的功率和使用材料，Altera和Avago公司共同開發(fā)了結合FPGA以及光發(fā)射和接收器模塊到單一集成封裝，可以取代多個外部卡邊緣光收發(fā)器的產(chǎn)品，如圖3中展示電路板上的藍圈部分。光學FPGA技術展示使用了Altera公司的Stratix IV GT FPGA，提供32個高速SERDES連接端口，每個端口可以達到11Gbps的數(shù)據(jù)傳輸率，并有12個連接端口直接和Avago公司的MicroPOD™光模塊連接。

12個光通道的每一個都可以獨立運行或作為高容量通道的一部分，以方便通過高成本效益方式提供目標帶寬，并行光學相似于使用并行通道電氣接口，例如PCI Express的多重通道達到目標帶寬的電子信號作法。

圖3：評估電路板上包含有Altera公司的FPGA以及Avago公司的MicroPOD 12通道光發(fā)射器和接收器(紅圈部分)，電路板上還有傳統(tǒng)的卡邊緣光收發(fā)器模塊(藍圈部分)提供設計工程師進行性能比較

通過集成高速光模塊到裝有FPGA的封裝中，Altera公司可以縮短FPGA芯片輸入輸出到光收發(fā)器輸入端的信號路徑到1英吋以下，更短的路徑可以減輕信號劣化和抖動，因此改善了信號完整性并降低信號路徑中寄生元素所造成的數(shù)據(jù)錯誤，進一步說，由于芯片到模塊的互連距離被大幅度縮短，因而FPGA和模塊的總體功耗也會降低，因為再也不需浪費功率來進行傳統(tǒng)非集成芯片到模塊間互連的大幅度損耗均衡，圖4中的混合FPGA封裝保留有兩個給Avago公司MicroPOD 12通道光收發(fā)器使用的角落，其中一個提供12個發(fā)射通道，另一個則提供12個接收通道。

除了兩個插座外，F(xiàn)PGA封裝的主要改變在于信號的路由，不將高速輸入輸出接點安排在封裝引腳，而是把信號接點導到插座的接觸區(qū)域，較短的路由距離可以保持高信號完整性，并且發(fā)出的電磁干擾也非常低。

圖5中的光模塊使用LGA接點安裝在FPGA封裝上，間隔為0.7424mm，每個插座僅需8.2mm x 7.8mm的區(qū)塊大小，通過安裝LGA插座在FPGA的角落，Altera公司可以把SERDES和光學模塊間的距離縮短到低于1厘米，使用邊緣安裝光模塊時則需要5到50厘米，插座集成接口也帶來了可置換性、可測試性和高產(chǎn)出率。

圖5：MicroPOD光學模塊使用LGA安裝在FPGA封裝上，僅需8.2mm x 7.8mm的占用空間。

圖6：12通道光纜和PRIZM® LT連接器直接安裝在光模塊上方，這樣的組合形成了可以處理120Gbps的緊湊高速接口。

圖6中組件的光學部分包含了連接到微型MicroPOD模塊的12條光纜，在發(fā)射端，模塊包含12個低功耗850nm VCSEL激光二極管，每個二極管功耗約130mW，接收端則包含有單石GaAs PIN二極管感應陣列，適合目標應用長度的光纜預先連接到PRIZM® LightTurn®連接器上，將光彎折90度并把光纖對準VCSEL激光，如圖左下方的模塊，PRIZM® LT連接器目前可以由多個制造商取得。

12個光通道的每一個都可以處理10.3125Gbps的數(shù)據(jù)率，因此可以得到單一模塊120Gbps的總合數(shù)據(jù)帶寬，這個高度集成模塊提供有光接口最高的連接端口密度，而低功耗更使得模塊的熱管理變得非常簡單。

診斷和狀態(tài)監(jiān)測

光模塊面臨的一個設計挑戰(zhàn)是如何在發(fā)熱的FPGA裸芯片旁安裝容易受到熱影響的光部件，為了克服這個問題，Altera公司設計了獨特的散熱方案，可以保持光纜在標準的0到70oC工作溫度范圍內，通過建立三個獨立的散熱設計使光學組件和裸芯片熱隔離，其中每個光學次裝置有一個，裸芯片中也有一個，我們已經(jīng)證實光模塊的溫度位于目標范圍內。

除此之外，通過I2C總線通信的數(shù)字診斷監(jiān)測(DDM)電路允許設計工程師由光模塊取得診斷數(shù)據(jù)，提供的診斷信息包括光輸出功率、激光偏置電流以及接收輸入功率，這使得系統(tǒng)可以監(jiān)測光模塊的狀態(tài)，并在發(fā)生問題時及時得知，避免系統(tǒng)發(fā)生問題或造成停機，這些對于許多應用，特別是經(jīng)營連線中斷可能帶來數(shù)百萬美元損失的數(shù)據(jù)中心是非常關鍵的數(shù)據(jù)。

使光學FPGA工作

對于需要大量計算以及存儲的應用，例如數(shù)據(jù)中心，集成光接口到器件封裝可以取代可插入光器件并節(jié)省功耗達70%到80%，并大幅度提高連接端口密度和帶寬，在軍事、通信基礎設施以及廣播領域等背板應用中，這些連接器可以取代昂貴的電路板材料和連接器，大幅度提升帶寬，消除使用基于銅電纜方案時的信號完整性問題并節(jié)省功耗，如MicroPOD光發(fā)射器和接收器的光模塊在使用OM3級多模光纖時數(shù)據(jù)傳送距離可以達到100米，使用OM4級多模光纖時更可達到150米的連接距離。

嵌入式光學模塊有助于降低需要的電路板空間并改善EMI問題，這樣的組合可以幫助降低成本并簡化通過符合FCC的法規(guī)程序，使用由Molex或其他連接器公司提供的裸芯片MPO光纖多頭適配器可以通過將機箱開口縮小到最小可能尺寸進一步減輕EMI問題，除此之外，相較于卡邊緣可插入模塊，非常明顯地到安裝在前面板MPO連接器的靜電放電要小上許多。

刀片服務器系統(tǒng)為提供多個服務器，如存儲、交換、輸入輸出、冷卻以及電源次系統(tǒng)的緊密集成密集模塊化服務器系統(tǒng)，逐漸升高的虛擬化、云計算需求，單一CPU和存儲器庫計算能力的持續(xù)提升，為刀片系統(tǒng)中的傳統(tǒng)輸入輸出技術帶來壓力，目前大部分系統(tǒng)在服務器刀片和輸入輸出模塊間通過復雜的電氣中介板作為高速電氣接口，請參考圖7，這種型態(tài)的結構為系統(tǒng)設計工程師帶來復雜的信號完整性和熱管理挑戰(zhàn)。

刀片服務器夾層卡的電氣輸入輸出通道可以由光輸入輸出通道取代，復雜的電氣中介板則可以由簡單的同等光學系統(tǒng)取代，請參考圖8。光學中介板提供了服務器以及系統(tǒng)中其他模塊，包括存儲設備、存儲器以及輸入輸出間的所有高速連接能力，并且沒有電氣信號完整性、串音、EMI以及ESD承受力等復雜問題，另外，簡單的光透通模塊可以介接到中介電路板上使服務器刀片直接連接外部的交換機、存儲設備以及存儲器。

圖7：在典型的刀片服務器中，多個CPU卡連接到中介板，中介板并連接提供高速輸入輸出端口的以太網(wǎng)交換機刀片

圖8：服務器刀片和夾層卡典型框圖顯示通過中介板的布局和光互連

結論

嵌入式光學技術保存了高端系統(tǒng)所需的信號完整性、簡化EMI問題、降低ESD暴露并帶來系統(tǒng)冷卻的靈活度選擇，因為光連接器可以安排在接近主控ASIC甚至FPGA封裝上，進一步說，由于骨干通常為24到36通道寬，嵌入式光學技術可以帶來卡邊緣便利的帶寬總合，簡化光纖管理以及機箱互連。
為了延伸單一FPGA或ASIC的容量，可以在多個FPGA或ASIC間配置多層級結構，典型的例子為三級Clos結構，雖然最新的可擴展系統(tǒng)可以通過使用ASIC間的電氣接口在單一機箱內達成，但大型系統(tǒng)需要多個機箱，因而需要光互連。
Altera公司的光FPGA采用嵌入式并行光學概念并轉化為更高集成度的組合，通過進行光FPGA的工程設計，Altera和Avago公司為FPGA使用者帶來實現(xiàn)并行光接口的可能性，在使用光纜而非銅電纜進行高速通信時，不需是光學設計的專家，使用者就可實現(xiàn)連接距離和帶寬的大幅度增長并降低功耗。