基于PC主機北橋的長時間不間斷高速采集和存儲的系

引言

　　由于現(xiàn)在的PCI、CPCI、VME等系統(tǒng)的持續(xù)傳輸速度很難超越400MB/s,因此要完成實時、長時間的采集存儲功能，本設計選擇實現(xiàn)一種基于PCI-E的系統(tǒng)，PCI-E是第三代接口通信協(xié)議(3GPIO)。傳統(tǒng)的PC主機北橋只有一個高速的PCI-E X16接口，本文使用帶G31北橋的芯片組的技嘉主板GA-G31M-ES2C為例來進行討論，雖然G31-ICH7芯片組在南橋上可提供4個PCI-E ×1接口，但是由于其他I/O端口資源的占用，該主板在北橋上僅提供了一個PCI-E ×16的插槽，南橋也只提供一個PCI-E ×1插槽。因此如果只采用G31/ICH7芯片組的電腦建立一個PCI-E采集存儲系統(tǒng)，它只能實現(xiàn)PCI-E 1.0 單通道的采集存儲系統(tǒng)，帶寬就被限制在200MB/s內(nèi)。而這種格局主要是由于計算機北橋只提供一個PCI-E插槽，不能同時滿足高速采集和存儲的連接需要,因此擴展主機北橋上的PCI-E接口，將整個采集存儲都建立在北橋上變得至關重要。

　　系統(tǒng)結構分析

　　Intel(英特爾)公司最新的雙通道DDR3內(nèi)存以及下一代雙×16 PCI-E 2.0的計算機芯片組技術提供了一種更新的個人電腦的架構，這些技術被應用到X38、X48和X58等計算機芯片組中。本文以X58為例，圖1為X58芯片組的系統(tǒng)架構。

　　圖1 X58芯片組的系統(tǒng)架構

　　X58芯片組搭配新南橋ICH10或ICH10R，可支持四條PCI-E ×16插槽(其中兩條符合PCI-E 2.0規(guī)范)，根據(jù)通道數(shù)的要求可組成四種不同模式，當然它只支持雙圖形處理器(GPU)協(xié)同運行的技術CrossFire，仍不支持Scalable Link Interface(SLI)技術。SLI技術是主板能夠同時使用兩塊同型號PCI-E顯卡的一種技術，同時芯片間通信通過類似AMD HyperTransport總線技術的QPI總線技術完成，借助PCI-E通道可帶來最高25.6GB/s的雙向帶寬，而現(xiàn)在的前端總線Front Side Bus(FSB)則被徹底棄用。我們可以直接運用X58芯片組構建一個高速實時的系統(tǒng)，但由于現(xiàn)階段很少有能夠完全利用PCI-E ×16帶寬的采集卡，因此將資源進行分割，利用多塊采集模塊組成一個采集系統(tǒng)，通過PCI-E Switch擴展接口的方法可以將X58芯片組擴展成為一個更高速、兼容更多模塊的采集存儲系統(tǒng)。

　　DMI(Direct Media Interface)直接媒體接口是Intel公司開發(fā)用于連接主板南北橋的總線，取代了以前的Hub-Link總線。DMI采用點對點的連接方式，時鐘頻率為100MHz，由于它基于PCI-E總線，因此具有PCI-E總線的優(yōu)勢。DMI實現(xiàn)了上行與下行各1GB/s的數(shù)據(jù)傳輸率，總帶寬達到2GB/s，但DMI還要與其他I/O設備進行通信，因此如果選擇南橋的PCI-E端口進行傳輸，傳輸速度將受到很大的限制，理想情況下至多只能實現(xiàn)1GB/s的傳輸存儲速度。因此，本系統(tǒng)在計算機中DMI以上的結構中完成數(shù)據(jù)的傳輸和存儲。我們可以將連接在芯片G31 GMCH的PCI-E ×16端口通過一個PCI-E Switch進行擴展，擴展后的結構相當于主機北橋提供了多個高速的PCI-E接口，形成一個類似于圖1中的X58架構，從而使整個傳輸存儲過程不受DMI雙向2GB/s速度的影響。

　　利用北橋PCI-E擴展技術，將所有的采集卡和存儲卡都連接到主機的北橋端，可使整個數(shù)據(jù)傳輸不受主機DMI等的速度瓶頸限制，如果只是使用PCI-E ×4對系統(tǒng)進行擴展，理想的有效數(shù)據(jù)傳輸速度也可達800MB/s，而且由于PCI-E協(xié)議是雙向同時傳輸?shù)?，因此將采集卡和存儲卡同時連接到一個端口并不會影響其傳輸和存儲的效率。

　　系統(tǒng)設計

　　PCI-E Switch

　　PCI-E Switch為整個系統(tǒng)提供擴展端口，系統(tǒng)中所有的PCI-E接口都是通過PCI-E Switch芯片擴展出來的，類似的可以看成將多個PCI-E插槽直接連接到主機的北橋上。圖2為含PCI-E的拓撲結構圖，通過Switch可以將一個上游設備口擴展多個下游端口，此外PCI-E Switch還可以級聯(lián)。通過一個多通道的PCI-E Switch可擴展構建一個多采集卡多存儲設備的實時高速采集存儲系統(tǒng)。

　　圖2 含PCI-E Switch的拓撲結構圖

　　本方案采用的是PLX公司的一塊PCI-E Switch芯片PEX8616，它是一款可以設置4個接口并擁有16個通道的PCI-E Switch芯片，并可設置每個接口的通道數(shù)。其支持透明橋(TB)、非透明橋(NTB)兩種方式，即可以支持兩個及以上的多主機系統(tǒng)和多智能I/O端口的模塊。PEX8616每個通道含有兩個虛擬端口，且支持熱插拔。由于主要目的是將北橋上的PCI-E ×16插槽擴展成為多個PCI-E接口。因此，本系統(tǒng)中將其分為四個PCI-E ×4的接口。端口號為0、1、5和6，將與主機連接的端口0設置為上游端口，其余三個端口則為下游端口，連接采集卡和RAID存儲卡。

　　PCI-E數(shù)據(jù)傳輸方式包含地址路由和ID路由等方式，PCI-E設備在系統(tǒng)中都有一個ID，根據(jù)所處的PCI總線號、設備號和功能號來確定。一個PCI-E Switch可以看成多個P2P橋的集合，并且在上游設備和下游設備之前還虛擬了一條總線。