嵌入式分布模塊控制系統(tǒng)與網(wǎng)絡(luò)的互連

3.與SAN相互連接的分布式系統(tǒng)

由于在分布式數(shù)據(jù)處理系統(tǒng)中，大量并行處理器受到總線的限制，所以可擴(kuò)展一次性接口(SCI)就成為一個(gè)用于高級(jí)多處理器體系結(jié)構(gòu)的最好的系統(tǒng)區(qū)域網(wǎng)絡(luò) (SAN)而發(fā)展起來。隨后，第一個(gè)具有硬件一致性的基于SCI的高性能模塊化多處理器系統(tǒng)被開發(fā)出來。根據(jù)多級(jí)物理模型，人們提出將用于高性價(jià)比系統(tǒng)的基于標(biāo)準(zhǔn)緊湊型PC (PC-board)和鏈路模塊(如Dolphin)的高級(jí)集成化實(shí)時(shí)系統(tǒng)高效SAN體系結(jié)構(gòu)用于實(shí)驗(yàn)物理研究中的高性能數(shù)據(jù)采集、控制和分布式數(shù)據(jù)處理。組建高性價(jià)比實(shí)時(shí)系統(tǒng)的一個(gè)最佳方法是使用工業(yè)計(jì)算機(jī)系統(tǒng)MB(ICS MB)、PC MB 或 cPCI/PXI，并根據(jù)實(shí)際的應(yīng)用場(chǎng)合通過不同的拓?fù)溥B接到SAN中。

分布式并行數(shù)據(jù)處理模型包括對(duì)稱多處理(SMP)、大規(guī)模并行處理(MPP)和機(jī)群系統(tǒng)(RMC和NUMA)。RMC(映射內(nèi)存集群)是一個(gè)在節(jié)點(diǎn)和通信連接之間具有內(nèi)存復(fù)制功能和內(nèi)存?zhèn)鬏敊C(jī)制的集群系統(tǒng)。

借助系統(tǒng)區(qū)域網(wǎng)絡(luò)(SAN)的鏈路模塊，分布式集成系統(tǒng)的高模塊化結(jié)構(gòu)能夠支持分布式處理器和內(nèi)存之間的高效交互作用。SAN包括以下幾個(gè)級(jí)：

1)核心級(jí)由一套內(nèi)核處理器、存儲(chǔ)器、I/O控制器所組成，它們之間相互連接。與同一板上的片外存儲(chǔ)器相比，新型單芯片微型機(jī)具有更短的通信鏈路，更易訪問和更短的數(shù)據(jù)傳輸時(shí)間。

2) 系統(tǒng)模型的緊湊型板結(jié)構(gòu)的原子級(jí)(A模塊)包括用于特定目的和一般目的的處理器。用于數(shù)據(jù)采集和控制的最簡高效實(shí)時(shí)　系統(tǒng)可以以具有單核、雙核或三核處理器的標(biāo)準(zhǔn)PC MB為基礎(chǔ)。在同一總線上，處理器模塊有數(shù)量限制。對(duì)稱多處理(SMP)是用于多處理器的基本軟件模型。

3)分子級(jí)(宏觀結(jié)構(gòu))取決于系統(tǒng)拓?fù)浣Y(jié)構(gòu)。大量多處理器節(jié)點(diǎn)可以通過SAN(“大總線”模型)連接到大型(千處理器)系統(tǒng)中以支持分布式集成實(shí)時(shí)系統(tǒng)用于數(shù)據(jù)采集、控制和數(shù)據(jù)處理應(yīng)用。

4)分布式系統(tǒng)的相互連接基于鏈路、橋接和開關(guān)模塊(L模塊、B模塊和S模塊)。通信速度的成本比針腳和板空間的成本下降地更快。傳統(tǒng)的通信基于總線，這限制了處理器的數(shù)目。

一個(gè)可行的解決方案是在許多獨(dú)立的點(diǎn)對(duì)點(diǎn)連接上使用基于包的信號(hào)，這可以解決總線瓶頸的問題，但也帶來了新的問題——如何保持系統(tǒng)中共享內(nèi)存模型的cache一致性。

處理器模塊之間的弱相互作用基于消息傳送(以太網(wǎng))。中級(jí)相互作用基于集群中使用的外部存儲(chǔ)設(shè)備(磁盤、磁帶)。處理器核之間的強(qiáng)相互作用基于直接讀取分布式存儲(chǔ)器，并在SCI上實(shí)現(xiàn)，SCI也支持處理器模塊之間的弱相互作用。SCI的強(qiáng)相互作用包括小包交易(有回顯地發(fā)送和響應(yīng)分離的包)。包格式包括寫 xx、讀xx、移動(dòng)xx和鎖定命令，此處xx表示允許的數(shù)據(jù)塊長度(數(shù)據(jù)字節(jié)數(shù)目，在數(shù)據(jù)包頭的右方)。

可擴(kuò)展性是增強(qiáng)多處理器實(shí)時(shí)系統(tǒng)性能(與千處理器系統(tǒng)相連接)的一個(gè)問題。

SAN架構(gòu)的分布式存儲(chǔ)器模型能支持并行流水線數(shù)據(jù)處理(計(jì)算)作為SMP模型運(yùn)行于單個(gè)地址空間。64位地址支持每個(gè)節(jié)點(diǎn)上的256T字節(jié)。

Cache 一致性支持分布式并行數(shù)據(jù)處理實(shí)時(shí)系統(tǒng)中所有處理器的數(shù)據(jù)可用性。實(shí)時(shí)系統(tǒng)包含有許多處理器，它們嘗試著修改單個(gè)數(shù)據(jù)或與此同時(shí)將數(shù)據(jù)的備份保存到自己的 cache中。通過軟件或硬件實(shí)現(xiàn)的一致性阻止多處理器在同一時(shí)刻嘗試修改同樣的數(shù)據(jù)。硬件一致性支持高性能(高價(jià)格)而軟件一致性則提供了高性能(低價(jià)格)。

模塊化實(shí)時(shí)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)應(yīng)該基于一套精選過的模塊來發(fā)展系統(tǒng)以達(dá)到最優(yōu)化地解決確定問題的目的。它應(yīng)該是個(gè)具有矩陣探測(cè)器的用于數(shù)據(jù)采集的矩陣或是用于3D圖像的3D拓?fù)浣Y(jié)構(gòu)。在控制領(lǐng)域，系統(tǒng)應(yīng)該需要有個(gè)類似于大型機(jī)器(線性或環(huán)形)結(jié)構(gòu)的拓?fù)洹?p>基于SAN的分布式系統(tǒng)應(yīng)該共享64位SCI地址，高16位用于在適當(dāng)?shù)墓?jié)點(diǎn)轉(zhuǎn)發(fā)數(shù)據(jù)包。系統(tǒng)拓?fù)淇梢栽诤喴篆h(huán)、多環(huán)、橋接或交換器的基礎(chǔ)上實(shí)現(xiàn)處理器之間的并行流水線的強(qiáng)相互作用。SCI基于點(diǎn)到點(diǎn)的連接并支持同一時(shí)間內(nèi)所有處理器模塊的事務(wù)。商用Dolphin的L模塊提供了每秒800M字節(jié)的雙向 SCI連接用于移動(dòng)大量的具有小型應(yīng)用-應(yīng)用潛力(2.3毫秒)的分布式數(shù)據(jù)并且減少了用于多點(diǎn)應(yīng)用的最好的可擴(kuò)展性的節(jié)點(diǎn)控制信息。

基于網(wǎng)絡(luò)的分布式實(shí)時(shí)系統(tǒng)包括下面節(jié)點(diǎn)：連接到虛擬端(VS)的控制器端(CS)收集實(shí)時(shí)數(shù)據(jù)并輸出控制數(shù)據(jù)。具有一個(gè)以太網(wǎng)端口的簡易CS基于具有兩個(gè) PCI插槽的緊湊型ICS MB用于數(shù)據(jù)采集和控制模塊。另一個(gè)端口用于擴(kuò)展或另外的以太網(wǎng)連接。VS應(yīng)該支持專業(yè)級(jí)的仿真、監(jiān)測(cè)和測(cè)試。虛擬儀器和標(biāo)準(zhǔn)應(yīng)用軟件基于基本的操作系統(tǒng) (Windows、Linux)，借助于10/100M以太網(wǎng)，它們工作于連接到大量安裝有RTLinux的分布式CS的VS上。每個(gè)VS應(yīng)該能夠達(dá)到多服務(wù)器級(jí)。

可擴(kuò)展模塊化實(shí)時(shí)系統(tǒng)的聯(lián)合通用模型集成了基于相互連接的網(wǎng)絡(luò)(以太網(wǎng))和SAN(SCI)的數(shù)據(jù)采集、觸發(fā)和控制系統(tǒng)。對(duì)于控制技術(shù)領(lǐng)域中的工程系統(tǒng)來說，具有兩個(gè)PCI插槽的緊湊型ICS MB (A模塊)和以太網(wǎng)是個(gè)不錯(cuò)的平臺(tái)。而對(duì)于實(shí)驗(yàn)物理領(lǐng)域中的高性能數(shù)據(jù)采集和觸發(fā)系統(tǒng)來說，基于嵌入式cPCI/PXI且與SAN(SCI)相互連接的節(jié)點(diǎn)是個(gè)不錯(cuò)的平臺(tái)。