網(wǎng)絡存儲器的設計
加入技術交流群
高性能工作站和PC技術的發(fā)展運用以及高性能網(wǎng)絡技術的出現(xiàn)和發(fā)展，使得計算機集群系統(tǒng)在性能價格比、可擴展性、可用性、可靠性等方面都具有傳統(tǒng)的大型機和對稱多處理系統(tǒng)所無法比擬的優(yōu)勢。
計算機集群系統(tǒng)就是指將一系列的同構或異構的計算機通過高速網(wǎng)絡連接在一起，來協(xié)同完成特定任務的功能更加強大的計算機系統(tǒng)。集群系統(tǒng)采用的操作系統(tǒng)主要有VMS、UNIX、WindowsNT和Linux。集群是一種并行或分布式的處理系統(tǒng)，由多臺互聯(lián)的獨立計算機(稱為節(jié)點)整合而成，像一個單獨的計算資源一樣協(xié)同工作。集群的節(jié)點可以是PC、工作站或者對稱多處理機(SMP)，每個節(jié)點都擁有自己的CPU、內存、I／0設備和操作系統(tǒng)，可以提供大量的冗余設備來保證集群系統(tǒng)的高可用性。集群的計算能力隨著節(jié)點數(shù)量的增加而線性增加(如圖1)。
1 網(wǎng)絡存儲器技術的產(chǎn)生
隨著基于計算機集群系統(tǒng)的應用的不斷擴大，對整個系統(tǒng)性能的要求也就越來越高，越來越復雜的計算任務常常需要用到大量的數(shù)據(jù)，因此數(shù)據(jù)的I／0操作性能就成了影響計算機集群系統(tǒng)整體性能的一個重要指標。根據(jù)系統(tǒng)平衡設計原理，系統(tǒng)使用最快部件所能達到的加速比受限制于最慢的系統(tǒng)部件，而目前限制計算機集群系統(tǒng)整體性能的主要因素就來自于計算機系統(tǒng)中的磁盤的I／O瓶頸。因此，提高計算機系統(tǒng)中磁盤的I／O性能就成了提高計算機集群系統(tǒng)整體性能所需要解決的首要問題。
通過分析計算機集群系統(tǒng)的資源優(yōu)勢，我們發(fā)現(xiàn)：一方面，由于網(wǎng)絡技術的高速發(fā)展，網(wǎng)絡通訊延遲越來越小，網(wǎng)絡訪問比本地磁盤訪問的速度快得多。另一方面，整個計算機集群系統(tǒng)內部的全部內存是一個容量很大的資源。如果利用計算機集群內其它節(jié)點的空閑內存來作為本地節(jié)點的虛擬內存或文件緩存，可以大幅度節(jié)省磁盤訪問時間，從而緩解磁盤的I／0瓶頸所帶來的問題。這種使用計算機集群系統(tǒng)內的節(jié)點的主存提高計算機系統(tǒng)I／0性能的技術就稱為網(wǎng)絡存儲器技術。
伴隨著高性能網(wǎng)絡技術的出現(xiàn)和普及，計算機系統(tǒng)在傳統(tǒng)的存儲器層次中增加了一個新的層次一網(wǎng)絡存儲器(Net―work Memory)。計算機的性能依賴于系統(tǒng)內處理器與存儲器之間數(shù)據(jù)交換的速度，網(wǎng)絡存儲器正是通過提高處理器與存儲器之間的數(shù)據(jù)交換的速度來提高計算機系統(tǒng)性能的，并進而提高整個計算機集群系統(tǒng)的性能。
2 計算機存儲結構的變化
在計算機存儲結構當中，存儲器的用途是多種多樣的，如寄存器、高速緩存、主存儲器和磁盤等。憑借高速緩存和操作系統(tǒng)對存儲器的管理與分配等技術，使得整個存儲系統(tǒng)的速度接近于系統(tǒng)內速度最快的那個存儲器，容量接近于容量最大的那個存儲器。存儲結構的性能由各層次的有效存取時間決定，它依賴于相鄰層次的命中率、訪問頻率和存取速度比。命中率越高，訪問頻率越低，則性能越高。在命中率和訪問頻率一定的情況下，下一層次的存儲器的訪問速度越快，則性能越高。
2．1 傳統(tǒng)的計算機存儲結構
在傳統(tǒng)的計算機存儲結構中(如圖2)，以主存儲器為分界線，主要可以分為上下兩層，上層是由外部高速緩存和主存儲器構成的高速緩存存儲系統(tǒng)，下層則是由磁盤或磁帶等大容量存儲設備構成的存儲系統(tǒng)。
隨著集群技術的普及與廣泛應用，低速磁盤與高速內存之間的速度瓶頸問題就顯得尤為突出，有必要尋找一種辦法來緩解內存與磁盤之間的速度不匹配問題。
要緩解這個矛盾，有三種辦法。第一，提高磁盤自身的存取速度。而這需要大量的資金與精力的投入，在目前看來，是不現(xiàn)實的，也是不可取的。第二，像解決高速處理器與內存的速度瓶頸問題一樣，在本地主存儲器和本地磁盤之間也插入一種類似于高速緩存的存儲介質。第三，使用網(wǎng)絡空閑內存代替本地磁盤，與本地主存儲器進行數(shù)據(jù)交換。目前高速發(fā)展的網(wǎng)絡互聯(lián)技術使得后兩種辦法成為可能，那就是網(wǎng)絡存儲器。
2．2 具有網(wǎng)絡存儲器的計算機存儲結構
應用了網(wǎng)絡存儲器的計算機存儲結構發(fā)生了改變，如圖3所示，對于第二種解決方法，網(wǎng)絡存儲器在主存儲器和磁盤之間充當了一個緩存的角色，這樣可以有效地緩解內存和磁盤之間速度瓶頸的問題。對于第三種解決方法，網(wǎng)絡存儲器在計算機存儲結構中的位置會有相應的變化。
3 網(wǎng)絡存儲器的可行性分析
為了考查實際情況下的網(wǎng)絡存儲器，可以考查一個工作站集群，這個集群有100個工作站，每個工作站各有一個處理器，內存為64MB或128MB，硬盤為2GB或4GB。工作站以155Mb／s的ATM連接，典型的延遲是20微秒，帶寬為15Mb／s。這種環(huán)境下，很多工作站上裝載了用戶的應用程序以及正在使用的集群資源(CPU、內存、硬盤、網(wǎng)絡)。根據(jù)統(tǒng)計情況，在給定的時間內，仍有相當多的資源沒有被利用。在夜間，甚至有80％～90％的工作站都被閑置著，即使在一天中最忙的時候，仍有三分之一的工作站完全未用，通常晚上有超過l千兆字節(jié)的存儲器空閑。在任何時間，在50臺機器的網(wǎng)絡中有30臺是空閑的。
圖4是希臘計算機科學學院(ICS)計算機結構與VLSI系統(tǒng)小組提出的模型，該模型是一個由16臺工作站組成的共800M主存的集群。由圖4可以看出，絕大多數(shù)時間集群內空閑內存都超過了700MB，尤其在夜間和周末。
評論