網(wǎng)絡(luò)技術(shù)的發(fā)展與研究

2003年10月13日，IBM與中國國家教育部在京宣布，雙方將建立中國教育科研網(wǎng)格以促進(jìn)全國高校在教育、科研及更廣泛項(xiàng)目上的全面合作。該項(xiàng)目由北京大學(xué)、華南理工大學(xué)、清華大學(xué)等12所大學(xué)聯(lián)合提出，是迄今由政府推出的最宏大的網(wǎng)格工程，也是迄今為止世界上規(guī)模最大的網(wǎng)格計(jì)算工程之一。其應(yīng)用領(lǐng)域包括從生命科學(xué)、圖像處理到遠(yuǎn)程教育等方面的眾多領(lǐng)域。到網(wǎng)格建成時(shí)，它將在教育科研網(wǎng)上把全國100所211工程建設(shè)重點(diǎn)大學(xué)的資源廣泛共享，并將在該工程完成時(shí)達(dá)到超過15萬億浮點(diǎn)運(yùn)算的功能。美國《福布斯》雜志的科技版《Forbes ASAP》2001年就曾預(yù)言下一代互聯(lián)網(wǎng)浪潮將是萬維網(wǎng)（World Wide Web）升級為網(wǎng)格（Great Global Grid）。那么到底什么是網(wǎng)格呢？

1 網(wǎng)格的涵義

1.1 網(wǎng)格概念

網(wǎng)格就是一個(gè)集成的計(jì)算與資源環(huán)境，或者說是一個(gè)計(jì)算資源池。它能夠把整個(gè)互聯(lián)網(wǎng)集成為一臺巨大的超級計(jì)算機(jī)，實(shí)現(xiàn)全球范圍的計(jì)算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源、設(shè)備資源甚至是人才等各種相關(guān)的廣泛分布的各種資源的全面共享。網(wǎng)格的根本特片是資源共享，消除資源孤島。當(dāng)然，我們也可以構(gòu)造地區(qū)性的網(wǎng)格、企事業(yè)內(nèi)部網(wǎng)格、局域網(wǎng)網(wǎng)格甚至家庭網(wǎng)格和個(gè)人網(wǎng)格?？蓮囊韵氯矫胬斫饩W(wǎng)格概念：

第一，從概念上，網(wǎng)格的目標(biāo)是資源共享和分布協(xié)同工作。網(wǎng)格的這種概念可以清晰地指導(dǎo)行業(yè)和企業(yè)中各個(gè)部門的資源進(jìn)行行業(yè)或企業(yè)整體上的統(tǒng)一規(guī)劃、部署、整合和共享，而不僅僅是行業(yè)或大企業(yè)中的各個(gè)部分自己規(guī)劃、占有和使用資源。

第二，網(wǎng)格是一種技術(shù)。為了達(dá)到多種類型的分布資源共享和協(xié)作，網(wǎng)絡(luò)計(jì)算技術(shù)必須解決多個(gè)層次的資源共享和合作技術(shù)，制定網(wǎng)格的標(biāo)準(zhǔn)，將Internet從通訊和信息交互的平臺提升到資源共享的平臺。但是目前并行計(jì)算、分布計(jì)算中間件等現(xiàn)行技術(shù)遠(yuǎn)遠(yuǎn)沒有解決多組織之間資源的共享問題，以及廣域范圍的多系統(tǒng)之間聯(lián)合處理和計(jì)算等網(wǎng)格計(jì)算所面臨的關(guān)鍵問題。因此，網(wǎng)格計(jì)算技術(shù)研究具有獨(dú)特性、緊迫性和挑戰(zhàn)性。

第三，網(wǎng)格是基礎(chǔ)設(shè)施，是通過各種網(wǎng)格綜合計(jì)算機(jī)、數(shù)據(jù)、設(shè)備和服務(wù)等資源的基本設(shè)施。這種設(shè)施的建立，將使用戶如同今天我們按需使用電力一樣，無需在用戶端配套大量的全套計(jì)算機(jī)系統(tǒng)和復(fù)雜軟件，就可以簡便地得到網(wǎng)格提供的各種服務(wù)。這樣，設(shè)備、軟件投資和維護(hù)開銷將大大減少。

圖1

1.2 網(wǎng)格組成

網(wǎng)格環(huán)境的構(gòu)建層次如圖1所示，主要由資源、中間件、工具軟件和應(yīng)用程序等幾部分組成。其中資源由分布在Internet上的各類資源組成，包括各類主機(jī)、工作站甚至PC機(jī)，也可以是上述機(jī)型的機(jī)群系統(tǒng)、大型存儲設(shè)備、數(shù)據(jù)庫或其他設(shè)備。中間件是網(wǎng)格計(jì)算的核心，負(fù)責(zé)提供遠(yuǎn)程進(jìn)程管理、資源分配、存儲訪問、登錄和認(rèn)證、安全性和服務(wù)質(zhì)量（QoS）等。工具軟件和應(yīng)用程序提供用戶二次開發(fā)利用的環(huán)境、工具、語言及接口等，以便更好地利用網(wǎng)格資源。

1.3 網(wǎng)格的判斷標(biāo)準(zhǔn)

證判一個(gè)系統(tǒng)是否是網(wǎng)格，從根本上說，必須看此系統(tǒng)所能提供的應(yīng)用、商業(yè)價(jià)值和科學(xué)結(jié)論，而不是它的系統(tǒng)結(jié)構(gòu)。全球網(wǎng)格研究的鄰軍人物伊安·福斯特（Ian Foster）對于網(wǎng)格作為三點(diǎn)限制：

首先，協(xié)調(diào)非集中控制資源。網(wǎng)格整合各種資源、協(xié)調(diào)各種使用者。這些資源和使用者在不同控制制域中，比如，個(gè)人電腦和中心計(jì)算機(jī)、相同或不同公司的不同管理單元；網(wǎng)格還解決在這種分布式環(huán)境中出現(xiàn)的安全、策略、使用費(fèi)用、成員權(quán)限等問題。否則，只能稱得上本地管理系統(tǒng)而非網(wǎng)格。

其次，使用標(biāo)準(zhǔn)、開放、通用的協(xié)議和界面。網(wǎng)格建立在多功能的協(xié)議和界面之上，這些協(xié)議和界面解決認(rèn)證、授權(quán)、資源發(fā)現(xiàn)和資源存取等基本問題。否則，只能是一個(gè)具體應(yīng)用系統(tǒng)而非網(wǎng)格。

其次，使用標(biāo)準(zhǔn)、開放、通用的協(xié)議和界面。網(wǎng)格建立在多功能的協(xié)議和界面之上，這些協(xié)議和界面解決認(rèn)證、授權(quán)、資源發(fā)現(xiàn)和資源存取等基本問題。否則，只能是一個(gè)具體應(yīng)用系統(tǒng)而非網(wǎng)格。

第三，得到非平凡的服務(wù)質(zhì)量。網(wǎng)格允許它的資源被協(xié)調(diào)使用，以得到多種服務(wù)質(zhì)量，滿足不同使用者需求，如系統(tǒng)響應(yīng)時(shí)間、流通量、有效性、安全性及資源重定位，使得聯(lián)合系統(tǒng)的功效比其各部分的功效總和要大得多。

2 網(wǎng)格的體系結(jié)構(gòu)

目前，比較重要的網(wǎng)格體系結(jié)構(gòu)有兩個(gè)：一個(gè)是伊安·福斯特（Ian Foster）等在早些時(shí)候提出的五層沙漏結(jié)構(gòu)；另一個(gè)是以IBM為代表的工業(yè)界的影響下，在考慮到Web技術(shù)的發(fā)展與影響后，伊安·福斯特（Ian Foster）等結(jié)構(gòu)Web Service提出的開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA（Open Grid Services Architcture）。

2.1 五層沙漏結(jié)構(gòu)

五層沙漏結(jié)構(gòu)是一種影響十分廣泛的結(jié)構(gòu)，它的主要特點(diǎn)就是簡單，主要側(cè)重于定位的描述而不是具體的協(xié)議定義。其基本思想就是以協(xié)議為中心，也十分強(qiáng)調(diào)與API（ApplicaTIon Programming Interfaces）和SDK（Software Development Kits）的重要性。

五層沙漏模型從底層開始分別為構(gòu)造層、連接層、資源層、匯聚層和應(yīng)用層。

網(wǎng)格構(gòu)造層由各種物理資源所構(gòu)成，包括存儲資源、計(jì)算資源、目錄、數(shù)據(jù)庫、網(wǎng)絡(luò)資源、傳感器等，構(gòu)造層的基本功能就是控制和管理局部的資源，向上提供訪問這些資源的接口。

網(wǎng)格連接層實(shí)現(xiàn)構(gòu)造層資源之間的通信、數(shù)據(jù)交換，定義了核心的通信和認(rèn)證協(xié)議。

網(wǎng)格資源層建立在連接層的通信與認(rèn)證協(xié)議之上，工、提供數(shù)據(jù)訪問、計(jì)算機(jī)訪問、狀態(tài)與性能信息訪問等服務(wù)。它考慮的是單個(gè)的局部資源，全局狀態(tài)和跨越分布資源集合的原子操作由匯聚層考慮。

網(wǎng)格匯聚層的主要功能是協(xié)調(diào)“多種”資源的共離，協(xié)同完成任務(wù)。匯聚層在資源基礎(chǔ)上，實(shí)現(xiàn)更高級的應(yīng)用。匯聚層可分為通用的匯聚層和面向特定問題的匯聚層。

網(wǎng)格應(yīng)用層是在虛擬組織環(huán)境中存在的，應(yīng)用可根據(jù)上面作一層次上定義的服務(wù)來構(gòu)造，它可以調(diào)用資源層的服務(wù)，也可以調(diào)用匯詞聚層的服務(wù)，從而滿足應(yīng)用需求。拿電力系統(tǒng)做個(gè)比喻，前四個(gè)層次就相當(dāng)于發(fā)電廠、電網(wǎng)、變電所和配電房，而應(yīng)用層相當(dāng)于住宅里的電閘、電表和電源插座。

其另一個(gè)重要特點(diǎn)就是沙漏形狀，如圖2所示。核心協(xié)議就形成了協(xié)議層次結(jié)構(gòu)中的一個(gè)瓶頸，資源層和連接層共同組成這一核心的瓶頸部分，它們提供資源的安全訪問。

2.2 開放網(wǎng)格服務(wù)結(jié)構(gòu)OGSA

開放式的網(wǎng)格服務(wù)體系OGSA是一個(gè)由節(jié)點(diǎn)和連線構(gòu)成的框架。該框架的節(jié)點(diǎn)是網(wǎng)格服務(wù)而網(wǎng)格服務(wù)之間的連線是網(wǎng)格服務(wù)相互交流時(shí)所用的語言。網(wǎng)格服務(wù)是特殊的網(wǎng)絡(luò)服務(wù)專供用來維持和管理網(wǎng)格體系。

OGSA網(wǎng)格也為五層結(jié)構(gòu)，其結(jié)構(gòu)同五層沙漏結(jié)構(gòu)，自下而上為結(jié)構(gòu)層、連接層、資源層、匯聚層及應(yīng)用層。但OGSA結(jié)構(gòu)較五層沙漏結(jié)構(gòu)有著以下特點(diǎn)：

（1）以服務(wù)為中心的模型

如果說五層沙漏結(jié)構(gòu)是以協(xié)議為中心的“協(xié)議結(jié)構(gòu)”，其試圖實(shí)現(xiàn)的是對資源的共享，則OGSA就是以服務(wù)為中心的“服務(wù)結(jié)構(gòu)”，其實(shí)現(xiàn)的是對服務(wù)的共享。OGSA將一切看作服務(wù)，并定義了“網(wǎng)格服務(wù)”，該服務(wù)提供了一組接口，這些接口明確遵守特定的慣例，解決服務(wù)發(fā)現(xiàn)、動態(tài)服務(wù)創(chuàng)建、生命周期管理、通知等問題。因此，網(wǎng)格是可擴(kuò)展的網(wǎng)格服務(wù)的集合。簡單地說，網(wǎng)格服務(wù)=接口/行為+服務(wù)數(shù)據(jù)。

（2）統(tǒng)一的Web Service框架

Web Service描述了一種新出現(xiàn)的、重要的分布式計(jì)算范式，定義了一種技術(shù)，用于描述被訪問的軟件組件、訪問組件的方法以及找到相關(guān)服務(wù)才蝗發(fā)現(xiàn)方法，解決了發(fā)現(xiàn)和激發(fā)永久服務(wù)的問題。OGSA是符合標(biāo)準(zhǔn)的Web service框架的。但是在網(wǎng)格中，大量的是臨時(shí)服務(wù)，因此OGSA對Web service進(jìn)行了擴(kuò)展，提出的是網(wǎng)格服務(wù)（Grid Service）的模仿，使得它可以支持臨時(shí)服務(wù)實(shí)例，并且能夠支柱創(chuàng)建和刪除。

（3）突破科技應(yīng)用領(lǐng)域

正如Web技術(shù)一開始是科學(xué)協(xié)議而出現(xiàn)的，但是后來在商業(yè)領(lǐng)域卻大量使用一樣，OGSA將原來主要在科技領(lǐng)域應(yīng)用的網(wǎng)格技術(shù)轉(zhuǎn)移到工商業(yè)領(lǐng)域。OGSA而向服務(wù)的特點(diǎn)允許我們在不同的層次虛擬化資源，因此相同的機(jī)制與抽象可以應(yīng)用于多個(gè)組織之間的分布式網(wǎng)格支持的協(xié)作，或者是跨越多個(gè)特點(diǎn)主要環(huán)境。

2.3 應(yīng)用實(shí)例：Globus系統(tǒng)

Globus是美國Argonne國家實(shí)驗(yàn)室研發(fā)的網(wǎng)絡(luò)計(jì)算項(xiàng)目，有12所大學(xué)和研究機(jī)構(gòu)參加該項(xiàng)目。Globus對資源管理、信息安全、信息服務(wù)、數(shù)據(jù)管理等網(wǎng)絡(luò)計(jì)算關(guān)鍵理論進(jìn)行了研究，開發(fā)了在各種平臺上運(yùn)行的網(wǎng)絡(luò)計(jì)算工具軟件（Toolkit），幫助組建和規(guī)劃大型網(wǎng)絡(luò)試驗(yàn)平臺，開發(fā)大型網(wǎng)絡(luò)系統(tǒng)運(yùn)行的應(yīng)用軟件。Toolkit是Globus最重要的成果，其第一版在1999年推出。2003年1月13日，符合OGSA規(guī)范的Globus Toolkit 3.0（Alpha版）已經(jīng)在第一屆Globus world會議上發(fā)布。這標(biāo)志著OGSA已經(jīng)從一種理念、一種體系結(jié)構(gòu)，走到付諸實(shí)踐的階段了。Toolkit開放源碼，任何人都可以從其網(wǎng)站上直接下載源代碼。

Globus的協(xié)議分為五層：構(gòu)造層、連接層、資源層、匯集層和應(yīng)用層。每層都有自己的服務(wù)、API和SDK，上層協(xié)議調(diào)用下層協(xié)議的服務(wù)。網(wǎng)格內(nèi)的全局應(yīng)用都通過協(xié)議提供的服務(wù)調(diào)用操作系統(tǒng)。Globus的網(wǎng)格計(jì)算協(xié)議建立在互聯(lián)網(wǎng)協(xié)議之上，以互聯(lián)網(wǎng)協(xié)議中的通信、路由、名字解析等功能為基礎(chǔ)。在Globus看來，現(xiàn)有的共享方案，比如互聯(lián)網(wǎng)、B2B、ASP、SSP、Java、CORBA、DCE等，要么在共享配置的靈活性上、要么在共享資源種類上不能完全滿足虛擬組織的需要。同時(shí)，Globus并不試圖取代現(xiàn)有技術(shù)，而是希望在現(xiàn)有技術(shù)之上建立更高層次的共享。為了有效支持網(wǎng)格計(jì)算環(huán)境，Globus工具包針對Globus項(xiàng)目中提出的各種協(xié)議，提供了一系列的服務(wù)、軟件庫、編程接口（API）和使用例子。

迄今為止，Globus Toolkit已經(jīng)成為事實(shí)上的網(wǎng)格標(biāo)準(zhǔn)。一些重要的公司，包括IBM、Microsoft、Compaq、Cray、SGI、Sun、Fujitsu、Hitachi、NEC等公開宣布支持Globus Toolkit。目前大多數(shù)網(wǎng)格項(xiàng)目都是基于Globus Toolkit所提供的協(xié)議及服務(wù)而建設(shè)的，例如美國的物理網(wǎng)格GriPhyN、歐洲物數(shù)據(jù)網(wǎng)格DataGrid、荷 蘭的集群計(jì)算機(jī)網(wǎng)格DAS-2、美國能源部的科學(xué)網(wǎng)格、DISCOM網(wǎng)格、美國學(xué)術(shù)界的TeraGrid等等。

3 網(wǎng)格的研究歷史與現(xiàn)狀

從美國、日本及歐洲的發(fā)達(dá)國家到印度這樣的發(fā)展中國家都啟動了大型網(wǎng)格研究計(jì)劃，并得到了產(chǎn)業(yè)界的大力支持。網(wǎng)格的發(fā)展到目前為止基本上可以劃分為以下幾個(gè)階段：

一是萌芽階段：在上個(gè)世紀(jì)90年代初期，主要是千兆網(wǎng)的測試床以及一些元計(jì)算的實(shí)施。

二是早期實(shí)驗(yàn)階段：在上個(gè)世紀(jì)90年代中期到晚期，如I-WAY項(xiàng)目，還包括一些學(xué)術(shù)性的軟件項(xiàng)目，例如Globus、Legion等。

三是飛速發(fā)展階段：2002年以來，出現(xiàn)了大量的應(yīng)用社團(tuán)和項(xiàng)目，主要基礎(chǔ)市話的開發(fā)和使用，工業(yè)界對網(wǎng)格計(jì)算的興趣在增長，例如IBM、Platform、Microsoft、Sun、Compaq等重要的公司。同時(shí)也出現(xiàn)了一比較顯著的技術(shù)基礎(chǔ)，如Globus Toolkit，形成了具有相當(dāng)規(guī)模和世界影響的全球網(wǎng)格論壇GGF（Global Gria Forum）組織。

目前，IBM是網(wǎng)格系統(tǒng)和服務(wù)方面的領(lǐng)先供應(yīng)商，已經(jīng)為很多科技團(tuán)體、政府機(jī)構(gòu)、商業(yè)化用戶的網(wǎng)格系統(tǒng)提供了產(chǎn)品和服務(wù)，其中包括英國國家網(wǎng)格、荷蘭國家各、北卡州的生物網(wǎng)格等等。美國太陽微系統(tǒng)公司2002年發(fā)布了“網(wǎng)格引擎”企業(yè)版的測試版。HP公司也提出了UTIlity CompuTIng計(jì)劃和UTIlity Data Center產(chǎn)品。Oracle公司2002年11月推出面向網(wǎng)格的基于Globus的數(shù)據(jù)庫應(yīng)用工具。2008年北京奧運(yùn)會的計(jì)算機(jī)信息處理系統(tǒng)將應(yīng)用網(wǎng)格，IBM、Oracle、SUN、NP都已推出了一系列可應(yīng)用網(wǎng)格的產(chǎn)品。日本文部科學(xué)省2003年5月決定投資700億日元開發(fā)超大型網(wǎng)格計(jì)算機(jī)，它出現(xiàn)在世界上運(yùn)算速度最快的計(jì)算機(jī)還快近10倍，將達(dá)每秒300萬億次。

我國“十五”863計(jì)劃的高性能計(jì)算專項(xiàng)和軟件專項(xiàng)等重大科研項(xiàng)目都與網(wǎng)格技術(shù)相關(guān)。目前，我國已開展了“國家高性能計(jì)算環(huán)境”和“先進(jìn)計(jì)算基礎(chǔ)設(shè)施北京上海試點(diǎn)工程”兩個(gè)項(xiàng)目，對網(wǎng)格計(jì)算進(jìn)行研究。中科院計(jì)算所正在進(jìn)行的“織女星計(jì)劃”（Vega計(jì)劃）正是以元數(shù)據(jù)、構(gòu)件框架、智能體、網(wǎng)格公共信息協(xié)議和網(wǎng)格計(jì)算協(xié)議為主要突破點(diǎn)對網(wǎng)格計(jì)算進(jìn)行的研究。

4 網(wǎng)格存在問題及發(fā)展前景

4.1 存在問題

下一代互聯(lián)網(wǎng)技術(shù)是完全嶄新的，從光纖到路由器、交換機(jī)、上層服務(wù)器、操作系統(tǒng)、各種系統(tǒng)軟件和應(yīng)用軟件都將產(chǎn)生革命性的變革。因而，在網(wǎng)格的發(fā)展道路上，Globus和它的各種替代版本將面臨巨大障礙。為實(shí)現(xiàn)網(wǎng)格的廣泛應(yīng)用，還必須解決下列問題：

（1）標(biāo)準(zhǔn)是成功關(guān)鍵。就像TCP/IP協(xié)議是互聯(lián)網(wǎng)的核心一樣，構(gòu)建網(wǎng)格計(jì)算也需要對標(biāo)準(zhǔn)協(xié)議和服務(wù)進(jìn)行定義。迄今為止，網(wǎng)格計(jì)算還沒有正式的標(biāo)準(zhǔn)，但在核心技術(shù)上，GlobusToolkit已成為網(wǎng)格計(jì)算事實(shí)上的標(biāo)準(zhǔn)。

（2）網(wǎng)格資源動態(tài)分配問題。如何在動態(tài)、異構(gòu)虛擬組織間實(shí)現(xiàn)協(xié)同的資源共享以及協(xié)同是網(wǎng)格中非常重要的問題。已有的一些并行和分布計(jì)算系統(tǒng)的資源分配技術(shù)，并不能很好地適應(yīng)計(jì)算網(wǎng)格資源分配問題的特點(diǎn)。

（3）數(shù)據(jù)通過因特網(wǎng)時(shí)形成的延遲問題。智能軟件應(yīng)確保按時(shí)傳送數(shù)據(jù)，否則，網(wǎng)格處理問題的手段將被限定在“并行運(yùn)算”。并行計(jì)算在不同的機(jī)器上完成，某一臺計(jì)算機(jī)不需要等待另一臺計(jì)算機(jī)的處理結(jié)果。

（4）目前互聯(lián)網(wǎng)的數(shù)據(jù)傳輸能力不足問題。為此，發(fā)展網(wǎng)格要和建設(shè)下一代寬帶互聯(lián)網(wǎng)（如美國的“下一代Internet（NGI）”和“Internet2等”）結(jié)合起來。另一方面，采用無線移動和衛(wèi)星通信，也是一種現(xiàn)實(shí)的途徑。

（5）進(jìn)一步解決人機(jī)結(jié)合問題，使網(wǎng)絡(luò)格更加個(gè)性化、智能化和科學(xué)化。

（6）通過法律的手段解決網(wǎng)上資源共享中的智能產(chǎn)權(quán)、相互信任和報(bào)酬等問題以及如何保障網(wǎng)格計(jì)算的安全性、認(rèn)證和可靠性等。

4.2 發(fā)展前景

網(wǎng)格是一種面向問題和應(yīng)用的技術(shù)，它的目標(biāo)是實(shí)現(xiàn)網(wǎng)絡(luò)虛擬環(huán)境上的高性能資源共享和協(xié)同工作，消除信息孤島和資源孤島。這種新的網(wǎng)絡(luò)體系不僅僅可能帶來信息資源的獲取、分布、傳輸和有效利用的、革命性的、結(jié)構(gòu)性的巨大變化，而且將根本改變我們的研究方式、教育方式、生活方式與生產(chǎn)活動的方式。一旦建立起了網(wǎng)格，就可以開展許多以前無法進(jìn)行的工作和研究，可以帶動工業(yè)界大量的相關(guān)產(chǎn)品的生產(chǎn)和消費(fèi)，基于網(wǎng)格會激發(fā)無數(shù)的服務(wù)提供和服務(wù)消費(fèi)。據(jù)《Forbes ASAP》預(yù)測，網(wǎng)格技術(shù)將在2005年達(dá)到高峰，并帶來因特網(wǎng)的新生。如果網(wǎng)格技術(shù)能促使市場按預(yù)期的17%年增長率持續(xù)成長的話，那么在2020年將會形成一個(gè)年產(chǎn)值20萬億美元的大產(chǎn)業(yè)。