光子網(wǎng)格技術(shù)及應(yīng)用

1引言

網(wǎng)格(grid)是20世紀90年代中期發(fā)展起來的一項技術(shù)，其標(biāo)志性應(yīng)用為全球范圍內(nèi)的大規(guī)?？茖W(xué)計算(E-science)[1]。它將位于不同地理位置的科學(xué)儀器、高性能計算機、分布式數(shù)據(jù)庫、傳感器、遠程設(shè)備等組合起來，以解決復(fù)雜的科學(xué)問題，如全球氣候模擬、高能物理、基因圖譜的測繪、核試驗?zāi)M、新藥的研制、虛擬專家會診、大規(guī)模信息和決策支持系統(tǒng)等。網(wǎng)格技術(shù)使人們能夠共享計算資源、存儲資源和相關(guān)服務(wù)，因此它在天文、航空航天、交通、汽車制造、氣象、鋼鐵生成、核反應(yīng)堆等諸多領(lǐng)域的科研計劃和產(chǎn)業(yè)發(fā)展中起著至關(guān)重要的作用。

在網(wǎng)格應(yīng)用中，傳感器、遠程設(shè)備、高性能計算機及可視化設(shè)備之間需要實時傳送terabyte甚至petabyte量級的海量數(shù)據(jù)，網(wǎng)絡(luò)在網(wǎng)格應(yīng)用中占有十分重要的地位。傳統(tǒng)互聯(lián)網(wǎng)無法提供低延時保證下海量數(shù)據(jù)的高速傳輸，同時其盡力而為的服務(wù)方式無法滿足用戶的QoS要求。因此，構(gòu)建在傳統(tǒng)互聯(lián)網(wǎng)上的網(wǎng)格應(yīng)用存在著諸多的局限性，如數(shù)據(jù)傳輸速度慢、可靠性差、用戶交互性差、使用界面不夠友善等，極大地影響了應(yīng)用系統(tǒng)的效率。

光子網(wǎng)格（opticalgrid）是近年來在上述背景下發(fā)展起來的一種新興技術(shù)[2~3]。其基本思想是將分布在不同地理位置的高性能并行計算機、計算機集群、大型存儲設(shè)備、高清晰顯示設(shè)備、大型科學(xué)儀器以及各種類型的個人計算機、服務(wù)器等通過光網(wǎng)絡(luò)相互關(guān)聯(lián)起來。由于光網(wǎng)絡(luò)具有大帶寬、高度透明、低延時、低成本、高可靠性和動態(tài)帶寬調(diào)整能力，因此光子網(wǎng)格在滿足用戶共享網(wǎng)格信息資源的同時，還可為網(wǎng)格應(yīng)用提供海量數(shù)據(jù)的快速傳輸、高可靠性管理及資源的靈活調(diào)度和控制。

光子網(wǎng)格網(wǎng)絡(luò)的實施，可突破網(wǎng)格應(yīng)用中的網(wǎng)絡(luò)瓶頸問題，使網(wǎng)格用戶能夠與高端計算資源保持同步并維持令人滿意的互動功能，從而加速應(yīng)用領(lǐng)域的科研進程，促進相關(guān)產(chǎn)業(yè)的發(fā)展。另一方面，光子網(wǎng)格的實施，使得高性能計算資源、存儲資源及科學(xué)儀器的擁有者能夠更有效地拓展應(yīng)用市場，提高資源的利用率。由此可見，光子網(wǎng)格是使網(wǎng)格應(yīng)用真正走向?qū)嵱玫目尚屑夹g(shù)。

2 光子網(wǎng)格產(chǎn)生的背景

近年來，隨著大規(guī)?？茖W(xué)計算應(yīng)用的不斷發(fā)展，其對計算機處理能力、存儲能力及高性能可視化的要求在不斷增加。計算機處理或存儲能力受技術(shù)及成本等因素的制約，為每個用戶配備高性能計算、存儲及可視化設(shè)備既不經(jīng)濟也不現(xiàn)實。一種可行的解決方法是將計算及存儲任務(wù)分配給不同的計算機，通過共享不同研究機構(gòu)的計算、存儲及可視化資源來實現(xiàn)大規(guī)?？茖W(xué)計算及可視化應(yīng)用。這種方法可以有效地節(jié)省成本，提高資源的利用率。
與此同時，當(dāng)今科學(xué)計算問題的復(fù)雜性在不斷增加，它需要不同領(lǐng)域、不同國家的科學(xué)家共同協(xié)作才能取得突破性的成果。因此，必須構(gòu)建一個高速網(wǎng)絡(luò)將這些科學(xué)研究工作者、高性能計算及存儲設(shè)備、高精密儀器及可視化設(shè)備關(guān)聯(lián)起來，實現(xiàn)不同地理位置之間海量數(shù)據(jù)的高效傳送。上述應(yīng)用導(dǎo)致了對網(wǎng)絡(luò)的連通性及帶寬要求的不斷增加。

光纖及光網(wǎng)絡(luò)傳輸設(shè)備的大范圍敷設(shè)及廣泛應(yīng)用為互聯(lián)高性能計算機、大型存儲設(shè)備、高清晰顯示設(shè)備及大型科學(xué)儀器提供了可能。目前，在10Gbit/s及更高速率上，與IP交換機相比，光交換機具有更低的功耗和成本。光網(wǎng)絡(luò)可以提供低成本、高帶寬、高可靠性光連接，已被絕大多數(shù)研究機構(gòu)甚至一些個人用戶所接受。

光子網(wǎng)格即是在上述背景下產(chǎn)生的，它通過光網(wǎng)絡(luò)將終端用戶、計算、存儲等資源關(guān)聯(lián)起來，從而實現(xiàn)遠程海量數(shù)據(jù)的高速傳輸。

3光子網(wǎng)格研究的關(guān)鍵問題

光子網(wǎng)格不等于簡單地用光網(wǎng)絡(luò)來提供大數(shù)據(jù)傳輸。要有效地支持網(wǎng)格應(yīng)用，傳統(tǒng)的光通信網(wǎng)絡(luò)及網(wǎng)格技術(shù)面臨著一系列的挑戰(zhàn)。

首先，要支持網(wǎng)格應(yīng)用，需要為大量的用戶和終端設(shè)備提供從Mbit/s至Tbit/s量級的傳輸帶寬。用戶對帶寬的請求具有突發(fā)性、并行性、大規(guī)模、多種粒度并存的特點，而光網(wǎng)絡(luò)的帶寬資源及網(wǎng)格的計算與存儲資源均是有限的。很顯然，為每個用戶任務(wù)提供專用的光通路既不經(jīng)濟也不現(xiàn)實。因此，光通信系統(tǒng)需要支持不同類型、多粒度、突發(fā)性帶寬需求，具有按需分配帶寬的能力；提供組播和廣播能力；同時，系統(tǒng)為滿足應(yīng)用需求，還需要為用戶或應(yīng)用提供自組織、自管理和自控制分布式網(wǎng)絡(luò)資源的能力，支持靈活、快速的通道建立。

其次，網(wǎng)格應(yīng)用不同于通信網(wǎng)絡(luò)上的點到點通信業(yè)務(wù)，它具有分布式、多任務(wù)流的工作特點，多個任務(wù)可以分配至不同的計算資源上并行運行，不同的任務(wù)分配方式會導(dǎo)致不同的光網(wǎng)絡(luò)資源分配方式。即使計算資源分配方案是確定的，由于光通道源、宿節(jié)點對之間可以有不同的路由選擇，因此光網(wǎng)絡(luò)資源將有不同的調(diào)度方案。而不同的任務(wù)分配方法又會導(dǎo)致不同的任務(wù)完成時間。因此，要在給定的限制條件下高效地完成一個給定的業(yè)務(wù)，系統(tǒng)必須支持大規(guī)模的分布式并行網(wǎng)絡(luò)服務(wù)，必須合理地描述各業(yè)務(wù)流程之間的相互關(guān)系，并通過一種全新的方式來協(xié)同調(diào)度計算資源及光網(wǎng)絡(luò)資源，否則將直接導(dǎo)致系統(tǒng)運行效率及資源利用率的降低。

再者，目前網(wǎng)格計算在完成資源發(fā)現(xiàn)、任務(wù)調(diào)度的過程中，通常不考慮網(wǎng)絡(luò)資源的限制及可用性，并且缺少從網(wǎng)絡(luò)中獲取可用的網(wǎng)絡(luò)資源信息的發(fā)現(xiàn)機制。而在實際應(yīng)用中，網(wǎng)絡(luò)資源是一個影響系統(tǒng)效率和應(yīng)用功效的重要因素。因此，必須尋找一種新的資源描述、資源發(fā)現(xiàn)及資源更新機制，以實現(xiàn)對計算資源和網(wǎng)絡(luò)資源的統(tǒng)一管理和合理利用。

最后，網(wǎng)格應(yīng)用的多業(yè)務(wù)流、大數(shù)據(jù)量特性要求通信網(wǎng)絡(luò)具有更高的安全性及數(shù)據(jù)正確性保證。雖然網(wǎng)格具有一定的容錯機制，網(wǎng)絡(luò)也具有一定的保護/恢復(fù)能力，但是如何根據(jù)用戶的QoS需求，通過光網(wǎng)絡(luò)和網(wǎng)格的協(xié)同操作來實現(xiàn)更高級別的系統(tǒng)容錯，以保證網(wǎng)絡(luò)的安全性及網(wǎng)格用戶與通信網(wǎng)絡(luò)接口的安全性，也是需要解決的問題。
針對上述關(guān)鍵問題，國內(nèi)外研究機構(gòu)及相關(guān)學(xué)者就光子網(wǎng)格及其應(yīng)用重點從以下幾個方面開展了研究。

·光子網(wǎng)格體系結(jié)構(gòu)及實現(xiàn)技術(shù)：重點研究建造光子網(wǎng)格的技術(shù)、光子網(wǎng)格的基本組成與功能、光子網(wǎng)格各組成部分的相互關(guān)系、各部分集成的方式或方法以及它們與網(wǎng)格應(yīng)用之間的相互關(guān)系。

本文引用地址：http://www.ex-cimer.com/article/201706/353758.htm

·控制與管理協(xié)議：重點研究光子網(wǎng)格的控制及管理機制，包括用戶網(wǎng)絡(luò)接口、計算資源調(diào)用及控制機制、光網(wǎng)絡(luò)突發(fā)帶寬的動態(tài)調(diào)用及調(diào)整、信令和路由協(xié)議、域間和層間控制協(xié)議、光子網(wǎng)格中間件的接口技術(shù)及實現(xiàn)方法等。

·光子網(wǎng)格資源發(fā)現(xiàn)及調(diào)度機制：重點研究光子網(wǎng)格環(huán)境下網(wǎng)格信息資源和光網(wǎng)絡(luò)資源的描述、注冊、發(fā)布、更新、服務(wù)部署、資源發(fā)現(xiàn)和資源調(diào)度機制，并在此基礎(chǔ)上研究不同工作模式下網(wǎng)格信息資源與光網(wǎng)絡(luò)資源的協(xié)同優(yōu)化調(diào)度機制、實現(xiàn)算法及性能指標(biāo)分析。

·光子網(wǎng)格容錯及安全訪問機制：重點研究光子網(wǎng)格權(quán)限管理機制、用戶身份認證技術(shù)以及跨域調(diào)度的安全和權(quán)限管理技術(shù)，研究在光子網(wǎng)格發(fā)生光纖鏈路中斷、設(shè)備節(jié)點故障、服務(wù)器宕機或服務(wù)程序中斷情況下，如何設(shè)立不同等級的容錯策略，在保障數(shù)據(jù)傳輸?shù)臏?zhǔn)確性和及時性的同時，使用戶察覺不到系統(tǒng)故障，以滿足不同用戶的QoS要求。

·業(yè)務(wù)模型及應(yīng)用實驗：重點研究多種網(wǎng)格應(yīng)用模型下業(yè)務(wù)類型的分類和整理方法，對不同類型業(yè)務(wù)，根據(jù)用戶的QoS要求，制訂不同的業(yè)務(wù)等級機制，給出不同類型、不同等級下業(yè)務(wù)工作流的描述方法，并提供一種輔助用戶進行流程定義、生成描述文件的可視化工具，在此基礎(chǔ)上針對高性能計算及可視化、大規(guī)模協(xié)同設(shè)計、實時數(shù)據(jù)傳輸?shù)鹊湫蛻?yīng)用，探討多業(yè)務(wù)應(yīng)用模式下光子網(wǎng)格的實現(xiàn)技術(shù)、應(yīng)用流程和發(fā)展前景。

由此可見，構(gòu)建一個新型的網(wǎng)絡(luò)架構(gòu)，集成網(wǎng)絡(luò)、網(wǎng)格信息資源和服務(wù)，實現(xiàn)對終端用戶、網(wǎng)絡(luò)資源和網(wǎng)格信息資源的協(xié)同管理，無論在理論研究或?qū)嶋H應(yīng)用中都存在很多問題有待進一步探討。

4光子網(wǎng)格研究進展

目前，國內(nèi)外相關(guān)機構(gòu)已在光子網(wǎng)格領(lǐng)域開展了一系列研究工作，具有代表性的研究計劃或項目包括：

·美國的OptiPuter項目[4]，它通過多個波長來互連計算機集群系統(tǒng)、可視化及協(xié)同操作工具，并通過擴展的GMPLS協(xié)議及接口實現(xiàn)對光網(wǎng)絡(luò)的控制；

·由日本和美國合作研究的G-lambda項目[5]，其目的是在網(wǎng)格資源調(diào)度器（gridresourcescheduler，GRS)和網(wǎng)絡(luò)資源管理（network resource management，NRM）系統(tǒng)之間建立一個標(biāo)準(zhǔn)的Web服務(wù)接口(GNS-WSI)，以保證GRS和NRM之間信息的協(xié)同交互，并在此基礎(chǔ)上實現(xiàn)動態(tài)跨域連接的建立及相關(guān)應(yīng)用；

·加拿大CA*net4研究網(wǎng)絡(luò)的UCLP（usercontrolled lightpath）計劃[6]，其目標(biāo)是倡導(dǎo)“用戶使能的網(wǎng)絡(luò)”，旨在為用戶提供動態(tài)分配網(wǎng)絡(luò)資源的功能，授予用戶更大的能力革新基于網(wǎng)絡(luò)的應(yīng)用；

·歐盟的Phosphorus項目[7]，其目的是設(shè)計和實現(xiàn)一種新的網(wǎng)絡(luò)服務(wù)平面結(jié)構(gòu)，以提供網(wǎng)格網(wǎng)絡(luò)服務(wù)，實現(xiàn)對網(wǎng)絡(luò)和非網(wǎng)絡(luò)（計算、存儲）資源的集成管理。

與此同時，國際標(biāo)準(zhǔn)化組織，如互聯(lián)網(wǎng)工程任務(wù)組（IETF）、分布式管理任務(wù)組（DMTF）、開放網(wǎng)格論壇（OGF），就網(wǎng)格計算的網(wǎng)絡(luò)應(yīng)用和編程環(huán)境、體系結(jié)構(gòu)、數(shù)據(jù)管理、信息系統(tǒng)和性能、P2P、調(diào)度和資源管理以及安全等問題開展了一系列研究。OGF的網(wǎng)格高性能網(wǎng)絡(luò)（gridhighperformancenetwork，GHPN）研究組已提出多個協(xié)議草案，如面向網(wǎng)格的光網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)（draft-ggf-ghpn-opticalnets-2）、網(wǎng)格基礎(chǔ)結(jié)構(gòu)的聯(lián)網(wǎng)問題（draft-ggf-ghpn-netissues-4）、傳送協(xié)議綜述（draft-ggf-ghpn-transportsurvey-1）、網(wǎng)格網(wǎng)絡(luò)服務(wù)的用例（draft-ggf-ghpn-netservices-usecases）和網(wǎng)格網(wǎng)絡(luò)服務(wù)（draft-ggf-ghpn-netservices-2）以及網(wǎng)格光突發(fā)交換網(wǎng)絡(luò)（draft-ggf-ghpn-GOBS）等。全球光網(wǎng)格論壇（GLIF）也在近期就光網(wǎng)絡(luò)控制平面及網(wǎng)格網(wǎng)絡(luò)接口技術(shù)啟動了一系列的標(biāo)準(zhǔn)化研究工作。

此外，一些企業(yè)（如HP、IBM、Intel等）也在大力開展光子網(wǎng)格相關(guān)技術(shù)及應(yīng)用研究（如云計算、云存儲等），他們在世界各地正在投巨資建立數(shù)據(jù)中心，這些都對光子網(wǎng)格技術(shù)及應(yīng)用起到了或多或少的推動作用。

中國也對光子網(wǎng)格技術(shù)給予了高度重視，國家“863”計劃、國家自然科學(xué)基金已設(shè)立多個項目開展了相關(guān)技術(shù)的研究，目前一些重要的研究技術(shù)包括：光網(wǎng)絡(luò)集成計算環(huán)境[8,9]、網(wǎng)格與網(wǎng)絡(luò)資源協(xié)同調(diào)度[10,11]、光子網(wǎng)格容錯技術(shù)等[12]。

目前常見的光子網(wǎng)格體系結(jié)構(gòu)主要有：基于密集波分復(fù)用、暗光纖和低成本光交換機的波長網(wǎng)格；基于光突發(fā)交換網(wǎng)絡(luò)（OBS）的網(wǎng)格；基于自動交換光網(wǎng)絡(luò)（ASON）的網(wǎng)格。圖1所示為典型的基于ASON的光子網(wǎng)格體系結(jié)構(gòu)。

該體系結(jié)構(gòu)框架分成3個層次。第1層為應(yīng)用層，包括所有運行在光子網(wǎng)格上的分布式應(yīng)用。第2層為服務(wù)層，是該體系結(jié)構(gòu)的實體，包括工作流和網(wǎng)格中間件兩個部分。工作流封裝多種不同的應(yīng)用業(yè)務(wù)并對外發(fā)布服務(wù)。網(wǎng)格中間件負責(zé)向下調(diào)度、封裝資源，具有資源監(jiān)控、資源發(fā)現(xiàn)、資源調(diào)度、容錯及安全控制等多種功能。第3層為物理資源層，它分為兩個部分:一部分為傳統(tǒng)的網(wǎng)格信息資源，包括計算資源、存儲資源、顯示設(shè)備等；另一部分為光子網(wǎng)格特有的資源，包括端口資源、節(jié)點資源、鏈路帶寬資源、光路資源等。

其基本工作流程為：首先，服務(wù)層通過相關(guān)接口獲取物理資源層的相關(guān)信息；當(dāng)服務(wù)層接收到應(yīng)用層的用戶請求時，它調(diào)用資源管理和調(diào)度模塊，將計算、存儲、顯示等任務(wù)分配至不同的可用資源上，當(dāng)需要進行數(shù)據(jù)傳送時，調(diào)用光網(wǎng)絡(luò)的控制平面，動態(tài)地建立光通道連接。通過上述步驟，可有效地實現(xiàn)資源的最優(yōu)化利用并最大限度地滿足用戶的QoS需求。

5光子網(wǎng)格技術(shù)的應(yīng)用

眾所周知，E-science對很多領(lǐng)域的科研計劃和產(chǎn)業(yè)發(fā)展起著至關(guān)重要的作用，例如：天文領(lǐng)域中的行星流體與磁流體動力學(xué)計算；新一代無毒、無污染運載火箭的計算和仿真；飛機設(shè)計中數(shù)值風(fēng)洞、載荷疲勞計算；汽車制造中的虛擬制造、整車空氣動力學(xué)設(shè)計；鋼鐵生產(chǎn)中鋼板碰撞性能計算、鋼管成型仿真分析；核反應(yīng)堆堆芯熱工水力分析、核反應(yīng)堆保護和控制分析、核級設(shè)備應(yīng)力分析與抗震力學(xué)分析等。在這些應(yīng)用中，位于不同區(qū)域的用戶需要共享數(shù)據(jù)資源、進行大規(guī)模協(xié)同計算和分析并實現(xiàn)大數(shù)據(jù)流的數(shù)據(jù)交互和傳送。

一個典型的光子網(wǎng)格應(yīng)用實例是歐洲原子能研究機構(gòu)CERN開展的高能物理實驗，它的目標(biāo)是處理大型粒子對撞機源源不斷產(chǎn)生的petabyte量級實驗數(shù)據(jù)。這些數(shù)據(jù)的分析和處理超出了目前世界上任何一臺超級計算機或集群系統(tǒng)的能力，因此，CERN計算機中心負責(zé)將這些數(shù)據(jù)通過高速網(wǎng)絡(luò)分配給歐洲、北美、日本等國的區(qū)域中心，后者再將任務(wù)進一步分解到物理學(xué)家的桌面上，通過不同區(qū)域物理學(xué)家的計算和協(xié)同分析來共同完成相關(guān)實驗。目前，已有位于世界60多個國家和地區(qū)的近萬名科學(xué)家參加到該實驗中，不同區(qū)域間采用的是10Gbit/s的光網(wǎng)絡(luò)通道進行數(shù)據(jù)交互和傳輸。

另一個應(yīng)用例子是實時甚長基線干涉測量法（electronic-verylongbaselineinterferometry，e-VLBI）應(yīng)用。e-VLBI是采用網(wǎng)絡(luò)將天文望遠鏡的觀測數(shù)據(jù)實時傳送到數(shù)據(jù)處理中心進行處理的射電干涉技術(shù)。它在航天器精密跟蹤、航天測控、精密時間比對、深空觀測、人造地球衛(wèi)星、月球探測器、太陽系行星際探測器等領(lǐng)域均有重要的科學(xué)意義和實用價值。在下一代e-VLBI系統(tǒng)中，其觀測站的射電望遠鏡的采樣速率將達到10 Gbit/s，數(shù)據(jù)處理中心的數(shù)據(jù)匯聚速率將達到40 Gbit/s，數(shù)據(jù)需要從位于偏遠地區(qū)的觀測站通過超長距離的高速光網(wǎng)絡(luò)實時傳送至數(shù)據(jù)處理中心進行相關(guān)處理。面對上述應(yīng)用需求，歐洲、美國、日本、韓國、澳大利亞等國的科學(xué)家正在開展一系列基于高速光網(wǎng)絡(luò)的e-VLBI技術(shù)研究，如歐洲EXPRES研究計劃和東亞e-VLBI研究計劃。美國自然科學(xué)基金資助的GRAGON研究項目也針對e-VLBI應(yīng)用就光通路動態(tài)建立、大文件數(shù)據(jù)傳輸?shù)冗M行了相關(guān)研究及現(xiàn)場實驗[13]。

光子網(wǎng)格可以突破E-science應(yīng)用的網(wǎng)絡(luò)瓶頸，使得高性能計算廣泛應(yīng)用成為現(xiàn)實，用戶和用戶之間、用戶和高性能計算機之間可方便、實時地實現(xiàn)數(shù)據(jù)交換和信息互動，這些將加速用戶的科研進程，促進相關(guān)產(chǎn)業(yè)的發(fā)展，給科研工作者及高性能計算資源的擁有者帶來光明的前景。

光子網(wǎng)格可用來管理分布在各地的貴重儀器，通過提供遠程訪問儀器設(shè)備的手段，可提高儀器的利用率，大大方便用戶的使用。同時，它還可以用于構(gòu)造網(wǎng)絡(luò)化虛擬現(xiàn)實環(huán)境，實現(xiàn)對高性能計算結(jié)果或數(shù)據(jù)庫的可視化，使分布在各地的使用者能夠在相同的虛擬空間協(xié)同工作。該環(huán)境可以廣泛應(yīng)用于交互式科學(xué)可視化、醫(yī)療、教育、訓(xùn)練、藝術(shù)、娛樂、工業(yè)設(shè)計、信息可視化等許多領(lǐng)域，如遠程醫(yī)療、遠程教學(xué)、虛擬歷史博物館、協(xié)同學(xué)習(xí)環(huán)境等。

從上述分析可以看出，光子網(wǎng)格具有廣闊的應(yīng)用前景。光子網(wǎng)格代表著光傳送網(wǎng)發(fā)展的一個方向，體現(xiàn)了網(wǎng)絡(luò)和業(yè)務(wù)應(yīng)用融合的一個大趨勢。光子網(wǎng)格技術(shù)及應(yīng)用體系研究將有助于推動網(wǎng)格應(yīng)用的發(fā)展和光網(wǎng)絡(luò)技術(shù)的進步。可以預(yù)見，光子網(wǎng)格具有十分重要的理論研究價值和社會意義，同時有著廣闊的市場應(yīng)用前景，在經(jīng)濟建設(shè)和社會發(fā)展中將起著極為重要的作用。