云存儲技術及其應用

近年來，隨著云計算[1-2]和軟件即服務(SaaS)[3-5]的興起，云存儲成為信息存儲領域的一個研究熱點。與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的系統(tǒng)[6]。

云存儲提供的是存儲服務，存儲服務通過網絡將本地數(shù)據存放在存儲服務提供商(SSP)提供的在線存儲空間。需要存儲服務的用戶不再需要建立自己的數(shù)據中心，只需向SSP申請存儲服務，從而避免了存儲平臺的重復建設，節(jié)約了昂貴的軟硬件基礎設施投資。

云存儲這個概念一經提出，就得到了眾多廠商的支持和關注。Amazon公司推出彈性塊存儲(EBS)技術支持數(shù)據持久性存儲；Google推出在線存儲服務GDrive；內容分發(fā)網絡服務提供商CDNetworks和云存儲平臺服務商Nirvanix結成戰(zhàn)略伙伴關系，提供云存儲和內容傳送服務集成平臺；EMC公司收購Berkeley Data Systems，取得該公司的Mozy在線服務軟件，并開展SaaS業(yè)務；Microsoft公司推出Windows Azure，并在美國各地建立龐大的數(shù)據中心；IBM也將云計算標準作為全球備份中心擴展方案的一部分。

2009年12月，因特網數(shù)據中心(IDC)發(fā)布的2010年IT和電信行業(yè)十大預測中指出：云計算將擴張并走向成熟，會誕生許多新的公共云熱點、私有云服務、云應用以及將公共云與私有云聯(lián)系起來的服務。

1 云存儲技術

云存儲系統(tǒng)與傳統(tǒng)存儲系統(tǒng)相比，具有如下不同：第一，從功能需求來看，云存儲系統(tǒng)面向多種類型的網絡在線存儲服務，而傳統(tǒng)存儲系統(tǒng)則面向如高性能計算、事務處理等應用；第二，從性能需求來看，云存儲服務首先需要考慮的是數(shù)據的安全、可靠、效率等指標，而且由于用戶規(guī)模大、服務范圍廣、網絡環(huán)境復雜多變等特點，實現(xiàn)高質量的云存儲服務必將面臨更大的技術挑戰(zhàn)；第三，從數(shù)據管理來看，云存儲系統(tǒng)不僅要提供類似于POSIX的傳統(tǒng)文件訪問，還要能夠支持海量數(shù)據管理并提供公共服務支撐功能，以方便云存儲系統(tǒng)后臺數(shù)據的維護。

基于上述特點，云存儲平臺整體架構可劃分為4個層次，自底向上依次是：數(shù)據存儲層、數(shù)據管理層、數(shù)據服務層以及用戶訪問層。云存儲平臺整體架構如圖1所示。

(1)數(shù)據存儲層

云存儲系統(tǒng)對外提供多種不同的存儲服務，各種服務的數(shù)據統(tǒng)一存放在云存儲系統(tǒng)中，形成一個海量數(shù)據池。從大多數(shù)網絡服務后臺數(shù)據組織方式來看，傳統(tǒng)基于單服務器的數(shù)據組織難以滿足廣域網多用戶條件下的吞吐性能和存儲容量需求[7]；基于P2P架構的數(shù)據組織需要龐大的節(jié)點數(shù)量和復雜編碼算法保證數(shù)據可靠性[8]。相比而言，基于多存儲服務器的數(shù)據組織方法能夠更好滿足在線存儲服務的應用需求[9]，在用戶規(guī)模較大時，構建分布式數(shù)據中心能夠為不同地理區(qū)域的用戶提供更好的服務質量[10]。

云存儲的數(shù)據存儲層將不同類型的存儲設備互連起來，實現(xiàn)海量數(shù)據的統(tǒng)一管理，同時實現(xiàn)對存儲設備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴展，實質是一種面向服務的分布式存儲系統(tǒng)。

(2)數(shù)據管理層

云存儲系統(tǒng)架構中的數(shù)據管理層為上層提供不同服務間公共管理的統(tǒng)一視圖。通過設計統(tǒng)一的用戶管理、安全管理、副本管理及策略管理等公共數(shù)據管理功能，將底層存儲及上層應用無縫銜接起來，實現(xiàn)多存儲設備之間的協(xié)同工作，以更好的性能對外提供多種服務。

(3)數(shù)據服務層

數(shù)據服務層是云存儲平臺中可以靈活擴展的、直接面向用戶的部分。根據用戶需求，可以開發(fā)出不同的應用接口，提供相應的服務。比如數(shù)據存儲服務、空間租賃服務、公共資源服務、多用戶數(shù)據共享服務、數(shù)據備份服務等。

(4)用戶訪問層

通過用戶訪問層，任何一個授權用戶都可以在任何地方，使用一臺聯(lián)網的終端設備，按照標準的公用應用接口來登錄云存儲平臺，享受云存儲服務。

與傳統(tǒng)的購買存儲設備和部署存儲軟件相比，云存儲方式存在以下優(yōu)點：

(1)成本低、見效快

傳統(tǒng)的購買存儲設備或軟件定制方式下，企業(yè)根據信息化管理的需求，一次性投入大量資金購置硬件設備、搭建平臺。軟件開發(fā)則經過漫長的可行性分析、需求調研、軟件設計、編碼、測試這一過程。往往在軟件開發(fā)完成以后，業(yè)務需求發(fā)生變化，不得不對軟件進行返工，不僅影響質量，提高成本，更是延誤了企業(yè)信息化進程，同時造成了企業(yè)之間的低水平重復投資以及企業(yè)內部周期性、高成本的技術升級。在云存儲方式下，企業(yè)除了配置必要的終端設備接收存儲服務外，不需要投入額外的資金來搭建平臺。企業(yè)只需按用戶數(shù)分期租用服務，規(guī)避了一次性投資的風險，降低了使用成本，而且對于選定的服務，可以立即投入使用，既方便又快捷。

(2)易于管理

傳統(tǒng)方式下，企業(yè)需要配備專業(yè)的IT人員進行系統(tǒng)的維護，由此帶來技術和資金成本。云存儲模式下，維護工作以及系統(tǒng)的更新升級都由云存儲服務提供商完成，企業(yè)能夠以最低的成本享受到最新最專業(yè)的服務。

(3)方式靈活

傳統(tǒng)的購買和定制模式下，一旦完成資金的一次性投入，系統(tǒng)無法在后續(xù)使用中動態(tài)調整。隨著設備的更新?lián)Q代，落后的硬件平臺難以處置；隨著業(yè)務需求的不斷變化，軟件需要不斷地更新升級甚至重構來與之相適應，導致維護成本高昂，很容易發(fā)展到不可控的程度。而云存儲方式一般按照客戶數(shù)、使用時間、服務項目進行收費。企業(yè)可以根據業(yè)務需求變化、人員增減、資金承受能力，隨時調整其租用服務方式，真正做到“按需使用”。

2 云備份應用

云存儲可以支持多種應用方式，如云備份、云數(shù)據共享、云資源服務等，也可以提供標準化的接口給其他網絡服務使用。下面以我們自行研制的B-Cloud云備份為例，簡單介紹云存儲應用的具體技術細節(jié)。B-Cloud的部署結構如圖2所示。云備份系統(tǒng)包括3個層次的備份云：

最上層為廣域云，也稱公共云，覆蓋范圍為所有備份客戶可以通過廣域網訪問的區(qū)域。廣域云的服務器包括廣域管理器、廣域云存儲節(jié)點等。

中間層為區(qū)域云，通常按照地理區(qū)域(如省、地區(qū)等)來劃分。相應地，服務節(jié)點包括區(qū)域云管理器、區(qū)域云存儲節(jié)點。

最下層為本地云，也稱私有云。本地云既可以按小的地理區(qū)域劃分，也可以按照特定實體劃分，如企業(yè)、組織或校園。本地云可運行于廣域網或局域網，用戶限于區(qū)域內的人員，服務節(jié)點包括本地管理器、私有云存儲節(jié)點。

區(qū)域云、私有云同廣域云一樣，具有多個本地的存儲節(jié)點，共同服務于多個備份客戶端。

B-Cloud云備份系統(tǒng)的拓撲結構可描述為：以廣域云為根節(jié)點，區(qū)域云和本地云為分支節(jié)點，構成的一顆備份云的樹狀結構。每個節(jié)點都具有自己的備份管理器與存儲節(jié)點，分別完成本區(qū)域內的備份任務調度與備份數(shù)據的存取。物理相連的廣域云、區(qū)域云、本地云之間，相鄰兩層的關系為父子關系，其中子節(jié)點可看作是父節(jié)點的一個特殊客戶。該結構具有良好的擴展性，當前定義了3個層次，隨著用戶規(guī)模的增長、服務區(qū)域的拓展，可根據需要對某級節(jié)點進行裂變，增加新的節(jié)點層次。

新用戶注冊時，首先訪問系統(tǒng)的注冊服務器(負責全局用戶管理)。由注冊服務器按照預先定義的分配策略，匹配用戶的特征信息，如客戶端IP地址所屬的網段或區(qū)域、Email地址所屬的組織、用戶所屬的地理區(qū)域等，將用戶分配到相應的備份云節(jié)點。由備份云的管理服務器進行用戶信息的維護。完成注冊后，備份客戶端每次請求服務時，只需登錄系統(tǒng)，在指定的備份云節(jié)點下，與相應的備份管理器、存儲節(jié)點進行三方通信，接受備份及恢復服務。

按照訪問就近原則，地理位置越近，實體之間數(shù)據傳輸?shù)男试礁?、成本越低。通過這種分層拓撲結構，使得備份服務系統(tǒng)中的多調度服務器和多存儲服務器建立一種有序的層次關系，能夠更好地服務于不同區(qū)域的多備份客戶端。

云備份服務的應用特點決定了應用需求，需求驅動了云備份需要研究的3項關鍵技術的發(fā)展。B-Cloud云備份系統(tǒng)的研究涵蓋了服務架構的幾個方面，他們相互之間的關系如圖3所示。

云備份服務與傳統(tǒng)的備份軟件相比，不同點主要體現(xiàn)在3個方面：

(1)用戶規(guī)模

備份軟件通常應用于局域網或目標群體固定的廣域網范圍內。由于用戶規(guī)模較小，出于易于部署維護、成本低廉等考慮，通常存儲服務器較少，用戶對存儲服務器的訪問路徑是固定的，無須根據各種影響因素動態(tài)指定或調整。

云備份服務的對象則是廣域網范圍內的大規(guī)模用戶，而且隨著服務推出時間的延長，用戶數(shù)量會持續(xù)增長。為此，系統(tǒng)必須設置多臺存儲服務器，以滿足系統(tǒng)擴展性方面的要求。在此基礎上，系統(tǒng)必須能夠很好地響應大量用戶的并發(fā)訪問，并通過高效的并行調度策略來為用戶指定合適的目標存儲服務器，使得存儲服務器總體負載均衡，且達到較高的存儲利用率。同時，該過程必須對用戶完全透明。

(2)數(shù)據量

云備份服務與備份軟件在用戶規(guī)模上的區(qū)別將直接導致兩者所處理的數(shù)據量區(qū)別極大。廣域網范圍內的大規(guī)模用戶所產生的備份數(shù)據很容易達到TB甚至PB級，如何通過研究數(shù)據組織方法和壓縮算法，來提高海量數(shù)據的傳輸和存儲效率，進而提高系統(tǒng)性能、降低硬件成本、實現(xiàn)存儲節(jié)能，具有重要的現(xiàn)實意義。

(3)服務安全

云備份服務要滿足多方面的需求：既要兼容客戶端的異構數(shù)據平臺，又要滿足數(shù)據在塊級、文件級及應用級的完整性；既要適應于復雜多變的廣域網環(huán)境，又要保證數(shù)據的安全性。

要統(tǒng)籌兼顧的問題越多，意味著存儲系統(tǒng)的功能越復雜，也就越容易產生各種異常。另一方面，云備份服務系統(tǒng)比一般的備份軟件對可信性的要求更高。

當前備份服務的概念在中國剛剛興起，阻礙其發(fā)展的一個重要原因是用戶的消費習慣。人們在潛意識里總是感覺將關鍵數(shù)據備份在可視范圍內的身邊設備上比較安全。而一旦要求用戶把私密數(shù)據備份到異地的數(shù)據中心，則會擔心數(shù)據安全性能否得到充分保障?？陀^上云備份服務容易產生各類異常，主觀上用戶對備份服務更高的安全需求，都造成了對云備份服務的安全性研究刻不容緩。

以上討論的云備份的應用特點對應了如下云備份研究的幾個主要方面：

(1)命令流

B-Cloud包括三大部分：備份客戶端、管理器和存儲服務器。管理器是整個服務系統(tǒng)的管理中心，負責任務調度、作業(yè)管理及服務過程中的狀態(tài)監(jiān)控。備份或恢復操作開始之前，從備份客戶端提出服務請求，到系統(tǒng)開始提供服務這段時間，3個部分除了執(zhí)行雙向安全認證之外，還有一項很重要的任務就是由管理器完成作業(yè)調度，建立備份客戶端與存儲服務器之間的聯(lián)系。

(2)數(shù)據流

備份或恢復數(shù)據流的傳輸在備份客戶端與存儲服務器之間直接完成，不需要經過管理器。這種數(shù)據不經過中間環(huán)節(jié)直接在數(shù)據源和目的地之間的傳輸，不僅提高了效率，而且對系統(tǒng)整體負載平衡起到了較好的效果。備份數(shù)據組織與壓縮是數(shù)據傳輸與存儲的關鍵所在。

(3)服務的安全性

云備份的安全涉及到服務平臺的安全性、各個模塊的安全性及模塊之間協(xié)調和通信的安全性。這個問題需要專門的論述才能闡述清楚，本文不做過多討論。

3 結束語

本文介紹了云存儲技術，并以云備份為例，討論了云存儲應用實現(xiàn)當中需要注意的幾個問題。以服務的方式滿足應用需求，已經成為信息領域技術發(fā)展的一種趨勢，但如何實現(xiàn)云存儲，并使其廣泛應用，還需要更多的研究和努力。