“云存儲(chǔ)”定義及應(yīng)用技術(shù)深度剖析

全球數(shù)據(jù)量的猛增使得存儲(chǔ)日益成為一個(gè)更獨(dú)立的專業(yè)問(wèn)題，越來(lái)越多的企業(yè)開(kāi)始將存儲(chǔ)作為單獨(dú)的項(xiàng)目進(jìn)行管理。同時(shí)，持續(xù)增長(zhǎng)的數(shù)據(jù)存儲(chǔ)壓力帶動(dòng)著整個(gè)存儲(chǔ)市場(chǎng)的快速發(fā)展。

云存儲(chǔ)（cloud storage）這個(gè)概念一經(jīng)提出，就得到了眾多廠商的支持和關(guān)注。Amazon在兩年前就推出的Elastic Compute Cloud（EC2：彈性計(jì)算云）云存儲(chǔ)產(chǎn)品，旨在為用戶提供互聯(lián)網(wǎng)服務(wù)形式同時(shí)提供更強(qiáng)的存儲(chǔ)和計(jì)算功能。內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商CDNetworks和業(yè)界著名的云存儲(chǔ)平臺(tái)服務(wù)商 Nirvanix發(fā)布了一項(xiàng)新的合作，并宣布結(jié)成戰(zhàn)略伙伴關(guān)系，以提供業(yè)界目前唯一的云存儲(chǔ)和內(nèi)容傳送服務(wù)集成平臺(tái)。半年以前，微軟就已經(jīng)推出了提供網(wǎng)絡(luò)移動(dòng)硬盤(pán)服務(wù)的WindowsLive SkyDrive Beta測(cè)試版。近期，EMC宣布加入 道里可信基礎(chǔ)架構(gòu)項(xiàng)目，致力于云計(jì)算環(huán)境下關(guān)于信任和可靠度保證的全球研究協(xié)作，IBM也將云計(jì)算標(biāo)準(zhǔn)作為全球備份中心的3億美元擴(kuò)展方案的一部分。

云存儲(chǔ)變得越來(lái)越熱，大家眾說(shuō)紛“云”，而且各有各的說(shuō)法，各有各的觀點(diǎn)，那么到底什么是云存儲(chǔ)？

什么是云存儲(chǔ)

云存儲(chǔ)在云計(jì)算 (cloud computing)概念上延伸和發(fā)展出來(lái)的一個(gè)新的概念。云計(jì)算是是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計(jì)算(Grid Computing)的發(fā)展，是透過(guò)網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)分拆成無(wú)數(shù)個(gè)較小的子程序，再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計(jì)算分析之后將處理結(jié)果回傳給用戶。通過(guò)云計(jì)算技術(shù)，網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi)，處理數(shù)以千萬(wàn)計(jì)甚至億計(jì)的信息，達(dá)到和“超級(jí)計(jì)算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。

云存儲(chǔ)的概念與云計(jì)算類似，它是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。

如果這樣解釋還是難以理解，那我們可以借用廣域網(wǎng)和互聯(lián)網(wǎng)的結(jié)構(gòu)來(lái)解釋云存儲(chǔ)。云狀的網(wǎng)絡(luò)結(jié)構(gòu)

相信大家對(duì)局域網(wǎng)、廣域網(wǎng)和互聯(lián)網(wǎng)都已經(jīng)非常了解了。在常見(jiàn)的局域網(wǎng)系統(tǒng)中，我們?yōu)榱四芨玫厥褂镁钟蚓W(wǎng)，一般來(lái)講，使用者需要非常清楚地知道網(wǎng)絡(luò)中每一個(gè)軟硬件的型號(hào)和配置，比如采用什么型號(hào)交換機(jī)，有多少個(gè)端口，采用了什么路由器和防火墻，分別是如何設(shè)置的。系統(tǒng)中有多少個(gè)服務(wù)器，分別安裝了什么操作系統(tǒng)和軟件。各設(shè)備之間采用什么類型的連接線纜，分配了什么 xml:lang=IP地址和子網(wǎng)掩碼。

但當(dāng)我們使用廣域網(wǎng)和互聯(lián)網(wǎng)時(shí)，我們只需要知道是什么樣的接入網(wǎng)和用戶名、密碼就可以連接到廣域網(wǎng)和互聯(lián)網(wǎng)，并不需要知道廣域網(wǎng)和互聯(lián)網(wǎng)中到底有多少臺(tái)交換機(jī)、路由器、防火墻和服務(wù)器，不需要知道數(shù)據(jù)是通過(guò)什么樣的路由到達(dá)我們的電腦，也不需要知道網(wǎng)絡(luò)中的服務(wù)器分別安裝了什么軟件，更不需要知道網(wǎng)絡(luò)中各設(shè)備之間采用了什么樣的連接線纜和端口。

廣域網(wǎng)和互聯(lián)網(wǎng)對(duì)于具體的使用者是完全透明的，我們經(jīng)常用一個(gè)云狀的圖形來(lái)表示廣域網(wǎng)和互聯(lián)網(wǎng)，如下圖：

雖然這個(gè)云圖中包含了許許多多的交換機(jī)、路由器、防火墻和服務(wù)器，但對(duì)具體的廣域網(wǎng)、互聯(lián)網(wǎng)用戶來(lái)講，這些都是不需要知道的。這個(gè)云狀圖形代表的是廣域網(wǎng)和互聯(lián)網(wǎng)帶給大家的互聯(lián)互通的網(wǎng)絡(luò)服務(wù)，無(wú)論我們?cè)谌魏蔚胤剑伎梢酝ㄟ^(guò)一個(gè)網(wǎng)絡(luò)接入線纜和一個(gè)用戶、密碼，就可以接入廣域網(wǎng)和互聯(lián)網(wǎng)，享受網(wǎng)絡(luò)帶給我們的服務(wù)。

參考云狀的網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)建一個(gè)新型的云狀結(jié)構(gòu)的存儲(chǔ)系統(tǒng)系統(tǒng)，這個(gè)存儲(chǔ)系統(tǒng)由多個(gè)存儲(chǔ)設(shè)備組成，通過(guò)集群功能、分布式文件系統(tǒng)或類似網(wǎng)格計(jì)算等功能聯(lián)合起來(lái)協(xié)同工作，并通過(guò)一定的應(yīng)用軟件或應(yīng)用接口，對(duì)用戶提供一定類型的存儲(chǔ)服務(wù)和訪問(wèn)服務(wù)。

當(dāng)我們使用某一個(gè)獨(dú)立的存儲(chǔ)設(shè)備時(shí)，我們必須非常清楚這個(gè)存儲(chǔ)設(shè)備是什么型號(hào)，什么接口和傳輸協(xié)議，必須清楚地知道存儲(chǔ)系統(tǒng)中有多少塊磁盤(pán)，分別是什么型號(hào)、多大容量，必須清楚存儲(chǔ)設(shè)備和服務(wù)器之間采用什么樣的連接線纜。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性，我們還需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外，對(duì)存儲(chǔ)設(shè)備進(jìn)行定期地狀態(tài)監(jiān)控、維護(hù)、軟硬件更新和升級(jí)也是必須的。如果采用云存儲(chǔ)，那么上面所提到的一切對(duì)使用者來(lái)講都不需要了。云狀存儲(chǔ)系統(tǒng)中的所有設(shè)備對(duì)使用者來(lái)講都是完全透明的，任何地方的任何一個(gè)經(jīng)過(guò)授權(quán)的使用者都可以通過(guò)一根接入線纜與云存儲(chǔ)連接，對(duì)云存儲(chǔ)進(jìn)行數(shù)據(jù)訪問(wèn)。

云存儲(chǔ)不是存儲(chǔ)，而是服務(wù)

就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣，云存儲(chǔ)對(duì)使用者來(lái)講，不是指某一個(gè)具體的設(shè)備，而是指一個(gè)由許許多多個(gè)存儲(chǔ)設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲(chǔ)，并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)系統(tǒng)帶來(lái)的一種數(shù)據(jù)訪問(wèn)服務(wù)。所以嚴(yán)格來(lái)講，云存儲(chǔ)不是存儲(chǔ)，而是一種服務(wù)。云存儲(chǔ)的核心是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過(guò)應(yīng)用軟件來(lái)實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。

云存儲(chǔ)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)不僅僅是一個(gè)硬件，而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng)、和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心，通過(guò)應(yīng)用軟件來(lái)對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)服務(wù)。云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型如下：

一、存儲(chǔ)層

存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備，可以是NAS和 iSCSI等IP存儲(chǔ)設(shè)備，也可以是 SCSI或SAS等 DAS存儲(chǔ)設(shè)備。云存儲(chǔ)中的存儲(chǔ)設(shè)備往往數(shù)量龐大且分布多不同地域，彼此之間通過(guò)廣域網(wǎng)、互聯(lián)網(wǎng)或者 FC光纖通道網(wǎng)絡(luò)連接在一起。

存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一存儲(chǔ)設(shè)備管理系統(tǒng)，可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。

二、基礎(chǔ)管理層：

基礎(chǔ)管理層是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分?；A(chǔ)管理層通過(guò)集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問(wèn)性能。

CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn)，同時(shí)，通過(guò)各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失，保證云存儲(chǔ)自身的安全和穩(wěn)定。

三、應(yīng)用接口層：

應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開(kāi)發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤(pán)引用平臺(tái)，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。

四、訪問(wèn)層：

任何一個(gè)授權(quán)用戶都可以通過(guò)標(biāo)準(zhǔn)的公用應(yīng)用接口來(lái)登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)運(yùn)營(yíng)單位不同，云存儲(chǔ)提供的訪問(wèn)類型和訪問(wèn)手段也不同。

云存儲(chǔ)的技術(shù)前提

從上面的云存儲(chǔ)結(jié)構(gòu)模型可知，云存儲(chǔ)系統(tǒng)是一個(gè)多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，它的實(shí)現(xiàn)要以多種技術(shù)的發(fā)展為前提。

一、寬帶網(wǎng)絡(luò)的發(fā)展

真正的云存儲(chǔ)系統(tǒng)將會(huì)是一個(gè)多區(qū)域分布、遍布全國(guó)、甚至于遍布全球的龐大公用系統(tǒng)，使用者需要通過(guò)ADSL、DDN等寬帶接入設(shè)備來(lái)連接云存儲(chǔ)，而不是通過(guò)FC、 SCSI或以太網(wǎng)線纜直接連接一臺(tái)獨(dú)立的、私有的存儲(chǔ)設(shè)備上。只有寬帶網(wǎng)絡(luò)得到充足的發(fā)展，使用者才有可能獲得足夠大的數(shù)據(jù)傳輸帶寬，實(shí)現(xiàn)大量容量數(shù)據(jù)的傳輸，真正享受到云存儲(chǔ)服務(wù)，否則只能是空談。

二、 WEB2.0技術(shù)

Web2.0 技術(shù)的核心是分享。只有通過(guò)web2.0技術(shù)，云存儲(chǔ)的使用者才有可能通過(guò) PC、手機(jī)、移動(dòng)多媒體等多種設(shè)備，實(shí)現(xiàn)數(shù)據(jù)、文檔、圖片和視音頻等內(nèi)容的集中存儲(chǔ)和資料共享。Web2.0技術(shù)的發(fā)展使得使用者的應(yīng)用方式和可得服務(wù)更加靈活和多樣。

三、應(yīng)用存儲(chǔ)的發(fā)展

云存儲(chǔ)不僅僅是存儲(chǔ)，更多的是應(yīng)用。應(yīng)用存儲(chǔ)是一種在存儲(chǔ)設(shè)備中集成了應(yīng)用軟件功能的存儲(chǔ)設(shè)備，它不僅具有數(shù)據(jù)存儲(chǔ)功能，還具有應(yīng)用軟件功能，可以看作是服務(wù)器和存儲(chǔ)設(shè)備的集合體。應(yīng)用存儲(chǔ)技術(shù)的發(fā)展可以大量減少云存儲(chǔ)中服務(wù)器的數(shù)量，從而降低系統(tǒng)建設(shè)成本，減少系統(tǒng)中由服務(wù)器造成單點(diǎn)故障和性能瓶頸，減少數(shù)據(jù)傳輸環(huán)節(jié)，提供系統(tǒng)性能和效率，保證整個(gè)系統(tǒng)的高效穩(wěn)定運(yùn)行。

四、集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)

云存儲(chǔ)系統(tǒng)是一個(gè)多存儲(chǔ)設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，任何一個(gè)單點(diǎn)的存儲(chǔ)系統(tǒng)都不是云存儲(chǔ)。

既然是由多個(gè)存儲(chǔ)設(shè)備構(gòu)成的，不同存儲(chǔ)設(shè)備之間就需要通過(guò)集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問(wèn)性能。如果沒(méi)有這些技術(shù)的存在，云存儲(chǔ)就不可能真正實(shí)現(xiàn)，所謂的云存儲(chǔ)只能是一個(gè)一個(gè)的獨(dú)立系統(tǒng)，不能形成云狀結(jié)構(gòu)。

五、CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)

CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問(wèn)，同時(shí)，通過(guò)各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失，保證云存儲(chǔ)自身的安全和穩(wěn)定。如果云存儲(chǔ)中的數(shù)據(jù)安全得不到保證，想來(lái)也沒(méi)有人敢用云存儲(chǔ)，否則，保存的數(shù)據(jù)不是很快丟失了，就是全國(guó)人民都知道了。

六、存儲(chǔ)虛擬化技術(shù)、存儲(chǔ)網(wǎng)絡(luò)化管理技術(shù)

云存儲(chǔ)中的存儲(chǔ)設(shè)備數(shù)量龐大且分布在多不同地域，如何實(shí)現(xiàn)不同廠商、不同型號(hào)甚至于不同類型（如FC存儲(chǔ)和 IP存儲(chǔ)）的多臺(tái)設(shè)備之間的邏輯卷管理、存儲(chǔ)虛擬化管理和多鏈路冗余管理將會(huì)是一個(gè)巨大的難題，這個(gè)問(wèn)題得不到解決，存儲(chǔ)設(shè)備就會(huì)是整個(gè)云存儲(chǔ)系統(tǒng)的性能瓶頸，結(jié)構(gòu)上也無(wú)法形成一個(gè)整體，而且還會(huì)帶來(lái)后期容量和性能擴(kuò)展難等問(wèn)題。

云存儲(chǔ)中的存儲(chǔ)設(shè)備數(shù)量龐大、分布地域廣造成的另外一個(gè)問(wèn)題就是存儲(chǔ)設(shè)備運(yùn)營(yíng)管理問(wèn)題。雖然這些問(wèn)題對(duì)云存儲(chǔ)的使用者來(lái)講根本不需要關(guān)心，但對(duì)于云存儲(chǔ)的運(yùn)營(yíng)單位來(lái)講，卻必須要通過(guò)切實(shí)可行和有效的手段來(lái)解決集中管理難、狀態(tài)監(jiān)控難、故障維護(hù)難、人力成本高等問(wèn)題。因此，云存儲(chǔ)必須要具有一個(gè)高效的類似與網(wǎng)絡(luò)管理軟件一樣的集中管理平臺(tái)，可實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)中設(shè)有存儲(chǔ)設(shè)備、服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中管理和狀態(tài)監(jiān)控。