摘要:云存儲(cloud storage)這個概念一經(jīng)提出,就得到了眾多廠商的支持和關(guān)注。Amazon在兩年前就推出的Elastic Compute Cloud(EC2:彈性計算云)云存儲產(chǎn)品,旨在為用戶提供互聯(lián)網(wǎng)服務(wù)形式同時提供更強(qiáng)的存儲和計算功能。
云存儲(cloud storage)這個概念一經(jīng)提出,就得到了眾多廠商的支持和關(guān)注。Amazon在兩年前就推出的Elastic Compute Cloud(EC2:彈性計算云)云存儲產(chǎn)品,旨在為用戶提供互聯(lián)網(wǎng)服務(wù)形式同時提供更強(qiáng)的存儲和計算功能。內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商CDNetworks和業(yè)界著名的云存儲平臺服務(wù)商 Nirvanix發(fā)布了一項新的合作,并宣布結(jié)成戰(zhàn)略伙伴關(guān)系,以提供業(yè)界目前唯一的云存儲和內(nèi)容傳送服務(wù)集成平臺。半年以前,微軟就已經(jīng)推出了提供網(wǎng)絡(luò)移動硬盤服務(wù)的Windows Live SkyDrive Beta測試版。近期,EMC宣布加入 道里可信基礎(chǔ)架構(gòu)項目,致力于云計算環(huán)境下關(guān)于信任和可靠度保證的全球研究協(xié)作,IBM也將云計算標(biāo)準(zhǔn)作為全球備份中心的3億美元擴(kuò)展方案的一部分。
云存儲變得越來越熱,大家眾說紛”云”,而且各有各的說法,各有各的觀點,那么到底什么是云存儲?
1 什么是云存儲
云存儲在云計算 (cloud computing)概念上延伸和發(fā)展出來的一個新的概念。云計算是是分布式處理(Distributed Computing)、并行處理(Parallel Computing)和網(wǎng)格計算(Grid Computing)的發(fā)展,是透過網(wǎng)絡(luò)將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多部服務(wù)器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結(jié)果回傳給用戶。通過云計算技術(shù),網(wǎng)絡(luò)服務(wù)提供者可以在數(shù)秒之內(nèi),處理數(shù)以千萬計甚至億計的信息,達(dá)到和”超級計算機(jī)”同樣強(qiáng)大的網(wǎng)絡(luò)服務(wù)。
云存儲的概念與云計算類似,它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。
如果這樣解釋還是難以理解,那我們可以借用廣域網(wǎng)和互聯(lián)網(wǎng)的結(jié)構(gòu)來解釋云存儲。
云狀的網(wǎng)絡(luò)結(jié)構(gòu)
相信大家對局域網(wǎng)、廣域網(wǎng)和互聯(lián)網(wǎng)都已經(jīng)非常了解了。在常見的局域網(wǎng)系統(tǒng)中,我們?yōu)榱四芨玫厥褂镁钟蚓W(wǎng),一般來講,使用者需要非常清楚地知道網(wǎng)絡(luò)中每一個軟硬件的型號和配置,比如采用什么型號交換機(jī),有多少個端口,采用了什么路由器和防火墻,分別是如何設(shè)置的。系統(tǒng)中有多少個服務(wù)器,分別安裝了什么操作系統(tǒng)和軟件。各設(shè)備之間采用什么類型的連接線纜,分配了什么 xml:lang=IP地址和子網(wǎng)掩碼。
但當(dāng)我們使用廣域網(wǎng)和互聯(lián)網(wǎng)時,我們只需要知道是什么樣的接入網(wǎng)和用戶名、密碼就可以連接到廣域網(wǎng)和互聯(lián)網(wǎng),并不需要知道廣域網(wǎng)和互聯(lián)網(wǎng)中到底有多少臺交換機(jī)、路由器、防火墻和服務(wù)器,不需要知道數(shù)據(jù)是通過什么樣的路由到達(dá)我們的電腦,也不需要知道網(wǎng)絡(luò)中的服務(wù)器分別安裝了什么軟件,更不需要知道網(wǎng)絡(luò)中各設(shè)備之間采用了什么樣的連接線纜和端口。
廣域網(wǎng)和互聯(lián)網(wǎng)對于具體的使用者是完全透明的,我們經(jīng)常用一個云狀的圖形來表示廣域網(wǎng)和互聯(lián)網(wǎng)。雖然這個云圖中包含了許許多多的交換機(jī)、路由器、防火墻和服務(wù)器,但對具體的廣域網(wǎng)、互聯(lián)網(wǎng)用戶來講,這些都是不需要知道的。這個云狀圖形代表的是廣域網(wǎng)和互聯(lián)網(wǎng)帶給大家的互聯(lián)互通的網(wǎng)絡(luò)服務(wù),無論我們在任何地方,都可以通過一個網(wǎng)絡(luò)接入線纜和一個用戶、密碼,就可以接入廣域網(wǎng)和互聯(lián)網(wǎng),享受網(wǎng)絡(luò)帶給我們的服務(wù)。
參考云狀的網(wǎng)絡(luò)結(jié)構(gòu),創(chuàng)建一個新型的云狀結(jié)構(gòu)的存儲系統(tǒng)系統(tǒng),這個存儲系統(tǒng)由多個存儲設(shè)備組成,通過集群功能、分布式文件系統(tǒng)或類似網(wǎng)格計算等功能聯(lián)合起來協(xié)同工作,并通過一定的應(yīng)用軟件或應(yīng)用接口,對用戶提供一定類型的存儲服務(wù)和訪問服務(wù)。
當(dāng)我們使用某一個獨立的存儲設(shè)備時,我們必須非常清楚這個存儲設(shè)備是什么型號,什么接口和傳輸協(xié)議,必須清楚地知道存儲系統(tǒng)中有多少塊磁盤,分別是什么型號、多大容量,必須清楚存儲設(shè)備和服務(wù)器之間采用什么樣的連接線纜。為了保證數(shù)據(jù)安全和業(yè)務(wù)的連續(xù)性,我們還需要建立相應(yīng)的數(shù)據(jù)備份系統(tǒng)和容災(zāi)系統(tǒng)。除此之外,對存儲設(shè)備進(jìn)行定期地狀態(tài)監(jiān)控、維護(hù)、軟硬件更新和升級也是必須的。
如果采用云存儲,那么上面所提到的一切對使用者來講都不需要了。云狀存儲系統(tǒng)中的所有設(shè)備對使用者來講都是完全透明的,任何地方的任何一個經(jīng)過授權(quán)的使用者都可以通過一根接入線纜與云存儲連接,對云存儲進(jìn)行數(shù)據(jù)訪問。
云存儲不是存儲,而是服務(wù)
就如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣,云存儲對使用者來講,不是指某一個具體的設(shè)備,而是指一個由許許多多個存儲設(shè)備和服務(wù)器所構(gòu)成的集合體。使用者使用云存儲,并不是使用某一個存儲設(shè)備,而是使用整個云存儲系統(tǒng)帶來的一種數(shù)據(jù)訪問服務(wù)。所以嚴(yán)格來講,云存儲不是存儲,而是一種服務(wù)。
云存儲的核心是應(yīng)用軟件與存儲設(shè)備相結(jié)合,通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。
2 云存儲的結(jié)構(gòu)模型
與傳統(tǒng)的存儲設(shè)備相比,云存儲不僅僅是一個硬件,而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)、和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心,通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲系統(tǒng)的結(jié)構(gòu)模型如下:
云存儲系統(tǒng)的結(jié)構(gòu)模型由 4層組成。
一、存儲層
存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備,可以是NAS和 iSCSI等IP存儲設(shè)備,也可以是 SCSI或SAS等 DAS存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布多不同地域,彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者 FC光纖通道網(wǎng)絡(luò)連接在一起。
存儲設(shè)備之上是一個統(tǒng)一存儲設(shè)備管理系統(tǒng),可以實現(xiàn)存儲設(shè)備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。
二、基礎(chǔ)管理層:
基礎(chǔ)管理層是云存儲最核心的部分,也是云存儲中最難以實現(xiàn)的部分?;A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù),實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作,使多個的存儲設(shè)備可以對外提供同一種服務(wù),并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。
CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問,同時,通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)和措施可以保證云存儲中的數(shù)據(jù)不會丟失,保證云存儲自身的安全和穩(wěn)定。
三、應(yīng)用接口層:
應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型,開發(fā)不同的應(yīng)用服務(wù)接口,提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點播應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺,遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺等。
四、訪問層:
任何一個授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng),享受云存儲服務(wù)。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。
3 云存儲的技術(shù)前提
從上面的云存儲結(jié)構(gòu)模型可知,云存儲系統(tǒng)是一個多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,它的實現(xiàn)要以多種技術(shù)的發(fā)展為前提。
一、寬帶網(wǎng)絡(luò)的發(fā)展
真正的云存儲系統(tǒng)將會是一個多區(qū)域分布、遍布全國、甚至于遍布全球的龐大公用系統(tǒng),使用者需要通過ADSL、DDN等寬帶接入設(shè)備來連接云存儲,而不是通過FC、 SCSI或以太網(wǎng)線纜直接連接一臺獨立的、私有的存儲設(shè)備上。只有寬帶網(wǎng)絡(luò)得到充足的發(fā)展,使用者才有可能獲得足夠大的數(shù)據(jù)傳輸帶寬,實現(xiàn)大量容量數(shù)據(jù)的傳輸,真正享受到云存儲服務(wù),否則只能是空談。
二、 WEB2.0技術(shù)
Web2.0 技術(shù)的核心是分享。只有通過web2.0技術(shù),云存儲的使用者才有可能通過 PC、手機(jī)、移動多媒體等多種設(shè)備,實現(xiàn)數(shù)據(jù)、文檔、圖片和視音頻等內(nèi)容的集中存儲和資料共享。Web2.0技術(shù)的發(fā)展使得使用者的應(yīng)用方式和可得服務(wù)更加靈活和多樣。
三、應(yīng)用存儲的發(fā)展
云存儲不僅僅是存儲,更多的是應(yīng)用。應(yīng)用存儲是一種在存儲設(shè)備中集成了應(yīng)用軟件功能的存儲設(shè)備,它不僅具有數(shù)據(jù)存儲功能,還具有應(yīng)用軟件功能,可以看作是服務(wù)器和存儲設(shè)備的集合體。應(yīng)用存儲技術(shù)的發(fā)展可以大量減少云存儲中服務(wù)器的數(shù)量,從而降低系統(tǒng)建設(shè)成本,減少系統(tǒng)中由服務(wù)器造成單點故障和性能瓶頸,減少數(shù)據(jù)傳輸環(huán)節(jié),提供系統(tǒng)性能和效率,保證整個系統(tǒng)的高效穩(wěn)定運行。
四、集群技術(shù)、網(wǎng)格技術(shù)和分布式文件系統(tǒng)
云存儲系統(tǒng)是一個多存儲設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,任何一個單點的存儲系統(tǒng)都不是云存儲。
既然是由多個存儲設(shè)備構(gòu)成的,不同存儲設(shè)備之間就需要通過集群技術(shù)、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù),實現(xiàn)多個存儲設(shè)備之間的協(xié)同工作,使多個的存儲設(shè)備可以對外提供同一種服務(wù),并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。如果沒有這些技術(shù)的存在,云存儲就不可能真正實現(xiàn),所謂的云存儲只能是一個一個的獨立系統(tǒng),不能形成云狀結(jié)構(gòu)。
五、 CDN內(nèi)容分發(fā)、P2P技術(shù)、數(shù)據(jù)壓縮技術(shù)、重復(fù)數(shù)據(jù)刪除技術(shù)、數(shù)據(jù)加密技術(shù)
CDN內(nèi)容分發(fā)系統(tǒng)、數(shù)據(jù)加密技術(shù)保證云存儲中的數(shù)據(jù)不會被未授權(quán)的用戶所訪問,同時,通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)保證云存儲中的數(shù)據(jù)不會丟失,保證云存儲自身的安全和穩(wěn)定。如果云存儲中的數(shù)據(jù)安全得不到保證,想來也沒有人敢用云存儲,否則,保存的數(shù)據(jù)不是很快丟失了,就是全國人民都知道了。
六、存儲虛擬化技術(shù)、存儲網(wǎng)絡(luò)化管理技術(shù)
云存儲中的存儲設(shè)備數(shù)量龐大且分布在多不同地域,如何實現(xiàn)不同廠商、不同型號甚至于不同類型(如FC存儲和 IP存儲)的多臺設(shè)備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗余管理將會是一個巨大的難題,這個問題得不到解決,存儲設(shè)備就會是整個云存儲系統(tǒng)的性能瓶頸,結(jié)構(gòu)上也無法形成一個整體,而且還會帶來后期容量和性能擴(kuò)展難等問題。
云存儲中的存儲設(shè)備數(shù)量龐大、分布地域廣造成的另外一個問題就是存儲設(shè)備運營管理問題。雖然這些問題對云存儲的使用者來講根本不需要關(guān)心,但對于云存儲的運營單位來講,卻必須要通過切實可行和有效的手段來解決集中管理難、狀態(tài)監(jiān)控難、故障維護(hù)難、人力成本高等問題。因此,云存儲必須要具有一個高效的類似與網(wǎng)絡(luò)管理軟件一樣的集中管理平臺,可實現(xiàn)云存儲系統(tǒng)中設(shè)有存儲設(shè)備、服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中管理和狀態(tài)監(jiān)控。