作為近幾年興起的云計(jì)算的一大重要組成部分,云存儲(chǔ)承擔(dān)著最底層以服務(wù)形式收集、存儲(chǔ)和處理數(shù)據(jù)的任務(wù)。
企業(yè)用戶和個(gè)人將數(shù)據(jù)托管給第三方,通過(guò)公有云、私有云或混合云形式對(duì)數(shù)據(jù)進(jìn)行按需存取操作。云存儲(chǔ)的優(yōu)勢(shì)主要在于:按需使用,按需付費(fèi);無(wú)需增加額外的硬件設(shè)施或配備專人負(fù)責(zé)維護(hù),減少管理難度;將數(shù)據(jù)復(fù)制、備份、服務(wù)器擴(kuò)容等工作交由第三方執(zhí)行;快速部署配置,隨時(shí)擴(kuò)展增減,更加靈活可控。
在商業(yè)前景方面,以“用戶創(chuàng)造內(nèi)容”和“分享”為精神的Web2.0推動(dòng)了全網(wǎng)域用戶對(duì)在線服務(wù)的認(rèn)知。隨著相關(guān)背景技術(shù)的完善,云存儲(chǔ)在技術(shù)上已經(jīng)趨于成熟。
云存儲(chǔ)的關(guān)鍵技術(shù)
隨著如語(yǔ)音、數(shù)據(jù)、圖像等業(yè)務(wù)需求的多樣化,網(wǎng)絡(luò)建設(shè)不斷向?qū)拵Щ较虬l(fā)展。網(wǎng)速越來(lái)越快,能承載的業(yè)務(wù)種類越來(lái)越多,傳輸質(zhì)量越來(lái)越高。
只有寬帶網(wǎng)絡(luò)得到充足的發(fā)展,使用者才有可能獲得足夠大的數(shù)據(jù)傳輸帶寬,實(shí)現(xiàn)大量容量數(shù)據(jù)的傳輸,真正享受到優(yōu)于本地存儲(chǔ)的云存儲(chǔ)服務(wù)。
云存儲(chǔ)的關(guān)鍵技術(shù)包括CDN、Web2.0、數(shù)據(jù)編碼技術(shù)、虛擬化存儲(chǔ)技術(shù)等這些技術(shù)的發(fā)展都成為云計(jì)算和云存儲(chǔ)發(fā)展的內(nèi)在需求和關(guān)鍵動(dòng)力。
CDN即內(nèi)容分發(fā)網(wǎng)絡(luò)。其基本思路是盡可能避開(kāi)互聯(lián)網(wǎng)上有可能影響數(shù)據(jù)傳輸速度和穩(wěn)定性的瓶頸和環(huán)節(jié),使內(nèi)容傳輸?shù)母?、更穩(wěn)定。
WEB2.0的用戶既是網(wǎng)站內(nèi)容的瀏覽者,也是網(wǎng)站內(nèi)容的制造者。用戶使用互聯(lián)網(wǎng)的同時(shí)提供了云計(jì)算的接入模式,也為云計(jì)算培養(yǎng)了用戶習(xí)慣。用戶更加習(xí)慣將自己的數(shù)據(jù)在網(wǎng)絡(luò)上存儲(chǔ)共享。
云存儲(chǔ)不僅僅是存儲(chǔ),更多的是應(yīng)用。應(yīng)用存儲(chǔ)技術(shù)的發(fā)展可以大量減少云存儲(chǔ)中服務(wù)器的數(shù)量,從而降低系統(tǒng)建設(shè)成本。它還能減少系統(tǒng)中由服務(wù)器造成單點(diǎn)故障和性能瓶頸,在減少數(shù)據(jù)傳輸環(huán)節(jié)、提高系統(tǒng)性能和效率和保證整個(gè)系統(tǒng)的高效穩(wěn)定運(yùn)行方面起著重要作用。
云存儲(chǔ)系統(tǒng)是一個(gè)多存儲(chǔ)設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體,任何一個(gè)單點(diǎn)的存儲(chǔ)系統(tǒng)都不是云存儲(chǔ)。多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,對(duì)外提供同一種服務(wù),并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問(wèn)性能。如果沒(méi)有分布式技術(shù),云存儲(chǔ)只能是一個(gè)個(gè)獨(dú)立系統(tǒng),更談不上云了。
對(duì)于云存儲(chǔ)的運(yùn)營(yíng)單位來(lái)講,必須要通過(guò)切實(shí)可行和有效的手段來(lái)解決集中管理難、狀態(tài)監(jiān)控難、故障維護(hù)難、人力成本高等問(wèn)題。因此,云存儲(chǔ)必須要具有一個(gè)高效的類似與網(wǎng)絡(luò)管理軟件一樣的集中管理平臺(tái),可實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)中設(shè)有存儲(chǔ)設(shè)備、服務(wù)器和網(wǎng)絡(luò)設(shè)備的集中管理和狀態(tài)監(jiān)控,該平臺(tái)就建立在存儲(chǔ)虛擬化技術(shù)之上。
云存儲(chǔ)的典型架構(gòu)
Google GFS文件系統(tǒng),一個(gè)面向大規(guī)模數(shù)據(jù)密集型應(yīng)用的、可伸縮的分布式文件系統(tǒng),運(yùn)行在廉價(jià)的普遍硬件設(shè)備上,提供災(zāi)難冗余的能力,為大量客戶機(jī)提供了高性能的服務(wù),是基于分布式技術(shù)實(shí)現(xiàn)云存儲(chǔ)的典型架構(gòu)。
一個(gè)GFS集群包含一個(gè)單獨(dú)的Master節(jié)點(diǎn)、多臺(tái)Chunk服務(wù)器,并且同時(shí)被多個(gè)客戶端訪問(wèn)。所有的這些機(jī)器通常都是普通的Linux機(jī)器,運(yùn)行著用戶級(jí)別的服務(wù)進(jìn)程。
GFS存儲(chǔ)的文件都被分割成固定大小的Chunk。在Chunk創(chuàng)建的時(shí)候,Master服務(wù)器會(huì)給每個(gè)Chunk分配一個(gè)不變的、全球唯一的64位的Chunk標(biāo)識(shí)。Chunk服務(wù)器把Chunk以linux文件的形式保存在本地硬盤上,并且根據(jù)指定的Chunk標(biāo)識(shí)和字節(jié)范圍來(lái)讀寫塊數(shù)據(jù)。出于可靠性的考慮,每個(gè)塊都會(huì)復(fù)制到多個(gè)塊服務(wù)器上。
Master節(jié)點(diǎn)管理所有的文件系統(tǒng)元數(shù)據(jù),同時(shí)還管理著系統(tǒng)范圍內(nèi)的活動(dòng)。Master節(jié)點(diǎn)使用心跳信息周期地和每個(gè)Chunk服務(wù)器通訊,發(fā)送指令到各個(gè)Chunk服務(wù)器并接收Chunk服務(wù)器的狀態(tài)信息。
GFS客戶端代碼以庫(kù)的形式被鏈接到客戶程序里??蛻舳舜a實(shí)現(xiàn)了GFS文件系統(tǒng)的API接口函數(shù)、應(yīng)用程序與Master節(jié)點(diǎn)和Chunk服務(wù)器通訊,以及對(duì)數(shù)據(jù)進(jìn)行讀寫操作。客戶端和Master節(jié)點(diǎn)的通信只獲取元數(shù)據(jù),所有的數(shù)據(jù)操作都是由客戶端直接和Chunk服務(wù)器進(jìn)行交互的。
杰賽云存儲(chǔ)
以上典型的云存儲(chǔ)架構(gòu)同樣有幾個(gè)典型的問(wèn)題:對(duì)于互聯(lián)網(wǎng)應(yīng)用,GFS缺乏一套同樣可擴(kuò)展的服務(wù)提供方式,例如亞馬遜的S3服務(wù);由于Master節(jié)點(diǎn)管理所有文件系統(tǒng)的元數(shù)據(jù),隨著文件數(shù)量的急劇增加,單點(diǎn)的訪問(wèn)壓力和高可用壓力越發(fā)明顯;對(duì)象存儲(chǔ)、文件存儲(chǔ)、塊存儲(chǔ)的需求需要適配相應(yīng)的協(xié)議進(jìn)行開(kāi)發(fā);多數(shù)據(jù)中心的容災(zāi)備份,甚至多活同步未能實(shí)現(xiàn)。
杰賽科技研發(fā)的云存儲(chǔ)基于以上典型架構(gòu)同時(shí)解決了典型的問(wèn)題。在性能、可靠性、可擴(kuò)展性、靈活性上均有優(yōu)異的表現(xiàn)。由多臺(tái)X86服務(wù)器組成的存儲(chǔ)節(jié)點(diǎn)通過(guò)分布式算法組成的一套分布式統(tǒng)一存儲(chǔ)系統(tǒng),可以通過(guò)底層訪問(wèn)接口直接訪問(wèn)到分布式統(tǒng)一存儲(chǔ)系統(tǒng)(支持C、JAVA、C++、python等主流開(kāi)發(fā)語(yǔ)言),同時(shí)Client也可以通過(guò)上層的對(duì)象存儲(chǔ)服務(wù)、文件存儲(chǔ)服務(wù)、塊存儲(chǔ)服務(wù)進(jìn)行相應(yīng)的存儲(chǔ)服務(wù)訪問(wèn)。
杰賽云存儲(chǔ)共分對(duì)象存儲(chǔ)服務(wù)、文件存儲(chǔ)服務(wù)、塊存儲(chǔ)服務(wù),具體功能如下。
對(duì)象存儲(chǔ)服務(wù):全面兼容S3接口,包含對(duì)象、容器及用戶相關(guān)的具體功能。
文件存儲(chǔ)服務(wù):文件存儲(chǔ)服務(wù)實(shí)現(xiàn)基于文件的新建、刪除、修改、獲取文件權(quán)限、設(shè)置文件權(quán)限等功能,能夠兼容主流的Windows/Linux系統(tǒng),具有極大的跨平臺(tái)兼容性。
塊存儲(chǔ)服務(wù):塊存儲(chǔ)服務(wù)提供的塊存儲(chǔ)掛載進(jìn)客戶端主機(jī)后的使用方式與現(xiàn)有普通硬盤的使用方式完全一致。同時(shí)提供彈性擴(kuò)展、導(dǎo)入/導(dǎo)出、快照創(chuàng)建與回滾。
管理平臺(tái):提供業(yè)務(wù)控制、系統(tǒng)運(yùn)維監(jiān)控和業(yè)務(wù)使用門戶操作等。業(yè)務(wù)控制包括對(duì)存儲(chǔ)服務(wù)的開(kāi)通和關(guān)閉、計(jì)量信息查詢、用戶狀態(tài)變更等;系統(tǒng)運(yùn)維監(jiān)控包括設(shè)備狀態(tài)查詢、系統(tǒng)擴(kuò)容操作、系統(tǒng)性能狀態(tài)監(jiān)控等;支持存儲(chǔ)服務(wù)操作的REST API。
同時(shí)還實(shí)現(xiàn)了異地災(zāi)備:例如上海、濟(jì)南、西安、廣州4個(gè)資源節(jié)點(diǎn)統(tǒng)一連接到北京管理節(jié)點(diǎn),通過(guò)北京中心管理節(jié)點(diǎn)實(shí)現(xiàn)對(duì)各地資源節(jié)點(diǎn)的集中管控。