對(duì)象存儲(chǔ)架構(gòu)通過(guò)提供一種非常適合存儲(chǔ)和保護(hù)大量非結(jié)構(gòu)化數(shù)據(jù)的文件結(jié)構(gòu)來(lái)解決傳統(tǒng)的存儲(chǔ)限制。
隨著數(shù)據(jù)增長(zhǎng)速度的加快,企業(yè)組織比以往任何時(shí)候都需要具備更多的數(shù)據(jù)存儲(chǔ)能力,而且這樣的數(shù)據(jù)存儲(chǔ)能力需求還更快,更頻繁。
而與此同時(shí),這種趨勢(shì)也造成了兩大挑戰(zhàn)難題:以非破壞性的方式增加存儲(chǔ)容量是相當(dāng)困難的,而傳統(tǒng)的存儲(chǔ)系統(tǒng)存儲(chǔ)容量增加達(dá)到一定程度之后往往難以超越。對(duì)象存儲(chǔ)體系架構(gòu)則可以解決這些挑戰(zhàn)。
增加存儲(chǔ)通常需要在擴(kuò)展期間取消關(guān)閉主存儲(chǔ),故而會(huì)導(dǎo)致中斷。當(dāng)容量增加時(shí),還往往會(huì)對(duì)其他基礎(chǔ)資源(如CPU和網(wǎng)絡(luò))造成壓力,因?yàn)榇鎯?chǔ)需要依賴這些資源以保持可接受的性能。
傳統(tǒng)存儲(chǔ)還存在或?qū)⒂绊懙娇捎眯缘钠渌矫娴南拗?。也許最重要的是需要備份數(shù)據(jù)。如果您企業(yè)數(shù)據(jù)中心的存儲(chǔ)空間不足,您需要一種方式來(lái)對(duì)其進(jìn)行恢復(fù)。
隨著數(shù)據(jù)集變得越來(lái)越大,提供事后數(shù)據(jù)保護(hù)可能難以解決,而且難度也很大。隨著數(shù)據(jù)集的增長(zhǎng),在備份窗口中可以合理容納更多的數(shù)據(jù)。處理數(shù)據(jù)保護(hù)需要一種更為實(shí)時(shí)的方法。而這就是對(duì)象存儲(chǔ)技術(shù)發(fā)揮其用武之地的時(shí)候了。
關(guān)于對(duì)象存儲(chǔ)架構(gòu)
一款對(duì)象存儲(chǔ)架構(gòu)解決了非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)的問(wèn)題,并能夠幫助企業(yè)降低其存儲(chǔ)系統(tǒng)的復(fù)雜性。
您企業(yè)可能習(xí)慣于通過(guò)存儲(chǔ)協(xié)議(如NFS、光纖通道、iSCSI或SMB)來(lái)訪問(wèn)的文件或塊。然而,在對(duì)象存儲(chǔ)領(lǐng)域,底層數(shù)據(jù)的結(jié)構(gòu)意味著您企業(yè)將不再需要使用這些協(xié)議。雖然在某些情況下,您仍然可以,但在對(duì)象存儲(chǔ)中,您不再需要?jiǎng)?chuàng)建復(fù)雜的目錄層次結(jié)構(gòu)來(lái)對(duì)對(duì)象進(jìn)行分類。相反,對(duì)象存儲(chǔ)允許您直接訪問(wèn)對(duì)象。
對(duì)象可以像一個(gè)單個(gè)文件、圖像或視頻一樣簡(jiǎn)單,也可以由多個(gè)元素組成,但它們?nèi)匀豢梢宰鳛閱蝹€(gè)對(duì)象進(jìn)行訪問(wèn)。每個(gè)對(duì)象還具有關(guān)聯(lián)的元數(shù)據(jù)和唯一的對(duì)象標(biāo)識(shí)符,允許在稍后對(duì)其進(jìn)行檢索。這個(gè)可定制的元數(shù)據(jù)描述了每個(gè)關(guān)聯(lián)對(duì)象的各種屬性。
元數(shù)據(jù)元素總是包含共同的對(duì)象特征,但也可以擴(kuò)展到包括應(yīng)用程序特定的特性。讓我們用一個(gè)照片庫(kù)為例吧。在基于文件的領(lǐng)域中,您將擁有一個(gè)文件名、創(chuàng)建日期、修改日期、文件大小和文件所有者,以及某些操作系統(tǒng)特定的標(biāo)識(shí)符。
現(xiàn)在,讓我們不妨以Shutterstock公司為例。其對(duì)象存儲(chǔ)系統(tǒng)可以擴(kuò)展到包括額外的元數(shù)據(jù)元素,例如圖像類型(圖示或照片)、圖像寬度(以像素為單位)、圖像高度(以像素為單位)、圖像中存在的基色等等。通過(guò)將所有這些信息附加到對(duì)象上,企業(yè)客戶可以快速輕松地為其用戶檢索照片,而無(wú)需使用巨大的SQL數(shù)據(jù)庫(kù)來(lái)跟蹤所有這些信息。
作為另一示例,在醫(yī)療領(lǐng)域中,元數(shù)據(jù)可以包括患者的姓名、診療過(guò)程數(shù)據(jù)和醫(yī)師姓名,并且附接到諸如X射線圖像的對(duì)象。除了簡(jiǎn)單地描述一個(gè)對(duì)象之外,元數(shù)據(jù)也可以用于安全性和可用性的目的,通過(guò)描述誰(shuí)被允許訪問(wèn)對(duì)象,對(duì)象應(yīng)該有多少冗余等等。對(duì)象存儲(chǔ)vs. 文件 vs.塊
乍看之下,對(duì)象存儲(chǔ)架構(gòu)可能看起來(lái)類似于塊存儲(chǔ),其在最基本的層面也不具有層次結(jié)構(gòu)。然而,檢索數(shù)據(jù)塊需要文件系統(tǒng)中的較高級(jí)別的應(yīng)用程序來(lái)在塊存儲(chǔ)上施加層次結(jié)構(gòu)。塊和對(duì)象之間的另一個(gè)區(qū)別是基于塊的存儲(chǔ)不帶元數(shù)據(jù)。
對(duì)于基于文件的存儲(chǔ),文件系統(tǒng)提供了層次結(jié)構(gòu),甚至有限的元數(shù)據(jù),因此其比原始?jí)K存儲(chǔ)更適合于以內(nèi)容為主的企業(yè)組織。但是,在現(xiàn)實(shí)的情況下,個(gè)別的文件被分解成小塊碎片,然后散布在隨機(jī)位置的存儲(chǔ)中。文件系統(tǒng)知道在哪里可以獲取所有的小塊碎片,當(dāng)用戶請(qǐng)求文件時(shí),文件系統(tǒng)便跳轉(zhuǎn)以檢索所有內(nèi)容。
對(duì)象存儲(chǔ)系統(tǒng)將文件存儲(chǔ)為單個(gè)實(shí)體,在應(yīng)用程序中使用對(duì)象ID對(duì)存儲(chǔ)進(jìn)行調(diào)用之后進(jìn)行檢索。每個(gè)對(duì)象都有一個(gè)唯一的對(duì)象ID,所以沒(méi)有必要保持較高級(jí)別的結(jié)構(gòu)來(lái)保持其組織架構(gòu)。搜索所有元數(shù)據(jù)的功能使得檢索項(xiàng)目更容易。
對(duì)象存儲(chǔ)領(lǐng)域中的可用性和數(shù)據(jù)保護(hù)
保持存儲(chǔ)數(shù)據(jù)的可用性和數(shù)據(jù)保護(hù)是IT最重要的職責(zé)之一。
為此,企業(yè)的存儲(chǔ)專業(yè)人員們部署了RAID陣列和備份系統(tǒng)。 RAID有助于防止硬件故障,而當(dāng)RAID不足時(shí),或者當(dāng)出現(xiàn)RAID無(wú)法防范的災(zāi)難時(shí),備份和恢復(fù)系統(tǒng)介入。
一款對(duì)象存儲(chǔ)架構(gòu)通常包括一種或兩種不同的數(shù)據(jù)保護(hù)方法,以防止硬件故障和災(zāi)難。雖然這對(duì)于每家具體的企業(yè)組織而言并不一定是必須的,但對(duì)象存儲(chǔ)可能會(huì)消除對(duì)第三方備份和恢復(fù)軟件的需求。這個(gè)舉措可以通過(guò)幾種不同的方式來(lái)實(shí)現(xiàn)。
擦除編碼。這比傳統(tǒng)的RAID實(shí)現(xiàn)要復(fù)雜一些,但目的是為了隱藏復(fù)雜性,并向管理員呈現(xiàn)一個(gè)更簡(jiǎn)單的環(huán)境。
擦除編碼通過(guò)向數(shù)據(jù)塊添加多個(gè)奇偶校驗(yàn)段,然后將這些奇偶校驗(yàn)段分配到各個(gè)不同的位置。例如,假設(shè)存儲(chǔ)系統(tǒng)使用一個(gè)10+6的擦除編碼方法。奇偶校驗(yàn)塊分布在16款驅(qū)動(dòng)器上,但您只需要10塊磁盤才能繼續(xù)檢索數(shù)據(jù)。這意味著任何六款驅(qū)動(dòng)器都可能會(huì)失敗。只要10塊磁盤仍然在運(yùn)行,系統(tǒng)仍然運(yùn)行。
如果某款驅(qū)動(dòng)器出現(xiàn)故障,則在更換故障驅(qū)動(dòng)器時(shí),丟失的數(shù)據(jù)塊將從保留在生產(chǎn)中的10款驅(qū)動(dòng)器中重建。這導(dǎo)致比RAID更快的恢復(fù)速度,特別是對(duì)于大型驅(qū)動(dòng)器而言。
借助快速重建,當(dāng)涉及到容量開(kāi)銷費(fèi)用時(shí),擦除編碼是有效的。其可以用于傳統(tǒng)的文件和塊存儲(chǔ),但是這些部署是罕見(jiàn)的,因?yàn)椴脸幋a是一個(gè)復(fù)雜的、計(jì)算密集的過(guò)程。
復(fù)制。有時(shí)除了擦除編碼之外,在其他存儲(chǔ)集群位置或甚至在其他地理位置進(jìn)行數(shù)據(jù)的冗余副本時(shí)會(huì)涉及復(fù)制。但復(fù)制增加了容量開(kāi)銷。
通過(guò)使用兩個(gè)復(fù)制因素,您企業(yè)可以將數(shù)據(jù)保存兩次,使您的容量足跡翻倍。而三倍的復(fù)制因素將使您的容量足跡增加三倍,依此類推。通常,數(shù)據(jù)的本地可用性和保護(hù)可以通過(guò)擦除編碼來(lái)處理,而災(zāi)難恢復(fù)則利用復(fù)制。
協(xié)議和文件訪問(wèn)。可通過(guò)HTTP和REST API調(diào)用本機(jī)訪問(wèn)對(duì)象存儲(chǔ)系統(tǒng)。這使得即使通過(guò)企業(yè)防火墻也可以訪問(wèn)存儲(chǔ)。但是,這不會(huì)使對(duì)象存儲(chǔ)對(duì)于更多主流使用案例(如企業(yè)文件共享)有用。
用戶已經(jīng)習(xí)慣于通過(guò)NFS和SMB訪問(wèn)他們的文件。許多對(duì)象存儲(chǔ)系統(tǒng)使用NFS或SMB服務(wù)作為其對(duì)象存儲(chǔ)的前端,以便用戶和應(yīng)用程序可以使用這些行業(yè)標(biāo)準(zhǔn)協(xié)議訪問(wèn)文件。這只是一個(gè)兼容機(jī)制。在幕后,正在運(yùn)行的則是對(duì)象存儲(chǔ)系統(tǒng)。
誰(shuí)在使用對(duì)象存儲(chǔ)技術(shù)?
對(duì)象存儲(chǔ)的最大消費(fèi)者是媒體和娛樂(lè)公司、石油和天然氣公司以及醫(yī)療機(jī)構(gòu)。這些企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)的迫切需求正在快速增長(zhǎng),并且可以有效地容納數(shù)十億個(gè)成為對(duì)象的數(shù)據(jù)元素。
技術(shù)公司,特別是云服務(wù)提供商,以及其他軟件和服務(wù)提供商也在使用對(duì)象存儲(chǔ)。
對(duì)象存儲(chǔ)架構(gòu)的優(yōu)缺點(diǎn)
對(duì)象存儲(chǔ)架構(gòu)提供了許多好處。
簡(jiǎn)單。對(duì)象存儲(chǔ)幾乎總是管理大量非結(jié)構(gòu)化數(shù)據(jù)的適合的工具。由于強(qiáng)大的元數(shù)據(jù)功能和平面結(jié)構(gòu)而言,對(duì)象存儲(chǔ)不需要任何抽象層,如文件系統(tǒng)。
成本優(yōu)勢(shì)。由于擴(kuò)展傳統(tǒng)的存儲(chǔ)和對(duì)數(shù)據(jù)增長(zhǎng)的預(yù)測(cè)可能很困難,許多企業(yè)過(guò)度占用存儲(chǔ)空間,因此不需要頻繁地進(jìn)行管理,并防止發(fā)生中斷。
由于可擴(kuò)展性高,因此對(duì)象存儲(chǔ)可以幫助企業(yè)組織實(shí)現(xiàn)其存儲(chǔ)成本。換句話說(shuō),他們可以根據(jù)需要輕松添加更多的存儲(chǔ)空間,而不是批量購(gòu)買。這種可擴(kuò)展性也意味著傳統(tǒng)存儲(chǔ)更新的理念消失了。無(wú)需每隔一年計(jì)劃花費(fèi)一個(gè)周末的時(shí)間遷移到新的存儲(chǔ)空間,您企業(yè)只需添加一個(gè)新的節(jié)點(diǎn),并將舊的節(jié)點(diǎn)停止服務(wù)即可。
組織管理。管理的簡(jiǎn)化是一回事,但數(shù)據(jù)訪問(wèn)和檢索的簡(jiǎn)單性卻是另一回事。由于對(duì)象存儲(chǔ)中所具有的固有的基本簡(jiǎn)單性,用戶可以輕松找到內(nèi)容。
但對(duì)象存儲(chǔ)也有一些限制,也可能不適合所有企業(yè)。例如,如果您企業(yè)的數(shù)據(jù)正在快速更改,諸如具有高事務(wù)計(jì)數(shù)的重要數(shù)據(jù)庫(kù)工作負(fù)載,對(duì)象存儲(chǔ)可能并不適合您企業(yè)。
此外,一些對(duì)象存儲(chǔ)供應(yīng)商不支持或不推薦在其產(chǎn)品上運(yùn)行虛擬機(jī),因?yàn)榈讓訑?shù)據(jù)的變化太快,應(yīng)用程序性能可能會(huì)受到影響。
最后,雖然一些對(duì)象存儲(chǔ)系統(tǒng)聲稱它們不需要使用傳統(tǒng)工具進(jìn)行備份,但許多企業(yè)風(fēng)險(xiǎn)管理者對(duì)此并不認(rèn)可。而一些傳統(tǒng)的備份工具不支持保護(hù)對(duì)象存儲(chǔ)。對(duì)象存儲(chǔ)采用者們將需要找到替代方法來(lái)匹配其對(duì)象存儲(chǔ)系統(tǒng)與其企業(yè)的數(shù)據(jù)保護(hù)策略。
購(gòu)買對(duì)象存儲(chǔ)軟件
您企業(yè)可以通過(guò)幾種不同的方式購(gòu)買對(duì)象存儲(chǔ)。在這個(gè)軟件定義數(shù)據(jù)中心的這個(gè)時(shí)代,如果您愿意添加更多的硬件,許多資源都可以作為軟件來(lái)獲得。
然而,許多企業(yè)可能更喜歡購(gòu)買部署就緒的產(chǎn)品,并選擇已經(jīng)打包在設(shè)備上的軟件。一般來(lái)說(shuō),這些設(shè)備是x86服務(wù)器,可以使用特定的軟件進(jìn)行調(diào)試。
對(duì)象存儲(chǔ)的另一個(gè)選擇是允許您企業(yè)的供應(yīng)商在托管設(shè)備中為您進(jìn)行管理。同時(shí),也請(qǐng)不要忘記了云服務(wù):對(duì)象存儲(chǔ)在云存儲(chǔ)提供商中是普遍存在的。對(duì)象存儲(chǔ)公司通常支持在公共云中部署,以實(shí)現(xiàn)混合云計(jì)劃,從而提供對(duì)于來(lái)自企業(yè)內(nèi)部部署環(huán)境的數(shù)據(jù)的無(wú)縫轉(zhuǎn)換。
對(duì)象存儲(chǔ)平臺(tái)市場(chǎng)
如下,我們將研究領(lǐng)先的對(duì)象存儲(chǔ)供應(yīng)商的產(chǎn)品。我們將聚焦于Caringo公司、DataDirect網(wǎng)絡(luò)公司、戴爾EMC、日立數(shù)據(jù)系統(tǒng)公司、IBM、NetApp和Scality公司的產(chǎn)品。這些供應(yīng)商及其產(chǎn)品是我們?cè)趯?duì)頂級(jí)市場(chǎng)進(jìn)行了廣泛研究后進(jìn)行的選擇,包括哪些產(chǎn)品最適合我們所提出的購(gòu)買標(biāo)準(zhǔn)。以下,是對(duì)于每家供應(yīng)商的簡(jiǎn)要概述。
Caringo公司作為獨(dú)立的對(duì)象存儲(chǔ)公司之一是值得注意的。該公司提供了Swarm對(duì)象存儲(chǔ)平臺(tái)以及FileFly產(chǎn)品,可以幫助企業(yè)客戶將現(xiàn)有的Microsoft Windows和NetApp文件共享遷移到Caringo Swarm群集。
另一家獨(dú)立公司日立提供了日立內(nèi)容平臺(tái)(HCP),其成為了企業(yè)對(duì)象存儲(chǔ)的基礎(chǔ),這是一款全功能的對(duì)象存儲(chǔ)。 HCP可以通過(guò)HCP Anywhere進(jìn)行擴(kuò)展,從而為企業(yè)客戶提供本地同步和共享(類似Dropbox)功能。
并不是上文列出的所有企業(yè)都只關(guān)注對(duì)象存儲(chǔ)。例如,DataDirect Networks公司就銷售各種基于文件和塊的存儲(chǔ)產(chǎn)品以及WOS專用對(duì)象存儲(chǔ)產(chǎn)品。而與Caringo公司一樣,DDN是一家獨(dú)立的,以存儲(chǔ)為中心的公司,該公司開(kāi)發(fā)了他們自己的存儲(chǔ)產(chǎn)品線。
另一個(gè)從頭開(kāi)始打造其產(chǎn)品的是Scality公司的RING對(duì)象存儲(chǔ)軟件,該產(chǎn)品可以在商品x86硬件上運(yùn)行,使其成為想要自己的硬件獲得準(zhǔn)確規(guī)格的企業(yè)客戶的選擇,同時(shí)也能夠幫助降低成本。
戴爾EMC是最近經(jīng)歷了重大變革的企業(yè)的典范。戴爾通過(guò)收購(gòu)EMC,現(xiàn)在提供多款對(duì)象存儲(chǔ)產(chǎn)品,包括Isilon和彈性云存儲(chǔ)。
如上所述,并不是所有的供應(yīng)商都開(kāi)發(fā)了自己的產(chǎn)品。其中一家這樣的公司便是IBM。在2015年,IBM收購(gòu)了Cleversafe,最近將該產(chǎn)品重新命名為IBM Cloud Object Storage。
同樣,通過(guò)2010年收購(gòu)Bycast,NetApp現(xiàn)在銷售其StorageGRID Webscale產(chǎn)品,可以擴(kuò)展企業(yè)客戶內(nèi)部部署,并實(shí)現(xiàn)了跨地理位置的部署。