伴隨著各種終端技術(shù)及網(wǎng)絡(luò)的發(fā)展,人類感知世界,探索世界的步伐越來越快,大量的數(shù)據(jù)被采集并記錄。種種數(shù)據(jù)表明,人類已進(jìn)入信息爆炸時(shí)代。從IDC研究來看,從2009年到2020年,全球信息總量增長44倍以上,將達(dá)到35.2ZB(1ZB=1,000,000PB),而每一家組織都將面臨需要存儲(chǔ)至少10倍以上數(shù)據(jù)量的現(xiàn)狀。存儲(chǔ)系統(tǒng)的容量需求已經(jīng)從幾十T發(fā)展到幾十P甚至100P以上,我們把這種場景稱為海量存儲(chǔ)場景。海量存儲(chǔ)場景對存儲(chǔ)系統(tǒng)提出了巨大挑戰(zhàn)。
傳統(tǒng)存儲(chǔ)架構(gòu)很難應(yīng)對海量存儲(chǔ)場景所引發(fā)的諸多問題。首先,傳統(tǒng)IT系統(tǒng)多為“煙囪式”架構(gòu),一平臺(tái)一應(yīng)用,如果需要擴(kuò)容,原有的架構(gòu)和部署方式必然發(fā)生巨大變化,并且多系統(tǒng)之間很難實(shí)現(xiàn)數(shù)據(jù)共享,擴(kuò)容成本極高。其次,多套系統(tǒng)造成管理、維護(hù)效率低下。研究表明,IT系統(tǒng)用于維護(hù)的費(fèi)用占到整體費(fèi)用的72%,遠(yuǎn)高于首次采購設(shè)備的費(fèi)用。而這一狀況在進(jìn)入海量存儲(chǔ)時(shí)代后變得更加突出。
需求與現(xiàn)狀正在產(chǎn)生巨大矛盾。如何降低整體擁有成本,提高管理維護(hù)效率,保證業(yè)務(wù)連續(xù)性是當(dāng)前存儲(chǔ)系統(tǒng)亟待解決的難題。
海量存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生
新的產(chǎn)品與服務(wù)不斷出現(xiàn)以解決上文提到的矛盾,公有云服務(wù)是有效手段之一。企業(yè)采用“以租代買”的方式,把建設(shè)與管理IT設(shè)施的風(fēng)險(xiǎn)交給了運(yùn)營商。云服務(wù)運(yùn)營商提供近乎無限的存儲(chǔ)空間供用戶使用,“按需購買”的付費(fèi)方式也降低了用戶使用IT設(shè)施的門檻,從而解決了擴(kuò)展性和成本的問題。因此公有云市場最近幾年發(fā)展迅猛,其中最具代表的就是亞馬遜,存儲(chǔ)在亞馬遜的對象數(shù)在2011年增長了192%,達(dá)到7千億個(gè),相當(dāng)于為整個(gè)地球上每個(gè)人提供近100個(gè)對象存儲(chǔ)。
然而公有云并不能解決所有問題。網(wǎng)絡(luò)存儲(chǔ)對帶寬消耗巨大,同時(shí)出于安全性的考慮,一些企業(yè)也不愿把自己苦心經(jīng)營得到的數(shù)據(jù)存放到第三方數(shù)據(jù)中心。因此很多企業(yè)選擇自建數(shù)據(jù)中心。他們選擇低廉的服務(wù)器與存儲(chǔ),基于開源軟件進(jìn)行研究與開發(fā),自建海量廉價(jià)資源池。但這種方式對研發(fā)及測試實(shí)力要求極高,中小企業(yè)很難做到。大型企業(yè)往往投入大量人力物力也無法做到商用要求,得不償失。
不論是借助公有云還是自建數(shù)據(jù)中心,背后對存儲(chǔ)的需求是一致的,最突出的就是極高的擴(kuò)展性及極低的TCO。只有解決了這兩個(gè)難題,系統(tǒng)才能在海量存儲(chǔ)場景下,滿足高速發(fā)展的業(yè)務(wù)增長需求。
這種以高擴(kuò)展和低TCO為核心訴求的存儲(chǔ)顯然不是現(xiàn)有存儲(chǔ)系統(tǒng)所具備的?,F(xiàn)有存儲(chǔ)不論是SAN還是集群NAS,都很難滿足100PB以上的部署要求。因此,一種新的存儲(chǔ)類型應(yīng)運(yùn)而生,它可以滿足海量存儲(chǔ)場景下的部署要求,追求極強(qiáng)的擴(kuò)展性,極低的TCO,以及較好的開放性以應(yīng)對各種上層應(yīng)用,而這種新的存儲(chǔ)類型對網(wǎng)絡(luò)時(shí)延要求較低。我們把這種新的存儲(chǔ)類型稱為海量存儲(chǔ)系統(tǒng)。
近幾年部件技術(shù)的快速發(fā)展也為海量存儲(chǔ)系統(tǒng)的誕生創(chuàng)造了條件。磁盤容量越來越高,從2TB,4TB到8TB,10TB,而磁盤單位容量的功耗越來越低。處理器計(jì)算能力越來越強(qiáng),而每核所消耗的功耗也越來越低。同時(shí)萬兆以太網(wǎng)技術(shù)也在不斷成熟。這些都是海量存儲(chǔ)系統(tǒng)登上存儲(chǔ)歷史舞臺(tái)的必要條件。
華為UDS海量存儲(chǔ)系統(tǒng)開創(chuàng)EB級(jí)存儲(chǔ)未來
海量存儲(chǔ)系統(tǒng)以對象作為基本存儲(chǔ)形式。對象是數(shù)據(jù)和自描述信息的集合,是數(shù)據(jù)在磁盤上存儲(chǔ)的基本單元。對象存儲(chǔ)在文件系統(tǒng)的基礎(chǔ)上進(jìn)行優(yōu)化,通過降低文件系統(tǒng)目錄、接口的復(fù)雜度,提高了當(dāng)對象數(shù)量高速增長時(shí)系統(tǒng)的擴(kuò)展性。同時(shí)對象的智能自管理功能也能有效降低系統(tǒng)維護(hù)復(fù)雜度。
海量存儲(chǔ)系統(tǒng)適用于對容量要求極高,而網(wǎng)絡(luò)時(shí)延要求相對較低的應(yīng)用場景,如公有云存儲(chǔ)服務(wù)。一方面當(dāng)客戶數(shù)量快速增長時(shí)對存儲(chǔ)空間的需求難以預(yù)期,另一方面服務(wù)是通過互聯(lián)網(wǎng)提供的,用戶對網(wǎng)絡(luò)延遲具有較高的容忍度。海量存儲(chǔ)系統(tǒng)可以作為基礎(chǔ)架構(gòu)為用戶提供空間存儲(chǔ)服務(wù),或基于存儲(chǔ)的上層業(yè)務(wù)服務(wù)。在行業(yè)應(yīng)用中也能找到適合海量存儲(chǔ)系統(tǒng)的應(yīng)用場景,如數(shù)據(jù)歸檔,媒資管理等。
UDS海量存儲(chǔ)系統(tǒng)是華為面向海量存儲(chǔ)市場推出的最新產(chǎn)品。UDS采用基于ARM架構(gòu)的低功耗、高密度存儲(chǔ)節(jié)點(diǎn),通過對象存儲(chǔ)技術(shù)、P2P分布式存儲(chǔ)引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建海量對象存儲(chǔ)基礎(chǔ)架構(gòu)平臺(tái),對外提供S3、NFS、CIFS等多種訪問接口,以滿足不同業(yè)務(wù)的適配需求?;赨DS可以構(gòu)建多種解決方案,如海量資源池,網(wǎng)盤,云備份,集中備份等。
如何解決海量數(shù)據(jù)所帶來的困境是信息化社會(huì)必須面對的問題。華為攜手運(yùn)營商與行業(yè)客戶,基于UDS海量存儲(chǔ)系統(tǒng),開拓創(chuàng)新,構(gòu)建強(qiáng)擴(kuò)展,易管理,高可靠的EB級(jí)數(shù)據(jù)管理方案,輕松應(yīng)對各種挑戰(zhàn),開創(chuàng)海量數(shù)據(jù)業(yè)務(wù)的未來。