大家可能都有這樣的經(jīng)歷,當你有朋友造訪或假期聚會時,一般會選擇去餐館就餐,而平時只有你一家人吃飯時,通常會在家里自己動手做飯。盡管分布式文件系統(tǒng)給一些存儲愛好者提供了自己搭建存儲系統(tǒng)的可能性,但應對企業(yè)級海量的文件數(shù)據(jù)管理與存儲,用戶仍然需要一個專業(yè)的存儲方案供應商提供成熟的、久經(jīng)驗證的存儲解決方案。
在一定規(guī)模的數(shù)據(jù)中心,各個組件的管理和交互非常復雜,數(shù)據(jù)傳輸和處理一刻都不會停止,在眾多的組件中,最容易引起瓶頸的莫過于NAS,一旦NAS慢下來,會引發(fā)連鎖反應,特別是有多個文件系統(tǒng),多個文件樹需要檢索時,性能下降尤為明顯,這個時候就需要派上元數(shù)據(jù)和/或索引來解決問題了,但這些方法又會增加額外的管理開銷。
NAS的挑戰(zhàn)除了大批量文件交換外,還包括文件的增長速度,環(huán)境和內(nèi)容的急劇變化。如果不解決這些問題,NAS將面臨被淘汰的危險,正是這個時候,IBM考慮實施NAS變革,于是出現(xiàn)了全新一代的SONAS架構(gòu),讓NAS技術(shù)出現(xiàn)了一次重大轉(zhuǎn)折。
大規(guī)模文件數(shù)據(jù)帶來NAS轉(zhuǎn)折點
雖然目前大部分交易都是通過對結(jié)構(gòu)化數(shù)據(jù)進行處理完成的,但越來越多的業(yè)務開始使用非結(jié)構(gòu)化的數(shù)據(jù),業(yè)務通常是通過數(shù)據(jù)收集,電子郵件,信件和其它形式的通信完成的,最終結(jié)果保存為文件,這就好比餐館要提供品種豐富的菜品一樣具有挑戰(zhàn)性,使用非結(jié)構(gòu)化數(shù)據(jù)面臨以下4個方面的挑戰(zhàn):
1、透明度
在商業(yè)信息環(huán)境中,不是所有的信息都會暴露給參與各方,也沒有哪個會蠢到全部暴露,但要消除障礙,找到你需要的,或需要一個什么過程也是一個重大策略,保持一定的透明度符合各方的利益訴求。
2、變更管理敏捷度
大多數(shù)企業(yè)面臨的變化越來越多,IT也會跟著發(fā)生許多變化,這給原本已經(jīng)困難重重的IT增加了更大的壓力,不僅是數(shù)據(jù)版本問題,還包括處理數(shù)據(jù)鏈接和業(yè)務數(shù)據(jù)間接關(guān)聯(lián)的數(shù)據(jù)源,信息變化管理工作必須跟上信息變化的腳步,否則錯誤的信息會導致巨大的麻煩。
3、安全和訪問控制
因為組織和人員的角色會不斷發(fā)生變化,訪問控制必須精細化,要能應付各種變化,有時需要數(shù)據(jù)本身配合做好安全防護,而不是單憑應用程序來實施控制。
4、成本控制
如果你不能改變非結(jié)構(gòu)化數(shù)據(jù)增長的趨勢,那就必須適應使用這些非結(jié)構(gòu)化數(shù)據(jù),最好是開發(fā)標準化,自動化的方法,否則靠人工方式處理必然引起成本的增加,但目前的確面臨成本急劇升高的難題。
這些挑戰(zhàn)排除了適合于小規(guī)模,簡單的,或只讀信息的策略,IBM新的橫向擴展NAS – SONAS - 能夠解決所有挑戰(zhàn),SONAS也改變了NAS原有的價值主張,現(xiàn)在SONAS已經(jīng)成為IBM公共云產(chǎn)品的基礎,下面就談一下SONAS技術(shù)創(chuàng)新如何應對海量文件數(shù)據(jù)的存儲挑戰(zhàn)。
SoNAS創(chuàng)新看點:網(wǎng)格節(jié)點
在SONAS中,IBM為我們帶來了許多創(chuàng)新的看點:
管理節(jié)點,接口節(jié)點和存儲節(jié)點被整合到同一個基礎硬件中,圖1展示了SONAS的架構(gòu),這種設計有助于更方便地創(chuàng)建高可用集群,以及今后向其中添加更多節(jié)點,這些節(jié)點通過1和10GB以太網(wǎng)接口與用戶,應用程序和IT管理系統(tǒng)連接,節(jié)點之間使用Infiniband連接,配合常見的SONAS軟件使用,幾乎可以創(chuàng)建媲美大型機的處理能力。
圖 1 IBM橫向擴展網(wǎng)絡附加存儲(SONAS)架構(gòu)
每個節(jié)點都運行SONAS操作系統(tǒng),可通過DVD或滾動下載升級包升級操作系統(tǒng),升級不需要額外付費。
每個存儲箱中包含兩個存儲節(jié)點,數(shù)據(jù)是經(jīng)過條帶化后均勻分布到所有存儲箱的,它們前面是高密度存儲控制器,相互交叉連接,在一個4U高的機箱中可容納64塊磁盤驅(qū)動器,支持SAS(RAID 5)和SATA(RAID 6)驅(qū)動器。
圖 2 SONAS配置[NextPage]
這種節(jié)點設計方式允許安全方便地擴展,網(wǎng)格實現(xiàn)支持高可用和更豐富的共享,可跨所有存儲箱共享工作負載和文件,所有節(jié)點都可以看到并訪問全部存儲,節(jié)點之間有內(nèi)部通信,可相互感知。SONAS的集群數(shù)據(jù)庫監(jiān)管分配和履行請求,它使用字節(jié)范圍鎖定支持相同數(shù)據(jù)上多進程并發(fā)訪問,對于相同字節(jié)范圍則采用令牌進行仲裁,這種控制粒度比Check In/Check Out更加精細。
SoNAS創(chuàng)新看點:多維擴展
容量和性能:SONAS架構(gòu)支持容量和性能獨立擴展,這是滿足各類需求,并能有效控制成本的最佳方法,因為有的用戶只想加大容量,但同時又希望不影響性能,有的用戶只想提升性能,但又不想增加容量。
多維擴展需要對架構(gòu)重新設計,層次太多會使架構(gòu)變得很復雜,層次太少又會很脆弱。SONAS是基于Linux的,大部分功能都是由IBM的通用并行文件系統(tǒng)(GPFS)提供的,GPFS是10年前IBM為滿足高性能網(wǎng)格計算開發(fā)的,它繼承了ILM和HSM的優(yōu)點,完整支持POSIX語義,它使用一套無單點故障的方法處理和分析數(shù)十億量的文件。
變化和高可用:今天的實時應用需求要求同時提供高速變化和高可用能力,根據(jù)傳統(tǒng)的觀念,這兩個要求是不能同時滿足的,GPFS支持急速掃描,然后以并行無破壞的方式備份發(fā)生變化的數(shù)據(jù)(很快就完成,對高優(yōu)先級活動進程無性能損失),此外SONAS還支持異步操作,這種多元性是由SONAS支持的復雜策略支撐的。
多維策略:對于非常大型的環(huán)境,事情總是復雜得多,SONAS有一套完整的部署,遷移,刪除,備份/歸檔和恢復策略集,注意前三個策略更多的是面向業(yè)務的,后兩個策略更多的是面向IT技術(shù)的,將來可以增加更多的節(jié)點以滿足更多的業(yè)務,或增加更多的應用程序控制特定域的文件。
SONAS支持多域聯(lián)合:例如,某個文件可能同時位于一個嚴格復制的域和一個更普通的遷移域中,對于復雜的文件處理,SONAS軟件支持類SQL的命令,在相同目錄下的文件可以被有意放在由不同存儲箱組成的不同物理存儲池中,另外還需注意的是,備份是可以高度并行進行的,因此即便是大型環(huán)境也無需大型備份窗口,管理員可以使用所有需要的數(shù)據(jù)放置策略,SONAS會自動貫徹實施。
必須注意的是這是第一個版本,圖3顯示了支持的特殊協(xié)議和產(chǎn)品,IBM表示今后還會進行大量擴充。
圖 3 SONAS軟件架構(gòu)[NextPage]
復制是一個很好的例子,SONAS一開始就支持快照和同步復制,異步復制作為SoFS的一部分也已經(jīng)可用,目前正在進一步進行復制測試,預計將在2010年第3季度發(fā)布,很快就能滿足所有SONAS激進用戶的需要了。
SONAS在大型環(huán)境中一樣表現(xiàn)得很好,在每個節(jié)點上都配有Tivoli存儲管理器客戶端,也支持賽門特克和其它第三方管理軟件。
應對極限文件型應用
SONAS的所有組件都是預測試和預配置的,它的軟件也是出廠就安裝好的,可以看作是一個獨立的SKU,軟件費用是按節(jié)點收取的,額外的功能是無需支付費用的,如快照功能就是免費贈送的。
SONAS擁有大規(guī)模存儲容量,最低配置是27TB,這樣的配置價格大概要6位數(shù),最大可擴展到30個存儲箱,容納7200塊驅(qū)動器,二季度總?cè)萘恳呀?jīng)翻了一倍(引入了2TB級驅(qū)動器),達到了14.4PB。
正如前面所提到的,IBM的公共云就采用了SONAS架構(gòu),目前IBM直接在銷售,IBM合作伙伴也間接地在銷售,可想而知,有行業(yè)專長的IBM合作伙伴通過SONAS將會為用戶帶來更多價值。
因此無論你是想獨立采購SONAS產(chǎn)品還是購買IBM的公共云存儲服務,都很方便和快捷。
SONAS和傳統(tǒng)的存儲產(chǎn)品有很大的不同,一個合理的文件共享環(huán)境應該具有精細的訪問控制和安全審核的,同時要有良好的數(shù)據(jù)存放和遷移策略,最好能自動判別和處理多種格式的存儲內(nèi)容,允許的話,最好有多套控制策略。
SONAS可以給銷售人員,決策者等提供豐富的支持,如降低文件冗余,除了減少磁盤空間浪費外,還減少了查找所需文件的時間。GPFS對ILM和HSM的支持,加上細粒度的訪問控制,將會讓一個虛擬倉庫支持多種用戶和多種應用程序。
實時信息通常是即時提交給特定目的的進程的,可通過抽樣進入分析和報告進程,加上搜索等工具后,文件的使命就發(fā)生變化了,除了它本身具有意義外,還可為復用提供具有前瞻性的資源,為進一步產(chǎn)生更有意義的信息打下堅實的基礎。
一般地,數(shù)據(jù)源越多,可進行更豐富的分析,SONAS支持業(yè)務需要的分析,在面對多種因素的情況下,可以幫助決策這更精明地做出決策。
SONAS是針對極限文件使用環(huán)境的,雖然目前還是第一代產(chǎn)品,但凡是體驗過一代產(chǎn)品的客戶都愿意使用第二代產(chǎn)品,未來如果你遇到了文件存儲方面的問題,不妨考慮一下SONAS,它是一個集成的解決方案,SONAS可以滿足大部分企業(yè)想要的低成本橫向擴展需要,如果這這一切讓你感到興奮,你應該仔細研究一下它。