類內(nèi)存的存儲出現(xiàn)意味著文件系統(tǒng)必須改變

責(zé)任編輯:editor005

作者:崔歡歡

2017-05-27 14:56:38

摘自:存儲在線

聽起來很簡單,但是獲取一個(gè)可擴(kuò)展的命名空間,從而跨組成并行文件系統(tǒng)的多個(gè)節(jié)點(diǎn)之間大小型數(shù)據(jù)塊來提供訪問是件棘手的事

近期DataDirect Networks(DDN)更新了一代軟件定義存儲產(chǎn)品組合的CTO——Eric Barton,我們先來看下這哥們兒的咖位——30年高端存儲“老司機(jī)“,超級計(jì)算機(jī)并行文件系統(tǒng)的早期構(gòu)建者之一,將Lustre文件系統(tǒng)從少數(shù)幾個(gè)超算中心帶入到兩大用于高性能計(jì)算的主要數(shù)據(jù)管理平臺之一,曾任甲骨文Lustre工程組的首席工程師,英特爾高性能數(shù)據(jù)部門首席架構(gòu)師,從某個(gè)方面來看,Barton一直在做軟件定義存儲。

而世界剛巧迎合了這個(gè)概念。

2012年7月,英特爾收購了高性能計(jì)算公司W(wǎng)hamcloud之后,Barton作為后者的聯(lián)合創(chuàng)始人兼CTO加入英特爾投身商業(yè)化Lustre業(yè)務(wù),在英特爾結(jié)束這項(xiàng)業(yè)務(wù)后離開英特爾轉(zhuǎn)戰(zhàn)DDN幫助其Infinite Memory Engine(IME)數(shù)據(jù)緩沖區(qū)的核心文件系統(tǒng)變得多樣化與商業(yè)化。

Barton曾在1985年聯(lián)合創(chuàng)建了一家基于交換的并行超級計(jì)算機(jī)制造公司Meiko Scientific,那時(shí)一個(gè)國家實(shí)驗(yàn)室采購了它們的集群但還需要一個(gè)文件系統(tǒng),因?yàn)槿耸植蛔?,Barton只能自己編寫并行文件系統(tǒng)(PFS)程序。他當(dāng)時(shí)的想法很簡單就是跨其它文件系統(tǒng)來劃分一個(gè)文件系統(tǒng)。

聽起來很簡單,但是獲取一個(gè)可擴(kuò)展的命名空間,從而跨組成并行文件系統(tǒng)的多個(gè)節(jié)點(diǎn)之間大小型數(shù)據(jù)塊來提供訪問是件棘手的事。這就是Lustre文件系統(tǒng)誕生的原因,也是在超級計(jì)算機(jī)風(fēng)頭正盛的時(shí)候,IBM,SGI,Sun Microsystems等巨頭企業(yè)仍在花大量的時(shí)間開發(fā)并行文件系統(tǒng)的原因。

Barton 稱Luster跟PFS基本是一樣的,但做得恰到好處,如果你在十年前跟我談,我會說Lustre會解決命名空間的可擴(kuò)展問題,而未來的百億億次文件系統(tǒng),它的底層搭建基本會是Lustre。然后3D XPoint內(nèi)存出現(xiàn)了。

這里做了一個(gè)局,就是3D XPoint看起來像內(nèi)存,但它跟磁盤或閃存存儲一樣具有持久性。現(xiàn)在,存儲操作已經(jīng)從毫秒級降至微秒級,而Barton則表示關(guān)于閃存和3D XPoint的炒作太多,后者的速度要比閃存高出幾個(gè)量級,你必須改變存儲軟件層才能優(yōu)化這種差異。NVM-Express協(xié)議的出現(xiàn),允許計(jì)算和內(nèi)存的復(fù)合體直接與閃存存儲進(jìn)行通信,而不是讓閃存模擬磁盤并通過SCSI設(shè)備驅(qū)動程序堆棧。這是需要在一個(gè)系統(tǒng)內(nèi)進(jìn)行這種改變的一個(gè)例子,并且考慮到配置數(shù)萬個(gè)旋轉(zhuǎn)磁盤的PB級磁盤存儲容量,它將會在較大型文件系統(tǒng)中完成。

Barton 表示,“在你和硬件之間存在一個(gè)極大的軟件厚度,而這些新技術(shù),以3D XPoint為代表迫使我注意到一切必須改變。你不再有這么大的延遲來隱藏存儲系統(tǒng)的所有功能。如果你在應(yīng)用程序和存儲介質(zhì)之間有這種厚度的軟件,你就是否認(rèn)了應(yīng)用程序和介質(zhì)的好處。“

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號