美國國家超級計算應用中心(National Center for Supercomputing Applications)正計劃推出一個包含380PB磁帶存儲容量和由17000個SATA驅動器組成的25PB在線磁盤存儲的存儲基礎設施。

這個大規(guī)模存儲基礎設施將用于支持世界上最大的超級計算機之一，被稱為Blue Waters。由美國國家科學基金會(NFS)委托制造的Blue Waters預計峰值性能將達到11.5 petaflops，雖然NFS對其的要求是提供1 petaflop的應用程序持續(xù)計算能力。

美國伊利諾伊大學運行的NCSA已經與Cray公司簽署了一份合同來建設這個超級計算機，該系統(tǒng)將運行一個Lustre并行文件系統(tǒng)，到其后端存儲的吞吐量將超過1TB每秒。

Blue Waters項目將創(chuàng)造一個1 petaflop超級計算機來處理現實世界科學和工程應用。其中，這臺超級計算機將幫助人類理解宇宙大爆炸后宇宙是如何演化的，幫助預測颶風和龍卷風的形成，并在新材料的設計中在原子水平上發(fā)揮重要作用。

這臺超級計算機將包含超過235個使用380000個AMD Opteron 6200系列X82處理器的Cray XE6機柜，和超過30個最新推出的Cray XK6超級計算機(擁有3000個NVIDIA CPU)未來版本的機柜。該系統(tǒng)將包含來自19萬個內存DIMM的1.5PB聚合內存。

為了支持所有這些計算能力，NCSA使用Cray Sonexion存儲系統(tǒng)部署了25PB磁盤存儲。Sonexion原本被稱為Zyratex存儲陣列，該系統(tǒng)通過40Gbps以太網從Extreme Networks提供高達1TBps聚合帶寬。

“我們一直努力與網絡供應商合作，以確保他們準備好迎接40千兆以太網，”NCSA負責存儲和網絡工程的高級技術項目經理Michelle Butler表示，“我們并不是第一個使用40Gbps以太網的，但是現在使用這個以太網的人并不多。”

Butler表示，使用40Gbit以太網網絡的關鍵是將管道分成多個10Gbps以太網通道的能力，使NCSA將架構分散到多個端口。該以太網將被用于連接75臺主機。

Butler表示，NCSA還選擇了DataDirect Network的SFA 12K存儲陣列提供100GBps存儲性能來卸載數據到“近線”磁帶庫系統(tǒng)。該磁帶子系統(tǒng)可擴展到500PB容量。

她表示：“該子系統(tǒng)能夠卸載每秒萬億字節(jié)的文件系統(tǒng)，所以我們需要一個非常大的磁帶基礎設施來進行卸載。”

正在建設中的Blue Waters超級計算機

在主存儲后面是四個Spectra Logic 17-frame T-Finity磁帶庫，磁帶庫將擁有366個240MB/sec 的IBM TS1140企業(yè)級磁帶驅動器。該磁帶庫將提供高達每小時2.2PB的聚合讀/寫率。

Butler表示：“我們實際上評估了LTO-5或LTO-6和TS1140，我們并沒有指定何種磁帶驅動器、何種庫或者其他任何東西。我們希望讓供應商自由地向我們提供多種解決方案。”

Butler表示，NCSA選擇IBM磁帶驅動器，而沒有選擇更流行的中級LTO驅動器，因為它們提供優(yōu)越的性能。TS1140提供240MB每秒的吞吐量，LTO驅動器提供140MB每秒。

在意見請求書中，Butler的團隊給存儲供應商列出了10到15個要求。除此之外，它們還規(guī)定磁帶庫必須要符合一定面積，不能超過一定電力和冷卻要求，并且應該滿足某種可靠性和性能目標。

Butler表示，磁帶庫聚合吞吐量的目標是100GB/sec，目前，大約為89.5GB/sec。

Cray超級計算機通過Mellanox IS5000 InfiniBand交換機和ConnectX InfiniBand適配器連接到磁帶庫。交換機使用InfiniBand QDR協議，提供高達每個lane 8Gbps吞吐量和高達12個I/O lane。Butler表示，她想要使用更高帶寬版本的InfiniBand， FDR，但是Cray的系統(tǒng)不支持。

InfiniBand FDR提供每個lane 13.6 Gbps吞吐量和高達12個I/O lane。

雖然NCSA可以從很多企業(yè)級磁盤存儲供應商中選擇產品用于超級計算機中，Butler及其團隊感覺如果所有產品都來自于Cray的話，他們將會得到更好的支持。

“Lustre，如你所知，并不好維護，所以我們想要與特定供應商合作，使用其軟件硬件，并有一個設備來進行故障轉換等，自2003年以來，我們就一直運行Lustre，”Butler表示，“所以我理解Cray公司試圖為我們簡化我們的系統(tǒng)。”