大數據的應用為企業(yè)的存儲帶來了挑戰(zhàn)。以下是企業(yè)應該考慮的最重要的事情。

定義大數據實際上比人們想象的更具挑戰(zhàn)性。GLib的定義談到了大量的非結構化數據，但事實上，它是合并了結構化和結構化的許多數據源，以創(chuàng)建一個可以分析有用信息的存儲數據池。

人們可能會問“大數據到底有多大？”，存儲營銷人員的答案通常是“大，非常大”或者是達到“PB”級。但是，還有很多方法來衡量存儲的內容。很多大數據在被分析的幾分鐘之內就會變成垃圾數據，而有些則需要存儲和保留。這使得數據的生命周期管理至關重要。隨著數據的全球化，將于2018年5月生效的“歐盟通用數據保護條例”規(guī)定了個人數據生命周期管理要求，即使對于歐洲之外公司來說，其違規(guī)處罰也是十分嚴厲的，涉及的企業(yè)將會遭到其高達4％的全球年收入的處罰。

對于IT行業(yè)人士來說，其存儲已經習慣了TB這個術語，但存儲PB級的數據成本令人望而生畏，這就像人們當初面臨RAID存儲陣列的那咱情況。如今的驅動器和存儲設備已經改變了所有關于容量成本的規(guī)則，特別是在開源軟件可以發(fā)揮作用的地方。

事實上，今年8月舉辦的閃存峰會上推出了在1U機架可以部署容量為1PB的設備，隨著3DNAND和英特爾公司推出的“Ruler”硬盤驅動器等新技術和新產品的出現，在幾個月內可以達到1PB的目標。大數據存儲容量將會改變存儲的空間、功耗、成本的游戲規(guī)則。

集中的容量需要集中的網絡帶寬。第一步是將這些PB級存儲設備與以太網上的NVMe結合起來，以100Gbps的速度運行，但行業(yè)廠商已經處于200Gbps部署的初期階段。這是網絡連接能力的一個重大飛躍，但即使如此，也不足以跟上大規(guī)模并行設計的驅動器的發(fā)展步伐。

數據壓縮有助于解決許多大數據存儲的使用案例，從刪除重復圖像到重復的Word文件塊。使用GPU進行壓縮的新方法可以處理巨大的數據速率，為PB級1U機柜提供一種快速處理的方式。

大數據存儲最具價值的部分實際上是軟件。非結構化數據通常存儲在密鑰/數據格式中，在傳統(tǒng)的blockIO之上，這是一個試圖掩蓋多個不匹配的低效方法。較新的設計范圍從對象的擴展元數據標記到以驅動器或存儲設備上的開放式密鑰/數據格式存儲數據。這些都是一些處在萌芽狀態(tài)的方法，但其價值主張似乎很明確。

最后，公共云為大數據提供了一個可擴展到龐大規(guī)模的具有彈性的平臺。這顯然有助于滿足企業(yè)需求，AWS，Azure和Google都添加了強大的大數據服務列表來匹配。借助巨大的實例和GPU支持，云計算虛擬機可以有效地模擬內部服務器場，并為混合云或基于公共云的解決方案提供引人注目的案例。

可以說，企業(yè)在制定大數據存儲計劃時需要考慮很多事情。以下更詳細地了解一下其中的一些因素。

（1）確定大數據存儲需求

一旦創(chuàng)建了大數據存儲的要求，就要考慮減少大數據的方式。大部分數據在一兩天后都是垃圾數據，這取決于積極的報廢協(xié)議。有些數據是具有價值的，所以這些數據應該存儲和加密、備份，以及存檔。

隨著需求日益增長，公共云非常適合存儲短期數據，特別是在突發(fā)情況下。存儲桶能夠以更低成本進行創(chuàng)建和刪除，而且擴大規(guī)模并不是問題。

最后，大數據有時并沒有那么大。對于使用10TB結構化數據的用戶來說，100TB似乎很大，但是它很容易適合于最小的Ceph集群。而如今存儲100TB的數據，這對于一些解決方案來說非常簡單。

（2）對象存儲的作用

大數據常常與對象存儲混淆，因為對象存儲可以輕松地處理奇怪的對象，并提供允許對數據進行巨大控制的元數據結構。而且對象存儲的成本比傳統(tǒng)的RAID存儲陣列要低得多。事實上，最常見的對象存儲使用開源軟件和COTS（商用現成品或技術）硬件。也可以使用沒有捆綁許可的軟件。

對象存儲設備配有6到12個驅動器，服務器主板和快速網絡，而且越來越多的網絡將采用基于RDMA的100GbE或200GbE網卡。即便如此，硬盤驅動器的速度變得如此之快，以至于這些網絡速率仍然難以跟上?，F在人們處在對象存儲的NVMe以太網連接的邊緣，這將帶來延遲和吞吐量的飛躍。

還有開源的全球文件系統(tǒng)，這些系統(tǒng)已經在金融系統(tǒng)和高性能計算中使用了很多年。這些處理需要一定的規(guī)模，但沒有擴展的元數據和其他靈活的擴展。

（3）生命周期管理

從大數據存儲池獲取數據是一個比設置池本身更大的挑戰(zhàn)。在企業(yè)的存儲軟件中構建報廢標簽是管理它的一種方法：策略在數據對象創(chuàng)建時設置自毀標簽值。然而，制定策略需要時間，而且在處理選項增加到包括將數據移動到云中成本非常低廉的歸檔層時，情況會變得更加復雜。大數據的數據流模型，特別是物聯網產生的大數據，往往在存儲營銷信息圖中被描述成“許多支流匯合在一起的一條大河”。然而，從存儲的角度來看，所有這些組合起來并不是真正的傳感器數據（IoT生成的典型內容）可能會被分解為時間戳，以便后期處理，而結構化數據庫條目可以直接存儲在主數據庫中，它有自己的分層冷數據工具。

更復雜的是，人們知道一些大數據比其他數據更為活躍。這種活躍的數據可能需要存儲到更快速的存儲設備中，例如SSD固態(tài)硬盤。

（4）數據隱私法規(guī)

通用數據保護規(guī)范(GDPR)將要實施。企業(yè)在處理歐盟個人數據的過程中如果違反法規(guī)，則可能會面臨其全球收入的4％的嚴厲處罰，這個法規(guī)適用于全球范圍的企業(yè)。

通用數據保護規(guī)范(GDPR)最終處理的是關鍵和個人數據的常識。每個人都應該正確地加密數據。其規(guī)則涵蓋數據治理，生命周期管理，訪問和使用以及加密。

在了解存儲供應商是否符合GDRP標準之后，人們可能會松一口氣，認為可能與自己無關。但這些規(guī)則涉及到數據所有者以及任何數據存儲的重大范式轉變，如果企業(yè)還沒有經歷這個調整過程，那么很可能就不符合法規(guī)。

人們一個常見的誤解是，供應商提供的加密措施可以解決企業(yè)的合規(guī)性要求。其實無論是由存儲廠商還是云服務提供商所提供的基于驅動器的加密都不適用于任何數據標準，如HIPAA，SOX或GDPR。企業(yè)作為數據所有者必須擁有密鑰。幸運的是，云端有加密支持，但更好的選擇是將其構建到服務器或虛擬機中的工作流中。

（5）SSD固態(tài)硬盤

SSD固態(tài)硬盤正在改變存儲系統(tǒng)中的所有規(guī)則。作為處于DRAM和硬盤存儲器之間的具有高速緩存的大容量存儲設備，SSD硬盤在隨機IO中的存儲性能提高了約1000倍，帶寬從10倍增加到100倍。對于大量數據來說，這是非常重要的，特別是在使用Hadoop或GPU加速等并行處理時。

容量為100TB的固態(tài)硬盤將會推出市場，并具有優(yōu)異的性能，一些小型存儲設備可以創(chuàng)造奇跡。規(guī)模最小的Ceph對象存儲陣列為四個節(jié)點，即使使用標準的1U服務器格式，當前也可以容納1.2PB的SSD硬盤容量。這樣做成本高昂，但在計算性能時比較經濟。一些供應商已經宣布了1UPB級設備的計劃，其中包括使用32個英特爾公司推出的Ruler硬盤，這是一款狹長的的SSD硬盤。

固態(tài)存儲領域得到快速發(fā)展，這也是企業(yè)不應該在短期內在存儲方面投入太多費用的原因。因為硬盤價格點和所有其他指標在未來兩年內都會發(fā)生變化。企業(yè)需要確保將來購買的任何設備和驅動器都適合集群，以便其他有用的設備不會被廢棄。

（6）數據壓縮

如今，存儲1PB數據的設備可以存儲5PB數據，而這是使用壓縮軟件的好處。固態(tài)硬盤支持大帶寬，以至于使用其中的一些將壓縮數據寫入設備是有意義的。不過，最好是在數據創(chuàng)建時進行壓縮。這減少了整個數據流量的網絡流量，節(jié)省了存儲空間，并減少了傳輸時間。但源數據壓縮需要硬件支持，而這些硬盤開始出現在市場上。

"Rehydrating"（重新水化）數據是一個使用少量資源的簡單過程，因此通過提高壓縮率來增加存儲容量可以節(jié)省成本。全閃存陣列通常包括壓縮，而這種技術也作為用于家電的軟件提供。

（7）選擇云存儲服務

在討論硬件之后，采用云存儲提供商提供的服務可能是一個具有吸引力的選擇。事實上，云服務提供商三大巨頭亞馬遜、谷歌和微軟公司在實施新架構和軟件編排方面都處于行業(yè)領先地位。云計算的應用很經濟，并且可以隨時需要的規(guī)模支付費用。云服務可以處理存儲負載峰值，這在一些數據類中很常見，例如零售傳感器數據。這減少或至少延遲了倉儲設備的內部購買。

然而，獲得與內部運營相媲美的性能水平是一個挑戰(zhàn)。并不是具有相同CPU和內存組合的實例都是相同的。一個高度調優(yōu)的內部集群可能會做得更好。

如今，存儲技術的發(fā)展并不會停止，人們將看到增值數據存儲服務迅速發(fā)展，如加密和壓縮、索引、標簽服務以及其他功能。大型云提供商（尤其是AWS）甚至將數據庫結構（如Hadoop文件系統(tǒng)）構建到工具包中。這使他們能夠部署類似希捷和華為設備的關鍵/數據存儲驅動器等設備中，以加速構建特定的數據結構。