內(nèi)存計算與后端存儲

責任編輯:editor007

2017-11-03 20:19:03

摘自:TechTarget中國

摘要:內(nèi)存計算技術可以規(guī)避存儲系統(tǒng)在操作硬盤和SSD讀寫時產(chǎn)生的延遲,但同時也需要考慮對后端存儲系統(tǒng)帶來的影響。

內(nèi)存計算技術可以規(guī)避存儲系統(tǒng)在操作硬盤和SSD讀寫時產(chǎn)生的延遲,但同時也需要考慮對后端存儲系統(tǒng)帶來的影響。

內(nèi)存數(shù)據(jù)庫的性能遠遠超過使用前端緩存和基于磁盤的數(shù)據(jù)庫。內(nèi)存數(shù)據(jù)庫免除了大多數(shù)不必要的I/O操作,包括緩存讀寫和僅用于更新數(shù)據(jù)庫條目的其它進程。利用內(nèi)存可以實現(xiàn)極快速的寫后讀校驗操作。

使用內(nèi)存存儲還可以消除有關獲取磁盤數(shù)據(jù)位置和解析目錄樹的全部存儲層工作。內(nèi)存計算技術可以使數(shù)據(jù)庫提速高達100倍,從而縮短業(yè)務響應時間,減少數(shù)據(jù)庫集群所需的服務器數(shù)量。

NVDIMM備援

然而,內(nèi)存數(shù)據(jù)庫引出了一個新問題:雖然在動態(tài)RAM(DRAM)中進行的所有操作會獲得極佳的性能,但是如果服務器出現(xiàn)故障,DRAM將立即變?yōu)榭瞻锥覕?shù)據(jù)會全部丟失。確保部分或者全部數(shù)據(jù)庫數(shù)據(jù)條目保留在持久性存儲內(nèi),這是內(nèi)存數(shù)據(jù)庫技術的有效擴展選項,但同時也帶來了對后端存儲需求的變化。

早期的建議是將全部數(shù)據(jù)都保存到NVMe SSD或?qū)S瞄W存卡。這些措施是將數(shù)據(jù)從DRAM移動到持久存儲的最快方式。

今天,組織還應該將NVDIMM視為DRAM池的持久存儲保障。NVDIMM是安裝在DIMM插槽上的數(shù)TB閃存或類似的存儲器。

因為安裝在高速總線上并采用和內(nèi)存相同的I/O方式,NVDIMM的速度極快,大約比最快的SSD還快四倍。NVDIMM與DRAM結(jié)合使用后,內(nèi)存數(shù)據(jù)庫可以獲得連續(xù)和更大容量的內(nèi)存空間,并避免分片問題。更重要的是,IT人員可以維護內(nèi)存中數(shù)據(jù)的映像,或針對寫入事務創(chuàng)建日志文件并且不影響業(yè)務運作。

然而,和通常的SSD相比,NVDIMM的容量擴展受到一定限制。這種限制對于大數(shù)據(jù)業(yè)務尤其明顯,此類業(yè)務中的數(shù)據(jù)集是大量連續(xù)流或大量單純的數(shù)據(jù),而其中大部分數(shù)據(jù)幾乎從來不被訪問。在這種情況下有兩種選擇:IT管 理員可以使用NVMe驅(qū)動器組成網(wǎng)絡存儲,也可以使用大量較慢的SSD驅(qū)動器。后一種方式提供的性能可能只有NVMe驅(qū)動器的10%,但是便宜得多,而且并行處理程度也很高。如何選擇要根據(jù)使用場景來確定。

高帶寬的接口可以為內(nèi)存計算提供有力的支持。管理員可以使用以太網(wǎng)遠程直接內(nèi)存訪問(RDMA)來在不同的系統(tǒng)內(nèi)存之間共享數(shù)據(jù),并且可以將數(shù)據(jù)互通擴展到任何基于驅(qū)動器的存儲設施。

基礎設施的下一個形態(tài)會怎樣?

內(nèi)存計算基礎設施正在迅速發(fā)展。最有趣的潛在變化來自NVDIMM和CPU架構。

例如,Intel產(chǎn)品路線圖中的Optane技術具有字節(jié)級的可尋址性。這將使程序能夠操作CPU寄存器到內(nèi)存的指令、將單個字節(jié)寫入Optane存儲器。與當前的NVDIMM所使用的4KB最小I/O單位的訪問方法相比,單字節(jié)方式要快得多。當前的方式是,在應用程序中創(chuàng)建一個數(shù)據(jù)塊,然后通過存儲堆棧軟件,最后在單次CPU操作中最少傳輸4KB數(shù)據(jù)。整個過程只需要一到兩個機器時鐘周期。

實現(xiàn)字節(jié)級別的可尋址性需要修改系統(tǒng)中的每一段代碼。但是,比起將其應用于傳統(tǒng)的大型應用程序,將這個思路應用于數(shù)據(jù)庫引擎要容易很多,預計數(shù)據(jù)庫領域?qū)紫纫姷匠尚?。理論上,該概念可以擴展到集群,使用RDMA技術來互聯(lián)NVMe Optane驅(qū)動器。

在大數(shù)據(jù)環(huán)境中,網(wǎng)絡帶寬和本地存儲可能成為系統(tǒng)能力發(fā)揮的關鍵瓶頸。解決辦法是對數(shù)據(jù)進行壓縮。壓縮比取決于數(shù)據(jù)內(nèi)容,典型情況下會有5倍的數(shù)據(jù)縮減。在CPU方面,服務器內(nèi)的扁平化布局拓撲結(jié)構非常引人注目,其中內(nèi)存,GPU,CPU和驅(qū)動器都共享相同的超快速架構,而且可以耦合到群集架構。

另一個新的CPU研發(fā)方向是,讓CPU和內(nèi)存更近距離耦合,從而提升DRAM容量和性能。有多家初創(chuàng)公司都選擇了混合內(nèi)存立方體的思路。

這些公司的目標是實現(xiàn)每秒千兆字節(jié)的內(nèi)存速度、降低內(nèi)存能耗,以及使用融合DRAM、閃存和CPU模塊的架構,所有這些措施都可以顯著加速內(nèi)存計算性能。 這些先進的創(chuàng)新公司們在不斷發(fā)展的過程中可能會選擇不同的技術路線,但都致力于實現(xiàn)性能的巨大提升,從而在內(nèi)存計算系統(tǒng)和相關的新一代存儲領域開辟更大空間。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號