背景

Ceph是當(dāng)前最流行的開源分布式統(tǒng)一存儲，在一套基礎(chǔ)架構(gòu)中同時支持塊存儲、對象存儲和文件存儲，支持PB級別的擴(kuò)展能力，廣泛用于云環(huán)境中;Ceph來源于Sage Weil博士一項(xiàng)關(guān)于存儲系統(tǒng)的PhD研究項(xiàng)目，最初被設(shè)計(jì)為一個分布式文件系統(tǒng)，整體架構(gòu)基于低速設(shè)備而構(gòu)建，提供毫秒(ms)級別的IO延遲。

從1956年第一塊機(jī)械硬盤(HDD)誕生至今，存儲介質(zhì)的容量和性能都取得了長足的發(fā)展，特別是2011前后固態(tài)硬盤(SSD)產(chǎn)生后，IOPS出現(xiàn)了指數(shù)級的增長，IO延遲也從毫秒(ms)降到了微妙(us)，提升了1000倍以上;與此同時，網(wǎng)絡(luò)傳輸速率也從10年前的100Mbps，發(fā)展到了目前的100Gbps，實(shí)現(xiàn)了1000倍的增長。

隨著硬件性能的快速提升，傳統(tǒng)的軟件實(shí)現(xiàn)和架構(gòu)已成為提升軟件系統(tǒng)的主要瓶頸，有數(shù)據(jù)表明，在全NVMe固態(tài)介質(zhì)的配置下，Ceph集群性能只有硬件限性性能的40%左右，所以為了充分利用高性能介質(zhì)，需要對現(xiàn)有的軟件進(jìn)行重構(gòu)。

Kernel bypass技術(shù)

隨著硬件性能的提升，內(nèi)核中的網(wǎng)絡(luò)棧和存儲棧帶來的性能瓶頸越來越明顯，為縮短io路徑、解決NVMe SSD在傳統(tǒng)IO棧上的性能問題，Linux內(nèi)核從4.x開始引入了新的NVMe IO棧，如下圖，可以看新的IO子系統(tǒng)完全擯棄了傳統(tǒng)的通用塊層和SCSI子系統(tǒng)：

而kernel bypas(繞過內(nèi)核)是解決系統(tǒng)網(wǎng)絡(luò)棧和存儲棧性能瓶頸的另外一種方式，與傳統(tǒng)的中斷機(jī)制不同，kernel bypass的核心思想是：內(nèi)核只用來處理控制流，所有數(shù)據(jù)流相關(guān)操作都在用戶態(tài)進(jìn)行處理，從而規(guī)避內(nèi)核的包拷貝、線程調(diào)度、系統(tǒng)調(diào)用、中斷等性能瓶頸，并輔以各種性能調(diào)優(yōu)手段(如：CPU pin、無鎖隊(duì)列)，從而達(dá)到更高的性能。目前市場上也有多種類似的技術(shù)，如DPDK、NETMAP、SPDK、PF_RING、RDMA等，其中 DPDK 因?yàn)楦鼜氐椎拿撾x內(nèi)核調(diào)度以及活躍的社區(qū)支持從而得到了更廣泛的使用。下文簡單介紹下DPDK、SPDK以及RDMA的技術(shù)原理：

DPDK(Data Plane Development Kit)是由Intel發(fā)起，主要基于Linux系統(tǒng)運(yùn)行，用于快速數(shù)據(jù)包處理的函數(shù)庫與驅(qū)動集合，可以極大提高數(shù)據(jù)處理性能和吞吐量，提高數(shù)據(jù)平面應(yīng)用程序的工作效率。DPDK使用了輪詢(polling)而不是中斷來處理數(shù)據(jù)包。在收到數(shù)據(jù)包時，經(jīng)DPDK重載的網(wǎng)卡驅(qū)動不會通過中斷通知CPU，而是直接將數(shù)據(jù)包存入內(nèi)存，交付應(yīng)用層軟件通過DPDK提供的接口來直接處理，這樣節(jié)省了大量的CPU中斷時間和內(nèi)存拷貝時間。

SPDK(Storage Performance Development Kit)是由Intel發(fā)起，用于加速使用NVMe SSD作為后端存儲的應(yīng)用軟件加速庫，該軟件庫的核心是用戶態(tài)、異步、輪詢方式的NVMe驅(qū)動。與內(nèi)核態(tài)的NVMe驅(qū)動相比，它可以大幅度降低延遲，同時提升單CPU核的IOPS。其架構(gòu)如下：

RDMA(Remote Direct Memory Access)全稱遠(yuǎn)程直接數(shù)據(jù)存取，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)絡(luò)把資料直接傳入計(jì)算機(jī)的存儲區(qū)，將數(shù)據(jù)從一個系統(tǒng)快速移動到遠(yuǎn)程系統(tǒng)存儲器中，而不對操作系統(tǒng)造成任何影響，這樣就不需要用到多少計(jì)算機(jī)的處理功能。它消除了外部存儲器復(fù)制和上下文切換的開銷，因而能解放內(nèi)存帶寬和CPU周期用于改進(jìn)應(yīng)用系統(tǒng)性能。下圖直觀的展示了傳統(tǒng)模式和RDMA模式下的差異：

SPDK技術(shù)在Ceph BlueStore中的應(yīng)用

先來看一組來自Intel的性能測試數(shù)據(jù)：用戶態(tài)NVMe 驅(qū)動 VS 內(nèi)核態(tài)NVMe驅(qū)動

通過上面的對比數(shù)據(jù)，我們看到了SPDK的優(yōu)異性能表現(xiàn)及潛力，很自然想到可以通過加速Ceph OSD后端IO來提升Ceph性能，具體做法是：使用SPDK中的用戶態(tài)NVMe驅(qū)動替代內(nèi)核驅(qū)動，bluestore架構(gòu)如下：

從上圖可得到如下信息：

1.使用裸設(shè)備，數(shù)據(jù)直接寫入塊設(shè)備，消除文件系統(tǒng)的影響

2.在裸設(shè)備上構(gòu)建輕量級的Bluefs文件系統(tǒng)，用于承載元數(shù)據(jù)庫RocksDB

3.支持插件式的塊分配器(當(dāng)前支持StupidAllocator和BitmapAllocator兩種)

4. 支持插件式的塊設(shè)備驅(qū)動(當(dāng)前僅支持Kernel Driver)

所以，要支持新的塊設(shè)備驅(qū)動只需添加新的設(shè)備類型(Type)以及實(shí)現(xiàn)相應(yīng)的驅(qū)動(Driver)即可。

DPDK/RDMA技術(shù)在Ceph中的應(yīng)用

在講DPDK/RDMA的應(yīng)用前，我們先來看看Ceph中兩種常用的網(wǎng)絡(luò)模塊(Messenger)：

1.SimpleMessenger

SimpleMessenger是Ceph最早支持的一種網(wǎng)絡(luò)模塊，如其名字所述，實(shí)現(xiàn)相對比較簡單：它通過一個線程來監(jiān)聽服務(wù)端口、接收客戶連接;每個新建連接與一個Pipe關(guān)聯(lián)，實(shí)現(xiàn)兩個端口間類似管道的功能;Pipe內(nèi)部分別有一個讀寫線程用來處理這個Pipe有關(guān)的消息接收和請求的發(fā)送;SimpleMessenger通過共享隊(duì)列向各連接分發(fā)接收到的消息。由于每個連接都需要關(guān)聯(lián)一對讀寫線程來負(fù)責(zé)消息和請求的處理，很顯然，隨著連接數(shù)量以及并發(fā)的增大，將會產(chǎn)生大量的線程，隨之線程上下文切換、TCP/IP的overhead也將成倍的增加，嚴(yán)重影響消息和請求的處理性能。

2.AsyncMessenger

為了解決SimpleMessenger中大量線程上下文切換帶來的overhead，AsyncMessenger采用了IO多路復(fù)用技術(shù)(如：epoll、kqueue)以及線程池，來處理消息接收和請求發(fā)送，這樣可以非阻塞的處理多個網(wǎng)絡(luò)請求;為了兼容不同的傳輸協(xié)議棧，AsyncMessenger還通過插件的方式支持多種傳輸協(xié)議，如：posix、dpdk和rdma，其結(jié)構(gòu)如下：

從上圖我們可以看到通過繼承NetworkStack，添加不同的實(shí)現(xiàn)即可支持不同的傳輸協(xié)議，如：PosixStack、DPDKStack、RDMAStack。

結(jié)合上述的DPDK技術(shù)、RDMA技術(shù)和SPDK技術(shù)，Ceph將能夠提供一套純用戶態(tài)的存儲解決方案，個人認(rèn)為也是當(dāng)前存儲系統(tǒng)設(shè)計(jì)的其中一個發(fā)展方向。

上文簡單介紹了DPDK、SPDK、RDMA技術(shù)在Ceph中的應(yīng)用，后續(xù)將對上述各部分進(jìn)行深度的分析，敬請期待。