因此,Gartner預(yù)測(cè),2023年,所有的數(shù)據(jù)中心的10,000rpm的HDD幾乎都被SSD代替。Gartner建議,現(xiàn)在就停止在數(shù)據(jù)中心環(huán)境中使用15,000 rpm和10,000 rpm HDD技術(shù)。

而另一方面,根據(jù)IDC的預(yù)測(cè),2025年全球的數(shù)據(jù)圈將從2018年的33ZB狂漲到175ZB。

而這大量的數(shù)據(jù)都在公有云上。這個(gè)其實(shí)也容易理解,因?yàn)殡S著5G的普及,以后移動(dòng)網(wǎng)絡(luò)不再是瓶頸,所有的終端設(shè)備產(chǎn)生的數(shù)據(jù)將大部分保存在公有云上。

如此海量的數(shù)據(jù)要保存和處理,傳統(tǒng)的存儲(chǔ)架構(gòu)肯定是不行的(不過(guò)公有云采用傳統(tǒng)存儲(chǔ)的本來(lái)就不多),分布式存儲(chǔ),甚至是All-Flash的分布式存儲(chǔ),將是未來(lái)公有云的主流存儲(chǔ)架構(gòu)。

正是看到這樣的趨勢(shì),華為云順勢(shì)而發(fā),在7月初發(fā)布了云存儲(chǔ)All-Flash戰(zhàn)略,并推出了全新一代極速I(mǎi)O云硬盤(pán)。極速I(mǎi)O云硬盤(pán)基于華為自研的芯片,采用大量針對(duì)Flash設(shè)計(jì)的原生算法,單盤(pán)可以達(dá)到100萬(wàn)IOPS,時(shí)延低至100微秒以下。

相比華為云原來(lái)提供的超高IO云硬盤(pán),極速I(mǎi)O云硬盤(pán)的IOPS、帶寬、時(shí)延方面都有巨大的提升——特別是時(shí)延,降低了90%,使得云盤(pán)從ms時(shí)代直接進(jìn)入μs時(shí)代,就像使用本地SSD盤(pán)一樣。

為什么有這么大的差異呢?其實(shí),華為云極速I(mǎi)O云硬盤(pán)是引擎、架構(gòu)、芯片、算法、AI等多項(xiàng)技術(shù)融合的成果。

華為云的智能數(shù)據(jù)底座包括五個(gè)部分:引擎、架構(gòu)、芯片、算法和AI,也可以概括為“兩個(gè)創(chuàng)新+三個(gè)加持”。“兩個(gè)創(chuàng)新”為全新Flash-Native存儲(chǔ)引擎和全棧架構(gòu)創(chuàng)新,而“三個(gè)加持”則是全系列自研芯片、硬核數(shù)學(xué)算法以及AI。

全新Flash-Native存儲(chǔ)引擎

采用Flash友好的數(shù)據(jù)布局,實(shí)現(xiàn)了智能全局FTL完成全局磨損均衡,可以智能控制垃圾數(shù)據(jù)回收,大幅度減少了SSD寫(xiě)放大,使得SSD壽命提升5倍以上,可靠性達(dá)到了11個(gè)9。

全新架構(gòu)創(chuàng)新

全棧架構(gòu)創(chuàng)新,實(shí)現(xiàn)了數(shù)據(jù)IO和控制的分離,通過(guò)芯片重構(gòu)數(shù)據(jù)讀寫(xiě),軟件實(shí)現(xiàn)智能調(diào)度,例如網(wǎng)卡可以直接寫(xiě)數(shù)據(jù)到SSD介質(zhì),無(wú)需CPU參與;可以利用專(zhuān)用的ASIC芯片進(jìn)行數(shù)據(jù)的EC、壓縮計(jì)算,這樣原有軟件消耗的60%的CPU可以通過(guò)網(wǎng)卡、ASIC來(lái)完成,大幅度提升了整個(gè)軟件的性能。

全系列自研芯片加持

自研CPU:華為云存儲(chǔ)充分發(fā)揮鯤鵬920系列芯片在多核、低功耗等方面的優(yōu)勢(shì),實(shí)現(xiàn)了免鎖多核調(diào)度和高并發(fā)性能和綠色節(jié)能。鯤鵬920芯片采用了7nm的制造工藝,在典型主頻下,芯片的SPECint Benchmark評(píng)分超過(guò)930分,超出業(yè)界標(biāo)桿25%,能效比優(yōu)于業(yè)界標(biāo)桿30%。鯤鵬920芯片主頻可達(dá)2.6GHz,單芯片可支持64核。該芯片集成8通道DDR4,內(nèi)存帶寬超出業(yè)界主流46%;芯片集成100G RoCE以太網(wǎng)卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps總帶寬,單槽位接口速率為業(yè)界主流速率的兩倍;

自研網(wǎng)卡:RDMA網(wǎng)絡(luò)已經(jīng)成為人工智能、科學(xué)計(jì)算等高性能計(jì)算、存儲(chǔ)業(yè)務(wù)的必備技術(shù),華為基于自研網(wǎng)卡突破大規(guī)模RDMA網(wǎng)絡(luò)擁塞控制技術(shù),支持1萬(wàn)+節(jié)點(diǎn)規(guī)模,同時(shí)大幅降低網(wǎng)絡(luò)擁塞,長(zhǎng)尾時(shí)延降低30%以上。

硬核算法加持

EC:云存儲(chǔ)為了應(yīng)對(duì)數(shù)據(jù)從PB級(jí)向EB級(jí)演進(jìn)挑戰(zhàn),通過(guò)存儲(chǔ)的核心數(shù)據(jù)冗余編碼技術(shù)EC算法,可根據(jù)存儲(chǔ)集群規(guī)模自動(dòng)調(diào)整冗余策略,一方面相對(duì)副本寫(xiě)帶寬大幅提升,同時(shí)優(yōu)化數(shù)據(jù)重構(gòu)下的帶寬,相對(duì)傳統(tǒng)三副本冗余方式整體帶寬提升3X。

為了進(jìn)一步提升數(shù)據(jù)存儲(chǔ)效率,華為全面優(yōu)化了壓縮算法,可以根據(jù)不同的用戶(hù)數(shù)據(jù)特征進(jìn)行變長(zhǎng)及數(shù)據(jù)差量壓縮,數(shù)據(jù)壓縮率相對(duì)傳統(tǒng)算法提升3倍;

SSD LDPC算法:在華為SSD存儲(chǔ)中,華為率先引入LDPC算法(Low Density Parity Check,低密度奇偶校驗(yàn)),并依托華為強(qiáng)大的算法團(tuán)隊(duì)持續(xù)優(yōu)化LDPC算法能力和性能,達(dá)成業(yè)界最佳糾錯(cuò)能力,Flash壽命最高提升5倍。

AI加持

華為將人工智能技術(shù)融入分布式存儲(chǔ)的全生命周期。

首先,華為云存儲(chǔ)能夠智能識(shí)別用戶(hù)個(gè)性化的業(yè)務(wù)模型,進(jìn)行自適應(yīng)的AI調(diào)優(yōu);同時(shí)通過(guò)動(dòng)態(tài)自適應(yīng)QoS控制,減少多租戶(hù)之間的干擾,保障租戶(hù)SLA。

其次,根據(jù)業(yè)務(wù)模型和負(fù)載,智能預(yù)測(cè)性能趨勢(shì),并且根據(jù)用戶(hù)提前配置的自動(dòng)調(diào)整策略完成調(diào)整,免人工干預(yù)保障業(yè)務(wù)平穩(wěn)。

另外,從云上大數(shù)據(jù)分析看,大部分性能波動(dòng)是由于硬件故障引起的,通過(guò)AI故障預(yù)測(cè)能力,可以提前14天發(fā)現(xiàn)故障盤(pán)并完成自動(dòng)隔離處理。

通過(guò)AI的加持,華為云可以實(shí)現(xiàn)對(duì)租戶(hù)的IO模型和云存儲(chǔ)系統(tǒng)運(yùn)行狀態(tài)的感知和匹配,系統(tǒng)可以自主調(diào)優(yōu)和自我進(jìn)化,讓用戶(hù)越用越快。

目前,華為云是業(yè)界為數(shù)不多有能力將多項(xiàng)技術(shù)進(jìn)行整合與優(yōu)化,從而提升整體服務(wù)水平的云服務(wù)提供商。其通過(guò)全棧技術(shù)能力,將所有環(huán)節(jié)進(jìn)行協(xié)同與優(yōu)化,最終為用戶(hù)呈現(xiàn)出最佳的云服務(wù)。

從華為云宣傳的指標(biāo)來(lái)看,極速I(mǎi)O云硬盤(pán)非常不錯(cuò),但是具體如何,還需要第三方測(cè)試一下。

至頂網(wǎng)評(píng)測(cè)實(shí)驗(yàn)室最近對(duì)華為極速I(mǎi)O云硬盤(pán)進(jìn)行了全面的測(cè)試,我這里只選取他們測(cè)試MySQL數(shù)據(jù)庫(kù)的情況。

在數(shù)據(jù)庫(kù)應(yīng)用測(cè)試中,至頂網(wǎng)選用Sysbench OLTP對(duì)華為云極速I(mǎi)O云硬盤(pán)與高速I(mǎi)O云硬盤(pán)的MySQL數(shù)據(jù)庫(kù)同樣進(jìn)行了評(píng)測(cè)。

在測(cè)試過(guò)程中,至頂網(wǎng)設(shè)置了10張數(shù)據(jù)庫(kù)表格,數(shù)據(jù)庫(kù)的大小設(shè)置為10,000,000,測(cè)試時(shí)長(zhǎng)為5分鐘。

云極速I(mǎi)O云硬盤(pán)測(cè)試截圖

從上面的SysbenchOLTP測(cè)試結(jié)果可以看出,華為云極速I(mǎi)O云硬盤(pán)MySQL數(shù)據(jù)庫(kù)應(yīng)用性能可以達(dá)到每秒2萬(wàn),接近2.1萬(wàn)transactions(20938.99 per sec)的程度。每秒萬(wàn)次級(jí)別的數(shù)據(jù)庫(kù)調(diào)用,基本上達(dá)到各大電商大促活動(dòng)時(shí)的數(shù)據(jù)庫(kù)調(diào)用強(qiáng)度。

云超高IO云硬盤(pán)測(cè)試截圖 

與華為云超高IO云硬盤(pán)數(shù)據(jù)庫(kù)應(yīng)用性能相比,極速I(mǎi)O云硬盤(pán)有一個(gè)數(shù)量級(jí)的性能提升。

鑒于華為云極速I(mǎi)O云硬盤(pán)的卓越性能,預(yù)計(jì)其在關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、大數(shù)據(jù)+AI場(chǎng)景和云游戲及互聯(lián)網(wǎng)應(yīng)用將會(huì)被大量采用,大大提升最終用戶(hù)的體驗(yàn),讓性能問(wèn)題不再是上云的瓶頸。

也許大家都很關(guān)心,這么好的東西,到底貴不貴?我們是否負(fù)擔(dān)得起?目前,華為云極速I(mǎi)O云硬盤(pán)還處于試用階段,沒(méi)有公布價(jià)格。不過(guò),隨著閃存價(jià)格的下降,應(yīng)該會(huì)有一個(gè)較高的性?xún)r(jià)比。

感興趣的朋友不妨先上華為云官網(wǎng)免費(fèi)申請(qǐng)?jiān)囉冒伞?/p>