近日,在日本東京舉行的Interop展會(huì)上,經(jīng)過行業(yè)專家和頂尖學(xué)者多輪嚴(yán)格評(píng)審,華為新一代OceanStor存儲(chǔ)Dorado系列,憑借“具有壓倒性的性能和穩(wěn)定的極低時(shí)延,支持通過AI芯片對(duì)I/O處理進(jìn)行自我優(yōu)化。”一舉奪得Interop Tokyo 2020 Best of show Award 金獎(jiǎng)。這也是繼2017年上一代OceanStor存儲(chǔ)Dorado系列獲獎(jiǎng)后,再次獲此殊榮。

“這是業(yè)界首款將AI模塊應(yīng)用在存儲(chǔ)里的產(chǎn)品”評(píng)審團(tuán)的一位專家說道,“憑借這款內(nèi)置在存儲(chǔ)里的AI插件,OceanStor存儲(chǔ)Dorado系列能夠?qū)崟r(shí)智能地分析工作負(fù)載,不斷優(yōu)化緩存預(yù)取算法,提高讀取命中率,并且隨著時(shí)間的推移,系統(tǒng)性能提高20%。”

華為率先將AI能力內(nèi)置于存儲(chǔ)系統(tǒng),這項(xiàng)創(chuàng)新獲得了Interop 專家評(píng)審團(tuán)的一致認(rèn)可。這背后是華為研發(fā)團(tuán)隊(duì)堅(jiān)持不懈的努力。接下來,我們就讓華為OceanStor存儲(chǔ)Dorado系列產(chǎn)品首席架構(gòu)師張鵬,來為大家揭秘首款內(nèi)置AI模塊的存儲(chǔ)背后的故事。

高端存儲(chǔ)產(chǎn)品由于追求極致的可靠性,所以看似固執(zhí)守舊,其實(shí)卻蘊(yùn)含新生機(jī)。人工智能技術(shù)的崛起,賦予了高端存儲(chǔ)新的生機(jī)。

“要讓一個(gè)存在幾十年歷史的產(chǎn)品煥發(fā)活力,必須思考加入一些創(chuàng)新性的技術(shù)。”張鵬如是說。為此,華為在OceanStor 存儲(chǔ)Dorado系列中加入了大量的智能技術(shù),“華為在AI算法方面投入很大。”比如,采用 AI模塊基于機(jī)器學(xué)習(xí)框架,主動(dòng)分析并掌握多個(gè)應(yīng)用模型的IO規(guī)律,讓讀緩存命中率持續(xù)提升。

“OceanStor存儲(chǔ)Dorado系列這種全互聯(lián)、全共享的架構(gòu),非常適合采用機(jī)器學(xué)習(xí)這些人工智能技術(shù),對(duì)IO進(jìn)行全局的學(xué)習(xí)和分析,實(shí)現(xiàn)存儲(chǔ)操作更加智能化,從而提升系統(tǒng)的性能和效率。”張鵬補(bǔ)充道。

內(nèi)置智能AI模塊,學(xué)習(xí)IO規(guī)律,優(yōu)化預(yù)取算法,提升系統(tǒng)性能

我們都知道讀Cache是存儲(chǔ)系統(tǒng)常用的加速手段,就是把數(shù)據(jù)預(yù)先從硬盤中取出來,放在一個(gè)比硬盤更快的地方,通常用的介質(zhì)是RAM。針對(duì)讀數(shù)據(jù)的任務(wù),CPU會(huì)先去讀cache里面查找,找到了就反饋給前端接口卡,由前端接口卡傳送給用戶,如在cache中未找到才會(huì)去硬盤里面找。很明顯,最理想的情況就是所有的讀數(shù)據(jù)請(qǐng)求都能在讀cache里面找到數(shù)據(jù),這樣是性能最高的。但是數(shù)據(jù)是雜亂的,任務(wù)是隨機(jī)的,怎么知道應(yīng)該提前取哪些數(shù)據(jù)放在讀cache里面呢?

為了解決這個(gè)難題,華為OceanStor存儲(chǔ)Dorado系列首創(chuàng)引入人工智能模塊作為存儲(chǔ)系統(tǒng)插件,提升預(yù)測(cè)準(zhǔn)確率。

圖一:AI模塊 + 智能算法

那么內(nèi)置的AI模塊是怎么幫助提升預(yù)測(cè)準(zhǔn)確率的呢?我們知道,存儲(chǔ)系統(tǒng)收到的數(shù)據(jù)是一份一份的,每一份我們叫做一個(gè)I/O。不同的業(yè)務(wù),發(fā)送過來的I/O是千差萬別的。但是I/O不僅存在時(shí)空關(guān)聯(lián),而且也存在語義關(guān)聯(lián)。時(shí)間關(guān)聯(lián)就像是8點(diǎn)后面是9點(diǎn),空間關(guān)聯(lián)就像是中國(guó)的北面是俄羅斯和蒙古。語義關(guān)聯(lián)就像我們說“北極熊是世界上…”,后面大概率是想說“體型最大的熊”。I/O也是這樣,只不過我們需要把這些關(guān)聯(lián)挖掘出來。知道了這些關(guān)聯(lián),自然就能提高預(yù)取的準(zhǔn)確率了。

OceanStor存儲(chǔ)Dorado系列中的AI模塊集成了自調(diào)優(yōu)的深度學(xué)習(xí)算法,可以對(duì)上層業(yè)務(wù)的全量I/O數(shù)據(jù)從時(shí)空關(guān)聯(lián)和語義關(guān)聯(lián)上進(jìn)行快速分析和深度挖掘。當(dāng)I/O過來后,它會(huì)立刻判斷出即將訪問的數(shù)據(jù),并告訴CPU趕快取到讀cache中。同時(shí),它還在后臺(tái)不斷對(duì)已有數(shù)據(jù)進(jìn)行二次學(xué)習(xí),進(jìn)一步提升準(zhǔn)確率。最后是通過對(duì)預(yù)取命中率、浪費(fèi)率、時(shí)延等關(guān)鍵性能指標(biāo)進(jìn)行評(píng)估,然后自主調(diào)整。

經(jīng)過華為性能實(shí)測(cè),OceanStor存儲(chǔ)Dorado系列在同樣帶寬的前端卡(16G FC),同樣的測(cè)試模型(隨機(jī)讀,64K以內(nèi)I/O數(shù)據(jù)塊大小),讀cache命中率從19%提升到69%。

總結(jié)一下:

OceanStor存儲(chǔ)Dorado系列中內(nèi)置的AI模塊,就像汽車的智能變速箱,它通過持續(xù)的自我學(xué)習(xí),逐步提升,讓存儲(chǔ)系統(tǒng)加速,越用越好用。

回顧過去兩年多的種種,張鵬感慨道:“OceanStor存儲(chǔ)Dorado系列實(shí)現(xiàn)了很多開創(chuàng)性的東西,這在業(yè)界非常難得,也是我倍感欣慰的地方。”

AI智能賦予了高端存儲(chǔ)新的生機(jī),這正是Interop 評(píng)委團(tuán)專家看到華為率先將AI模塊植入存儲(chǔ)系統(tǒng)中興奮的原因:OceanStor存儲(chǔ)Dorado系列,為業(yè)界樹立了智能創(chuàng)新的標(biāo)桿!