如何構(gòu)建人工智能存儲架構(gòu)

責(zé)任編輯:cres

作者:Jeffrey Burt

2021-01-04 11:04:16

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

如今,人們越來越關(guān)注數(shù)據(jù)的處理和存儲:產(chǎn)生了多少數(shù)據(jù)、在哪里創(chuàng)建數(shù)據(jù)、利用數(shù)據(jù)所需的工具、管理數(shù)據(jù)所需的技能人才短缺等等。這改變了組織在數(shù)據(jù)中心和云平臺中的運(yùn)營方式,并決定了技術(shù)供應(yīng)商正在開發(fā)的許多產(chǎn)品路線圖。

如今,人們越來越關(guān)注數(shù)據(jù)的處理和存儲:產(chǎn)生了多少數(shù)據(jù)、在哪里創(chuàng)建數(shù)據(jù)、利用數(shù)據(jù)所需的工具、管理數(shù)據(jù)所需的技能人才短缺等等。這改變了組織在數(shù)據(jù)中心和云平臺中的運(yùn)營方式,并決定了技術(shù)供應(yīng)商正在開發(fā)的許多產(chǎn)品路線圖。自動化、數(shù)據(jù)分析、人工智能、機(jī)器學(xué)習(xí),以及在內(nèi)部部署和云平臺之間輕松移動應(yīng)用程序和數(shù)據(jù)的能力是原始設(shè)備制造商和其他技術(shù)參與者的工作重點(diǎn)。而這一切都由于發(fā)生疫情而改變,疫情正在加快組織將其業(yè)務(wù)向云端的遷移,并促使他們的員工在家遠(yuǎn)程工作。即使冠狀病毒疫情得到控制,這種趨勢也會仍將繼續(xù)。
 
過去幾個(gè)月,很多原始設(shè)備制造商特別積極地?cái)U(kuò)展了在存儲領(lǐng)域的產(chǎn)品,這在幫助組織在數(shù)據(jù)中心、云計(jì)算和網(wǎng)絡(luò)之間架起橋梁方面發(fā)揮著核心作用,以及如何處理大量的結(jié)構(gòu)化數(shù)據(jù),尤其是正在創(chuàng)建的非結(jié)構(gòu)化數(shù)據(jù)。從一些大型供應(yīng)商在過去幾個(gè)月發(fā)布的公告中可以看出這一點(diǎn)。Dell EMC公司加強(qiáng)了其存儲產(chǎn)品組合,以滿足當(dāng)今組織的需求。該公司發(fā)布了其PowerStore閃存系統(tǒng),該系統(tǒng)依賴于存儲類內(nèi)存(SCM)、NVM-Express和基于人工智能的軟件等技術(shù),并為混合云的PowerStore設(shè)計(jì)了云計(jì)算驗(yàn)證軟件。在一個(gè)月后,Dell EMC公司推出了針對非結(jié)構(gòu)化數(shù)據(jù)的PowerScale,將OneFS操作系統(tǒng)與Isilon硬件分離,并將其與PowerEdge系統(tǒng)配套使用。
 
Dell EMC公司還與谷歌云平臺合作,為其創(chuàng)建OneFS操作系統(tǒng),將文件數(shù)據(jù)管理引入公共云,以使組織能夠處理內(nèi)部部署設(shè)施與谷歌云平臺之間的數(shù)據(jù)密集型工作負(fù)載。兩家公司還在內(nèi)部部署設(shè)施使用Isilon文件系統(tǒng)以及谷歌云平臺中的計(jì)算和分析服務(wù),因此組織可以在兩種運(yùn)營環(huán)境之間的單個(gè)文件系統(tǒng)中移動高達(dá)50 PB的工作負(fù)載。
 
當(dāng)然,不僅僅是Dell EMC公司這樣做。HPE公司日前對其Primera和Nimble存儲產(chǎn)品線進(jìn)行了增強(qiáng),增加了更多的智能和自動化功能,并以即服務(wù)方式進(jìn)行了升級。其升級部分是通過HPE公司的InfoSight預(yù)測分析平臺完成的,使系統(tǒng)更智能,能夠更好地預(yù)測和預(yù)防問題。用于高端存儲的Primera系統(tǒng)可以自動根據(jù)人工智能平臺的智能進(jìn)行操作,而InfoSight使Nimble系統(tǒng)(用于存儲工作負(fù)載)能夠提供跨堆棧分析,從而簡化VMware和Microsoft Hyper的虛擬機(jī)(VM)管理,該供應(yīng)商還為Primera提供了所有的NVMe支持,為Nimble提供了存儲類內(nèi)存(SCM)。
 
Pure Storage公司最近發(fā)布了Purity 6.0版本,使其FlashArray系統(tǒng)能夠在同一系統(tǒng)上本地支持文件和塊存儲。Pure Storage公司在今年6月召開的虛擬Accelerate大會上發(fā)布了最新版本的存儲操作系統(tǒng)。
 
IBM公司表示將會采用新的存儲硬件和軟件,旨在為人工智能優(yōu)化工作負(fù)載所需的基礎(chǔ)設(shè)施構(gòu)建提供支持。圍繞人工智能建立更智能的業(yè)務(wù)是該公司的一項(xiàng)關(guān)鍵任務(wù),去年,IBM公司斥資240億美元收購了Red Hat公司,并更多采用了云計(jì)算技術(shù)。IBM公司在其大部分領(lǐng)域都采用人工智能技術(shù),例如使用Watson技術(shù)和集成數(shù)據(jù)和人工智能平臺的IBM Cloud Pak for Data所做的事情。
 
IBM公司全球存儲渠道副總裁兼首席營銷官Eric Herzog表示,IBM公司利用新存儲產(chǎn)品正在幫助創(chuàng)建一種架構(gòu),該架構(gòu)可以支持組織正在處理的人工智能和分析優(yōu)化工作負(fù)載。為了有效地運(yùn)行這樣的工作負(fù)載,組織需要能夠收集、組織和分析數(shù)據(jù),然后利用這些信息來加速業(yè)務(wù)決策以及產(chǎn)品和服務(wù)開發(fā)。這意味著確保訪問所有必要的數(shù)據(jù)源,并一起管理和分析數(shù)據(jù),而不管其位于何處。
 
Herzog說:“如果沒有這種信息架構(gòu),那么組織很難順利實(shí)施其人工智能、分析或大數(shù)據(jù)工作。很多組織都在采用這些技術(shù),人工智能最初是應(yīng)用在高性能計(jì)算(HPC)和超級計(jì)算領(lǐng)域,如今其應(yīng)用從大型組織擴(kuò)展到中小組織。”
 
IBM公司推出了彈性存儲系統(tǒng)(ESS)5000,這是一種全硬盤驅(qū)動器陣列,專門針對數(shù)據(jù)收集和長期容量進(jìn)行了優(yōu)化,并專為數(shù)據(jù)湖而設(shè)計(jì)。其2U系統(tǒng)是ESS 3000的補(bǔ)充,這是IBM公司在2019年10月推出的全閃存NVMe陣列,并且針對人工智能和分析工作進(jìn)行了優(yōu)化,并提供了較低的成本和高密度。SL型號適合標(biāo)準(zhǔn)機(jī)架,其存儲容量最大可擴(kuò)展到8.8PB,而SC型號適合擴(kuò)展機(jī)架,最大存儲容量為13.5PB。
 
在IBM Spectrum Scale高性能集群文件系統(tǒng)的支持下,它可以與ESS 3000和其他彈性存儲系統(tǒng)(ESS)集成。
 
Herzog說,“我們對Spectrum Scale高性能集群文件系統(tǒng)所做的工作是加強(qiáng)移動對象存儲的能力,但其次是使Spectrum Scale全局名稱空間可以看到對象,而不僅僅是文件。為什么要這樣做?它可以消除孤島。因此,如果某些數(shù)據(jù)在文件中,而某些數(shù)據(jù)是對象,那么已經(jīng)至少有兩個(gè)數(shù)據(jù)孤島。使用Spectrum Scale數(shù)據(jù)加速器,實(shí)際上可以使對象存儲到與文件相同的全局命名空間中。當(dāng)組織的軟件要搜索要實(shí)際分析的數(shù)據(jù)和要收集的數(shù)據(jù)時(shí),所有這些都存儲在同一數(shù)據(jù)日志中。”
 
IBM公司還對其云對象存儲(COS)進(jìn)行了現(xiàn)代化改造,在12節(jié)點(diǎn)配置中將性能提高到55GB /秒,根據(jù)對象大小,讀取速度提高了300%,寫入速度提高了150%。云對象存儲(COS)還支持SMR驅(qū)動器、大容量磁盤驅(qū)動器,可在4U磁盤盒中提供1.9 PB的存儲容量。所有這些將增強(qiáng)與高性能人工智能和高性能計(jì)算(HPC)工作流程的集成。
 
Herzog指出,IBM公司推出了Spectrum Scale for Data Acceleration,使其能夠從對象存儲中移動數(shù)據(jù),這是消除數(shù)據(jù)源之間的孤島又一個(gè)步驟。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號