很多人都熟悉預(yù)測數(shù)據(jù)分析的強大功能、便利性,以及無經(jīng)倫比的精確性。無論是在Netflix網(wǎng)站上尋找新內(nèi)容,還是瀏覽近日在亞馬遜網(wǎng)站購買的物品,預(yù)測分析越來越多地用于自動化日常任務(wù),過濾信息,做出更好的決策,并改善客戶支持。
預(yù)測分析的大多數(shù)早期用途都集中在消費者應(yīng)用程序上,在這些應(yīng)用程序中可以從大量用戶那里收集大量數(shù)據(jù),從而更容易證明在數(shù)據(jù)采集、處理和模型開發(fā)方面的大量投資是合理的。很難了解預(yù)測分析的投資回報率,因為這是一項復(fù)雜的工作。它遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)的統(tǒng)計和概率技術(shù),通常使用機器學(xué)習(xí),甚至在某些情況下,采用基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)來訓(xùn)練模型,并根據(jù)大量數(shù)據(jù)集進(jìn)行預(yù)測。數(shù)據(jù)驅(qū)動的方法非常適合于自動化IT系統(tǒng)管理,因為現(xiàn)在的基礎(chǔ)設(shè)施可以提供大量的事件日志、系統(tǒng)遙測、性能指標(biāo)。
制造、物流和設(shè)施控制系統(tǒng)開創(chuàng)了預(yù)測分析的工業(yè)應(yīng)用。例如,勞斯萊斯公司使用預(yù)測分析來主動安排維護(hù),并提高其飛機發(fā)動機的效率。在存儲應(yīng)用中,預(yù)測分析用于預(yù)測和主動修復(fù)設(shè)備故障,識別性能瓶頸,并基于歷史測量優(yōu)化系統(tǒng)配置。
消化所有數(shù)據(jù)
毫無疑問,無論是Netflix網(wǎng)站還是谷歌智能助理,企業(yè)的使用數(shù)據(jù)越多,其提供的建議就越好,因為逐步提高準(zhǔn)確性主要取決于是否有更多數(shù)據(jù)可供使用。這同樣適用于預(yù)測性存儲分析。該軟件的準(zhǔn)確性與它所擁有的數(shù)據(jù)一樣,無論是數(shù)量還是質(zhì)量都很重要;基于不準(zhǔn)確或不精確數(shù)據(jù)的預(yù)測模型都將失敗。
對于預(yù)測性存儲分析軟件,數(shù)據(jù)需求轉(zhuǎn)化為收集大量系統(tǒng)事件、內(nèi)部參數(shù)、性能度量和特定于工作負(fù)載的度量。其基線遙測包括:
•事件和錯誤日志,例如系統(tǒng)故障和異常;
•性能測量,例如總體IOPS和每卷IOPS、各種操作(如順序讀取、隨機讀取和順序?qū)懭?的吞吐量以及延遲;
•按工作負(fù)載劃分的帶寬使用和延遲;
•工作集(熱數(shù)據(jù))和緩存利用率。
用于模型開發(fā)和培訓(xùn)的數(shù)據(jù)集越大,預(yù)測統(tǒng)計模型或機器學(xué)習(xí)模型的精度越高??紤]到這一點,許多供應(yīng)商對來自其所有客戶的數(shù)據(jù)進(jìn)行匯總和匿名。使用更廣泛和多樣的安裝示例中的數(shù)據(jù),供應(yīng)商可以顯著提高預(yù)測,更好地檢測性能、安全性和硬件異常。
例如,Hewlett Packard Enterprise InfoSight是HPE公司收購Nimble的產(chǎn)物,每天從幾乎每個部署的Nimble陣列收集來自3000萬到7000萬個傳感器的數(shù)據(jù)。該公司聲稱,在客戶發(fā)現(xiàn)問題之前,它發(fā)現(xiàn)的90%的問題都可以得到解決。
HPE公司的InfoSight每天從部署的Nimble陣列收集多達(dá)7000萬個傳感器的數(shù)據(jù)。
由于訓(xùn)練數(shù)據(jù)集僅由存儲軟件供應(yīng)商用于預(yù)測模型開發(fā),因此不需要識別特定客戶的信息,并且每個客戶部署可以從其他客戶的經(jīng)驗中受益。首先,存儲供應(yīng)商使用聚合數(shù)據(jù)來改進(jìn)所謂的機器學(xué)習(xí)或深度學(xué)習(xí)培訓(xùn)階段的預(yù)測模型。然后,他們將模型推送到系統(tǒng)管理軟件,該軟件在推理階段從各個系統(tǒng)中提取實時監(jiān)控數(shù)據(jù)。其他模型用于系統(tǒng)配置、容量規(guī)劃和故障排除,以執(zhí)行根本原因分析。
預(yù)測算法正在成為存儲平臺上的標(biāo)準(zhǔn)設(shè)備,與存儲管理的被動方法相比,它具有許多優(yōu)勢。
預(yù)測性存儲分析軟件通常用于改進(jìn)許多任務(wù)。在評估產(chǎn)品時,需要查看每個產(chǎn)品如何衡量這五個關(guān)鍵特性和功能:
(1)支持自動化預(yù)測并防止性能、容量、可用性和安全問題。容量管理是預(yù)測性存儲分析軟件最常見的應(yīng)用程序。模型可以實時分析每個設(shè)備、數(shù)量和應(yīng)用程序的使用情況,并在達(dá)到使用目標(biāo)時主動發(fā)出警報。根據(jù)管理員的判斷,系統(tǒng)可以自動添加分配的空間或重新平衡現(xiàn)有容量,以防止其耗盡。
預(yù)測性存儲分析還可以通過關(guān)聯(lián)和識別與特定問題相關(guān)的事件來幫助解決問題和進(jìn)行根本原因分析。使用匯總的客戶數(shù)據(jù)對于故障排除特別有用,因為它為管理系統(tǒng)提供了對所有客戶問題超集的可見性,并能夠檢測到以前未發(fā)現(xiàn)的細(xì)微的問題,這些問題與其他地方發(fā)生的類似問題共享取證簽名。
(2)管理和配置功能顯示在模型中,模型可以自動確定性能、資源消耗、容量基線和趨勢。其中包括不適合簡單統(tǒng)計模型的模型,如線性、多項式回歸或周期性時間波動(季節(jié)性、每月、每周)。基線和趨勢可用于自動化存儲系統(tǒng)的設(shè)置和管理,并通過優(yōu)化配置設(shè)置和協(xié)助工作負(fù)載分配來提高資源利用率和效率。
(3)系統(tǒng)軟件更新和修補功能主動應(yīng)用修補程序(需經(jīng)管理員批準(zhǔn)),包括解決以前發(fā)現(xiàn)的系統(tǒng)問題的修補程序。一些供應(yīng)商使用分析使beta或alpha級別的代碼,僅對遇到特定問題并滿足硬件或其他系統(tǒng)要求的站點可用,希望該修復(fù)程序能夠解決緊急問題,而不會不必要地危及其他客戶的可靠性。
(4)資源規(guī)劃功能使用相同的趨勢發(fā)現(xiàn)預(yù)測算法來增強規(guī)劃模擬和假設(shè)分析,使存儲管理員能夠快速模擬各種場景,預(yù)測容量、IOPS和帶寬需求,并建議系統(tǒng)升級。
(5)虛擬機管理功能與各種虛擬化平臺(尤其是VMware的vSphere)集成,可提供特定于工作負(fù)載的性能和容量指標(biāo),現(xiàn)場使用趨勢并建議存儲配置設(shè)置。
好處和建議
預(yù)測算法通常與其他自動化和配置管理工具配合使用,正在成為存儲平臺上的標(biāo)準(zhǔn)設(shè)備,與存儲管理的被動方法相比,它具有許多優(yōu)勢。這些包括:
•通過自動化與容量和性能管理相關(guān)的存儲任務(wù)來降低運營支出;
•通過主動解決問題來提高可用性,例如特定卷上的容量耗盡;
•通過推薦最佳配置來提高資源利用率和效率,并改善應(yīng)用程序性能。
例如,除了在客戶意識到問題之前預(yù)測和解決問題之外,HPE公司聲稱InfoSight將管理和解決存儲相關(guān)問題所花費的時間減少了85%,并節(jié)省了79%的運營費用。
存儲供應(yīng)商通常提供管理軟件。因此,建議將預(yù)測性存儲分析和其他人工智能衍生技術(shù)作為未來產(chǎn)品評估的關(guān)鍵點。對于使用設(shè)備無關(guān)的軟件定義存儲的組織也是如此,例如Cohesity、DataCore、Red Hat Ceph、Gluster以及VMware vSAN。使用上面的功能列表作為產(chǎn)品評估清單的一部分,以確定最適合企業(yè)的需求和更廣泛的基礎(chǔ)設(shè)施管理環(huán)境。