大數(shù)據(jù)與數(shù)據(jù)中心如何發(fā)展

責(zé)任編輯:editor03

2014-08-22 16:34:39

摘自:中關(guān)村在線

與無窮小的電子產(chǎn)品標(biāo)準(zhǔn)使用實(shí)時(shí)的概念管理環(huán)境完全不同,在任何一個(gè)瞬間,事情都可能從一帆風(fēng)順走向?yàn)?zāi)難。而且總會(huì)有數(shù)據(jù)管理和移動(dòng)。

IT產(chǎn)生了很多的操作數(shù)據(jù)。大數(shù)據(jù)能夠讓其變得更有意義么?

與無窮小的電子產(chǎn)品標(biāo)準(zhǔn)使用實(shí)時(shí)的概念管理環(huán)境完全不同,在任何一個(gè)瞬間,事情都可能從一帆風(fēng)順走向?yàn)?zāi)難。而且總會(huì)有數(shù)據(jù)管理和移動(dòng),大部分的數(shù)據(jù)都是數(shù)據(jù)中心自身產(chǎn)生的。

進(jìn)入富有挑戰(zhàn)的環(huán)境帶來了新的理念:將應(yīng)用借鑒全球大數(shù)據(jù)技術(shù)處理和分析的新款產(chǎn)品(如Hadoop、NoSQL與Cassandra),業(yè)務(wù)分析幫助決策者更好地應(yīng)對(duì)IT管理挑戰(zhàn)。

提供日志數(shù)據(jù)智能軟件公司Splunk的大數(shù)據(jù)主管Brett Sheppard說:“事實(shí)上,將大數(shù)據(jù)概念應(yīng)用到IT操作工具產(chǎn)生的數(shù)據(jù)中,可以使 IT管理軟件供應(yīng)商解決大廣泛的業(yè)務(wù)決策。IT系統(tǒng)、應(yīng)用和技術(shù)基礎(chǔ)設(shè)施每天每秒都在產(chǎn)生數(shù)據(jù)。非結(jié)構(gòu)化或者結(jié)構(gòu)數(shù)據(jù)都代表了‘所有用戶的行為、服務(wù)級(jí)別、安全、風(fēng)險(xiǎn)、欺詐行為等更多操作’的絕對(duì)記錄。”

然而,企業(yè)和組織機(jī)構(gòu)運(yùn)行的網(wǎng)絡(luò)服務(wù)器、應(yīng)用和網(wǎng)絡(luò)設(shè)備等所有技術(shù)的基礎(chǔ)設(shè)施在如此大量不可預(yù)測格式中產(chǎn)生了大量數(shù)據(jù)流,這些不可預(yù)知的格式會(huì)導(dǎo)致很難使用傳統(tǒng)方法或者是現(xiàn)行的方法應(yīng)用IT分析。Sheppard 同時(shí)指出,這些機(jī)器數(shù)據(jù)是有價(jià)值的。

大數(shù)據(jù)分析的產(chǎn)生旨在于IT管理,企業(yè)可以將實(shí)時(shí)數(shù)據(jù)流分析和歷史相關(guān)數(shù)據(jù)相結(jié)合,然后分析并發(fā)現(xiàn)它們所需的模型。反過來,幫助預(yù)測和預(yù)防未來運(yùn)行中斷和性能問題。進(jìn)一步來講,他們可以利用大數(shù)據(jù)了解使用模型以及地理趨勢,進(jìn)而加深對(duì)重要用戶的洞察力。 他們也可以追蹤和記錄網(wǎng)絡(luò)行為,輕松地識(shí)別業(yè)務(wù)影響;隨著對(duì)服務(wù)利用的深刻理解加快利潤增長;同時(shí)跨多系統(tǒng)收集數(shù)據(jù)發(fā)展IT服務(wù)目錄。

最低水平,這些行為可以提供適當(dāng)?shù)某杀靖櫼约巴丝畹耐该鞫?。簡而言之,大?shù)據(jù)方法有巨大的潛力。

老式方法不能夠跟進(jìn)

一家名為Enterprise Management Associates分析公司的系統(tǒng)管理主任Torsten Volk表示,他也發(fā)現(xiàn)了大數(shù)據(jù)對(duì)于IT的巨大潛力。隨著IT環(huán)境變得復(fù)雜化、規(guī)模化以及異質(zhì)性,它們將會(huì)產(chǎn)生越來越多的元數(shù)據(jù),迫使許多組織機(jī)構(gòu)在IT管理上采取措施。

舉個(gè)例子,隨著數(shù)以千計(jì)的虛擬桌面需要監(jiān)測,當(dāng)你將一個(gè)用于安全、性能或者管理的新應(yīng)用部署到環(huán)境中,數(shù)據(jù)中心很難確定你想知道什么,Volk指出。即使簡單的事情,如評(píng)估在一個(gè)單獨(dú)的物理機(jī)上有多少個(gè)虛擬機(jī)在運(yùn)行,使用現(xiàn)有的工具也很難判斷。

“我們討論一個(gè)IT分析的新大數(shù)據(jù)方法,可以發(fā)現(xiàn),使用傳統(tǒng)的監(jiān)測和管理工具是不容易實(shí)現(xiàn)的。”Volk解釋說,“例如,在Cloud Physics這樣的公司,谷歌的內(nèi)部引擎不能夠使內(nèi)部標(biāo)準(zhǔn)和外部數(shù)據(jù)產(chǎn)生關(guān)聯(lián)。”

Volk還指出,分析不一定需要專注于非結(jié)構(gòu)化數(shù)據(jù),也可以將不期望發(fā)生關(guān)聯(lián)的數(shù)據(jù)發(fā)生關(guān)聯(lián)。例如,尤其是云資源,預(yù)測應(yīng)用和數(shù)據(jù)之間的行為是怎樣影響彼此的比較困難。Cloud Physics允許校核日志以及其他實(shí)時(shí)提示來產(chǎn)生數(shù)據(jù)關(guān)聯(lián)行為。

“領(lǐng)先而不是尖端” 這個(gè)新方法對(duì)于組織機(jī)構(gòu)的價(jià)值取決于數(shù)據(jù)中心的成熟度和復(fù)雜性。Volk說:“復(fù)雜度較小的中小型企業(yè)和組織機(jī)構(gòu)將會(huì)從中獲益。但是帶有大型異質(zhì)的數(shù)據(jù)中心的企業(yè)將會(huì)獲益更多。”

例如,趨向于頻繁地增加或者更換應(yīng)用的擁有中間件和許多平臺(tái)的組織機(jī)構(gòu),他們將會(huì)看到更多的益處。服務(wù)開通容量越動(dòng)態(tài),數(shù)據(jù)中心就會(huì)產(chǎn)生更多的異質(zhì)性。你就會(huì)越需要這種工具。

處理這些類型的容量將變得日益重要,由于組織機(jī)構(gòu)不能僅持續(xù)地增加員工。盡管有許多系統(tǒng)制造商正在通過融合基礎(chǔ)設(shè)施,嘗試減少復(fù)雜性。最終“你只是在同想象中的人戰(zhàn)斗,因?yàn)槟愕钠髽I(yè)和開發(fā)者將會(huì)一直迎來新的設(shè)備,你需要接受一種方式或者其他方式的挑戰(zhàn)。” Volk說。

CloudPhysics CEO John Blumenthal談到他的公司,長時(shí)間專注于“收集全世界VMware操作數(shù)據(jù),將它們聚集到云服務(wù)中”能夠支持分析和模擬。所以用戶到時(shí)可以挖掘它,并從中獲得其他地方獲得不到的靈感。

Blumenthal 說:“CloudPhysics公司的靈感的出現(xiàn),在某種程度上源于超大規(guī)模IT操作的練習(xí)。如Google 和 Facebook,這些組織機(jī)構(gòu)占有相對(duì)同質(zhì)的基礎(chǔ)設(shè)施,這些基礎(chǔ)設(shè)施被嚴(yán)重物聯(lián)化和用于研究,有大量的操作存儲(chǔ)數(shù)據(jù)可以用于分析。”對(duì)于 CloudPhysics用戶,他的期望是獲取虛擬化基礎(chǔ)設(shè)施的數(shù)據(jù)然后應(yīng)用到IT分析上面,收集以前沒有的靈感。

Blumenthal 強(qiáng)調(diào):“CloudPhysics公司的主要靈感是‘存儲(chǔ)是一切罪惡的基石’,存儲(chǔ)趨向于成為虛擬化環(huán)境中最小的虛擬元素,而且通常是一切性能問題的起源。由于缺乏正確的工具和勞動(dòng)分工,比如一些人專注于安全,另一人專注于虛擬化,但是通常沒有特別專注于存儲(chǔ)的人員,所以就很難發(fā)現(xiàn)問題根源。”

新方法接管老問題

與此同時(shí),宣傳得天花亂墜的大數(shù)據(jù)正為一些既定技術(shù)帶來新鮮的旋風(fēng)。

提供IT預(yù)測分析軟件Netuitive公司的市場部主任Graham Gillen 指出:“整個(gè)大數(shù)據(jù)分析的想法,尤其在IT操作方面,對(duì)于我們發(fā)明并沒有什么作用,但是我們一直在其中。Gartner已經(jīng)關(guān)注這個(gè)話題很多年了,基本上他們已經(jīng)強(qiáng)調(diào),如果IT正在引進(jìn)新鮮靈感,他們將會(huì)扔掉老式方法開發(fā)一個(gè)新的IT操作分析平臺(tái)。”

Gillen認(rèn)為,在大量的‘目測’以及‘猜測’中,監(jiān)測和度量標(biāo)準(zhǔn)在過去受到了忽視。我們需要做到更多的是,對(duì)于IT的大多數(shù)部分,不事先預(yù)期。但是隨著復(fù)雜度和獨(dú)立性的增強(qiáng),以及基礎(chǔ)設(shè)施深層問題引發(fā)的,像網(wǎng)站用戶響應(yīng)時(shí)間這樣的問題的增多,這已經(jīng)成為了企業(yè)的關(guān)鍵任務(wù),而且就企業(yè)自身價(jià)值而言,企業(yè)需要按規(guī)矩辦事。

“現(xiàn)在IT管理不只是管理服務(wù)器是在使用中還是停機(jī),而且還有運(yùn)行的應(yīng)用是否能夠應(yīng)對(duì)‘黑色星期五’這樣的事情。企業(yè)現(xiàn)在對(duì)響應(yīng)時(shí)間是如何影響業(yè)務(wù)結(jié)果的比較感興趣。”Gillen說道。

IT企業(yè)第一次開始關(guān)注他們能從業(yè)務(wù)智能和業(yè)務(wù)行為監(jiān)測中了解到什么。“他們現(xiàn)在感受到了曾經(jīng)好像是盲人試圖描述大象,他們?nèi)狈Φ氖菍?duì)全部操作的整體畫面的把握。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)