數(shù)據(jù)中心里海量數(shù)據(jù)成災(zāi)

責(zé)任編輯:cres

作者:harbor

2017-02-13 10:43:28

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

在當(dāng)今數(shù)據(jù)呈爆炸式增長(zhǎng)的數(shù)字經(jīng)濟(jì)時(shí)代,未來(lái)全球數(shù)據(jù)總量年增長(zhǎng)率將維持在50%左右,到2020年,全球數(shù)據(jù)總量將達(dá)到40ZB。

在當(dāng)今數(shù)據(jù)呈爆炸式增長(zhǎng)的數(shù)字經(jīng)濟(jì)時(shí)代,未來(lái)全球數(shù)據(jù)總量年增長(zhǎng)率將維持在50%左右,到2020年,全球數(shù)據(jù)總量將達(dá)到40ZB。根據(jù)思科發(fā)布的第六次年度云產(chǎn)業(yè)調(diào)研報(bào)告:預(yù)測(cè)到2020年云數(shù)據(jù)中心流量將從2015年的每年3.9ZB增長(zhǎng)至每年14.1ZB(1ZB等于10000億GB),傳統(tǒng)數(shù)據(jù)中心流量將從2015年的每年827EB增長(zhǎng)至每年1.3ZB,這說(shuō)明全球數(shù)據(jù)基本都來(lái)自于數(shù)據(jù)中心,每年數(shù)據(jù)中心的流量幾乎每年都接近翻倍。如此高速增長(zhǎng)的信息數(shù)據(jù)需要傳輸、存儲(chǔ)和計(jì)算,將需要大量的資源。為了保證這些數(shù)據(jù)得到有效處理,就需要不斷擴(kuò)大數(shù)據(jù)中心的基礎(chǔ)建設(shè)規(guī)模,以滿足數(shù)據(jù)量高速增長(zhǎng)的需求。一時(shí)間,數(shù)據(jù)中心建設(shè)在規(guī)模和速度上都不斷創(chuàng)歷史新高。這緣于人們對(duì)數(shù)據(jù)的認(rèn)識(shí)已經(jīng)發(fā)生了根本性變革,數(shù)據(jù)已經(jīng)從過(guò)去的服務(wù)于業(yè)務(wù)運(yùn)營(yíng),轉(zhuǎn)變?yōu)楝F(xiàn)在的推動(dòng)業(yè)務(wù)發(fā)展,通過(guò)大力發(fā)展數(shù)據(jù),就能增強(qiáng)自己的業(yè)務(wù)水平。說(shuō)白了一句話,就是“數(shù)據(jù)就是金錢”,誰(shuí)掌握了數(shù)據(jù),誰(shuí)就掌握了財(cái)富。
 
現(xiàn)在全球進(jìn)入了信息化時(shí)代,其顯著特征就是信息資源的極大豐富和極易獲得,相對(duì)于很多主體的信息需求而言,現(xiàn)在的信息供給是無(wú)限的,各種現(xiàn)代信息技術(shù)極大地增加了信息的數(shù)量。比如:應(yīng)用程序、設(shè)備與數(shù)據(jù)類型等不斷地增加,再加上物聯(lián)網(wǎng)的應(yīng)用,各種遙感遙測(cè)信息,使得數(shù)據(jù)量高速增長(zhǎng)。還有就是高速的網(wǎng)絡(luò)可以使得多媒體信息極為迅速地傳遞,超本文鏈接技術(shù)和檢索技術(shù)也可以使人們輕而易舉地得到自己想要的大量信息。信息技術(shù)使各種信息活動(dòng)的全球化成為可能,而且在速度、數(shù)量、質(zhì)量、互動(dòng)、成本等方面具有很大優(yōu)勢(shì),只要接入互聯(lián)網(wǎng),就可以輕而易舉地在全球范圍接收、發(fā)送與交流各種信息,這些都使得數(shù)據(jù)量在快速增長(zhǎng)。雖然數(shù)據(jù)量的高速增長(zhǎng)一定程度上說(shuō)明社會(huì)的信息化程度越高,全球進(jìn)入了成熟的信息化社會(huì),每個(gè)人的工作和生活都與很多數(shù)據(jù)信息密切相關(guān),可是數(shù)據(jù)越多也不見(jiàn)得都是好事。數(shù)據(jù)量太大也會(huì)帶來(lái)很多問(wèn)題,海量的數(shù)據(jù)已經(jīng)給數(shù)據(jù)中心帶來(lái)了沉重負(fù)擔(dān)。數(shù)據(jù)中心建設(shè)和擴(kuò)容的速度永遠(yuǎn)也無(wú)法滿足數(shù)據(jù)量增長(zhǎng)的速度,在數(shù)據(jù)中心里海量數(shù)據(jù)成災(zāi),數(shù)據(jù)中心已經(jīng)沒(méi)有更多的存儲(chǔ)設(shè)備來(lái)保存這些數(shù)據(jù),沒(méi)有更多的服務(wù)器可以處理這些數(shù)據(jù),也沒(méi)有網(wǎng)絡(luò)帶寬去傳遞這些數(shù)據(jù),海量的數(shù)據(jù)讓數(shù)據(jù)中心不堪重負(fù)。
 
對(duì)這些海量數(shù)據(jù)進(jìn)行分析,其實(shí)不難發(fā)現(xiàn),很多是重復(fù)和無(wú)價(jià)值的數(shù)據(jù),這樣還是有些辦法可以去削減的。首先,減少重復(fù)數(shù)據(jù)的存在。數(shù)據(jù)中心里每個(gè)人都可以有自己獨(dú)立的存儲(chǔ)空間,就像個(gè)人郵箱,每個(gè)郵箱允許有幾十G的空間,很多人往里存儲(chǔ)的東西,尤其是視頻文件可能是相同的,但數(shù)據(jù)中心依然要存儲(chǔ)多份,這樣極其浪費(fèi)存儲(chǔ)資源。對(duì)于同一個(gè)視頻文件,完全可以每個(gè)人空間內(nèi)只保存一個(gè)索引,只有一份視頻文件即可。如此一個(gè)幾個(gè)G的視頻文件,保存一份即可,也許數(shù)百個(gè)人甚至數(shù)千個(gè)人都可以使用,其實(shí)只占用一份文件的存儲(chǔ)空間;其次,減少無(wú)用數(shù)據(jù)的存在。一般而言,數(shù)據(jù)中心里90%都屬于無(wú)用數(shù)據(jù),因此需要過(guò)濾出能為數(shù)據(jù)中心提供經(jīng)濟(jì)利益的可用數(shù)據(jù)。大數(shù)據(jù)技術(shù)很火,但利用大數(shù)據(jù)技術(shù)能得出有意義的結(jié)果,也是要對(duì)有特有特征的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)才有可能得到預(yù)期結(jié)果。如果數(shù)據(jù)本身都沒(méi)有多大意義,自然也不會(huì)有大數(shù)據(jù)技術(shù)的發(fā)揮空間。無(wú)用的數(shù)據(jù)包括長(zhǎng)期無(wú)人訪問(wèn)的數(shù)據(jù)、過(guò)時(shí)的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)等等,只要對(duì)數(shù)據(jù)中心業(yè)務(wù)發(fā)展無(wú)益的數(shù)據(jù)都可以及時(shí)清理,刪除;第三,減少中間過(guò)程數(shù)據(jù)。1+1=2我們只需要知道這個(gè)計(jì)算結(jié)果,而不需要知道這個(gè)中間計(jì)算過(guò)程,中間過(guò)程有大量的數(shù)據(jù),這些數(shù)據(jù)對(duì)我們得到結(jié)果沒(méi)有意義,所以只要計(jì)算完 1+1,得到了2就可以將中間數(shù)據(jù)刪除了,如此可以大大減少中間過(guò)程的數(shù)據(jù)量。還有很多大量存儲(chǔ)著的臨時(shí)信息,幾乎不存在投入必要,這些臨時(shí)信息基本不會(huì)被使用;第四,減少與數(shù)據(jù)中心應(yīng)用無(wú)關(guān)數(shù)據(jù)。在數(shù)據(jù)中心充斥著許多無(wú)用的信息與數(shù)據(jù),有的數(shù)據(jù)看似非常重要,其實(shí)是一點(diǎn)作用都沒(méi)有,對(duì)數(shù)據(jù)中心發(fā)展毫無(wú)意義。就像我們用的手機(jī),使用一段時(shí)間就會(huì)殘留大量的臨時(shí)文件,無(wú)用的聊天信息,占據(jù)著手機(jī)大量存儲(chǔ)空間,同時(shí)也降低了手機(jī)的運(yùn)行速度,及時(shí)清理掉這些無(wú)關(guān)數(shù)據(jù),可以節(jié)約存儲(chǔ)空間,提升手機(jī)運(yùn)行速度。對(duì)于數(shù)據(jù)中心也同樣如此,周期性地對(duì)數(shù)據(jù)進(jìn)行檢查,無(wú)用的數(shù)據(jù)及時(shí)清空,將資源分配到有效的數(shù)據(jù)處理中去。最后就是從數(shù)據(jù)中心外部接入到內(nèi)部的網(wǎng)絡(luò)數(shù)據(jù),這類數(shù)據(jù)價(jià)值極低,幾乎不會(huì)給數(shù)據(jù)中心帶來(lái)正面影響,這類數(shù)據(jù)也不要保存,及時(shí)清理。
 
海量的數(shù)據(jù)與信息已經(jīng)成為數(shù)據(jù)中心的垃圾,大部分的數(shù)據(jù)都是無(wú)用的,這些數(shù)據(jù)不僅無(wú)用反而會(huì)阻礙數(shù)據(jù)中心的發(fā)展。越是信息發(fā)達(dá)的時(shí)代,我們就越是需要用挑剔的眼光去看待那些圍繞自己的數(shù)據(jù)。對(duì)數(shù)據(jù)用減法甚至用除法的方式去挑挑揀揀,避免數(shù)據(jù)泛濫成災(zāi)。避免數(shù)據(jù)中心的各種寶貴資源被混亂的數(shù)據(jù)所侵占,被“惡意”數(shù)據(jù)誤導(dǎo),時(shí)常給數(shù)據(jù)中心減減負(fù),清除各類無(wú)用的數(shù)據(jù),對(duì)數(shù)據(jù)一定要求質(zhì)不求量,堅(jiān)決消除一切無(wú)用數(shù)據(jù),將數(shù)據(jù)中心的資源用到更有用的地方。當(dāng)看到全球信息數(shù)據(jù)在高速增長(zhǎng)時(shí),請(qǐng)一定注意,小心你的數(shù)據(jù)中心里數(shù)據(jù)泛濫成災(zāi)。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)