據(jù)分析,到2020年,全球以電子形式存儲的數(shù)據(jù)量將達(dá)到35ZB,是2009年全球存儲量的40倍。而在2010年底,根據(jù)IDC的統(tǒng)計(jì),全球數(shù)據(jù)量已經(jīng)達(dá)到了120萬PB,或1.2ZB。如果將這些數(shù)據(jù)都刻錄在DVD上,那么光把這些DVD盤片堆疊起來就可以從地球壘到月球一個(gè)來回(單程約24萬英里)。
在信息化的建設(shè)過程中,眾所周知,數(shù)據(jù)可以分為3種:結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中,85%的數(shù)據(jù)屬于企業(yè)業(yè)務(wù)過程中產(chǎn)生的文檔等非結(jié)構(gòu)化數(shù)據(jù)。
面對著海量的數(shù)據(jù),人們不禁感嘆,大數(shù)據(jù)時(shí)代已經(jīng)到來,悲觀者深為管理和維護(hù)而憂慮,樂觀者則看到了大數(shù)據(jù)的大價(jià)值。何謂“大數(shù)據(jù)”,目前沒有統(tǒng)一的定義。通常認(rèn)為,它是海量的非結(jié)構(gòu)化數(shù)據(jù),其特點(diǎn)是數(shù)據(jù)量很大,數(shù)據(jù)的形式多樣化。如何存儲這些快速增長的、海量的數(shù)據(jù)?如何對大數(shù)據(jù)進(jìn)行分析處理,挖掘出價(jià)值? 相關(guān)的一系列問題成為了所有企業(yè)面臨的共同挑戰(zhàn)。
一、 大數(shù)據(jù)時(shí)代的挑戰(zhàn)與目標(biāo)
大數(shù)據(jù)時(shí)代的挑戰(zhàn)包括:如何實(shí)現(xiàn)高效、智能的大數(shù)據(jù)存儲?非結(jié)構(gòu)化數(shù)據(jù)正在呈海量增長趨勢,如何對其進(jìn)行有效的數(shù)據(jù)管理和應(yīng)用?現(xiàn)有數(shù)據(jù)保護(hù)與文檔歸檔機(jī)制能否應(yīng)對日益增長的海量數(shù)據(jù)?如何攻克移動數(shù)據(jù)管理的難點(diǎn)問題?如何在復(fù)雜的數(shù)據(jù)環(huán)境下實(shí)現(xiàn)高效的數(shù)據(jù)安全? 如此種種問題,逐漸成為了所有CIO的共同挑戰(zhàn)。
但是我們發(fā)現(xiàn),對于這些大數(shù)據(jù)的挑戰(zhàn),其實(shí)歸納起來就只有兩個(gè)目標(biāo):
1. 管理好大數(shù)據(jù),從大數(shù)據(jù)的產(chǎn)生、存儲、保護(hù)、歸檔到安全維護(hù)的各個(gè)角度,從根本上而言,這是IT管理維護(hù)的范疇,只不過數(shù)據(jù)量超出常規(guī)管理尺度后,對于管理維護(hù)的難度出現(xiàn)了跳躍式上升的態(tài)勢;
2. 使用好大數(shù)據(jù),這是企業(yè)管理的最終目標(biāo),大數(shù)據(jù)即意味著大價(jià)值,數(shù)據(jù)與數(shù)據(jù)、數(shù)據(jù)與人、數(shù)據(jù)與業(yè)務(wù)的關(guān)聯(lián)性。這個(gè)挑戰(zhàn)既有流動性、關(guān)聯(lián)性、智能的應(yīng)用挑戰(zhàn),也有基于大數(shù)據(jù)深度挖掘的挑戰(zhàn)。
但是,這兩個(gè)目標(biāo)之間也不是分離的,而是一個(gè)相輔相成的關(guān)系,管理和維護(hù)的目的是使用,使用的基礎(chǔ)是好的管理維護(hù)。
二、 云計(jì)算與大數(shù)據(jù),時(shí)代的交集
為了解決大數(shù)據(jù)的挑戰(zhàn),人們自然而然的想起了云計(jì)算,云計(jì)算遭遇大數(shù)據(jù),這是時(shí)代的發(fā)展必然趨勢。云計(jì)算技術(shù)可以實(shí)現(xiàn)IT資源的自動化管理和配置,降低IT管理的復(fù)雜性,提高資源利用效率。對企業(yè)來說,云計(jì)算的主要形態(tài)是私有云,其主要的業(yè)務(wù)由私有云支撐,而非關(guān)鍵的業(yè)務(wù)或者突發(fā)性的業(yè)務(wù)可以采用公共云資源。私有云與公共云需要無縫連接,從而形成混合云的環(huán)境。
大數(shù)據(jù)意味著大資源,這是云計(jì)算與大數(shù)據(jù)的交集,其實(shí)也就是意味著,云計(jì)算與大數(shù)據(jù)的關(guān)系是兩個(gè)方向,云計(jì)算可以承載大數(shù)據(jù),大數(shù)據(jù)也是可以通過云計(jì)算架構(gòu)和模型來提供解決方案。這樣我們就可以清晰的知道,大數(shù)據(jù)在管理和應(yīng)用的方向上,可以通過云計(jì)算的資源共享、高可擴(kuò)展性、服務(wù)特性來搭建和運(yùn)營。
三、 大數(shù)據(jù)的大內(nèi)涵
如果說大數(shù)據(jù)與云計(jì)算的交集是外部交集,那么大數(shù)據(jù)內(nèi)部的關(guān)聯(lián)、挖掘,則是大數(shù)據(jù)的大內(nèi)涵,這個(gè)調(diào)整遠(yuǎn)遠(yuǎn)超過云計(jì)算的應(yīng)用難度,數(shù)據(jù)與數(shù)據(jù)的復(fù)雜關(guān)系,比如跨應(yīng)用系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的關(guān)聯(lián);海量數(shù)據(jù)的存儲以及數(shù)據(jù)在人之間的分享;數(shù)據(jù)(結(jié)構(gòu)化與非結(jié)構(gòu)化)與業(yè)務(wù)和決策間的關(guān)聯(lián)。
要解決這個(gè)問題的一個(gè)思路是EMC提出的信息生命周期思想,但是在很多業(yè)界同行看來,這個(gè)思想在云計(jì)算和大數(shù)據(jù)時(shí)代需要真正的升華,而這個(gè)方向就是智能,不是單一和局部的,而是統(tǒng)一的智能。IBM提出了智慧的地球,作為國內(nèi)崛起的新興代表愛數(shù)則提出了智能數(shù)據(jù)管理解決方案,也是基于統(tǒng)一智能和信息生命周期思想的框架。
無疑,這是一種新的思路,據(jù)愛數(shù)相關(guān)負(fù)責(zé)人透露,這種統(tǒng)一的框架采用云計(jì)算體系結(jié)構(gòu),主要技術(shù)突破在資源池化和法規(guī)管理遵從,從數(shù)據(jù)生成階段就將大數(shù)據(jù)納入到生命周期管理中,通過統(tǒng)一的智能策略,既提供了很好的運(yùn)維和保護(hù),也能在使用和挖掘階段與業(yè)務(wù)應(yīng)用結(jié)合起來,提供統(tǒng)一的數(shù)據(jù)信息平臺。
四、 數(shù)據(jù)之道,智取未來
對于大數(shù)據(jù)時(shí)代,無論是企業(yè)還是廠商,策略、規(guī)劃和思想是核心,與云計(jì)算一樣,大數(shù)據(jù)的大內(nèi)涵,需要有大思維和高規(guī)劃。計(jì)算時(shí)代成就了Wintel為代表的一批廠商,那個(gè)時(shí)代的旋律是摩爾定律;網(wǎng)絡(luò)互通時(shí)代正在成就包括GOOGLE、FACEBOOK、騰訊為代表的網(wǎng)絡(luò)新貴,這個(gè)時(shí)代的主旋律是互通;大數(shù)據(jù)時(shí)代的到來,為更多的廠商帶來了機(jī)會,而這個(gè)時(shí)代的主基調(diào),無可厚非,智能必將當(dāng)?shù)?。正所謂,數(shù)據(jù)之道,智取未來。