大數(shù)據(jù)已經(jīng)成為了計(jì)算機(jī)行業(yè)爭(zhēng)相傳誦的熱門(mén)概念,也引起了金融界的高度關(guān)注。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,數(shù)據(jù)本身是資產(chǎn),這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)。如果說(shuō)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道,那么如何盤(pán)活數(shù)據(jù)資產(chǎn),使其為國(guó)家治理、企業(yè)決策乃至個(gè)人生活服務(wù),則是大數(shù)據(jù)的核心議題,也是云計(jì)算內(nèi)在的靈魂和必然的升級(jí)方向。
據(jù)市場(chǎng)研究公司IDC統(tǒng)計(jì),未來(lái)10年里預(yù)計(jì)數(shù)字信息總量將在2009年到2020年期間增長(zhǎng)44倍,全球數(shù)據(jù)使用量將達(dá)到大約35.2ZB(1ZB=10億TB)。與此同時(shí),單個(gè)數(shù)據(jù)集的文件尺寸也將增加,導(dǎo)致對(duì)更大處理能力的需求以便分析和理解這些數(shù)據(jù)集。一項(xiàng)由UnisphereResearch對(duì)531名獨(dú)立Oracle用戶進(jìn)行的調(diào)查發(fā)現(xiàn),百分之九十的企業(yè)的數(shù)據(jù)量在迅速上漲,其中16%的企業(yè)每年的增長(zhǎng)率達(dá)到50%或更高。不少企業(yè)已經(jīng)感受到失控?cái)?shù)據(jù)增長(zhǎng)對(duì)績(jī)效造成的沖擊,其中發(fā)現(xiàn)87%的受訪者將企業(yè)的應(yīng)用程序性能問(wèn)題歸咎于不斷增長(zhǎng)的數(shù)據(jù)量。
有專(zhuān)家認(rèn)為,大數(shù)據(jù)的推動(dòng)因素主要是來(lái)自一些特大型公司,如谷歌、Youtube等。這些公司需要以非常優(yōu)化的方式分析數(shù)據(jù)和讓計(jì)算與存儲(chǔ)配合工作。另外,一些來(lái)自健康醫(yī)療、地理空間影像和數(shù)字媒體等行業(yè)的各種大數(shù)據(jù),很顯然,這些數(shù)據(jù)到不一定有多大,但是處理這些數(shù)據(jù)集通常要分配到幾個(gè)系統(tǒng)耗費(fèi)超過(guò)24個(gè)小時(shí)的時(shí)間才能完成。
第2頁(yè):IT巨頭紛紛涉足大數(shù)據(jù)
事實(shí)上全球互聯(lián)網(wǎng)巨頭(EMC、惠普、IBM、微軟)都已經(jīng)意識(shí)到“大數(shù)據(jù)”時(shí)代的到來(lái),數(shù)據(jù)的重要意義,這些IT巨頭們都紛紛通過(guò)收購(gòu)“大數(shù)據(jù)”的相關(guān)廠商來(lái)進(jìn)行技術(shù)的整合,可見(jiàn)對(duì)“大數(shù)據(jù)”的重視程度。
EMC公司全球高級(jí)副總裁、大中華區(qū)總裁葉成輝在接受記者采訪時(shí)表示:大數(shù)據(jù)目前沒(méi)有統(tǒng)一的定義。通常認(rèn)為,它是海量的非結(jié)構(gòu)化數(shù)據(jù),其特點(diǎn)是數(shù)據(jù)量很大,數(shù)據(jù)的形式多樣化。
大數(shù)據(jù)時(shí)代即將來(lái)臨(圖片來(lái)源于網(wǎng)絡(luò))
ESG中國(guó)區(qū)總經(jīng)理兼高級(jí)分析師王叢表示,大數(shù)據(jù)這一領(lǐng)域?qū)?huì)有一些新技術(shù)推出,在未來(lái)1-2年內(nèi),預(yù)計(jì)會(huì)不斷涌現(xiàn)能處理大型非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)。王叢認(rèn)為,目前北美廠商仍走在全球的前列,而中國(guó)國(guó)內(nèi)的廠商目前仍主要在考慮怎么樣生產(chǎn)存儲(chǔ)和硬件設(shè)備,而沒(méi)有考慮到全面的解決方案。EMC、IBM收購(gòu)這些公司的目的是整合整個(gè)解決方案,讓它在IT上是透明的,進(jìn)一步靠近存儲(chǔ)、靠近數(shù)據(jù)。
對(duì)于大企業(yè)而言,大數(shù)據(jù)的興起部分是因?yàn)橛?jì)算能力可用更低的成本獲得,且各類(lèi)系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次,內(nèi)存的成本也在直線下降,企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計(jì)算機(jī)聚合成服務(wù)器集群越來(lái)越簡(jiǎn)單。IDC的數(shù)據(jù)庫(kù)管理分析師CarlOlofson認(rèn)為,這三大因素的結(jié)合便催生了大數(shù)據(jù)。
Gartner曾經(jīng)有報(bào)告指出,有85%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。