根據(jù)IDC監(jiān)測，全球數(shù)據(jù)量大約每兩年翻一番，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量，預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍。換句話說，我們正處于大數(shù)據(jù)時代的邊緣。

大數(shù)據(jù)時代的超大數(shù)據(jù)體量和超過80%比例非結(jié)構(gòu)化數(shù)據(jù)的存在，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)庫的管理能力，大數(shù)據(jù)技術(shù)將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)，它將幫助人們從大體量、高復(fù)雜的數(shù)據(jù)中提取價(jià)值。我們有理由相信未來大數(shù)據(jù)的產(chǎn)業(yè)規(guī)模將會至少以萬億美元來進(jìn)行衡量，大數(shù)據(jù)將有可能給IT行業(yè)開拓一個新的黃金時代。

近年關(guān)于大數(shù)據(jù)主題的并購數(shù)量和規(guī)模正在逐步上升，IDC預(yù)測，2012年可能會是充滿由大數(shù)據(jù)引發(fā)的合并及收購活動的一年。我們預(yù)計(jì)“大數(shù)據(jù)”將會是2012年A股一條重要的投資主線。

什么是大數(shù)據(jù)

“大數(shù)據(jù)”首先是一個現(xiàn)象而不是一種技術(shù)。個人認(rèn)為想要理解“大數(shù)據(jù)”這個概念，首先要從“大”入手，“大”首先是指數(shù)據(jù)體量(volumes)大，指代大型數(shù)據(jù)集，一般在10TB 規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個數(shù)據(jù)集放在一起，已經(jīng)形成了PB級的數(shù)據(jù)量；其次是指數(shù)據(jù)類別(variety)大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

簡而言之，“大數(shù)據(jù)”就是一個體量特別大，數(shù)據(jù)類別特別大的數(shù)據(jù)集。也就是說“大數(shù)據(jù)”本身并不是一種新的技術(shù)，也不是一種新的產(chǎn)品，而是我們這個時代出現(xiàn)的一種現(xiàn)象。而這個“大”大到了一種什么樣的程度呢？可以說他即將突破現(xiàn)有常規(guī)軟件所能提供的能力極限。

綜上所述，我們覺得使用麥肯錫的定義可能會更為簡潔明了：“大數(shù)據(jù)”是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。

大數(shù)據(jù)時代為何會到來

為何大數(shù)據(jù)時代會到來？“大數(shù)據(jù)摩爾定律”(全球數(shù)據(jù)量大約每兩年翻一番)為什么會成立？首先，數(shù)據(jù)產(chǎn)生的成本下降推動了數(shù)據(jù)體量(volumes)的膨脹。對大企業(yè)而言，大數(shù)據(jù)的興起，部分是因?yàn)橛?jì)算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行更多任務(wù)處理；其次，內(nèi)存的成本也在直線下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)；另外，就是把計(jì)算機(jī)聚合成服務(wù)器集群越來越簡單。IDC的數(shù)據(jù)庫管理分析師Carl Olofson認(rèn)為，這三大因素的結(jié)合便催生了大數(shù)據(jù)。

根據(jù)IDC估計(jì)，由于計(jì)算機(jī)技術(shù)進(jìn)步的持續(xù)推動，2011年企業(yè)創(chuàng)造、采集、管理和儲存信息的成本已經(jīng)下降到2005年的1/6，而同期企業(yè)關(guān)于數(shù)據(jù)的總投資自2005年以來卻反而上升了50%。根據(jù)IDC判斷，數(shù)據(jù)產(chǎn)生成本是符合反摩爾定律的，即數(shù)據(jù)產(chǎn)生成本大概每兩年下降一半。而這一趨勢，最起碼會持續(xù)到2015年。數(shù)據(jù)產(chǎn)生成本的下降和增加的投資規(guī)模，最終導(dǎo)致了全球數(shù)據(jù)增速符合“大數(shù)據(jù)摩爾定律”，與之相匹配的現(xiàn)象即是全球數(shù)據(jù)存儲能力增長顯著。

同時，新的數(shù)據(jù)源增加了數(shù)據(jù)類型(variety)的種類。如果說數(shù)據(jù)成本的下降只是助推了數(shù)據(jù)量的增長，那么新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)則大大增加了未來數(shù)據(jù)的類型，數(shù)據(jù)類型的增加直接導(dǎo)致現(xiàn)有數(shù)據(jù)空間維度增加，極大地增加了未來大數(shù)據(jù)的復(fù)雜度。