2012年以來(lái),“大數(shù)據(jù)”一詞越來(lái)越多地被人們提及,人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。大數(shù)據(jù)、人工智能、云計(jì)算,這些原本聽起來(lái)離大眾生活非常遙遠(yuǎn)的it專業(yè)術(shù)語(yǔ),如今正實(shí)實(shí)在在地改變著人們的生活。正如馬云所說,大家還沒搞清pc時(shí)代的時(shí)候,移動(dòng)互聯(lián)網(wǎng)來(lái)了,還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候,大數(shù)據(jù)時(shí)代來(lái)了。
大數(shù)據(jù)有何價(jià)值?
巨大的數(shù)據(jù)價(jià)值是大數(shù)據(jù)最重要的特點(diǎn)。只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行準(zhǔn)確的分析,將會(huì)帶來(lái)很高的價(jià)值回報(bào)。
例如,沃爾瑪公司利用計(jì)算機(jī)對(duì)其公司銷售商品的分析,發(fā)現(xiàn)紙尿布和啤酒在銷量上呈正相關(guān)。沃爾瑪公司進(jìn)一步研究發(fā)現(xiàn),美國(guó)家庭大多由年輕爸爸下班后到超市買紙尿布,會(huì)順便買幾瓶啤酒回家享用。于是,沃爾瑪公司就把紙尿布和啤酒擺在一起,提高了兩者的銷量;谷歌公司應(yīng)用了大數(shù)據(jù)技術(shù),比美國(guó)政府的公共衛(wèi)生部門早兩周時(shí)間預(yù)告2009年甲型h1n1流感的暴發(fā)。企業(yè)尚且如此,對(duì)國(guó)家來(lái)說,大數(shù)據(jù)更具巨大價(jià)值,有識(shí)之士已將大數(shù)據(jù)定義為新興的戰(zhàn)略性資源。
從浩如煙海且形式各樣的數(shù)據(jù)中,迅速獲得有價(jià)值數(shù)據(jù)的工作,需要許多計(jì)算機(jī)集群才能共同完成。21世紀(jì)初興起的云計(jì)算及相應(yīng)軟件的出現(xiàn),才使大數(shù)據(jù)中有用價(jià)值的提取成為現(xiàn)實(shí)。依托于云計(jì)算實(shí)時(shí)采集的大數(shù)據(jù)可以通過這一平臺(tái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作,原本很難處理和使用的大數(shù)據(jù)被利用起來(lái)了,大數(shù)據(jù)得以實(shí)用化。
大數(shù)據(jù)將帶來(lái)哪些變革?
美國(guó)未來(lái)學(xué)家阿爾文 托夫勒1980年在其著作《第三次浪潮》中,就曾預(yù)言過未來(lái)將產(chǎn)生信息大爆炸,揭示了大數(shù)據(jù)時(shí)代即將來(lái)臨。2011年麥肯錫總結(jié)大數(shù)據(jù)現(xiàn)象并發(fā)布報(bào)告,點(diǎn)燃大數(shù)據(jù)熱潮。
大數(shù)據(jù)是人與互聯(lián)網(wǎng)活動(dòng)的產(chǎn)物,未來(lái)它將對(duì)人類的科技、生產(chǎn)、社會(huì)活動(dòng)乃至人類的生活產(chǎn)生較大的變革,將會(huì)對(duì)人們的生產(chǎn)過程和商品交換過程產(chǎn)生顛覆性影響。“大數(shù)據(jù)”的本質(zhì)是基于互聯(lián)網(wǎng)基礎(chǔ)上的信息化應(yīng)用,其真正的“魔力”在于信息化與工業(yè)化的融合,使工業(yè)制造的生產(chǎn)效率得到大規(guī)模提升。傳統(tǒng)制造業(yè)有了大數(shù)據(jù),可以從“制造”向“智造”升級(jí)――從產(chǎn)品設(shè)計(jì)端到最終銷售,都可以通過大數(shù)據(jù)進(jìn)行智能分析。企業(yè)可以快速響應(yīng)市場(chǎng)需求、科學(xué)研發(fā)產(chǎn)品,并且精準(zhǔn)營(yíng)銷。目前汽車行業(yè)已在借助大數(shù)據(jù),對(duì)數(shù)億網(wǎng)民與汽車相關(guān)的請(qǐng)求進(jìn)行大數(shù)據(jù)挖掘,形成行業(yè)指數(shù)和分析報(bào)告,幫助汽車企業(yè)了解消費(fèi)者需求。由于有了大數(shù)據(jù),手機(jī)、電視、冰箱等傳統(tǒng)電子和電器產(chǎn)品變得智能化,激發(fā)了用戶新的消費(fèi)需求。
又如,傳統(tǒng)統(tǒng)計(jì)學(xué)只能以盡可能少的數(shù)據(jù),證實(shí)盡可能大的事實(shí),其覆蓋面、隨機(jī)性、代表性與真實(shí)性常受到質(zhì)疑;而由大數(shù)據(jù)得出的統(tǒng)計(jì),其廣泛性、代表性與即時(shí)性都無(wú)可置疑。大數(shù)據(jù)對(duì)傳統(tǒng)醫(yī)學(xué)帶來(lái)沖擊,未來(lái)可穿戴醫(yī)療設(shè)備將個(gè)人即時(shí)采集的數(shù)據(jù)傳上云端,存入個(gè)人數(shù)據(jù)庫(kù);數(shù)十年伴隨個(gè)人成長(zhǎng)與衰老的巨量數(shù)據(jù),是每一個(gè)人的寶貴財(cái)富,能夠迅速提供全面的動(dòng)態(tài)數(shù)據(jù),幫助醫(yī)生做出診斷。
如何應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)?
“大數(shù)據(jù)”不能生產(chǎn)出新的物質(zhì)產(chǎn)品,也不能創(chuàng)造出新的市場(chǎng)需求,但能夠讓生產(chǎn)力大幅提升。大數(shù)據(jù)將成為提升機(jī)構(gòu)和公司競(jìng)爭(zhēng)力的有力武器,企業(yè)與企業(yè)的競(jìng)爭(zhēng)已經(jīng)演變?yōu)閿?shù)據(jù)的競(jìng)爭(zhēng),工業(yè)時(shí)代引以為豪的廠房與流水線,變成信息時(shí)代的服務(wù)器。
從2012年開始,美國(guó)、英國(guó)、日本等國(guó)積極資助大數(shù)據(jù)研發(fā)。3月22日,奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展,將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家戰(zhàn)略。截至2012年12月,共有54個(gè)國(guó)家加入了由美國(guó)發(fā)起的“開放政府計(jì)劃”。
大數(shù)據(jù)信息平臺(tái)的建設(shè)可以消除政府各部門間、政府與市民間的隔閡,消減信息孤島現(xiàn)象,從而提高政府各機(jī)構(gòu)的協(xié)同辦公效率,提高政府決策的科學(xué)性和精準(zhǔn)性,提升社會(huì)治理和公共服務(wù)能力。
在中國(guó),2011年底工信部發(fā)布的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》中,把信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái),其中就包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析。今年8月14日,中國(guó)數(shù)據(jù)中心產(chǎn)業(yè)大會(huì)召開,會(huì)議的宗旨是以引領(lǐng)數(shù)據(jù)中心發(fā)展、分享數(shù)據(jù)中心創(chuàng)新成果、促進(jìn)數(shù)據(jù)中心洽談交易,為推動(dòng)我國(guó)數(shù)據(jù)中心產(chǎn)業(yè)持續(xù)發(fā)展作重要支撐。當(dāng)前,在我國(guó)全面建成小康社會(huì)的征程中,工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重,建設(shè)下一代信息基礎(chǔ)設(shè)施,發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系,推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用,是實(shí)現(xiàn)“四化”同步發(fā)展的保證。大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,讓我們滿懷激情地關(guān)注大數(shù)據(jù),利用大數(shù)據(jù),開發(fā)大數(shù)據(jù)。
大數(shù)據(jù)
2011年全球數(shù)據(jù)若刻成dvd,排起的長(zhǎng)度可往返地球至月亮
大數(shù)據(jù)(bigdata),又稱巨量資料、海量資料,指的是所涉及的資料量規(guī)模巨大到無(wú)法透過目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理的資訊。
國(guó)際數(shù)據(jù)公司定義了大數(shù)據(jù)的四大特征:海量的數(shù)據(jù)規(guī)模(vast)、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系(velocity)、多樣的數(shù)據(jù)類型(variety)和巨大的數(shù)據(jù)價(jià)值(value)。僅從海量的數(shù)據(jù)規(guī)模來(lái)看,全球ip流量達(dá)到1eb所需的時(shí)間,在2001年需要1年,在2013年僅需1天,到2016年則僅需半天。全球新產(chǎn)生的數(shù)據(jù)每年遞增40%,全球信息總量每?jī)赡昃涂煞?。而根?jù)2012年互聯(lián)網(wǎng)絡(luò)數(shù)據(jù)中心發(fā)布的《數(shù)字宇宙2020》報(bào)告,2011年全球數(shù)據(jù)總量已達(dá)到1.87zb(1zb=10萬(wàn)億億字節(jié)),如果把這些數(shù)據(jù)刻成dvd,排起來(lái)的長(zhǎng)度相當(dāng)于從地球到月亮之間一個(gè)來(lái)回的距離。