大數(shù)據(jù)時(shí)代處理數(shù)據(jù)的三大轉(zhuǎn)變

責(zé)任編輯:editor004

2014-04-14 11:50:43

摘自:賽迪網(wǎng)-通信產(chǎn)業(yè)網(wǎng)

大數(shù)據(jù)概念的橫空出世,有賴(lài)于短短幾年出現(xiàn)的海量數(shù)據(jù)。未來(lái),有三種企業(yè)將在”大數(shù)據(jù)產(chǎn)業(yè)鏈“中處于重要地位:掌握海量有效數(shù)據(jù)的企業(yè),有著強(qiáng)大數(shù)據(jù)分析能力的企業(yè),以及創(chuàng)新的“軟件開(kāi)發(fā)者”。

大數(shù)據(jù)概念的橫空出世,有賴(lài)于短短幾年出現(xiàn)的海量數(shù)據(jù)。據(jù)統(tǒng)計(jì),互聯(lián)網(wǎng)上的數(shù)據(jù)每?jī)赡攴环?,而目前世界?0%以上的數(shù)據(jù)都是最近幾年才產(chǎn)生的。當(dāng)然,海量數(shù)據(jù)僅僅是“大數(shù)據(jù)”概念的一部分,只有具備4個(gè)“V”的特征,大數(shù)據(jù)的定義才算完整,而價(jià)值恰恰是決定大數(shù)據(jù)未來(lái)走向的關(guān)鍵。

大數(shù)據(jù)發(fā)展必備三個(gè)條件

大數(shù)據(jù)的發(fā)展需要三個(gè)必要條件:數(shù)據(jù)源、數(shù)據(jù)交易、數(shù)據(jù)產(chǎn)生價(jià)值的過(guò)程。近年來(lái),社交網(wǎng)絡(luò)的興起、物聯(lián)網(wǎng)的發(fā)展和移動(dòng)互聯(lián)網(wǎng)的普及,誕生了大量有價(jià)值的數(shù)據(jù)源,奠定了大數(shù)據(jù)發(fā)展的基礎(chǔ)。大數(shù)據(jù)時(shí)代到來(lái)的重要標(biāo)志,則是大批專(zhuān)業(yè)級(jí)“數(shù)據(jù)買(mǎi)賣(mài)商”的出現(xiàn),以及圍繞數(shù)據(jù)交易形成的,貫穿于收集、整理、分析、應(yīng)用整個(gè)流程的產(chǎn)業(yè)鏈條。大數(shù)據(jù)發(fā)展的核心,則是使用戶(hù)從海量的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)中獲得了新的價(jià)值,數(shù)據(jù)價(jià)值是帶動(dòng)數(shù)據(jù)交易的原動(dòng)力。

IBM、甲骨文、SAP近年紛紛斥巨資收購(gòu)數(shù)據(jù)管理和分析公司,在這些互聯(lián)網(wǎng)巨頭的帶動(dòng)下,數(shù)據(jù)分析技術(shù)日漸成熟。2013年6月,愛(ài)德華·斯諾登將“棱鏡計(jì)劃”公之于眾,“棱鏡門(mén)”事件一方面說(shuō)明大數(shù)據(jù)技術(shù)已經(jīng)成熟;另一方面也佐證了現(xiàn)在阻礙大數(shù)據(jù)發(fā)展的不是技術(shù),而是數(shù)據(jù)交易和數(shù)據(jù)價(jià)值。

大數(shù)據(jù)技術(shù)的發(fā)展促進(jìn)了云計(jì)算的落地,云計(jì)算的部署完成又反過(guò)來(lái)加大了市場(chǎng)對(duì)數(shù)據(jù)創(chuàng)造價(jià)值的期待。大數(shù)據(jù)概念提出之后,市場(chǎng)終于看到了云計(jì)算的獲利方向:各地的一級(jí)系統(tǒng)集成商與當(dāng)?shù)卣献?,建云?shù)據(jù)中心;各大行業(yè)巨頭在搭建各自行業(yè)的云平臺(tái);IT巨頭想盡辦法申請(qǐng)中國(guó)的公有云牌照。大數(shù)據(jù)促成了云計(jì)算從概念到落地。借助于智慧城市概念的普及,云計(jì)算基礎(chǔ)設(shè)施已基本準(zhǔn)備就緒,一方面完成了大數(shù)據(jù)應(yīng)用的硬件基礎(chǔ);另一方面迫于回收云計(jì)算投資的壓力,市場(chǎng)急需應(yīng)用部署,大數(shù)據(jù)恰如雪中送炭,被市場(chǎng)寄予厚望。

現(xiàn)在,問(wèn)題的核心指向了“數(shù)據(jù)如何創(chuàng)造價(jià)值?”

整合與開(kāi)放是基石

大數(shù)據(jù)服務(wù)創(chuàng)業(yè)公司Connotate對(duì)800多名商業(yè)和IT主管進(jìn)行了調(diào)查。結(jié)果顯示,60%受調(diào)查者稱(chēng):“目前就說(shuō)這些大數(shù)據(jù)投資項(xiàng)目肯定能夠帶來(lái)良好回報(bào)尚為時(shí)過(guò)早。”之所以如此,是由于當(dāng)前大數(shù)據(jù)缺乏必需的開(kāi)放性:數(shù)據(jù)掌握在不同的部門(mén)和企業(yè)手中,而這些部門(mén)和企業(yè)并不愿意分享數(shù)據(jù)。大數(shù)據(jù)是通過(guò)研究數(shù)據(jù)的相關(guān)性來(lái)發(fā)現(xiàn)客觀(guān)規(guī)律,這依賴(lài)于數(shù)據(jù)的真實(shí)性和廣泛性,數(shù)據(jù)如何做到共享和開(kāi)放,這是當(dāng)前大數(shù)據(jù)發(fā)展的軟肋和需要解決的大問(wèn)題。

2012年美國(guó)大選,奧巴馬因數(shù)據(jù)整合而受益。在奧巴馬的競(jìng)選團(tuán)隊(duì)中有一個(gè)神秘的數(shù)據(jù)挖掘團(tuán)隊(duì),他們通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行挖掘幫助奧巴馬籌集到10億美元資金;他們通過(guò)數(shù)據(jù)挖掘使競(jìng)選廣告投放效率提升了14%;他們通過(guò)制作“搖擺州”選民的詳細(xì)模型,每晚實(shí)施6.6萬(wàn)次模擬選舉,推算奧巴馬在“搖擺州”的勝率,并以此來(lái)指導(dǎo)資源分配。奧巴馬競(jìng)選團(tuán)隊(duì)相比羅姆尼競(jìng)選團(tuán)隊(duì)最有優(yōu)勢(shì)的地方:對(duì)大數(shù)據(jù)的整合。奧巴馬的數(shù)據(jù)挖掘團(tuán)隊(duì)也意識(shí)到這個(gè)全世界共同的問(wèn)題:數(shù)據(jù)分散在過(guò)多的數(shù)據(jù)庫(kù)中。因此,在前18個(gè)月,奧巴馬競(jìng)選團(tuán)隊(duì)就創(chuàng)建了一個(gè)單一的龐大數(shù)據(jù)系統(tǒng),可以將來(lái)自民意調(diào)查者、捐資者、現(xiàn)場(chǎng)工作人員、消費(fèi)者數(shù)據(jù)庫(kù)、社交媒體,以及“搖擺州”主要的民主黨投票人的信息整合在一起,不僅能告訴競(jìng)選團(tuán)隊(duì)如何發(fā)現(xiàn)選民并獲得他們的注意,還幫助數(shù)據(jù)處理團(tuán)隊(duì)預(yù)測(cè)哪些類(lèi)型的人有可能被某種特定的事情所說(shuō)服。正如競(jìng)選總指揮吉姆·梅西納所說(shuō),在整個(gè)競(jìng)選活中,沒(méi)有數(shù)據(jù)做支撐的假設(shè)很少存在。

2012年3月,美國(guó)奧巴馬政府宣布投資2億美元啟動(dòng)“大數(shù)據(jù)研究和發(fā)展計(jì)劃”,將“大數(shù)據(jù)研究”上升為國(guó)家意志。一個(gè)國(guó)家擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將成為綜合國(guó)力的重要組成部分。國(guó)內(nèi)智慧城市建設(shè)目標(biāo)之一就是實(shí)現(xiàn)數(shù)據(jù)的集中共享。

合作共贏(yíng)的商業(yè)模式

隨著云計(jì)算、大數(shù)據(jù)技術(shù)和相關(guān)商業(yè)環(huán)境的不斷成熟,越來(lái)越多的“軟件開(kāi)發(fā)者”正在利用跨行業(yè)的大數(shù)據(jù)平臺(tái),打造創(chuàng)新價(jià)值的大數(shù)據(jù)應(yīng)用,而且這一門(mén)檻正在不斷降低。因?yàn)槭紫龋瑪?shù)據(jù)擁有者能夠以微乎其微的成本獲取額外的收入,提高利潤(rùn)水平;其次,大數(shù)據(jù)設(shè)備廠(chǎng)商需要應(yīng)用來(lái)吸引消費(fèi)者購(gòu)買(mǎi)設(shè)備,發(fā)展合作共贏(yíng)的伙伴關(guān)系勢(shì)必比單純銷(xiāo)售設(shè)備要有利可圖,一些具有遠(yuǎn)見(jiàn)的廠(chǎng)商已經(jīng)開(kāi)始通過(guò)提供資金、技術(shù)支持、入股等方式來(lái)扶持這些“軟件開(kāi)發(fā)者”;第三,行業(yè)細(xì)分市場(chǎng)的數(shù)據(jù)分析應(yīng)用需求在不斷加大,對(duì)于整個(gè)大數(shù)據(jù)產(chǎn)業(yè)鏈來(lái)說(shuō),創(chuàng)新型的行業(yè)數(shù)據(jù)應(yīng)用開(kāi)發(fā)者必將是未來(lái)整個(gè)大數(shù)據(jù)產(chǎn)業(yè)鏈中最為活躍的部分。

未來(lái),有三種企業(yè)將在”大數(shù)據(jù)產(chǎn)業(yè)鏈“中處于重要地位:掌握海量有效數(shù)據(jù)的企業(yè),有著強(qiáng)大數(shù)據(jù)分析能力的企業(yè),以及創(chuàng)新的“軟件開(kāi)發(fā)者”。社交網(wǎng)絡(luò)、移動(dòng)互聯(lián)網(wǎng)、信息化企業(yè)、電信運(yùn)營(yíng)商都是海量數(shù)據(jù)的制造者,F(xiàn)acebook公司手中掌握著8.5億用戶(hù),淘寶注冊(cè)用戶(hù)超過(guò)3.7億,騰訊的微信用戶(hù)突破3億,這些龐大用戶(hù)群所提供的數(shù)據(jù),正在等待時(shí)機(jī)釋放出巨大商業(yè)能量。可以預(yù)測(cè),在不久的將來(lái),F(xiàn)acebook、騰訊、電信運(yùn)營(yíng)商等海量數(shù)據(jù)持有者或者自我延伸成為數(shù)據(jù)分析提供商,或者與IBM、ZTE等企業(yè)密切對(duì)接成為上下游合作企業(yè),大數(shù)據(jù)產(chǎn)業(yè)鏈將在某個(gè)爆發(fā)時(shí)點(diǎn)到來(lái)之際,以令人驚訝的速度成長(zhǎng)壯大。

警惕大數(shù)據(jù)的危

大數(shù)據(jù)時(shí)代,傳統(tǒng)的隨機(jī)抽樣被“所有數(shù)據(jù)的匯攏”所取代,人們的思維決斷模式,已可直接根據(jù)“是什么”來(lái)下結(jié)論,由于這樣的結(jié)論剔除了個(gè)人情緒、心理動(dòng)機(jī)、抽樣精確性等因素的干擾,因此將更精確、更有預(yù)見(jiàn)性。不過(guò),由于大數(shù)據(jù)過(guò)于依靠數(shù)據(jù)的匯集,一旦數(shù)據(jù)本身有問(wèn)題,就很可能出現(xiàn)“災(zāi)難性大數(shù)據(jù)”,即因?yàn)閿?shù)據(jù)本身的問(wèn)題,而導(dǎo)致錯(cuò)誤的預(yù)測(cè)和決策。

大數(shù)據(jù)的理論是“在稻草堆里找一根針”,而如果“所有稻草看上去都挺像那根針”呢?過(guò)多但無(wú)法辨析真?zhèn)魏蛢r(jià)值的信息和過(guò)少的信息一樣,對(duì)于需要作出瞬間判斷、一旦判斷出錯(cuò)就很可能造成嚴(yán)重后果的情況而言,同樣是一種危害。“大數(shù)據(jù)”理論是建立在“海量數(shù)據(jù)都是事實(shí)”的基礎(chǔ)上,而如果數(shù)據(jù)提供者造假呢?這在大數(shù)據(jù)時(shí)代變得更有害,因?yàn)槿藗儫o(wú)法控制數(shù)據(jù)提供者和搜集者本人的偏見(jiàn)。擁有最完善數(shù)據(jù)庫(kù)、最先接受“大數(shù)據(jù)”理念的華爾街投行和歐美大評(píng)級(jí)機(jī)構(gòu),卻每每在重大問(wèn)題上判斷出錯(cuò),這本身就揭示了“大數(shù)據(jù)”的局限性。

不僅如此,大數(shù)據(jù)時(shí)代造就了一個(gè)數(shù)據(jù)庫(kù)無(wú)所不在的世界,數(shù)據(jù)監(jiān)管部門(mén)面臨前所未有的壓力和責(zé)任:如何避免數(shù)據(jù)泄露對(duì)國(guó)家利益、公眾利益、個(gè)人隱私造成傷害?如何避免信息不對(duì)等,對(duì)困難群體的利益構(gòu)成傷害?在有效控制風(fēng)險(xiǎn)之前,也許還是讓“大數(shù)據(jù)”繼續(xù)待在籠子里更好一些。

大數(shù)據(jù)的經(jīng)濟(jì)價(jià)值已經(jīng)被人們認(rèn)可,大數(shù)據(jù)的技術(shù)也已經(jīng)逐漸成熟,一旦完成數(shù)據(jù)的整合和監(jiān)管,大數(shù)據(jù)爆發(fā)的時(shí)代即將到來(lái)。我們現(xiàn)在要做的,就是選好自己的方向,為迎接大數(shù)據(jù)的到來(lái),提前做好準(zhǔn)備。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)