自古至今,從未有一個時代出現(xiàn)過如此大規(guī)模的數(shù)據(jù)爆炸。如今的商業(yè)世界,已經(jīng)變成了飄浮在數(shù)據(jù)海洋上的巨輪,而那些通過大數(shù)據(jù)能力駛?cè)胨{(lán)海的企業(yè),將會贏得豐厚的回報。
大數(shù)據(jù)的特點
對于大數(shù)據(jù)的特點,業(yè)界通常用Volume、Variety、Value、Velocity這4個V來概括。大數(shù)據(jù)的特點包括:第一,數(shù)據(jù)體量巨大。從TB級別躍升到PB乃至EB級別。要知道目前的數(shù)據(jù)量有多大,我們先來看看一組公式。1024GB=1TB;1024TB=1PB;1024PB=1EB;1024 EB=1ZB;1024ZB=YB.到目前為止,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB.
第二,數(shù)據(jù)類型繁多。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù),越來越多的非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生給所有廠商都提出了挑戰(zhàn)。拜互聯(lián)網(wǎng)和通信技術(shù)近年來迅猛發(fā)展所賜,如今的數(shù)據(jù)類型早已不是單一的文本形式,除了網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。
第三,價值密度低。價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例,一部一小時的視頻,在連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。
第四,處理速度快。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。根據(jù)IDC的一份名為“數(shù)字宇宙”的報告,預(yù)計到2020年全球數(shù)據(jù)使用量將會達(dá)到35.2ZB.在如此海量的數(shù)據(jù)面前,處理數(shù)據(jù)的效率就是企業(yè)的生命。
還記得10年之前風(fēng)靡一時的美國情景喜劇《六人行》(又名《老友記》)嗎?在這部美國NBC電視臺從1994年開播到2004年落幕的經(jīng)典之作中,6位主人公從姓名、職業(yè)到個人喜好至今都還能被粉絲們津津樂道。
這部美劇中有一個頗受觀注的傳奇謎團(tuán),那就是錢德勒到底是干什么的?--雖然他解釋過很多次自己的工作,但是從來沒有人真正弄明白過他所做的那個全稱叫做“an executive specializing in statistical analysis and data reconfiguration”是個什么東西。
在該劇熱播的10多年前,想要跟一個陌生人講清楚這樣一個與數(shù)據(jù)統(tǒng)計分析有關(guān)的崗位確實不是一件容易的事情,以至于到了《老友記》的最后兩季,“生不逢時”的錢德勒不得不轉(zhuǎn)行干起了廣告。不過到了今天,錢德勒們的職業(yè)卻正變得炙手可熱。
如今,在數(shù)字方面拿手,對于數(shù)據(jù)分析著迷不僅不會讓一個人再成為社會的另類,相反這意味著無數(shù)條件優(yōu)厚的工作機(jī)會正在招手。
根據(jù)麥肯錫旗下研究部門麥肯錫全球?qū)W會(McKinsey Global Institute)2011年發(fā)布的一份報告顯示,預(yù)計美國需要14萬-19萬名擁有“深度分析”專長的工作者,以及150萬名更加精通數(shù)據(jù)的經(jīng)理人,無論是已退休人士還是已受聘人士。
造成數(shù)據(jù)人才供不應(yīng)求的一個顯著的背景就是如今“大數(shù)據(jù)”的爆發(fā)正在得到從企業(yè)界到政府層面越來越多的重視。
今年2月,《紐約時報》撰文稱,“大數(shù)據(jù)”正在對每個領(lǐng)域都造成影響,在商業(yè)、經(jīng)濟(jì)和其他領(lǐng)域中,決策行為將日益基于數(shù)據(jù)分析做出,而不是像過去更多憑借經(jīng)驗和直覺。而在公共衛(wèi)生、經(jīng)濟(jì)預(yù)測等領(lǐng)域,“大數(shù)據(jù)”的預(yù)見能力已經(jīng)開始嶄露頭角。
一個最新的例子就是Facebook在5月18日的IPO.在5月18日之前,幾乎沒有人敢說自己有把握去預(yù)測Facebook上市當(dāng)天股價的走勢,但是Twitter卻神奇般地做到了。
社交媒體監(jiān)測平臺DataSift監(jiān)測了Facebook IPO當(dāng)天Twitter上的情感傾向與Facebook股價波動的關(guān)聯(lián)。例如,在Facebook開盤前Twitter上的情感逐漸轉(zhuǎn)向負(fù)面,25分鐘之后,F(xiàn)acebook的股價便開始下跌。而當(dāng)Twitter上的情感轉(zhuǎn)向正面時,F(xiàn)acebook股價在8分鐘之后也開始了回彈。最終,當(dāng)股市接近收盤時,Twitter上的情感轉(zhuǎn)向負(fù)面,10分鐘后Facebook的股價又開始下跌。最終的結(jié)論是:Twitter上每一次情感傾向的轉(zhuǎn)向都會影響Facebook股價的波動,延遲情況只有幾分鐘到20多分鐘。
這僅僅只是基于社交網(wǎng)絡(luò)產(chǎn)生的大數(shù)據(jù)進(jìn)行“預(yù)見未來”的眾多案例之一,事實上“大數(shù)據(jù)”所能帶來的巨大商業(yè)價值已經(jīng)被人認(rèn)為將引領(lǐng)一場足以匹敵20世紀(jì)計算機(jī)革命的巨大變革。
2012年2月,《華爾街日報》發(fā)表文章《科技變革即將引領(lǐng)新的經(jīng)濟(jì)繁榮》,文中罕見地做出大膽預(yù)見:“我們再次處于三場宏大技術(shù)變革的開端,他們可能足以匹敵20世紀(jì)的那場變革,這三場變革的震中都在美國,他們分別是大數(shù)據(jù)、智能制造和無線網(wǎng)絡(luò)革命。”
《華爾街日報》的斷言并非無的放矢。在今年年初的瑞士達(dá)沃斯論壇上,一份題為《大數(shù)據(jù),大影響》(Big Data, Big Impact)的報告宣稱,數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別,就像貨幣或黃金一樣。
更加值得關(guān)注的則是,奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。根據(jù)美國白宮今年3月29日新聞,奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”.希望增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。
上一次白宮親自參與推動信息技術(shù)產(chǎn)業(yè)的大手筆還是2010年希拉里提出的“國家寬帶戰(zhàn)略”,“大數(shù)據(jù)研究和發(fā)展計劃”也被認(rèn)為是1993年時任美國副總統(tǒng)戈爾宣布的“信息高速公路”計劃后美國政府政策層面的一次“狂飆突進(jìn)”,將“大數(shù)據(jù)”上升到國家意志將在下一個10年帶來深遠(yuǎn)影響。
在互聯(lián)網(wǎng)和通信技術(shù)飛速發(fā)展20年后,一個屬于“大數(shù)據(jù)”的時代,真的來了。
數(shù)據(jù)海洋中的商業(yè)
商業(yè)的發(fā)展天生依賴數(shù)據(jù)來作出決策,但是自古至今,從未有一個時代出現(xiàn)過如此大規(guī)模的數(shù)據(jù)爆炸,如今的整個商業(yè)世界,已經(jīng)變成了飄浮在數(shù)據(jù)海洋上的巨輪。
全球市值最大的連鎖餐飲企業(yè)麥當(dāng)勞(微博)、零售業(yè)中的巨無霸沃爾瑪、在線零售的巨頭亞馬遜,這3家這個時代炙手可熱的企業(yè),如果說他們之間存在著什么相關(guān)性的話,會是什么呢?
數(shù)據(jù)?沒錯。麥當(dāng)勞的強(qiáng)大在于它賣的不僅僅是漢堡而是在從事一個精準(zhǔn)選址,對數(shù)據(jù)深入挖掘的“房地產(chǎn)生意”;沃爾瑪?shù)目膳略谟谄湓缭?0世紀(jì)70年代末就開始通過挖掘數(shù)據(jù)來改善自己的供應(yīng)鏈,時至今日,在其連鎖超市的表象之下早已成為一家巨大的數(shù)據(jù)公司;亞馬遜就更不用說了,貝索斯從不掩飾他對于數(shù)據(jù)中心的看重,對于這家電商巨頭來說,數(shù)據(jù)就意味著一切。
以沃爾瑪為例。早在1969年沃爾瑪就開始使用計算機(jī)來跟蹤存貨,1974年就將其分銷中心與各家商場運用計算機(jī)進(jìn)行庫存控制。1983年,沃爾瑪所有門店都開始采用條形碼掃描系統(tǒng)。1987年,沃爾瑪完成了公司內(nèi)部的衛(wèi)星系統(tǒng)的安裝,該系統(tǒng)使得總部,分銷中心和各個商場之間可以實現(xiàn)實時,雙向的數(shù)據(jù)和聲音傳輸。
采用這些在當(dāng)時還是小眾和超前的信息技術(shù)來搜集運營數(shù)據(jù)為沃爾瑪最近20年的崛起打下了堅實的地基。如今,沃爾瑪擁有著全世界最大的數(shù)據(jù)倉庫,在數(shù)據(jù)倉庫中存儲著沃爾瑪數(shù)千家連鎖店在65周內(nèi)每一筆銷售的詳細(xì)記錄,這使得業(yè)務(wù)人員可以通過分析購買行為更加了解他們的客戶。
國外零售巨頭對于數(shù)據(jù)資產(chǎn)的重視也在近年來影響著國內(nèi)的電商企業(yè)。凡客誠品(微博)CEO陳年(微博)對《商業(yè)價值》雜志記者表示,“現(xiàn)在的凡客是一家數(shù)據(jù)公司。”
2011年凡客內(nèi)部最大且最重要的一次調(diào)整就是想要實現(xiàn)互聯(lián)網(wǎng)的系統(tǒng)化和數(shù)字化的管理,為了讓任何“數(shù)字”變得可預(yù)測和可控,凡客成立了數(shù)據(jù)中心。
一開始,大家對數(shù)據(jù)中心的需求就是得到一些簡單的數(shù)據(jù),比如庫存的數(shù)量。但是他們慢慢發(fā)現(xiàn),得到數(shù)據(jù)之后就會面臨一些相關(guān)的問題,如怎么配合進(jìn)貨等,于是數(shù)據(jù)中心就開始根據(jù)不同的問題,不斷尋找數(shù)據(jù)與數(shù)據(jù)之間關(guān)聯(lián),并最終把各種關(guān)系搭建起來。出現(xiàn)庫存周轉(zhuǎn)慢的問題怎么辦呢?數(shù)據(jù)中心就又得分析與庫存相關(guān)的數(shù)據(jù)關(guān)系。除此之外,數(shù)據(jù)中心還會去研究新產(chǎn)品的上架與新用戶增長的關(guān)系,每上線一個新品與它能夠帶來的用戶二次購買的關(guān)系等。