似乎一夜之間,大數(shù)據(jù)(Big Data)變成一個(gè)IT行業(yè)中最時(shí)髦的詞匯。首先,大數(shù)據(jù)不是什么完完全全的新生事物,Google的搜索服務(wù)就是一個(gè)典型的大數(shù)據(jù)運(yùn)用,根據(jù)客戶的需求,Google實(shí)時(shí)從全球海量的數(shù)字資產(chǎn)(或數(shù)字垃圾)中快速找出最可能的答案,呈現(xiàn)給你,就是一個(gè)最典型的大數(shù)據(jù)服務(wù)。只不過(guò)過(guò)去這樣規(guī)模的數(shù)據(jù)量處理和有商業(yè)價(jià)值的應(yīng)用太少,在IT行業(yè)沒有形成成型的概念。
現(xiàn)在隨著全球數(shù)字化、網(wǎng)絡(luò)寬帶化、互聯(lián)網(wǎng)應(yīng)用于各行各業(yè),累積的數(shù)據(jù)量越來(lái)越大,越來(lái)越多企業(yè)、行業(yè)和國(guó)家發(fā)現(xiàn),可以利用類似的技術(shù)更好地服務(wù)客戶、發(fā)現(xiàn)新商業(yè)機(jī)會(huì)、擴(kuò)大新市場(chǎng)以及提升效率,才逐步形成大數(shù)據(jù)這個(gè)概念。
有一個(gè)有趣的故事是關(guān)于奢侈品營(yíng)銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當(dāng)一個(gè)顧客拿起一件PRADA進(jìn)試衣間,RFID會(huì)被自動(dòng)識(shí)別。同時(shí),數(shù)據(jù)會(huì)傳至PRADA總部。每一件衣服在哪個(gè)城市哪個(gè)旗艦店什么時(shí)間被拿進(jìn)試衣間停留多長(zhǎng)時(shí)間,數(shù)據(jù)都被存儲(chǔ)起來(lái)加以分析。如果有一件衣服銷量很低,以往的作法是直接干掉。但如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低,但進(jìn)試衣間的次數(shù)多。那就能另外說(shuō)明一些問(wèn)題。也許這件衣服的下場(chǎng)就會(huì)截然不同,也許在某個(gè)細(xì)節(jié)的微小改變就會(huì)重新創(chuàng)造出一件非常流行的產(chǎn)品。
還有一個(gè)是關(guān)于中國(guó)糧食統(tǒng)計(jì)的故事。中國(guó)的糧食統(tǒng)計(jì)是一個(gè)老大難的問(wèn)題。中國(guó)的統(tǒng)計(jì),雖然有組織、有流程、有法律,但中央的統(tǒng)計(jì)人員依靠省統(tǒng)計(jì)人員,省靠市,市靠縣,縣靠鎮(zhèn),鎮(zhèn)靠村,最后真正干活或上報(bào)的是基層兼職的調(diào)查人員,由于眾所周知的KPI考核導(dǎo)向的原因,層層加碼,幾乎沒有人相信這個(gè)調(diào)查數(shù)據(jù),而其中國(guó)家統(tǒng)計(jì)局的人是最不信的。在前兩年北京的一個(gè)會(huì)議上,原國(guó)家統(tǒng)計(jì)局總經(jīng)濟(jì)師姚景源向我們講述了他們是如何做的。他們采用遙感衛(wèi)星,通過(guò)圖像識(shí)別,把中國(guó)所有的耕地標(biāo)識(shí)、計(jì)算出來(lái),然后把中國(guó)的耕地網(wǎng)格化,對(duì)每個(gè)網(wǎng)格的耕地抽樣進(jìn)行跟蹤、調(diào)查和統(tǒng)計(jì),然后按照統(tǒng)計(jì)學(xué)的原理,計(jì)算(或者說(shuō)估算)出中國(guó)整體的整體糧食數(shù)據(jù)。這種做法是典型采用大數(shù)據(jù)建模的方法,打破傳統(tǒng)流程和組織,直接獲得最終的結(jié)果。
最后是一個(gè)炒股的故事。這個(gè)故事來(lái)自于2011年好萊塢的一部高智商電影《永無(wú)止境》,講述一位落魄的作家?guī)扃?,服用了一種可以迅速提升智力的神奇藍(lán)色藥物,然后他將這種高智商用于炒股。庫(kù)珀是怎么炒股的呢?就是他能在短時(shí)間掌握無(wú)數(shù)公司資料和背景,也就是將世界上已經(jīng)存在的海量數(shù)據(jù)(包括公司財(cái)報(bào)、電視、幾十年前的報(bào)紙、互聯(lián)網(wǎng)、小道消息等)挖掘出來(lái),串聯(lián)起來(lái),甚至將Face Book、Twitter的海量社交數(shù)據(jù)挖掘得到普通大眾對(duì)某種股票的感情傾向,通過(guò)海量信息的挖掘、分析,使一切內(nèi)幕都不是內(nèi)幕,使一切趨勢(shì)都在眼前,結(jié)果在10天內(nèi)他就贏得了200萬(wàn)美元,神奇的表現(xiàn)讓身邊的職業(yè)投資者目瞪口呆。這部電影簡(jiǎn)直是展現(xiàn)大數(shù)據(jù)魔力的教材性電影,推薦沒有看過(guò)的IT人士看一看。
從這些案例來(lái)看,大數(shù)據(jù)并不是很神奇的事情。就如同電影《永無(wú)止境》提出的問(wèn)題:人類通常只使用了20%的大腦,如果剩余80%大腦潛能被激發(fā)出來(lái),世界會(huì)變得怎樣?在企業(yè)、行業(yè)和國(guó)家的管理中,通常只有效使用了不到20%的數(shù)據(jù)(甚至更少),如果剩余80%數(shù)據(jù)的價(jià)值激發(fā)起來(lái),世界會(huì)變得怎么樣呢?特別是隨著海量數(shù)據(jù)的新摩爾定律,數(shù)據(jù)爆發(fā)式增長(zhǎng),然后數(shù)據(jù)又得到更有效應(yīng)用,世界會(huì)怎么樣呢?
單個(gè)的數(shù)據(jù)并沒有價(jià)值,但越來(lái)越多的數(shù)據(jù)累加,量變就會(huì)引起質(zhì)變,就好像一個(gè)人的意見并不重要,但1千人、1萬(wàn)人的意見就比較重要,上百萬(wàn)人就足以掀起巨大的波瀾,上億人足以改變一切。
數(shù)據(jù)再多,但如果被屏蔽或者沒有被使用,也是沒有價(jià)值的。中國(guó)的航班晚點(diǎn)非常多,相比之下美國(guó)航班準(zhǔn)點(diǎn)情況好很多。這其中,美國(guó)航空管制機(jī)構(gòu)一個(gè)的好做法發(fā)揮了積極的作用,說(shuō)起來(lái)也非常簡(jiǎn)單,就是美國(guó)會(huì)公布每個(gè)航空公司、每一班航空過(guò)去一年的晚點(diǎn)率和平均晚點(diǎn)時(shí)間,這樣客戶在購(gòu)買機(jī)票的時(shí)候就很自然會(huì)選擇準(zhǔn)點(diǎn)率高的航班,從而通過(guò)市場(chǎng)手段牽引各航空公司努力提升準(zhǔn)點(diǎn)率。這個(gè)簡(jiǎn)單的方法比任何管理手段(如中國(guó)政府的宏觀調(diào)控手段)都直接和有效。這里多說(shuō)一兩句,過(guò)去一個(gè)暴政國(guó)家對(duì)內(nèi)的控制主要是物理上的暴力,就是強(qiáng)力機(jī)構(gòu)權(quán)力無(wú)限大,搞國(guó)家恐怖主義;而現(xiàn)在一個(gè)暴政國(guó)家,主要是就靠壟斷信息、封鎖信息,讓民眾難以獲得廣泛而真實(shí)的信息,從而實(shí)現(xiàn)國(guó)家的控制。這個(gè)信息封鎖,就是對(duì)大數(shù)據(jù)的封鎖。
沒有整合和挖掘的數(shù)據(jù),價(jià)值也呈現(xiàn)不出來(lái)?!队罒o(wú)止境》中的庫(kù)珀如果不能把海量信息圍繞某個(gè)公司的股價(jià)整合起來(lái)、串聯(lián)起來(lái),這些信息就沒有價(jià)值。
因此,海量數(shù)據(jù)的產(chǎn)生、獲取、挖掘及整合,使之展現(xiàn)出巨大的商業(yè)價(jià)值,這就是我理解的大數(shù)據(jù)。在互聯(lián)網(wǎng)對(duì)一切重構(gòu)的今天,這些問(wèn)題都不是問(wèn)題。因?yàn)椋艺J(rèn)為大數(shù)據(jù)是互聯(lián)網(wǎng)深入發(fā)展的下一波應(yīng)用,是互聯(lián)網(wǎng)發(fā)展的自然延伸。目前,可以說(shuō)大數(shù)據(jù)的發(fā)展到了一個(gè)臨界點(diǎn),因此才成為IT行業(yè)中最熱門的詞匯之一。