應(yīng)該如何理解大數(shù)據(jù)

最初接觸大數(shù)據(jù)這個(gè)概念是在2013年，當(dāng)時(shí)市面上正在熱銷一個(gè)外國(guó)人寫的《大數(shù)據(jù)時(shí)代》，我還同時(shí)參加了這本書的主題分享。關(guān)于大數(shù)據(jù)這一概念并沒有一個(gè)確切的具體指向。它被用來(lái)描述大量貌似并不相關(guān)的不同類型數(shù)據(jù)的集合。大數(shù)據(jù)的功能之一是用來(lái)進(jìn)行輔助決策。以前因?yàn)槌杀九c技術(shù)的原因分析師獲得的總是很小的樣本，樣本數(shù)量的大小和隨機(jī)性，非常關(guān)鍵。數(shù)據(jù)的選擇不能摻雜任何人為的因素，這些人為的因素通常會(huì)使結(jié)果變得很主觀，同時(shí)也就失去了意義。這就意味著模型需要建得非常好，否則最終的結(jié)果就沒有價(jià)值，甚至適得其反。

大數(shù)據(jù)同時(shí)還可以解釋為那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉、存儲(chǔ)、管理和分析的數(shù)據(jù)。但是對(duì)于“大”的尺度確沒有確切的定義，早在1980年代，美國(guó)就有人提出了“大數(shù)據(jù)”的概念。30多年來(lái)，各個(gè)領(lǐng)域的數(shù)據(jù)量都在迅猛增長(zhǎng)，美國(guó)的企業(yè)界、學(xué)術(shù)界也不斷地對(duì)這個(gè)現(xiàn)象及其意義進(jìn)行探討，“大數(shù)據(jù)”這個(gè)名詞變得越來(lái)越流行、越來(lái)越重要，最后成為了國(guó)家和政府層面的發(fā)展戰(zhàn)略。

在今年5月26日2015貴陽(yáng)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上國(guó)務(wù)院總理李克強(qiáng)指出：“中國(guó)正在研究制定’互聯(lián)網(wǎng)＋’行動(dòng)計(jì)劃，推動(dòng)各行各業(yè)依托大數(shù)據(jù)創(chuàng)新商業(yè)模式，實(shí)現(xiàn)融合發(fā)展，推動(dòng)提升政府科學(xué)決策和管理水平，用新的思路和工具解決交通、醫(yī)療、教育等公共問題……”由此大數(shù)據(jù)在我國(guó)也被上升到了國(guó)家層面。舉兩個(gè)在交通、醫(yī)療方面的例子：

在巴西，航空流量在過去的10年中增長(zhǎng)迅速，預(yù)計(jì)每年的旅客數(shù)量到2030年將增長(zhǎng)一倍還多，達(dá)到3.1億人次?？梢灶A(yù)見到的天空中的擁堵問題日漸受到關(guān)注。為應(yīng)對(duì)這一問題，巴西開始導(dǎo)入GPS數(shù)據(jù)系統(tǒng)優(yōu)化可供使用的航線，減少長(zhǎng)短途航線間的沖突。以前的做法是飛機(jī)排成一列等待降落，使用新系統(tǒng)后，每架飛機(jī)首先注冊(cè)自己的航道。每架飛機(jī)的位置，速度，和載荷能力，需要在最短的航道內(nèi)進(jìn)行及時(shí)精確的處理。這樣飛機(jī)就可以沿著“曲線”更加靠近機(jī)場(chǎng)。在巴西利亞機(jī)場(chǎng)首次使用這套系統(tǒng)后，每架著陸的飛機(jī)平均節(jié)省了7分半鐘和77加侖的燃油，同時(shí)平均少飛了22海里。巴西計(jì)劃在全國(guó)的10家最繁忙的機(jī)場(chǎng)部署這套系統(tǒng)。據(jù)初步估計(jì)這套系統(tǒng)可以使機(jī)場(chǎng)的運(yùn)力提升16%到59%，根據(jù)機(jī)場(chǎng)的實(shí)際條件有所不同。

醫(yī)療方面，互聯(lián)網(wǎng)巨頭谷歌公司在《自然》雜志上發(fā)表過一篇引人注目的論文，文中介紹了谷歌為什么能夠預(yù)測(cè)冬季流感的傳播。谷歌保存了多年來(lái)所有的搜索記錄，并且每天都會(huì)收到來(lái)自全球超過30億條的搜索指令，他們建立了一個(gè)關(guān)注特定檢索詞條的頻繁使用與流感在時(shí)間和空間上的傳播之間的聯(lián)系。他們的軟件發(fā)現(xiàn)了45條檢索詞條的組合，一旦將它們用于一個(gè)數(shù)學(xué)模型，他們的預(yù)測(cè)與官方數(shù)據(jù)的相關(guān)性就高達(dá)97%。

大數(shù)據(jù)的應(yīng)用還存在著一些難解的問題

大數(shù)據(jù)雖然看上去很美，但是現(xiàn)實(shí)中的進(jìn)展依舊緩慢。在機(jī)場(chǎng)行業(yè)中，人們充滿了對(duì)使用大數(shù)據(jù)的熱情，但是現(xiàn)實(shí)的阻礙重重一時(shí)又找不到理想的解決辦法。

首先，缺乏透明度。交通基礎(chǔ)設(shè)施包括了復(fù)雜的網(wǎng)絡(luò)和眾多的參與者。拿機(jī)場(chǎng)舉例，不同的航空公司，地面處理公司，和零售商，再加上空管，乘客，和機(jī)場(chǎng)自己。每一方都在收集各自的數(shù)據(jù)，并且不愿意拿出來(lái)公開，這就有點(diǎn)像搞零售的人不愿意告訴別人倉(cāng)庫(kù)在哪兒。但是如果能夠跟蹤乘客信息，將會(huì)給每一個(gè)人帶來(lái)便利。舉例來(lái)說(shuō)，如果知道了腳步的分布情況，和移動(dòng)情況，就可以優(yōu)化艙門的位置。這不止可以提高機(jī)場(chǎng)的容量，還可以提高機(jī)場(chǎng)免稅商品的零售收入。而實(shí)現(xiàn)的前提條件，就是所有的數(shù)據(jù)要整合到一起。

其次，如何分配利潤(rùn)并且均攤成本，不同的機(jī)構(gòu)分享數(shù)據(jù)的目的總是不同的。航空公司需要的是更快的登機(jī)速度——這可以通過縮短登機(jī)距離來(lái)實(shí)現(xiàn)。但是機(jī)場(chǎng)商店則希望增加距離來(lái)提高機(jī)場(chǎng)商品的銷售。機(jī)場(chǎng)可能比較傾向于設(shè)施的便利性，但是同時(shí)也會(huì)要求靈活性，以便有什么突發(fā)事件后能夠快速恢復(fù)原狀。這些合起來(lái)想找到一個(gè)解決辦法，所有的參與其中的各方都各取所需，并不是一個(gè)簡(jiǎn)單的任務(wù)。這需要一定程度的密切配合與信任，不容摻假。

最后，監(jiān)管限制?；A(chǔ)設(shè)施在某種程度上，是天然的壟斷行業(yè)。政府在其中扮演了無(wú)可取代的作用，確保運(yùn)作的公平與低成本，并且也是唯一有可能收集并使用這些數(shù)據(jù)的，政府代表了公信力。但是這一切的前提是相關(guān)部門必須首先要被說(shuō)服，接下來(lái)還必須說(shuō)明什么樣的數(shù)據(jù)會(huì)被采集，如何使用，并且從這些數(shù)據(jù)的有效使用中最終的好處是什么。

谷歌預(yù)測(cè)流感的事例同樣存疑，大數(shù)據(jù)概念通常意味著所有數(shù)據(jù)的毫無(wú)主觀色彩的一般性。但是，不能摻雜人為因素在實(shí)際操作過程中，幾乎是不可能實(shí)現(xiàn)的，人在證明某樣?xùn)|西的時(shí)候往往帶有一定的目的性，而且完全脫離了人為假設(shè)的試驗(yàn)本身也是不可想象的，最終面對(duì)的只是一堆毫無(wú)意義的數(shù)據(jù)垃圾。