這一新工具提供了認(rèn)識和解決問題的新機(jī)遇和手段，但它不是能治百病的萬能藥，也不能取代傳統(tǒng)統(tǒng)計學(xué)和數(shù)據(jù)分析

　　張小彥|文

何謂大數(shù)據(jù)？

大數(shù)據(jù)是指互聯(lián)網(wǎng)時代數(shù)碼化的數(shù)據(jù)超高速增長的現(xiàn)象。數(shù)據(jù)大只是量的概念，而“數(shù)碼化”是質(zhì)的變化。數(shù)碼化數(shù)據(jù)可以用電腦高速處理。數(shù)碼相機(jī)取代了膠卷相機(jī)就是因為它可以實時地用電腦芯片處理數(shù)據(jù)而生成照片和映像。這種變革是劃時代的，它改變了一個產(chǎn)業(yè)。

數(shù)碼化的數(shù)據(jù)除了量大（Volume）以外，它積累的速度（Velocity）更是驚人。積累的方式已不是過去的批量式而是源源不斷的數(shù)據(jù)流。數(shù)據(jù)的產(chǎn)生也是多源化（Variety）的。采集手段包括手機(jī)、傳感器、電腦、掃描器、監(jiān)測儀等。數(shù)據(jù)形態(tài)包括數(shù)字、文字、聲音、照片、影視等。這種從現(xiàn)實生活中產(chǎn)生的實時數(shù)據(jù)具有很大的噪音（Voracity）。既有傳統(tǒng)的有結(jié)構(gòu)數(shù)據(jù)，更有大量半結(jié)構(gòu)和無結(jié)構(gòu)數(shù)據(jù)。

大數(shù)據(jù)為何重要？

不管你承認(rèn)與否，大數(shù)據(jù)已成為現(xiàn)代生活的現(xiàn)實，而且在改變著我們的思維和行為方式。當(dāng)你在互聯(lián)網(wǎng)上購買一本書時，你會同時收到網(wǎng)站給你推薦的另幾本書。這就是供應(yīng)商在背后應(yīng)用大數(shù)據(jù)的方法對其他成千上萬購買同一本書的群體進(jìn)行比較分析后的結(jié)果。被推薦的書正是該群體最常買的相關(guān)書籍。

大數(shù)據(jù)的處理技術(shù)使我們能做過去認(rèn)為做不到的事情。中國人的治學(xué)境界是要“破萬卷書，行萬里路”。今天用電腦“看”數(shù)碼化的書，破萬卷書是輕而一舉的事。

大數(shù)據(jù)實時處理多媒體、多渠道提供的數(shù)碼化數(shù)據(jù)的能力正在改變我們的生活。正在興起的遠(yuǎn)程醫(yī)療就是一例。在病人家中安裝監(jiān)測儀定時采集醫(yī)療數(shù)據(jù)，病人用智能手機(jī)自我檢查的結(jié)果等數(shù)據(jù)可以實時地傳送給醫(yī)院。醫(yī)護(hù)人員可根據(jù)實時電子病歷進(jìn)行診斷、治療和護(hù)理。這些不斷積累的電子病歷又經(jīng)過數(shù)據(jù)挖掘而產(chǎn)生新的信息和智能，促進(jìn)醫(yī)護(hù)服務(wù)質(zhì)量的改進(jìn)和提高。

大數(shù)據(jù)對傳統(tǒng)統(tǒng)計學(xué)提出了挑戰(zhàn)的同時也創(chuàng)造了機(jī)遇。以概率為基礎(chǔ)的抽樣統(tǒng)計的理念是以盡可能 小的隨機(jī)樣本來推測總體的狀態(tài)和行為。我們必須先設(shè)計調(diào)查問卷，再進(jìn)行數(shù)據(jù)采集、清理、分析以形成報告。這個過程很長，數(shù)據(jù)采集費用高， 而能回答的問題又受問卷的限制。這就產(chǎn)生了抽樣統(tǒng)計的不治之癥：慢、少、貴。即使行政統(tǒng)計，也都是用預(yù)制表格采集有結(jié)構(gòu)數(shù)據(jù)。大數(shù)據(jù)的理念是對現(xiàn)代生活中通過多種渠道和手段源源不斷得到的半結(jié)構(gòu)、無結(jié)構(gòu)的數(shù)碼化的數(shù)據(jù)進(jìn)行處理、挖掘和分析而產(chǎn)生信息。它是實時或接近實時的數(shù)據(jù)處理，尋找的是相關(guān)性而不是因果性，回答的問題不受問卷和表格的限制。

如果說抽樣統(tǒng)計和行政統(tǒng)計是統(tǒng)計1.0，我們可以把包括大數(shù)據(jù)的統(tǒng)計研究叫做統(tǒng)計2.0。統(tǒng)計1.0的數(shù)據(jù)是有結(jié)構(gòu)的樣本和行政數(shù)據(jù)。而統(tǒng)計2.0的數(shù)據(jù)還要加上無結(jié)構(gòu)或半結(jié)構(gòu)的、從現(xiàn)實生活中通過多種渠道獲得的數(shù)碼化數(shù)據(jù)。從這個意義上講，大數(shù)據(jù)為解決傳統(tǒng)統(tǒng)計“慢、少、貴”的頑癥提供了新的可能性。

大數(shù)據(jù)與現(xiàn)代信息技術(shù)

近年來信息技術(shù)的快速發(fā)展促進(jìn)了大數(shù)據(jù)時代的到來。

首先，海量數(shù)據(jù)的高速處理必須解決傳統(tǒng)數(shù)據(jù)處理的瓶頸問題：數(shù)據(jù)庫需要一個一個排起隊來處理。搜索一個數(shù)據(jù)庫可以瞬時完成，但搜索50個，上百個數(shù)據(jù)庫，即使再快的電腦也需很長時間。網(wǎng)上搜索引擎巨頭公司如雅虎（Yahoo）和谷歌（Google）即率先研發(fā)應(yīng)用以Hadoop為代表的數(shù)據(jù)分散組合處理技術(shù)。這種技術(shù)的核心理念是把搜索50個數(shù)據(jù)庫的任務(wù)分散到50臺電腦服務(wù)器上同時進(jìn)行，然后把所有搜索結(jié)果組合后反饋給用戶，大大加快了數(shù)據(jù)處理速度。

第二，由于大數(shù)據(jù)處理（如Hadoop）技術(shù)需要大量的硬件投資和專業(yè)人員的維護(hù)，大部分公司和政府部門都無力承擔(dān)其費用。云計算使得資源共享成為可能，因而大大降低了大數(shù)據(jù)技術(shù)應(yīng)用的成本，推動了大數(shù)據(jù)發(fā)展的進(jìn)程。

第三，大數(shù)據(jù)處理過程中需要組合多源數(shù)據(jù)。而我們知道數(shù)據(jù)庫有多種（如：Oracle， SQL， 等），它們之間在數(shù)據(jù)結(jié)構(gòu)、定義等各方面是不匹配的。近年來以XML語言為基礎(chǔ)的數(shù)據(jù)整合技術(shù)（Data Mashup）的發(fā)展和成熟使實時的網(wǎng)上現(xiàn)場多源數(shù)據(jù)整合成為可能，為大數(shù)據(jù)時代的到來掃除了一個障礙。

第四，海量數(shù)據(jù)處理和分析的結(jié)果常常是分散和雜亂的。如何使數(shù)據(jù)分析結(jié)果變成簡明易懂的信息是大數(shù)據(jù)產(chǎn)生價值的關(guān)鍵。近年來方興未艾的數(shù)據(jù)可視化技術(shù)（Data Visualization）上的創(chuàng)新和發(fā)展使以數(shù)據(jù)為基礎(chǔ)的，實時的智能決策支持成為可能，為大數(shù)據(jù)時代開了綠燈。

谷歌、亞馬遜、沃爾瑪、等大公司在應(yīng)用大數(shù)據(jù)獲得商業(yè)利益上取得了成功。這些公司的共同點是自己擁有數(shù)據(jù)而且起步早。由于前一段大數(shù)據(jù)熱，為大數(shù)據(jù)處理研發(fā)工具的一批新公司也獲得了一定的成功。以提供大數(shù)據(jù)分析服務(wù)為目標(biāo)的公司出現(xiàn)了一大批，但成功的很少。美國各級政府自奧巴馬就任以來在開放數(shù)據(jù)方面取得很大進(jìn)展，但大多是行政數(shù)據(jù)，大數(shù)據(jù)應(yīng)用的成功例子是鳳毛麟角。

大數(shù)據(jù)高端分析人才（Data Scientist – 數(shù)據(jù)科學(xué)家）短缺。美國很多大學(xué)已開始設(shè)置數(shù)據(jù)科學(xué)家的課程和學(xué)位。傳統(tǒng)統(tǒng)計學(xué)家很難接受大數(shù)據(jù)的新理念和掌握新的分析手段和技能。

由于缺少成功的分析模式，海量數(shù)據(jù)不能很快產(chǎn)生商業(yè)價值，對大數(shù)據(jù)產(chǎn)業(yè)的投資迅速降溫。

保護(hù)個人隱私和權(quán)益仍是一個令人困惑的大問題，因為它涉及到道德、法律、和信息技術(shù)等多方面。

大數(shù)據(jù)的應(yīng)用上也存在著很多潛在問題。大數(shù)據(jù)可以揭示大量相關(guān)性但很難確定那個是有意義的。一旦計算方法暴露，數(shù)據(jù)造假很容易。網(wǎng)絡(luò)數(shù)據(jù)的回聲效應(yīng)很強(qiáng)，很容易引起以訛傳訛使錯誤信息快速升級和傳播。用數(shù)據(jù)分析的方法把復(fù)雜的問題歸結(jié)于一個簡單的數(shù)字常常會產(chǎn)生誤導(dǎo)的結(jié)論（如：計算特定字詞出現(xiàn)的次數(shù)來確定某人或事件的歷史地位）。在數(shù)據(jù)整合方面的挑戰(zhàn)更大。商場如戰(zhàn)場，企業(yè)之間都要保護(hù)自己的數(shù)據(jù)，數(shù)據(jù)共享幾乎不可能。政府部門之間也因責(zé)、權(quán)、利上的沖突，以鄰為壑，各自把持自己的數(shù)據(jù)。這不是技術(shù)問題，而是利益、政治、政策、法律和道德問題。

結(jié)語

大數(shù)據(jù)代表了信息時代發(fā)展的一個新趨勢，其重要性和影響力不可低估。這一新工具為我們提供了認(rèn)識和解決問題的新機(jī)遇和手段。但它不是能治百病的萬能藥，也不能取代傳統(tǒng)統(tǒng)計學(xué)和數(shù)據(jù)分析。比如，大數(shù)據(jù)可以對海量數(shù)據(jù)進(jìn)行實時處理而發(fā)現(xiàn)大量的相關(guān)性但不能確定哪個相關(guān)性是最有意義的。而在科學(xué)研究和智能決策的過程中， 一個可確定的因果關(guān)系比多個不可確定的相關(guān)性關(guān)系更重要和有意義。如果說抽樣和行政統(tǒng)計（小數(shù)據(jù)）是點殺步槍，大數(shù)據(jù)則是掃射的機(jī)關(guān)槍。明智的指揮員知道武器的性能和特點并能實行有效的火力配置去贏得戰(zhàn)斗的勝利。