自大數(shù)據(jù)進入了人們的視線之后，它便逐漸成為人們普遍關(guān)注的焦點。大數(shù)據(jù)講的是PB時代的科學，本質(zhì)上大數(shù)據(jù)的挑戰(zhàn)是PB時代的對科學的挑戰(zhàn)，更是對包括數(shù)據(jù)挖掘在內(nèi)的認知科學的挑戰(zhàn)。那么，大數(shù)據(jù)時代怎么做數(shù)據(jù)挖掘呢?

在現(xiàn)今時代人們通常所說的大數(shù)據(jù)主要包括三個來源：第一是自然界大數(shù)據(jù)，也就是地球上的自然環(huán)境，很大很大。第二是生命大數(shù)據(jù)。第三也是最重要的，則是人們關(guān)心的社交大數(shù)據(jù)。這些數(shù)據(jù)普遍存在于人們的手機、電腦等設備中。今天一個報告在3分鐘之內(nèi)就可能被全世界的人們所知道。

奧巴馬就職的社交場所，這么多面孔，每一個面孔下都有一個故事，每一個人后面都有大數(shù)據(jù)的支撐。人臉是數(shù)據(jù)安全的很重要的識別器，怎么把人臉識別清楚呢?人們想了很多辦法?，F(xiàn)在北京市有80萬個攝像頭，我們每天都在攝像頭的監(jiān)督下開車、購物。我們可以利用攝像頭做身份認證、年齡識別、情感計算、親緣發(fā)現(xiàn)、心理識別、地區(qū)識別、民族識別。這種流媒體主要的形態(tài)是非結(jié)構(gòu)化的，特征之間的關(guān)聯(lián)關(guān)系、設備算法的準確率等等，都嚴重地制約著大數(shù)據(jù)人臉挖掘的進度。如何能從這些海量數(shù)據(jù)中利用識別算法提取出所需要的特征屬性，并理清特征之間的關(guān)系都是現(xiàn)在所面臨的問題。

技術(shù)推動計算機發(fā)展

1936年天才數(shù)學家圖靈提出圖靈模型，后來有計算機把圖靈模型轉(zhuǎn)化為物理計算機，這其中有三大塊：CPU、操作系統(tǒng)、內(nèi)存和外存，還有輸入和輸出。在計算機發(fā)展的頭30年里，我們投入最多的是CPU、操作系統(tǒng)、軟件、中間件以及應用軟件。當時人們側(cè)重于計算性能的提高，我們把這個時代叫做計算時代。

計算對軟件付出了很大的努力，尤其是高性能計算機。我們認為計算在前20年中起到了主導作用，它的標志速度就是摩爾速度。在這樣一個計算領(lǐng)先的時代當中，我們主要做的是結(jié)構(gòu)化數(shù)據(jù)的挖掘。關(guān)系數(shù)據(jù)庫之父埃德加在1970年提出一個關(guān)系模型，以關(guān)系代數(shù)為核心運算，用二維表形式表示實體和實體間的聯(lián)系。三四十年來，各行各業(yè)的數(shù)據(jù)庫和數(shù)據(jù)倉庫技術(shù)，以及從數(shù)據(jù)庫發(fā)現(xiàn)知識的數(shù)據(jù)挖掘成為巨大的信息產(chǎn)業(yè)。

關(guān)系代數(shù)是關(guān)系數(shù)據(jù)庫的形式化理論和約束，先有頂層設計和數(shù)據(jù)結(jié)構(gòu)，后填入清洗后的數(shù)據(jù)。數(shù)據(jù)圍繞結(jié)構(gòu)轉(zhuǎn)，數(shù)據(jù)圍繞程序轉(zhuǎn)。用戶無需關(guān)心數(shù)據(jù)的獲取、存儲、分析以及提取過程。通過數(shù)據(jù)挖掘，可以從數(shù)據(jù)庫中發(fā)現(xiàn)分類知識、關(guān)聯(lián)知識、時序知識、異常知識等等。

隨著數(shù)據(jù)庫產(chǎn)業(yè)的膨大，人們對數(shù)據(jù)庫已經(jīng)不太滿足了，于是把Databases說成大數(shù)據(jù)，這便遇到了兩個不可回避的挑戰(zhàn)，第一個挑戰(zhàn)是由于關(guān)系代數(shù)的形式化約束過于苛刻，無法表示現(xiàn)實數(shù)據(jù);第二個挑戰(zhàn)是隨著數(shù)據(jù)量的增大，關(guān)系代數(shù)運算性能急劇下降。在這個時候，我們的存儲技術(shù)得到了迅猛發(fā)展，人類進入了搜索時代。搜索因為存儲便宜了，存儲的速度大概每9個月翻一番，所以存儲帶動了技術(shù)的腳步，這種搜索時代經(jīng)過了20多年的發(fā)展，帶領(lǐng)我們進入了一個半結(jié)構(gòu)化數(shù)據(jù)挖掘時代。這個時代的代表人物就是萬維網(wǎng)之父家蒂姆·伯納斯—李，他提出了超文本思想，開發(fā)了世界上第一個Web服務器，于是我們可以從一臺服務器上檢索另一臺服務器的內(nèi)容，服務器在軟件的支持下可發(fā)布包括文本、表格、圖片、音視頻的碎片化超媒體信息。

因此，客戶端服務器結(jié)構(gòu)和云計算結(jié)構(gòu)蓬勃產(chǎn)生，這時已經(jīng)沒有了關(guān)于代數(shù)那樣嚴格的形式化約束，依靠的主要是規(guī)范、標準，所有媒體均以實體形式存在，甚至是軟件，實體通過超鏈接產(chǎn)生聯(lián)系。

形式化理論比關(guān)系代數(shù)寬松了許多，創(chuàng)建了靈活多樣的實體，這時候數(shù)據(jù)開始圍繞實體轉(zhuǎn)，實體圍繞鏈接轉(zhuǎn)。在云計算背景下，數(shù)據(jù)挖掘也可以看作是云計算環(huán)境下的搜索與個性化服務，不存在固定的查詢方式，也不會出現(xiàn)唯一、100%準確的查詢結(jié)果。

網(wǎng)絡化的大數(shù)據(jù)挖掘

隨著互聯(lián)網(wǎng)帶寬6個月翻一番的速度，人類進入了交互時代，交互帶動著計算和存儲的發(fā)展。

移動互聯(lián)網(wǎng)時代的大數(shù)據(jù)挖掘主要是網(wǎng)絡化環(huán)境下的非結(jié)構(gòu)化數(shù)據(jù)挖掘，這些數(shù)據(jù)形態(tài)反映的是鮮活的、碎片化的、異構(gòu)的、有情感的原生態(tài)數(shù)據(jù)。

非結(jié)構(gòu)化數(shù)據(jù)的特點是，它常常是低價值、強噪聲、異構(gòu)、冗余冰冷的數(shù)據(jù)，有很多數(shù)據(jù)放在存儲器里就沒再用過。數(shù)據(jù)的形式化約束越來越寬松，越來越接近互聯(lián)網(wǎng)文化、窗口文化和社區(qū)文化。

關(guān)注的對象也發(fā)生很大改變，挖掘關(guān)注的首先是小眾，只有滿足小眾挖掘需求，才談得上滿足更多小眾組成的大眾的需求，因此一個重要思想就是由下而上勝過由上而下的頂層設計，強調(diào)挖掘數(shù)據(jù)的真實性、及時性，要發(fā)現(xiàn)關(guān)聯(lián)、發(fā)現(xiàn)異常、發(fā)現(xiàn)趨勢，總之要發(fā)現(xiàn)價值。

當前，深度學習也是一種數(shù)據(jù)自適應簡約。如果我們在百度上用深度學習搜索一個人臉象素搜索，這么多人臉誰是誰?數(shù)據(jù)量急劇增加，各種媒體形態(tài)可隨意碎片化，組織結(jié)構(gòu)和挖掘程序要圍著數(shù)據(jù)轉(zhuǎn)，程序要碎片化，并可以隨時虛擬重組，挖掘常常是人機交互環(huán)境下不同社區(qū)的發(fā)現(xiàn)以及社區(qū)中形成的群體智能，在非結(jié)構(gòu)化數(shù)據(jù)挖掘中，會自然進行數(shù)據(jù)清洗，自然形成半結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)，以提高數(shù)據(jù)使用效率。

群體智能是一個最近說得很多的詞，我們曾經(jīng)在計算機上做一個圖靈測試，讓計算機區(qū)分哪些碼是人產(chǎn)生的，哪些是機器產(chǎn)生的，這是卡內(nèi)基美隆大學提出來的，在網(wǎng)絡購物、登錄網(wǎng)站、申請網(wǎng)站時都會碰到適配碼被使用。在此要提到第三個代表人物——路易斯，他提出用這個適配碼應用方式。

如果云計算支撐大數(shù)據(jù)挖掘要發(fā)現(xiàn)價值，那么我們認為云計算本來就是基于互聯(lián)網(wǎng)的大眾參與計算模式，其計算資源是動態(tài)的，可收縮的，被虛擬化的，而且以服務的方式提供。 產(chǎn)生擺脫了傳統(tǒng)的配置帶來的系統(tǒng)升級，更加簡潔、靈活多樣、個性化，手機、游戲機、數(shù)碼相機、電視機差別細微，出現(xiàn)了更多iCloud產(chǎn)品，界面人性化、個性化，都可成為大數(shù)據(jù)挖掘的終端。

挖掘員支撐各種各樣的大數(shù)據(jù)應用，如果我們有數(shù)據(jù)收集中心、存儲中心、計算中心、服務中心，一定要有數(shù)據(jù)挖掘中心，這樣一來，就可以實現(xiàn)支撐大數(shù)據(jù)的及時應用和價值的及時發(fā)現(xiàn)。

大數(shù)據(jù)標志一個新時代的到來，這個時代的特征不只是追求豐富的物質(zhì)資源，也不只是無所不在的互聯(lián)網(wǎng)帶來方便的多樣化的信息服務，同時還包含區(qū)別于物質(zhì)的數(shù)據(jù)資源的價值挖掘和價值轉(zhuǎn)換，虛擬世界的信息價值挖掘?qū)е赂泳_的控制物理世界的物質(zhì)和能量，以及由大數(shù)據(jù)挖掘帶來的精神和文化方面的嶄新現(xiàn)象。