由于資訊化應用的普及，導致數(shù)據(jù)量的規(guī)模已經(jīng)龐大到無法透過人工，在合理時間內(nèi)達到擷取、管理、處理、并整理成為人類所能解讀的資訊，根據(jù)IDC統(tǒng)計，數(shù)位世界的資訊容量將會從2009年的0.8ZB，在2020年成長到35ZB，等于每15秒就成長1PB，年復合成長率高達40%，而且這些數(shù)據(jù)數(shù)據(jù)不僅巨大而且不同，如何優(yōu)化數(shù)據(jù)，方便且容易的搜尋到所需要的資訊，也變得更加困難。

因此，如何將數(shù)據(jù)采礦(Data Mining)的技術(shù)有效的應用在大數(shù)據(jù)(Big Data)中，快速萃取出未知且有價值的潛在資訊，進而找出市場趨勢，創(chuàng)造新的商機，會是未來企業(yè)競爭中一項重要的優(yōu)勢與目標。

Google利用運算及線上查詢的優(yōu)勢，結(jié)合大數(shù)據(jù)分析，可提供更快速而精確的預測。

　　大數(shù)據(jù)分析可能會因此改變我們理解及組織社會的方式。

傳統(tǒng)數(shù)據(jù)分析方式無法適用于大數(shù)據(jù)

值得注意的是，數(shù)據(jù)采礦的相關(guān)技術(shù)及應用，早在90年代即已提出，無論是方法抑或是工具都已經(jīng)相當成熟且完善，但過去數(shù)據(jù)采礦的工具與模組，往往是以單一機器的環(huán)境為對象，而非今日的分散式系統(tǒng)或云端運算環(huán)境。事實上，許多在單一的機器上很容易做到的事情，在分散式系統(tǒng)上會變得很難很復雜且困難。

因此，想要分析大數(shù)據(jù)，不能只是直接援用現(xiàn)有的數(shù)據(jù)采礦技術(shù)及應用，因為大數(shù)據(jù)分析所需要的數(shù)據(jù)庫管理系統(tǒng)，往往必須在數(shù)十、數(shù)百甚至數(shù)千臺伺服器上同時運行。根據(jù)KDnuggets網(wǎng)站調(diào)查，數(shù)據(jù)采礦分析使用平均約1～10GB的數(shù)據(jù)大小，與動輒數(shù)據(jù)量超過TB等級的大數(shù)據(jù)，差異非常的大。故數(shù)據(jù)探勘以往所能處理的數(shù)據(jù)，充其量只能稱為「大」數(shù)據(jù)，而非「巨量」數(shù)據(jù)。

除了量的變化外，目前的數(shù)據(jù)類型，也已經(jīng)超越傳統(tǒng)數(shù)據(jù)庫或現(xiàn)有數(shù)據(jù)管理工具能夠處理的范圍。因為在爆炸性的數(shù)據(jù)增長過程中，結(jié)構(gòu)性數(shù)據(jù)的成長相當緩慢，反觀非結(jié)構(gòu)性的數(shù)據(jù)，包括視訊、網(wǎng)頁、智慧型手機、消費數(shù)據(jù)、位置數(shù)據(jù)、財務服務數(shù)據(jù)，以及社會媒體數(shù)據(jù)等。

而目前的數(shù)據(jù)庫解決方案，主要是用來設計儲存結(jié)構(gòu)化數(shù)據(jù)，除了只能針對已知問題的回答速度進行優(yōu)化外，架構(gòu)本身往往就決定了內(nèi)容形式，對于新數(shù)據(jù)型態(tài)與新問題，都有適應上的困難，加上擴展成本高昂，企業(yè)勢必得尋求不同以往的數(shù)據(jù)處理解決方案，才能面對爆炸性的數(shù)據(jù)增長。

大數(shù)據(jù)分析能力的四大原則

歷經(jīng)過去幾年在技術(shù)上與觀念上的進展，大數(shù)據(jù)分析已經(jīng)成為公私部門組織的競爭利器之一，甚至逐漸形成了跨越統(tǒng)計、資訊科技、行政管理等領域的數(shù)據(jù)科學領域。

由于大數(shù)據(jù)的特性難以用傳統(tǒng)分析方法進行分析，必須用進階的技術(shù)和演算法來解讀、儲存、分析與管理，如何培育并善用兼具Volume(數(shù)據(jù)數(shù)據(jù)的大量)、Velocity(數(shù)據(jù)分析的時效)、Variety(數(shù)據(jù)格式的多樣)與Veracity(數(shù)據(jù)內(nèi)容的真實)所謂4V特質(zhì)的大數(shù)據(jù)分析能力，也逐漸成為跨越統(tǒng)計、資訊、與特定業(yè)務領域的共同議題。

如新型禽流感疫情在2009年開始快速蔓延時，美國疾病管制局(Centers for Disease Control;CDC)要求醫(yī)生必須通報新型流感的病例，但傳統(tǒng)的報送作業(yè)方式往往需要約兩個星期的時間，這樣的速度也會讓公共衛(wèi)生機構(gòu)錯失防疫的先機。

Google工程師曾在科學期刊Natural發(fā)表有關(guān)流感的研究指出，他們將Google每天300萬個與禽流感相關(guān)的搜尋關(guān)鍵字，與CDC從2007到2008年的實際禽流感染案例，透過數(shù)學演算法進行相關(guān)性分析比對，最後找出45個與實際發(fā)生禽流感案例有很強相關(guān)性的搜尋項目組合，只要在特定區(qū)域發(fā)現(xiàn)這些搜尋項目組合，發(fā)生禽流感的案例也會隨之增多。

Google利用運算及線上查詢的優(yōu)勢，提供更快速而精確的預測，協(xié)助公共衛(wèi)生機構(gòu)掌握疫情資訊，可見單單只有儲存數(shù)據(jù)量龐大是沒有任何用處的，因為數(shù)據(jù)并不會自己進行分析，想要從大量的資訊中得到價值，必須要找到新技術(shù)。

如位置訊息也是大數(shù)據(jù)分析一個非常重要的分析標的，大數(shù)據(jù)若能結(jié)合地理資訊系統(tǒng)，除了「人」的位置資訊以外，「物體」的位置也可以利用這類的裝置進行大量的蒐集，這些訊息也成為重要的分析數(shù)據(jù)，讓用戶的地理位置變成非常寶貴的數(shù)據(jù)。

亞馬遜(Amazon)在思考如何根據(jù)個別的消費習性，推薦特定的商品給消費者時，本來是用傳統(tǒng)的分析方法，直接從巨量的客戶數(shù)據(jù)中抽樣後，再分析客戶之間的相似度，但分析結(jié)果提供的建議卻很粗糙，如消費者只是購買一項嬰兒用品，系統(tǒng)卻只是推薦一大堆相類似產(chǎn)品。

亞馬遜後來意識到，系統(tǒng)不應該去比較客戶，而是要找出產(chǎn)品之間的關(guān)連，必須用到全部的數(shù)據(jù)，并在事前完成計算，才能夠在客戶購物時，很快地給出適當建議，結(jié)果也比先前成功，如喜愛A作者的讀者，未必會喜歡A作者全部的書，但經(jīng)由關(guān)連分析後，卻可能會發(fā)現(xiàn)喜愛A作者的人，多半同時會喜歡B作者的書，這樣的大數(shù)據(jù)交叉分析，才會帶來更大的效益。

改變理解及組織社會的方式

雖然現(xiàn)在蒐集數(shù)據(jù)要比以前容易許多，但也因為數(shù)量前所未有的龐大，必須要找到一種大數(shù)據(jù)的分析方法，才能夠混和數(shù)據(jù)采礦過程，蒐集相關(guān)數(shù)據(jù)，進行相關(guān)分析，并找到真正可以操作的KPI，才會有很大的機會，找到分析標的的改善重點及方法，這也才是大數(shù)據(jù)分析應用的價值所在。

總上所述，大數(shù)據(jù)分析方法需要注意3個重點，并因此改變我們理解及組織社會的方式，第一大改變是能夠取得、分析的數(shù)據(jù)量大為增加，使用所有數(shù)據(jù)分析，而非抽樣篩選，可以讓我們清楚看見數(shù)據(jù)中最細致的地方;第二大改變是不再堅持一切都要做到精準，大數(shù)據(jù)分析雖可減少抽樣造成的誤差，仍必須對于測量上的誤差，給予一定程度的妥協(xié)，放棄百分之一百的精確;第三大改變是放下長久以來對于因果關(guān)系的堅持，而專注于發(fā)現(xiàn)事物的相關(guān)性，只找尋事情「正是如此」的答案，而不一定要了解某件事「為何如此」。

由此可知，對一個組織而言，大數(shù)據(jù)分析的最重要價值有二，其一是分析使用(analytical use)，透過大數(shù)據(jù)分析，揭露數(shù)據(jù)隱藏的洞見，如顧客之間的同儕影響、消費者的交易習慣以及社會及空間數(shù)據(jù)的關(guān)系，這些洞見在過去往往因為數(shù)據(jù)分析的成本太高而被忽視;其二是開發(fā)新產(chǎn)品，大數(shù)據(jù)分析可以即時的處理與分析數(shù)據(jù)，以發(fā)現(xiàn)新的需求而刺激服務或產(chǎn)品的創(chuàng)新。

原文鏈接：http://www.thebigdata.cn/YeJieDongTai/13700.html