通過部署和使用大數(shù)據(jù)分析工具，分析流程可以幫助公司提高運營效率，產(chǎn)生新的利潤，獲得競爭優(yōu)勢。企業(yè)可選擇的數(shù)據(jù)分析應用程序有很多。比如描述性分析善于描述已發(fā)生的事情，揭示因果關系。描述性分析主要輸出查詢、報表和歷史數(shù)據(jù)可視化。

另外，更復雜的預測模型和規(guī)范模型可以幫助企業(yè)獲得商機，做出影響市場戰(zhàn)略，提升客戶體驗，避免設備故障的決定。在預測分析中，歷史數(shù)據(jù)集

有了預測分析，歷史數(shù)據(jù)集可用于分析未來的狀況和行為，規(guī)范分析承接預測分析，建議決策者采取某種行為。在很多情況下，先進的分析程序由于處理和數(shù)據(jù)存儲的需求過高，限制了它的發(fā)展，但這些缺點也不是不可克服的。大數(shù)據(jù)平臺和大數(shù)據(jù)分析工具的流行，讓預測分析和規(guī)范分析也能通過擴展，處理來自廣泛數(shù)據(jù)源的大量數(shù)據(jù)集。

大數(shù)據(jù)分析意味著什么?

本質(zhì)上，大數(shù)據(jù)分析工具是能夠支持運行在大數(shù)據(jù)計算平臺上的預測分析應用程序和規(guī)范分析應用程序的軟件產(chǎn)品。一般我們所說的都是基于商業(yè)服務器集群，可擴展的分布式存儲和技術的并行處理系統(tǒng)，比如Hadoop和NoSQL數(shù)據(jù)庫。這些工具可以幫助用戶快速分析大規(guī)模數(shù)據(jù)，有時能做到實時分析。

另外，大數(shù)據(jù)分析工具提供了使用數(shù)據(jù)挖掘技術分析數(shù)據(jù)、發(fā)現(xiàn)類型、使用分析模型的框架，來認識和應對特定的數(shù)據(jù)類型，提高業(yè)務流程。例如，大量的運輸數(shù)據(jù)，交通數(shù)據(jù)流，天氣數(shù)據(jù)和供應商歷史數(shù)據(jù)都可以用不同的數(shù)據(jù)模型來進行分析，用于優(yōu)化特定地域內(nèi)的運輸線路，降低送貨延誤或損壞貨物的風險。

大數(shù)據(jù)分析工具可以消化廣泛的數(shù)據(jù)種類，包括結(jié)構化數(shù)據(jù)，比如關系型數(shù)據(jù)庫中存儲的交易數(shù)據(jù)，半結(jié)構化數(shù)據(jù)，比如Web服務器或移動應用程序文件，和非結(jié)構化數(shù)據(jù)，比如文本文件、文檔、電子郵件、文本信息和社交媒體信息等。

大數(shù)據(jù)和高級分析工具

下面來介紹一下大數(shù)據(jù)分析的廠商，很多廠商提供支持分析流程的大數(shù)據(jù)平臺和工具，比如數(shù)據(jù)集成、數(shù)據(jù)準備和其他類型的數(shù)據(jù)管理軟件。我們關注能夠滿足下列要求的工具：

能應用高級的分析算法和模型提供分析

以大數(shù)據(jù)平臺為引擎，比如Hadoop或其他高性能分析系統(tǒng)

能夠適用于多種數(shù)據(jù)源的結(jié)構化和非結(jié)構化數(shù)據(jù)

隨著用于分析模型的數(shù)據(jù)的增加，能夠?qū)崿F(xiàn)擴展

分析模型可以，或者已經(jīng)集成到數(shù)據(jù)可視化工具

能夠和其他技術集成

另外，工具必須包含必備的一些功能，包括集成算法和支持數(shù)據(jù)挖掘技術，包括(但不限于)：

集群和細分：把一個大的實體分割擁有共同特征的小團體。比如分析收集來的客戶，確定更細分的目標市場。

分類：把數(shù)據(jù)組織進預定類別。比如根據(jù)細分模型決定客戶改如何進行分類。

恢復：用于恢復從屬變量和一個及一個以上獨立變量之間的關系，幫助決定從屬變量如何根據(jù)獨立變量的變化而變化。比如使用地理數(shù)據(jù)、凈收入、夏日平均溫度和占地面積預測財產(chǎn)的未來走向。

聯(lián)合和項目集挖掘：在大數(shù)據(jù)集中尋找變量之間的相關關系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶細分、關系和投訴類型的更精準的信息。

相似性和聯(lián)系：用于非直接的集群算法。相似性積分算法可用于決定備用集群中實體的相似性。

神經(jīng)網(wǎng)絡：用于機器學習的非直接分析。

這只是預測分析和規(guī)范分析的子集。另外，不同的供應商很可能提供不同的算法支持不同的方式。

高級分析市場

高級分析工具市場隨著時間發(fā)展不斷進步，不同成熟度的工具類型都可選擇。有些來自歷史悠久的傳統(tǒng)廠商，比如IBM、Oracle和SAS。也有廠商通過收購有一定歷史的工具，增強實力，比如微軟、戴爾、Teradata 和SAP。

一些小公司也提供大數(shù)據(jù)分析產(chǎn)品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時公司會開發(fā)自己的算法。其他采用了開源算法R語言，提供預測模型和規(guī)范模型能力，或使用開源Weka項目軟件。

第三類產(chǎn)品就是開源技術。之前提到的R語言就是一個例子，還有Hadoop下的Mahout軟件，以及Weka。

在一些情況下，尤其是大廠商，大數(shù)據(jù)工具往往被打包到大數(shù)據(jù)套裝中。其他情況下，大數(shù)據(jù)工具會單獨出售。在后者，客戶需要自己將工具和已有的大數(shù)據(jù)平臺集成起來。大多數(shù)的工具都提供虛擬化界面指導分析流程，比如數(shù)據(jù)挖掘與發(fā)現(xiàn)分析，模型的判斷和積分，與運營環(huán)境集成。在大多數(shù)情況下，供應商都提供幫助客戶搭建和運行軟件的指導和服務。

誰在使用大數(shù)據(jù)和高級分析工具?

企業(yè)里的一些人著眼于探索設計新型預測性模型，另一些人關注將這些模型嵌入他們的商業(yè)流程中，還有一些人想要理解這些工具會給他們的業(yè)務帶來什么整體變化。

數(shù)據(jù)科學家們，他們想使用更復雜的數(shù)據(jù)類型實現(xiàn)更復雜的分析，熟知如何設計，如何應用基礎模型來評估內(nèi)在傾向性或偏差。

業(yè)務分析師，他們更像是隨性的用戶，想要用數(shù)據(jù)來實現(xiàn)主動數(shù)據(jù)發(fā)現(xiàn)，或者實現(xiàn)現(xiàn)有信息和部分預測分析的可視化。

企業(yè)經(jīng)理，他們想要了解模型和結(jié)論。

IT開發(fā)人員，他們?yōu)橐陨纤蓄愑脩籼峁┲С帧?/p>

所有這些角色通常都會在模型發(fā)展生命周期中共同合作。數(shù)據(jù)科學家將一套大數(shù)據(jù)集置于無目標分析的條件下，然后觀察那種模式符合商業(yè)利益。在與業(yè)務分析師一起檢查模型工作方式，并評估出發(fā)現(xiàn)的每個模型或模式對于企業(yè)存在何種潛在積極效應，企業(yè)經(jīng)理和IT小組這個時候就需要介入，來將模型嵌入或?qū)⒛Ｐ驼线M商業(yè)流程，或者圍繞該模型設計新流程。

但是從市場角度來說，考慮環(huán)繞大數(shù)據(jù)分析的業(yè)務種類是很有趣的。。許多大數(shù)據(jù)技術的早期用戶都是網(wǎng)絡公司(例如，Google，Yahoo，F(xiàn)acebook，LinkedIn和Netflix)或者分析服務提供商。這些公司都依賴運行性和分析型應用，這些應用需要引入高速數(shù)據(jù)流來進行處理、分析然后將結(jié)果反饋以持續(xù)改善表現(xiàn)。

在更為主流的產(chǎn)業(yè)中，對于數(shù)據(jù)擴展的胃口也越來越大，大數(shù)據(jù)分析也在這些更為普遍的企業(yè)人口中找到了位置。在過去，大規(guī)模分析平臺的成本因素使得只有超大型公司才能實現(xiàn)。但是，通用型主導的大數(shù)據(jù)平臺越來越平易近人(如那些通過亞馬遜網(wǎng)頁服務實現(xiàn)的)，而能實現(xiàn)大數(shù)據(jù)具象呈現(xiàn)的平臺也越來越多，像Hadoop本地一樣不需要大量投資，降低的準入門檻。此外，開放數(shù)據(jù)集和社交媒體渠道提供的救火管數(shù)據(jù)供給的可獲取程度為與內(nèi)部數(shù)據(jù)集相混合的大規(guī)模數(shù)據(jù)分析準備了原材料。

大型企業(yè)可能還是會選擇高端大數(shù)據(jù)分析工具，但是低成本替代品在更加符合成本效益的平臺上運作，使得中小企業(yè)得以評估和啟動大數(shù)據(jù)分析恒旭，并取得預期的商業(yè)發(fā)展成果。

現(xiàn)在我們已經(jīng)分析過了不同類型的工具和他們的用戶，下一步就是要確定怎樣用這些工具為公司謀利?？匆豢磳τ诖髷?shù)據(jù)分析不同案例下的使用，你就能開始理解如何權衡一般大數(shù)據(jù)分析能力來創(chuàng)造和增加價值。