對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行分析能夠幫助我們掌握隱藏模式、客戶偏好、未知關(guān)聯(lián)性、市場(chǎng)趨勢(shì)以及其它極具價(jià)值的業(yè)務(wù)信息。在此基礎(chǔ)之上，企業(yè)能夠?qū)崿F(xiàn)成本削減、促進(jìn)決策制定并提供更多有針對(duì)性的產(chǎn)品與服務(wù)。而在今天的文章中，我們將共享了解2016年內(nèi)出現(xiàn)的幾項(xiàng)大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)。

Apache Spark

Apache Spark是一套卓越的開(kāi)源處理引擎，專門面向復(fù)雜分析、高速處理與易用性需求而打造。蕻為程序員們提供立足于數(shù)據(jù)結(jié)構(gòu)之上的應(yīng)用程序編程接口，而這套數(shù)據(jù)結(jié)構(gòu)則被稱為彈性分布式數(shù)據(jù)集，其屬于以容錯(cuò)方式分布于設(shè)備集群之上的多套只讀數(shù)據(jù)集。

彈性分布式數(shù)據(jù)集(簡(jiǎn)稱RDD)有助于實(shí)現(xiàn)交互式算法。此算法會(huì)多次訪問(wèn)該數(shù)據(jù)集，從而實(shí)現(xiàn)交互式或者說(shuō)明性數(shù)據(jù)分析。利用這類交互式算法作為機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練機(jī)制正是Apache Spark項(xiàng)目的開(kāi)發(fā)初衷。在它的幫助下，樣本數(shù)據(jù)分析已經(jīng)成為一項(xiàng)相當(dāng)簡(jiǎn)單的工作。

下面讓我們看看Apache Spark在大數(shù)據(jù)領(lǐng)域脫穎而出的重要原因。

處理速度極快

在大數(shù)據(jù)處理工作中，速度一直非常重要。Apache Spark能夠在內(nèi)存內(nèi)將Hadoop集群應(yīng)用的運(yùn)行速度提升100倍，磁盤之上亦能夠提升10倍。Spark通過(guò)減少對(duì)磁盤的讀取或?qū)懭肓繉?shí)現(xiàn)這一效果。中間處理數(shù)據(jù)被存儲(chǔ)在內(nèi)存當(dāng)中。

易于使用且支持多種語(yǔ)言

Sparks允許大家快速利用Java、Scala甚至Python為其編寫應(yīng)用。另外，Spark本身還內(nèi)置有80多項(xiàng)高級(jí)操作指令。

支持復(fù)雜分析

Apache Sparks支持復(fù)雜分析、數(shù)據(jù)流以及SQL查詢。另外，用戶也可以將各項(xiàng)功能全部并入同一工作流程之內(nèi)。

實(shí)時(shí)流處理

Apache Sparks能夠輕松處理實(shí)時(shí)數(shù)據(jù)流。它可在實(shí)時(shí)操作數(shù)據(jù)的同時(shí)，使用Spark Streaming。

能夠與Hadoop及現(xiàn)有Hadoop數(shù)據(jù)相集成

Sparks能夠獨(dú)立執(zhí)行，亦可結(jié)合Hadoop 2的YARN集群管理器并讀取Hadoop數(shù)據(jù)。這意味著Spark適用于遷移任何現(xiàn)有純Hadoop應(yīng)用。

基于Hadoop的多核心服務(wù)器

企業(yè)正逐步由昂貴的大型機(jī)與企業(yè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)轉(zhuǎn)向Hadoop多核心服務(wù)器。Hadoop是一套基于Java的開(kāi)源編程框架，能夠在分布式計(jì)算環(huán)境下支持對(duì)超大規(guī)模數(shù)據(jù)集的處理與存儲(chǔ)。

低成本存儲(chǔ)與數(shù)據(jù)歸檔

Hadoop可用于對(duì)點(diǎn)擊流、交易、科學(xué)、機(jī)器、社交媒體以及傳感器等生成的數(shù)據(jù)進(jìn)行存儲(chǔ)與整合，這主要是受到商用硬件成本不斷降低的推動(dòng)。低成本存儲(chǔ)方案使我們能夠暫時(shí)保留似乎并不重要的信息，以待稍后進(jìn)行分析。

以沙箱方式進(jìn)行發(fā)現(xiàn)與分析

Hadoop能夠處理各種不同類型與格式的數(shù)據(jù)，從而運(yùn)行多種分析算法。Hadoop上的大數(shù)據(jù)分析機(jī)制幫助企業(yè)實(shí)現(xiàn)高效運(yùn)營(yíng)、機(jī)遇發(fā)現(xiàn)并借此提升自身競(jìng)爭(zhēng)優(yōu)勢(shì)。在這方面，沙箱方案則可顯著降低實(shí)現(xiàn)成本。

數(shù)據(jù)湖

利用數(shù)據(jù)湖，數(shù)據(jù)能夠以其原始或者精確格式實(shí)現(xiàn)存儲(chǔ)。如此一來(lái)，數(shù)據(jù)科學(xué)家與分析師將能夠利用原始或者精確數(shù)據(jù)視圖進(jìn)行發(fā)現(xiàn)與分析工作。

補(bǔ)充性數(shù)據(jù)倉(cāng)庫(kù)

Hadoop與數(shù)據(jù)倉(cāng)庫(kù)環(huán)境并行存在，而部分?jǐn)?shù)據(jù)集亦可從數(shù)據(jù)倉(cāng)庫(kù)中轉(zhuǎn)移至Hadoop或者其它能夠直接為Hadoop所用的數(shù)據(jù)平臺(tái)之上。由于各企業(yè)的實(shí)際業(yè)務(wù)目標(biāo)不同，因此其采取的數(shù)據(jù)存儲(chǔ)及處理模式亦有所區(qū)別。

物聯(lián)網(wǎng)與Hadoop

物聯(lián)網(wǎng)的核心在于龐大數(shù)據(jù)流。Hadoop常被用于處理此類數(shù)據(jù)的存儲(chǔ)工作。巨大的存儲(chǔ)與處理能力使得Hadoop被作為沙箱環(huán)境，從而發(fā)現(xiàn)并監(jiān)控潛在模式以建立規(guī)范性指令。

預(yù)測(cè)分析與物聯(lián)網(wǎng)

利用數(shù)據(jù)、統(tǒng)計(jì)算法與機(jī)器學(xué)習(xí)技術(shù)，我們有可能根據(jù)歷史數(shù)據(jù)判斷未來(lái)的事態(tài)走向，這正是預(yù)測(cè)分析的基本思路。預(yù)測(cè)分析可用于進(jìn)行欺詐活動(dòng)檢測(cè)、營(yíng)銷優(yōu)化、運(yùn)營(yíng)改進(jìn)以及風(fēng)險(xiǎn)控制等工作。

物聯(lián)網(wǎng)是指能夠以開(kāi)/關(guān)控制方式接入互聯(lián)網(wǎng)的小型裝置。物聯(lián)網(wǎng)市場(chǎng)的整體規(guī)模正在快速增長(zhǎng)，預(yù)計(jì)未來(lái)20年當(dāng)中物聯(lián)網(wǎng)能夠?yàn)槿騁DP貢獻(xiàn)10到15萬(wàn)億美元。

2016年年內(nèi)，大數(shù)據(jù)的上述發(fā)展趨勢(shì)已經(jīng)基本明確，且通過(guò)一系列實(shí)踐證明了其在降低風(fēng)險(xiǎn)、改進(jìn)運(yùn)營(yíng)以及檢測(cè)欺詐方面的良好功效。而將實(shí)時(shí)數(shù)據(jù)源與大規(guī)模歷史數(shù)據(jù)相結(jié)合以建立起的洞察能力，則正是預(yù)測(cè)分析方案的實(shí)現(xiàn)基礎(chǔ)。毫無(wú)疑問(wèn)，Spark、Hadoop以及物聯(lián)網(wǎng)將引領(lǐng)新的大數(shù)據(jù)時(shí)代。