NoSQL人氣高漲 Spark功不可沒

責(zé)任編輯:editor005

作者:Jack Vaughan

2016-05-26 14:20:06

摘自:TechTarget中國(guó)

近年來,由于NoSQL數(shù)據(jù)庫(kù)出現(xiàn)并用于處理大規(guī)模數(shù)據(jù)擴(kuò)展,在線事務(wù)處理技術(shù)不斷變化。同時(shí),隨著Hadoop和Spark的出現(xiàn),經(jīng)典分析模式被逐漸打破。

近年來,由于NoSQL數(shù)據(jù)庫(kù)出現(xiàn)并用于處理大規(guī)模數(shù)據(jù)擴(kuò)展,在線事務(wù)處理技術(shù)不斷變化。同時(shí),隨著Hadoop和Spark的出現(xiàn),經(jīng)典分析模式被逐漸打破。

如今,應(yīng)用程序來利用這些技術(shù)在大規(guī)模事務(wù)系統(tǒng)上創(chuàng)建接近實(shí)時(shí)的分析。尤其是接入NoSQL系統(tǒng)的Spark連接器正變得越來越普遍。

“就是我們正在用操作系統(tǒng)和分析系統(tǒng)改變我們正在做的事情,”分析師Mike Ferguson在上周Dataversity舉辦的一個(gè)討論會(huì)上說。 Ferguson是位于一位英國(guó)的經(jīng)營(yíng)智能商業(yè)策略的總經(jīng)理,他分享了將Spark與來自Basho Technologies的關(guān)鍵值Riak NoSQL數(shù)據(jù)存儲(chǔ)相連,通過這種方法來對(duì)Web和移動(dòng)數(shù)據(jù)的分析進(jìn)行加速。

和Aerospike,Couchbase,DataStax,Redis Labs以及其他競(jìng)爭(zhēng)對(duì)手一樣,Basho也因此目的而涉足Spark連接器。

操作分析

Ferguson說把NoSQL和Hadoop以及Spark進(jìn)行結(jié)合為他所謂的“操作分析”奠定了基礎(chǔ),相比起過去的分析系統(tǒng),該系統(tǒng)不需要整夜都進(jìn)行批處理任務(wù)。 多年來,關(guān)系型數(shù)據(jù)庫(kù)都處于操作和分析系統(tǒng)之間循環(huán)的末端。但是隨著Web和移動(dòng)應(yīng)用程序開始需要可擴(kuò)展性(這種特性是通過運(yùn)行分布式計(jì)算機(jī)集群獲得的),情況就開始改變了。對(duì)于數(shù)據(jù)處理來說,頁面是一回事,而移動(dòng)又是另一回事。 通過移動(dòng)接入事務(wù)系統(tǒng),并發(fā)用戶量激增到了前所未有的水平。

這使得團(tuán)隊(duì)要去嘗試新的架構(gòu),而Spark則已經(jīng)成為一個(gè)有力的競(jìng)爭(zhēng)者。 Ferguson指出Spark和其他產(chǎn)品一樣雖然通常是運(yùn)行在Hadoop上,但是并不局限于Hadoop存儲(chǔ)。它還可以訪問關(guān)系型數(shù)據(jù)存儲(chǔ)以及NoSQL數(shù)據(jù)存儲(chǔ)。

這反過來就會(huì)支持應(yīng)用Spark進(jìn)行一系列的分析,“其中有些是操作分析,”他說。 就像Ferguson所形容的,操作分析試圖利用分析來避免某些事件和優(yōu)化流程。這可以讓應(yīng)用程序降低風(fēng)險(xiǎn),改善客戶交互并減少計(jì)劃外運(yùn)營(yíng)成本。

A/B測(cè)試

用例 Intuit是一家網(wǎng)絡(luò)財(cái)務(wù)和稅務(wù)籌劃服務(wù)提供商,NoSQL數(shù)據(jù)庫(kù)與Spark分析引擎協(xié)作的一個(gè)案例就是出自這家公司。

Rekha Joshi是加州的一位軟件工程師,她說,對(duì)于那些存儲(chǔ)在DataStax Cassandra數(shù)據(jù)庫(kù)(運(yùn)行在Amazon Web Services云端)中的數(shù)據(jù),Spark已經(jīng)完成了分析。 她所描述的一個(gè)用例集中在訪問者與Intuit網(wǎng)站首選交互方式的A/B測(cè)試上。其目標(biāo)就是要更好地理解訪問者的喜好并對(duì)個(gè)性化他們的頁面視圖和網(wǎng)站交互進(jìn)行自動(dòng)響應(yīng)。 數(shù)以百萬的網(wǎng)站用戶生成了大量數(shù)據(jù), Cassandra NoSQL有能力應(yīng)對(duì)這樣的變化。但Rekha Joshi說:“這并不是Cassandra真正的用武之地。Spark和Hadoop才是為此而生的。”

Intuit員工曾使用Spark和Hadoop。它們有著各自的性能優(yōu)勢(shì)和局限性,該工作對(duì)Spark有近乎實(shí)時(shí)的性能要求。Hadoop是一個(gè)批處理系統(tǒng),而Spark則是實(shí)時(shí)的或是接近實(shí)時(shí)的。 Joshi所描述的路徑與Ferguson的操作分析有一定相關(guān)性,但是她選擇另外已有的術(shù)語來描述同時(shí)支持批處理和實(shí)時(shí)分析的架構(gòu),即,λ架構(gòu)。 諸如Ferguson的分析和Joshi的用例給出了數(shù)據(jù)分析架構(gòu)改變的一個(gè)視角。這在存儲(chǔ)方面可能有更豐富的內(nèi)容。

For NoSQL, there is considerable growth to come, according to Allied Market Research, which estimated that a global NoSQL market that barely existed 10 years ago will reach $4.2 billion by 2020. 根據(jù)Allied Market Research的預(yù)測(cè),NoSQL會(huì)有非常迅速的增長(zhǎng)。 10年前幾乎不存在的全球NoSQL市場(chǎng)將會(huì)在2020年達(dá)到42億美元的規(guī)模。 和Ferguson一樣,Allied將Web、移動(dòng)和電子商務(wù)應(yīng)用程序作為NoSQL迅速發(fā)展的驅(qū)動(dòng)力。與諸如Spark這些新的分析引擎進(jìn)行對(duì)接也會(huì)有助于NoSQL的增長(zhǎng),會(huì)擴(kuò)大NoSQL的可用度。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)