Spark會成為大數(shù)據(jù)分析的新里程碑?

責任編輯:editor006

作者:Nicole Laskowski

2015-04-09 14:41:32

摘自:TechTarget中國

在年初于紐約舉行的Spark Summit East大會上,Databrick成為了焦點所在,通過新發(fā)布的數(shù)據(jù)處理云服務(wù),該公司力圖將Spark與MapReduce及Hadoop系統(tǒng)劃清界限。

在年初于紐約舉行的Spark Summit East大會上,Databrick成為了焦點所在,通過新發(fā)布的數(shù)據(jù)處理云服務(wù),該公司力圖將Spark與MapReduce及Hadoop系統(tǒng)劃清界限。

經(jīng)過本次大會,Spark在業(yè)界的逐漸普及已是不爭的事實。Apache Spark是一個開源的大數(shù)據(jù)處理引擎,能夠被用于解決各界面臨的高難度問題:如何快速識別針對比特幣網(wǎng)絡(luò)的拒絕服務(wù)攻擊?如何將車輛與物聯(lián)網(wǎng)或互聯(lián)網(wǎng)相連接?如何識別出那些極為隱秘的洗錢行為?

對于Spark的興趣不僅僅局限于具有純天然數(shù)字化基因的企業(yè),或者提供Spark相關(guān)技術(shù)的廠商。諾華制藥(Novartis)、有線電視網(wǎng)Comcast和高盛等公司也在會上為Spark唱起了贊歌。但是,本次Spark Summit與其說是一次會議,不如說是一次Databrick的專場演出。Databrick發(fā)布了商業(yè)版的Spark系統(tǒng),并且撇清與Hadoop生態(tài)的任何關(guān)系 -- 既非敵人也不是朋友。Databrick這次發(fā)布的是基于云的Spark服務(wù)。

順勢而生

Databrick由加州伯克利大學AMP實驗室團隊所創(chuàng)建,即Apache Spark的開發(fā)者。自從誕生伊始,Spark就被拿來與MapReduce進行比較,MapReduce是Hadoop最初的數(shù)據(jù)處理引擎。MapReduce因其對大數(shù)據(jù)集的分布式處理能力而廣受關(guān)注,但是也一直在效率方面飽受責難。MapReduce以批處理方式進行計算,無法很好地應對流處理模式(比如物聯(lián)網(wǎng)項目)。而且,MapReduce沒有內(nèi)存計算的選項,每次計算后都要將結(jié)果寫入外部存儲,這使得迭代式的任務(wù)相當耗時。

MapReduce的種種缺陷,使得諸如Spark之類的新一代處理引擎應運而生。“MapReduce的設(shè)計始于15年以前,”Databrick的聯(lián)合創(chuàng)始人Patrick Wendell表示:“而Spark則是基于當代最新的硬件,完全重新設(shè)計而成的。”

同時,Databrick實現(xiàn)了Spark與Hadoop環(huán)境的兼容,并堅信Spark將在大數(shù)據(jù)生態(tài)中扮演更重要的角色。“我認為Spark將凌駕于Hadoop之上,在更多的場景中發(fā)揮作用。目前,在很大程度上這一點已經(jīng)成為現(xiàn)實。”Wendell說。

去年春季,Databrick與DataStax建立了合作伙伴關(guān)系,后者專注于提供NoSQL數(shù)據(jù)庫Cassandra的商業(yè)版。去年秋天,Databrick發(fā)布了Databrick云,基于Amazon S3存儲提供Spark環(huán)境,實現(xiàn)所謂的大數(shù)據(jù)即服務(wù)。由于在可用性方面受限,有傳聞Databrick云最終將駐留在Google Compute Engine和微軟Azure云上。與MapReduce不同,Databrick盡量讓使用Spark的技術(shù)門檻降低,能夠面向更為廣泛的受眾。比如,Databrick為用戶提供了各種高級和低級的API接口 – 所謂高級接口,主要針對那些對數(shù)據(jù)科學或分布式系統(tǒng)不熟悉的用戶,使之同樣能從復雜的機器學習算法中受益。

應者云集

如果說本次Spark Summit East大會帶來的影響,應該就是CIO們,或者更確切地說是那些一直追蹤大數(shù)據(jù)技術(shù)發(fā)展的數(shù)據(jù)分析師們會認為Spark將是繼Hadoop之后的新里程碑。Databrick宣稱Spark大數(shù)據(jù)處理引擎將改變企業(yè)分析的形態(tài)(過去的情況是,諸如Cloudera一類的Hadoop提供商一直扮演著支撐的角色)。Databrick同樣讓與會者相信,即使那些“普通”(normal,先前舉行的Hadoop World大會上,Cloudera使用了這個詞)的公司,也能夠從Spark中受益,比如諾華制藥和Comcast,以及不那么有名的Automatic和Shopify公司。

對于Spark的贊美同樣來自于其他與會者。Tresata的創(chuàng)始人和首席執(zhí)行官Abhishek Mehta表示:“我認為Spark應對了當前大數(shù)據(jù)研究中的所有熱點問題。”高盛的Matt Glickman表示,Spark代表了未來發(fā)展的方向,將成為大數(shù)據(jù)分析的通用工具。Alteryx(致力于為普通用戶提供分析語言R和大數(shù)據(jù)分析能力)的首席運營官George Mattew則描述了在集成R和MapReduce時的遭遇。

“有人說,舊約中并沒有對地獄的具體描述。”Mathew回憶到:“但是,當我們試圖將R和MapReduce集成時,卻有了切身體會。在引入其他通用的計算能力時,MapReduce的步伐是如此艱難。”

這聽起來非常刺耳,曾經(jīng)的大數(shù)據(jù)明星,如今被Spark的光芒所掩蓋 – 至少在某些大數(shù)據(jù)信徒看來,事實就是如此。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號