實(shí)現(xiàn)Spark部署 依賴供應(yīng)商還是"自力更生"?

責(zé)任編輯:editor005

作者:Craig Stedman

2017-02-08 14:34:39

摘自:TechTarget中國(guó)

“我們不想使用不受支持的版本,”紐約公司Novantas解決方案技術(shù)部門CTO和工程總監(jiān)Kaushik Deka說。Spark的情況尤其突出:在2014年7月到2016年7月之間,通過Apache共有18個(gè)版本,Spark 2 0版本一般都可以使用。

Apache Spark用戶經(jīng)常面臨一個(gè)困境:繼續(xù)獲取來自供應(yīng)商的支持還是更新版本,使用具有更新功能的快速移動(dòng)的開源軟件?

Novantas公司將Spark數(shù)據(jù)處理引擎作為商業(yè)Hadoop發(fā)行版的一部分。這樣使得分析服務(wù)和軟件提供商與Spark版本的Hadoop軟件包支持的Spark版本捆綁在一起,因此,它不一定能立即訪問新的Spark功能

例如,Novantas在今年年初開發(fā)的基于Hadoop的應(yīng)用程序中使用了Spark 1.4,以幫助銀行的分析團(tuán)隊(duì)在內(nèi)部系統(tǒng)中找到相關(guān)的客戶和財(cái)務(wù)數(shù)據(jù)。該版本由Apache軟件基金會(huì)于2015年6月發(fā)布,去年9月被Spark 1.5取代,1月被1.6取代。但是要升級(jí),Novantas將不得不通過Cloudera放棄Spark支持。

“我們不想使用不受支持的版本,”紐約公司Novantas解決方案技術(shù)部門CTO和工程總監(jiān)Kaushik Deka說。這是因?yàn)閼?yīng)用程序是該部門第一次真正使用Hadoop和Spark。堅(jiān)持使用Spark 1.4不太理想。Deka說,他希望當(dāng)Novantas移動(dòng)到一個(gè)新的技術(shù)版本可以解決問題。

這樣的考慮在大數(shù)據(jù)環(huán)境中是常見的,其通常涉及以快速的速度更新的開源技術(shù)。Spark的情況尤其突出:在2014年7月到2016年7月之間,通過Apache共有18個(gè)版本,Spark 2.0版本一般都可以使用。

為了更好地使用新功能,一些組織已經(jīng)避開了供應(yīng)商提供的Spark支持,并自行部署了基本的Apache Spark軟件。

例如,Synchronoss技術(shù)公司在2014年從Hadoop供應(yīng)商MapR獲得Spark。但移動(dòng)管理公司Bridgewater的大數(shù)據(jù)分析平臺(tái)高級(jí)主管Suren Nathan表示,公司有時(shí)直接升級(jí)到Apache Spark的新版本,以獲得所需的功能。“現(xiàn)在,我的團(tuán)隊(duì)可以非常熟練地使用Spark,”他說。

Webtrends公司也一直使用基本的Spark軟件。“我們正試圖盡可能保持現(xiàn)有的發(fā)布,”來自美國(guó)的在線活動(dòng)跟蹤公司首席技術(shù)官Peter Crossley說,“市場(chǎng)上沒有其他技術(shù)像這種技術(shù)一樣快。”

Crossley表示,他更喜歡通過Hadoop供應(yīng)商Hortonworks獲得支持的Spark版本。為了盡可能做到這一點(diǎn),他的團(tuán)隊(duì)與Hortonworks合作開發(fā)了一個(gè)“雙軌發(fā)布計(jì)劃”,供應(yīng)商去年3月加快了Sparkand與Hadoop相關(guān)的其他大數(shù)據(jù)技術(shù)的交付。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)