SQL-on-Hadoop新工具有助于提高Hadoop平臺(tái)采納率

責(zé)任編輯:editor005

作者:Jack Vaughan

2015-07-10 15:16:28

摘自:TechTarget中國(guó)

高度興奮的Hadoop要走出早期采納者的角色,走向更廣闊的企業(yè)平臺(tái),需要面對(duì)的一個(gè)重大障礙就是技能不足。分析師Curt Monash看到了圍繞Hadoop架構(gòu)不斷發(fā)展的意義,他還強(qiáng)調(diào)說,目前還不清楚原生Hadoop堆棧的哪部分將繼續(xù)長(zhǎng)期發(fā)展。

業(yè)界對(duì)于Hadoop商業(yè)前景的關(guān)注因Hortonworks公司去年十一月上市而變得更加熱烈,該公司是雅虎為其開源流程框架而與風(fēng)投公司聯(lián)合成立的,現(xiàn)已成為第一家排名前三的獨(dú)立Hadoop發(fā)行版提供商。

于是在近期舉行的Hadoop 2015峰會(huì)上(由Hortonworks公司和雅虎公司聯(lián)合舉辦的年度Hadoop會(huì)議),大家對(duì)Hadoop的關(guān)注更密切了。根據(jù)Gartner最新調(diào)查結(jié)果顯示,Hadoop平臺(tái)仍然處在早期采納階段。與此同時(shí),新的開源和專用工具不斷涌現(xiàn)出來,幫助組織躍過Hadoop概念原型驗(yàn)證階段,走向全面的生產(chǎn)應(yīng)用階段,為眾多用戶提供支持。

Hortonworks公司CEORob Bearder并沒有直接反駁Gartner公司的數(shù)據(jù)。相反,他呼吁與會(huì)者“在上下文中去看它。我們只是在開始進(jìn)入一個(gè)領(lǐng)域,它將變得更有變革能力。”Bearden表示,Hadoop正在經(jīng)歷關(guān)系型數(shù)據(jù)庫25到30年前經(jīng)歷過的困難發(fā)展點(diǎn),但Hadoop的進(jìn)程顯然要更快。

Hadoop之杯:半滿還是半空?

據(jù)Gartner報(bào)告稱,在284名IT和商業(yè)領(lǐng)袖受訪者中,54%表示未來兩年在Hadoop方面不會(huì)有投資計(jì)劃。一些人把這項(xiàng)調(diào)查看做是玻璃杯半空的一種表現(xiàn)(喻示悲觀),而另一些人則認(rèn)為杯子是半滿的(喻示樂觀)。該調(diào)查是在今年早些時(shí)候發(fā)起的,到現(xiàn)在只有26%的受訪者最終實(shí)施了部署、試點(diǎn)或試驗(yàn)。但是Bearden提醒大家注意,數(shù)據(jù)顯示還有另外18%的受訪者在未來兩年將加入Hadoop使用者的行列。

高度興奮的Hadoop要走出早期采納者的角色,走向更廣闊的企業(yè)平臺(tái),需要面對(duì)的一個(gè)重大障礙就是技能不足。所涉及的技能包括從早期編程和配置階段到后端分析能力都有。

特別是在分析階段,Hadoop的數(shù)據(jù)累積功能可以幫助處理非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù),轉(zhuǎn)化為企業(yè)的數(shù)據(jù)資產(chǎn),同時(shí)可以使用一些針對(duì)Hadoop支持SQL的產(chǎn)品,這些工具為那些公司精通SQL的員工打開了通往Hadoop數(shù)據(jù)的道路。

MikeHoskins是供應(yīng)商Actian公司負(fù)責(zé)數(shù)據(jù)管理和分析技術(shù)的CTO,他說:“人們已經(jīng)有了大量重要的基礎(chǔ)設(shè)施在支撐其企業(yè)運(yùn)營(yíng)。SQL正是他們獲取數(shù)據(jù)分析最有用的工具,對(duì)SQL的集成也是Hadoop采納的一個(gè)重要門檻。”

為Hadoop播下SQL種子

在某些方面,針對(duì)Hadoop的SQL工具已經(jīng)是相當(dāng)豐富了。在本次大會(huì)的一次專題分會(huì)上,F(xiàn)orrester研究公司分析師Mike Gualtieri指出,所有的SQL工具對(duì)Hadoop用戶都可用了。

自2007年Facebook公司把ApacheHive數(shù)據(jù)倉庫軟件開源以來,針對(duì)Hadoop的SQL工具就蜂擁而出,包括Actian Vortex,Pivotal Hawq,Cloudera Impala,JethroData命名的SQL引擎以及其它產(chǎn)品。這些技術(shù)其中有一些是在本次Hadoop峰會(huì)上新發(fā)布的。例如,Hadoop分銷商MapR展示了ApacheDrill的新版本,這是一款開源工具,在五月份發(fā)布了1.0版本。

JackNorris是MapR的首席營(yíng)銷官,他說:“Drill產(chǎn)品幫助處理數(shù)據(jù)存在但是很難找到的情況。核心IT機(jī)構(gòu)預(yù)算不足更要求在Hadoop啟用實(shí)施到生產(chǎn)環(huán)境之前要進(jìn)行充分的概念驗(yàn)證。這是個(gè)雞生蛋、蛋生雞的問題,這正是Drill和基于SQL的數(shù)據(jù)搜索工具可以有所作為的地方。”

在這次會(huì)議上,Teradata公司也表示,他們會(huì)為Presto項(xiàng)目做出貢獻(xiàn),這也是一款開源Hadoop SQL查詢引擎,最早是Facebook發(fā)起的作為Hive的后續(xù)產(chǎn)品。Presto引擎還可以與非Hadoop分布文件系統(tǒng)存儲(chǔ)的數(shù)據(jù)寫作,使用管道或其它技術(shù)提升Hive的性能。

Teradata的貢獻(xiàn)可能集中在ODBC和JDBC驅(qū)動(dòng)方面,與Hadoop的YARN資源管理軟件、安裝包、監(jiān)視工具和文檔集成,所有這些都讓Presto更像商業(yè)軟件了。

Hadoop平臺(tái)仍然是移動(dòng)的目標(biāo)

Presto,Drill和Hadoop生態(tài)系統(tǒng)周邊的其它產(chǎn)品有時(shí)會(huì)讓人混淆,令人迷惑Hadoop平臺(tái)到底是什么,它將變成什么。Spark流程引擎貌似Hadoop原生MapReduce引擎的替代品,它是另一個(gè)重要的案例。

分析師Curt Monash看到了圍繞Hadoop架構(gòu)不斷發(fā)展的意義,他還強(qiáng)調(diào)說,目前還不清楚原生Hadoop堆棧的哪部分將繼續(xù)長(zhǎng)期發(fā)展。

Monash說:“我們正處在這個(gè)點(diǎn)上,在分析領(lǐng)域?qū)⒂兄卮髣?chuàng)新,是基于新數(shù)據(jù)管理、數(shù)據(jù)遷移和數(shù)據(jù)分析體系的。但是,現(xiàn)在數(shù)據(jù)負(fù)載的研究領(lǐng)域要從傳統(tǒng)系統(tǒng)轉(zhuǎn)向新堆棧仍然還有一些限制。在一般情況下,Hadoop采納情況對(duì)于新應(yīng)用出現(xiàn)更早,對(duì)于替換或者更換舊應(yīng)用的情況要差一些。”

要實(shí)現(xiàn)更快速的Hadoop應(yīng)用增長(zhǎng),還有一個(gè)障礙是組織的心態(tài)需要全面改變,這樣才能給公司引入數(shù)據(jù)流。對(duì)于像Schlumberger有限公司這樣原來就應(yīng)用大數(shù)據(jù)的機(jī)構(gòu),尤其如此。(該公司是一家石油和天然氣技術(shù)服務(wù)供應(yīng)商,總部位于Houston。)

在考慮數(shù)據(jù)組織的問題時(shí),會(huì)存在挑戰(zhàn)。Anil Varma是Schlumberger公司負(fù)責(zé)數(shù)據(jù)和分析的副總裁,他說:“你如何設(shè)計(jì)你的推進(jìn)過程,數(shù)據(jù)已經(jīng)成為了公司能運(yùn)行多先進(jìn)的基礎(chǔ)。但是,我不認(rèn)為組織的結(jié)構(gòu)已經(jīng)優(yōu)化到可以適應(yīng)它的水平了。”

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)