Hadoop如何迎擊大數(shù)據(jù)分析的挑戰(zhàn)

責(zé)任編輯:editor006

作者:田曉旭編譯

2016-12-15 16:08:51

摘自:it168網(wǎng)站

隨著大數(shù)據(jù)分析的持續(xù)走紅,大數(shù)據(jù)分析工具也呈現(xiàn)出了遍地開(kāi)花的態(tài)勢(shì),我們今天要說(shuō)的Hadoop就是其中之一。

大數(shù)據(jù)分析是現(xiàn)在十分火熱的話題,從農(nóng)業(yè)到工業(yè)、從金融到體育、從傳統(tǒng)企業(yè)到初創(chuàng)公司,各行各業(yè)都在積極應(yīng)用大數(shù)據(jù)分析,似乎你的企業(yè)不和大數(shù)據(jù)沾點(diǎn)邊就會(huì)顯得沒(méi)有逼格一樣。

Hadoop如何迎擊大數(shù)據(jù)分析的挑戰(zhàn)

隨著大數(shù)據(jù)分析的持續(xù)走紅,大數(shù)據(jù)分析工具也呈現(xiàn)出了遍地開(kāi)花的態(tài)勢(shì),我們今天要說(shuō)的Hadoop就是其中之一。

Hadoop是Apache開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目,短短幾年的時(shí)間,我們就見(jiàn)證了Hadoop從無(wú)到有、從簡(jiǎn)陋到穩(wěn)定的轉(zhuǎn)變。目前Hadoop因其具有高度可擴(kuò)展性,靈活性和成本效益,已經(jīng)成為大數(shù)據(jù)分析的理想工具。

Hadoop對(duì)大數(shù)據(jù)存儲(chǔ)和預(yù)測(cè)分析有什么好處?

Apache Hadoop軟件庫(kù)是一個(gè)框架,允許在集群服務(wù)器上使用簡(jiǎn)單的編程模型對(duì)大數(shù)據(jù)集進(jìn)行分布式處理,它的可擴(kuò)展性非常好,可以從單臺(tái)服務(wù)器擴(kuò)展到數(shù)以千計(jì)的服務(wù)器。Hadoop在大數(shù)據(jù)存儲(chǔ)和分析方面表現(xiàn)十分出色:

低故障率

每臺(tái)機(jī)器都會(huì)進(jìn)行數(shù)據(jù)復(fù)制,這一特點(diǎn)也使得Hadoop成為大文件備份的一個(gè)好選擇。當(dāng)一個(gè)節(jié)點(diǎn)復(fù)制了一個(gè)數(shù)據(jù)塊,那么同一數(shù)據(jù)集群中的其他節(jié)點(diǎn)也會(huì)復(fù)制。數(shù)據(jù)備份跨越多個(gè)節(jié)點(diǎn),所以數(shù)據(jù)被永久改變或破壞的可能性非常小,系統(tǒng)的容錯(cuò)性也隨之提高了。

成本效益

Hadoop是最具成本效益的大數(shù)據(jù)分析和存儲(chǔ)解決方案之一。 根據(jù)Cloudera的研究,Hadoop存儲(chǔ)數(shù)據(jù)的成本僅僅是其它大數(shù)據(jù)存儲(chǔ)解決方案很小的一部分。

Cloudera公司產(chǎn)品副總裁Zedlewski Zedlewski認(rèn)為,目前網(wǎng)絡(luò)存儲(chǔ)的市場(chǎng)行情大約是1TB數(shù)據(jù)5000美元,在具體情況下可能會(huì)有價(jià)格的上下浮動(dòng)。在數(shù)據(jù)庫(kù)、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)以及相關(guān)的硬件領(lǐng)域,通常1TB數(shù)據(jù)的價(jià)格可能要達(dá)到10000美元到15000美元。

靈活性

Hadoop是一個(gè)非常靈活的解決方案,用戶可以使用SQL輕松添加提取結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集。這一特點(diǎn)對(duì)醫(yī)療行業(yè)來(lái)說(shuō)特別有價(jià)值,因?yàn)獒t(yī)療行業(yè)需要不斷地更新患者記錄。根據(jù)Dezyre報(bào)告顯示:,美國(guó)醫(yī)療保健行業(yè)內(nèi)最大的軟件及服務(wù)提供商Sage已經(jīng)在利用Hadoop進(jìn)行基因組學(xué)、癌癥治療以及患者生命監(jiān)測(cè)等相關(guān)工作。

可擴(kuò)展性

Hadoop支持高度可擴(kuò)展,它可以存儲(chǔ)TB級(jí)數(shù)據(jù),并同時(shí)運(yùn)行數(shù)千個(gè)數(shù)據(jù)節(jié)點(diǎn)。

利用SQL迎擊Hadoop和大數(shù)據(jù)分析的挑戰(zhàn)

Hadoop與SQL兼容,所以適用范圍廣泛,用戶可以使用多種SQL方法來(lái)提取和使用Hadoop存儲(chǔ)的大數(shù)據(jù),如果已經(jīng)熟練掌握了SQL,那么Hadoop就可能成為最佳的大數(shù)據(jù)分析解決方案。

但是如果想要從Hadoop中提取數(shù)據(jù),那么就需要一個(gè)復(fù)雜的SQL引擎,目前市面上有很多開(kāi)源解決方案,Apache Hive就是其中之一。

Apache Hive有三個(gè)主要功能:運(yùn)行數(shù)據(jù)查詢、匯總數(shù)據(jù)、大數(shù)據(jù)分析,它可以自動(dòng)將SQL查詢轉(zhuǎn)換為Hadoop MapReduce作業(yè),但是它有一個(gè)很大的缺點(diǎn)就是它隨著數(shù)據(jù)集群的大小會(huì)有時(shí)間延遲的問(wèn)題。

“Hive本身就不是為OLTP工作負(fù)載設(shè)計(jì)的,所以不提供實(shí)時(shí)查詢或行級(jí)更新,它更適合于大量?jī)H附加數(shù)據(jù)(如Web日志)的批處理作業(yè)。”Hive在大數(shù)據(jù)集項(xiàng)目上的時(shí)間延遲十分明顯,因此它不適合需要實(shí)時(shí)分析數(shù)據(jù)的可擴(kuò)展項(xiàng)目。

除了Hadoop Hive之外,還有一些其它的SQL引擎:

Hadoop如何迎擊大數(shù)據(jù)分析的挑戰(zhàn)

Rick van der Lans報(bào)告表示:上圖這些解決方案基本上都能夠彌補(bǔ)Apache Hive的不足,它們的特性之一就是多語(yǔ)言持久性,這一特性意味著它們既可以跨數(shù)據(jù)庫(kù)訪問(wèn)數(shù)據(jù),也可以訪問(wèn)存儲(chǔ)在Hadoop上的數(shù)據(jù)。另外,目前也有很多用于實(shí)時(shí)大數(shù)據(jù)分析的應(yīng)用程序。

InfoWorld報(bào)告顯示目前Spark、Storm和DataTorrent是Hadoop實(shí)時(shí)大數(shù)據(jù)分析領(lǐng)域的三大領(lǐng)先解決方案,目前Hadoop中的流數(shù)據(jù)實(shí)時(shí)處理通常會(huì)選擇Storm或Spark,而DataTorrent是開(kāi)源自一個(gè)之前的商業(yè)產(chǎn)品,現(xiàn)在已經(jīng)加入到了Hadoop戰(zhàn)局中。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)