構(gòu)建完美的hadoop

責(zé)任編輯:editor003

2012-12-10 17:34:19

摘自:硅谷動力

Apache Hadoop的肯定不是開源分布式文件系統(tǒng)唯一的解決方案,近年來出現(xiàn)了一些hadoop的競爭對手,如HPCC等等,但在蓬勃發(fā)展的大數(shù)據(jù)存儲領(lǐng)域它肯定是最有名的和最流行的平臺。

Apache Hadoop的肯定不是開源分布式文件系統(tǒng)唯一的解決方案,近年來出現(xiàn)了一些hadoop的競爭對手,如HPCC等等,但在蓬勃發(fā)展的大數(shù)據(jù)存儲領(lǐng)域它肯定是最有名的和最流行的平臺。

雖然hadoop精于數(shù)據(jù)處理和分析和原始存儲,但Hadoop仍有其不足之處,如批量處理的延遲,而且對MapReduce的數(shù)據(jù)處理很依賴。

YARN是另一種資源的談判代表,是一個新的框架,Cloudera要求“比早期的MapReduce有更好的適用性”,因為它運行的程序,不遵守MapReduce模型。

Apache Hadoop項目管理委員會的主席和Hortonworks的創(chuàng)始人Arun Murthy,近日在接受采訪時表示:“簡而言之,我們嘗試在Hadoop中采用YARN不僅僅用于MapReduce的數(shù)據(jù)處理,它允許你MapReduce和Hadoop在相同的集群環(huán)境中做得更多。”

YARN:讓Hadoop更完善?

Pervasive Software公司的首席技術(shù)專家Jim Falgout在接受電話采訪時這樣形容YARN:“作為一個分布式操作系統(tǒng),它有一個分布式的調(diào)度,分布式文件系統(tǒng),它能運行分布的工作。”

“但早期的YARN是一個‘基本的’操作系統(tǒng),你只能運行一個應(yīng)用程序,”Falgout笑著說。 “這是MapReduce的。” 他補充,“YARN是Hadoop社區(qū)走向成熟的一個非常重要的部分。” 它昭示著MapReduce是偉大的,但它并不能解決所有的問題,這并非你要求的所有解決方案。

Falgout已經(jīng)解決了這個課題。 “MapReduce擅長解決例如為全球網(wǎng)站建立索引這類問題。但是,它不是解決任何問題都最靈活有效的平臺,”他最近在網(wǎng)站的博客上寫下這些數(shù)據(jù)。

YARN拓展了hadoop,允許開發(fā)人員利用該平臺的屬性構(gòu)建不同類型的應(yīng)用程序。“”

YARN開辟了Hadoop的,允許開發(fā)人員構(gòu)建不同類型的應(yīng)用程序,利用該平臺的屬性。 “如果你要使用Hadoop,YARN,在MapReduce分布式操作系統(tǒng)上的所有的應(yīng)用程序,你寫的不錯”Falgout說。 “如果Linux這樣,它走不到太遠。”

Falgout關(guān)于YARN的想法,它的小驚喜,Pervasive Software公司,總部位于得克薩斯州奧斯汀??,提供數(shù)據(jù)管理和分析產(chǎn)品,深入?yún)⑴cHadoop的大數(shù)據(jù)。該公司的軟件的產(chǎn)品包括DataRush,其目的是提高并行性能的數(shù)據(jù)處理和分析任務(wù),并快速分析數(shù)據(jù)訪問,制備,分析和報告工具,可視化工作流。

Falgout說,DataRush計劃對YARN的普適框架移植,但目前尚未宣布具體的時間表。 “我們沒有看到Y(jié)ARN被大面積應(yīng)用在客戶的生產(chǎn)系統(tǒng),”他補充說。 “我們知道它即將到來,所以我們將可能在下個月開始對YARN的工作。”

Cloudera公司, YARN及其CDH4分布的Hadoop,另外和已實施的早期版本,但被認為是一個alpha版本的軟件。Falgout說:“它在那里,你可以看”,“但它尚未做好萬全準備。”

YARN的實施將直接影響最終用戶,當然,但它可以提供間接的好處,使非常困難的Hadoop平臺更易于使用。 “那是Hadoop近期的大主題, Hadoop的采用令其更易使用,”Falgout說。 “得到它超越了早期那些愿意寫MapReduce代碼,并經(jīng)歷過麻煩的使用者,因為他們享用了它的一項重大優(yōu)勢。”

預(yù)測分析變得更快,更準確,更方便。結(jié)合大數(shù)據(jù),它引領(lǐng)著一個新時代。此外,在新的,全數(shù)字化的高級分析問題的信息:項目管理辦公室在浪費錢嗎?

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號