大數(shù)據(jù)必備十大工具

責(zé)任編輯:editor004

2014-12-24 11:10:12

摘自:36大數(shù)據(jù)

大數(shù)據(jù)的日益增長,給企業(yè)管理大量的數(shù)據(jù)帶來了挑戰(zhàn)的同時(shí)也帶來了一些機(jī)遇。這種設(shè)計(jì)可以幫助企業(yè)構(gòu)建靈活、高性能的企業(yè)架構(gòu),在次架構(gòu)下,集成并啟用百分之百開源服務(wù)的分布式應(yīng)用程序變?yōu)榭赡堋?/p>

大數(shù)據(jù)

大數(shù)據(jù)的日益增長,給企業(yè)管理大量的數(shù)據(jù)帶來了挑戰(zhàn)的同時(shí)也帶來了一些機(jī)遇。下面是用于信息化管理的大數(shù)據(jù)工具列表:

1. Apache Hive:

Hive是一個建立在Hadoop上的開源數(shù)據(jù)倉庫基礎(chǔ)設(shè)施,通過Hive可以很容易的進(jìn)行數(shù)據(jù)的ETL,對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理,并對Hadoop上大數(shù)據(jù)文件進(jìn)行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數(shù)據(jù)提供了方便。

2 Jaspersoft BI 套件

Jaspersoft包是一個通過數(shù)據(jù)庫列生成報(bào)表的開源軟件。行業(yè)領(lǐng)導(dǎo)者發(fā)現(xiàn)Jaspersoft軟件是一流的, 許多企業(yè)已經(jīng)使用它來將SQL表轉(zhuǎn)化為pdf,,這使每個人都可以在會議上對其進(jìn)行審議。另外,JasperReports提供了一個連接配置單元來替代HBase。

3. 1010data:

1010data創(chuàng)立于2000年,是一個總部設(shè)在紐約的分析型云服務(wù),旨在為華爾街的客戶提供服務(wù),甚至包括NYSE Euronext、游戲和電信的客戶。它在設(shè)計(jì)上支持可伸縮性的大規(guī)模并行處理。它也有它自己的查詢語言, 支持SQL函數(shù)和廣泛的查詢類型,包括圖和時(shí)間序列分析。這個私有云的方法減少了客戶在基礎(chǔ)設(shè)施管理和擴(kuò)展方面的壓力。

4. Actian:

Actian之前的名字叫做Ingres Corp,它擁有超過一萬客戶而且正在擴(kuò)增。它通過Vectorwise以及對ParAccel實(shí)現(xiàn)了擴(kuò)展。這些發(fā)展分別導(dǎo)致了Actian Vector和Actian Matrix的創(chuàng)建。它有Apache,Cloudera,Hortonworks以及其他發(fā)行版本可供選擇。

5. Pentaho Business Analytics:

從某種意義上說, Pentaho 與Jaspersoft相比起來,盡管Pentaho開始于報(bào)告生成引擎,但它目前通過簡化新來源中獲取信息的過程來支持大數(shù)據(jù)處理。Pentaho的工具可以連接到NoSQL數(shù)據(jù)庫,例如MongoDB和Cassandra。Peter Wayner指出, Pentaho Data(一個更有趣的圖形編程界面工具)有很多內(nèi)置模塊,你可以把它們拖放到一個圖片上, 然后將它們連接起來。

6. Karmasphere Studio and Analyst:

Karsmasphere Studio是一組構(gòu)建在Eclipse上的插件,它是一個更易于創(chuàng)建和運(yùn)行Hadoop任務(wù)的專用IDE。在配置一個Hadoop工作時(shí),Karmasphere工具將引導(dǎo)您完成每個步驟并顯示部分結(jié)果。當(dāng)出現(xiàn)所有數(shù)據(jù)處于同一個Hadoop集群的情況時(shí),Karmaspehere Analyst旨在簡化篩選的過程,。

7. Cloudera:

Cloudera正在努力為開源Hadoop,提供支持,同時(shí)將數(shù)據(jù)處理框架延伸到一個全面的“企業(yè)數(shù)據(jù)中心”范疇,這個數(shù)據(jù)中心可以作為首選目標(biāo)和管理企業(yè)所有數(shù)據(jù)的中心點(diǎn)。Hadoop可以作為目標(biāo)數(shù)據(jù)倉庫,高效的數(shù)據(jù)平臺,或現(xiàn)有數(shù)據(jù)倉庫的ETL來源。企業(yè)規(guī)??梢杂米骷蒆adoop與傳統(tǒng)數(shù)據(jù)倉庫的基礎(chǔ)。 Cloudera致力于成為數(shù)據(jù)管理的“重心”。

8. HP Vertica Analytics Platform Version 7:

HP提供了用于加載Hadoop軟件發(fā)行版所需的參考硬件配置, 因?yàn)樗旧聿]有自己的Hadoop版本。計(jì)算機(jī)行業(yè)領(lǐng)袖將其大數(shù)據(jù)平臺架構(gòu)命名為HAVEn(意為Hadoop, Autonomy, Vertica, Enterprise Security and “n” applications)?;萜赵赩ertica 7版本中增加了一個“FlexZone”,允許用戶在定義數(shù)據(jù)庫方案以及相關(guān)分析、報(bào)告之前探索大型數(shù)據(jù)集中的數(shù)據(jù)。這個版本通過使用HCatalog作為元數(shù)據(jù)存儲,與Hadoop集成后為用戶提供了一種探索HDFS數(shù)據(jù)表格視圖的方法。

9. Talend Open Studio:

Talend’s工具用于協(xié)助進(jìn)行數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和數(shù)據(jù)管理等方面工作。Talend是一個統(tǒng)一的平臺,它通過提供一個統(tǒng)一的,跨企業(yè)邊界生命周期管理的環(huán)境,使數(shù)據(jù)管理和應(yīng)用更簡單便捷。這種設(shè)計(jì)可以幫助企業(yè)構(gòu)建靈活、高性能的企業(yè)架構(gòu),在次架構(gòu)下,集成并啟用百分之百開源服務(wù)的分布式應(yīng)用程序變?yōu)榭赡堋?/p>

10. Apache Spark

Apache Spark是Hadoop開源生態(tài)系統(tǒng)的新成員。它提供了一個比Hive更快的查詢引擎,因?yàn)樗蕾囉谧约旱臄?shù)據(jù)處理框架而不是依靠Hadoop的HDFS服務(wù)。同時(shí),它還用于事件流處理、實(shí)時(shí)查詢和機(jī)器學(xué)習(xí)等方面。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號