關于大數(shù)據(jù):三種處理現(xiàn)狀分析

責任編輯:editor008

2014-09-23 09:28:43

摘自:中國大數(shù)據(jù)

在大數(shù)據(jù)時代下,大數(shù)據(jù)蘊含巨大寶藏,究竟大數(shù)據(jù)能掘到多少金子,我覺得這都是后話,目前緊要關頭是迎接大數(shù)據(jù)的到來,如果你接不住大數(shù)據(jù)那么你在未來的企業(yè)市場將會被淘汰。

在大數(shù)據(jù)時代下,大數(shù)據(jù)蘊含巨大寶藏,究竟大數(shù)據(jù)能掘到多少金子,我覺得這都是后話,目前緊要關頭是迎接大數(shù)據(jù)的到來,如果你接不住大數(shù)據(jù)那么你在未來的企業(yè)市場將會被淘汰。

這不是危言聳聽,我們看到現(xiàn)在生成數(shù)據(jù)的設備在增加,個人數(shù)字設備、企業(yè)計算系統(tǒng)產(chǎn)生的數(shù)據(jù)量遠遠超過10年前,是1996年的180倍。文件(非結(jié)構(gòu)化數(shù)據(jù))本身的大小在發(fā)生變化,從600MB的RMVB到了30GB的藍光1080P視頻,企業(yè)數(shù)據(jù)量增加,造成的數(shù)據(jù)庫龐大。這三點無疑都是迫使企業(yè)進入大數(shù)據(jù)時代的原因。

我們知道大數(shù)據(jù)的4v理論,數(shù)量(Volume)、多樣性(Variety)、速度(Velocity)和真實性(Veracity),為我們制定大數(shù)據(jù)的策略提供了很好的方向。但同時我們在處理大數(shù)據(jù)的時候還是面臨著很多問題,就目前大數(shù)據(jù)處理的現(xiàn)狀來看,基本上處于以下幾種狀態(tài)。

大數(shù)據(jù)處理現(xiàn)狀

1、大數(shù)據(jù)處理平臺以Hadoop為主

目前大數(shù)據(jù)的處理平臺以Hadoop為主,都是自建Hadoop集群或使用AmazonElasticMapReduce服務,而Google的BigQuery由于種種限制推廣得并不理想。微軟的Cosmos/Dryad/Scope由于體系僅限于內(nèi)部使用,也不能成為大數(shù)據(jù)的平臺,同時微軟對外也支持hostingHadoop。

2、大數(shù)據(jù)處理技術(shù)復雜

大數(shù)據(jù)的處理技術(shù)紛繁復雜,仍然處于產(chǎn)業(yè)變革早期的戰(zhàn)國時代。由于傳統(tǒng)的OLAP和數(shù)倉的延續(xù)性,HiveSQL有很大市場,但Hive的數(shù)據(jù)正確性和Bug仍然比較多。而HadoopMapReduce又過于復雜靈活,寫出高效Job比較困難。Pig、FlumeJava等分布式編程模型技術(shù)的門檻較高,所以推廣起來也比較困難。在數(shù)據(jù)挖掘和圖算法領域雖然涌現(xiàn)出了Mahout、Hama、GoldenOrb等大量開源平臺,但都不夠成熟。至于基于Hadoop的工作流系統(tǒng)Oozie和數(shù)據(jù)傳輸系統(tǒng)Sqoop都需要開發(fā)人員單獨部署。都是各有利弊,還沒有一個很好的完美的解決方案。

3、Hadoop尚難成為公共云服務

為什么說Hadoop很難成為公共云服務呢,原因有以下幾個方面,第一Hadoop的安全體系局限在企業(yè)內(nèi)網(wǎng),缺乏多租戶的支持。第二直接暴露HDFS文件系統(tǒng),MapReduce和Hive很難做到多用戶數(shù)據(jù)安全。第三數(shù)據(jù)文件格式過于復雜多樣,維護成本高,保持數(shù)據(jù)兼容比較困難。

D1Net評論:

綜上三點目前大數(shù)據(jù)的現(xiàn)狀,可以看出,大數(shù)據(jù)處理系統(tǒng)的技術(shù)門檻很高,從自備發(fā)電機到公共電網(wǎng)還有很長的路要走。而市場則需要安全性、可用性、數(shù)據(jù)正確性都有保障,并且功能完整的一體化大數(shù)據(jù)處理服務。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號