告別大數(shù)據(jù),掌握“廣數(shù)據(jù)”才是關鍵

責任編輯:editor004

作者:陳洪鈺

2015-01-08 13:18:51

摘自:TechTarget中國

要從大數(shù)據(jù)中獲取真正的商業(yè)價值,用戶和BI供應商等還需要關注對廣泛來源的數(shù)據(jù)的集成和分析,簡言之,就是廣數(shù)據(jù)。下一代大數(shù)據(jù)技術應該解決的難題  更廣義來看,大數(shù)據(jù)還應包括數(shù)據(jù)的流動,即數(shù)據(jù)從數(shù)據(jù)源產(chǎn)生到交到用戶手里的過程。

大數(shù)據(jù)

大數(shù)據(jù)的概念確實有點歧義。當然,來自網(wǎng)絡、電話、和其他數(shù)據(jù)源的信息確實數(shù)據(jù)量很大,但數(shù)據(jù)的主要價值并不在規(guī)模中。要從大數(shù)據(jù)中獲取真正的商業(yè)價值,用戶和BI供應商等還需要關注對廣泛來源的數(shù)據(jù)的集成和分析,簡言之,就是廣數(shù)據(jù)。

未來商業(yè)的成功,依賴于大數(shù)據(jù)和企業(yè)主流數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)能否有機地結(jié)合。很多供應商開發(fā)了很多技術來實現(xiàn),比如在NoSQL數(shù)據(jù)庫和Hadoop資源池上實現(xiàn)SQL查詢。這種技術趨勢很利于行業(yè)發(fā)展,因為新技術和老技術終究要結(jié)合起來。

對于管理大量非結(jié)構(gòu)化數(shù)據(jù)來說,Hadoop是個好東西,但要實現(xiàn)精益分析,尤其是針對既有結(jié)構(gòu)化數(shù)據(jù)、又有非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)時,Hadoop就顯得力不從心了。另一方面,傳統(tǒng)關系型數(shù)據(jù)庫在利用幾乎同一調(diào)用方式訪問異構(gòu)數(shù)據(jù)源方面,有著悠久的歷史。而且從事數(shù)據(jù)分析的技術人員更熟悉的也是SQL語言。

另外,大多數(shù)用戶想要的都是技術上的穩(wěn)步革新,而不是徹底的變革。這意味著企業(yè)在采用新技術的同時,要最大限度地使其能夠和現(xiàn)有IT生態(tài)系統(tǒng)融合,保護歷史資產(chǎn)。因此,Hadoop集群、NoSQL數(shù)據(jù)庫中的信息需要和傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫的數(shù)據(jù)有效集成,這樣才能更好地構(gòu)建客戶、市場趨勢、企業(yè)運營視圖。比如社交媒體的客戶情感數(shù)據(jù)固然有價值,但如何不能和其他客戶數(shù)據(jù)、市場數(shù)據(jù)相聯(lián),反應的情況也是片面的。

物聯(lián)網(wǎng)數(shù)據(jù)不能孤立

物聯(lián)網(wǎng)(IoT)也是大數(shù)據(jù)的重要數(shù)據(jù)源之一。安裝在產(chǎn)品和機器設備上的傳感器可以捕捉數(shù)據(jù),并通過互聯(lián)網(wǎng)將數(shù)據(jù)發(fā)送回運營系統(tǒng)。物聯(lián)網(wǎng)大多應用于大型制造業(yè),比如石油管道的遠程傳感器監(jiān)控,卡車、貨車等車輛的維護相關信息收集。

物聯(lián)網(wǎng)的作用很大。傳感器發(fā)回的大量信息可以幫助用戶更好地監(jiān)控質(zhì)量問題、了解地域差異等等。物聯(lián)網(wǎng)數(shù)據(jù)增長迅猛,隨著時間的發(fā)展,很可能會差多Web數(shù)據(jù)。但同樣,如果只是狹義地關注物聯(lián)網(wǎng)數(shù)據(jù),沒有把它和眾多其他數(shù)據(jù)源的數(shù)據(jù)集成,企業(yè)會錯過很多有價值的信息。

數(shù)據(jù)倉庫的潛力還沒有完全發(fā)揮出來。一個主要的原因就是數(shù)據(jù)倉庫很難利用實時數(shù)據(jù)。另一方面看,數(shù)據(jù)倉庫處理的多是歷史數(shù)據(jù)等變化緩慢的數(shù)據(jù),處理這些數(shù)據(jù)根本不需要像處理實時數(shù)據(jù)一樣。因此,好的BI和分析平臺應該是既能處理歷史數(shù)據(jù),又能處理實時數(shù)據(jù)。將數(shù)據(jù)倉庫和大數(shù)據(jù)技術結(jié)合起來,可以考慮內(nèi)存處理。

下一代大數(shù)據(jù)技術應該解決的難題

更廣義來看,大數(shù)據(jù)還應包括數(shù)據(jù)的流動,即數(shù)據(jù)從數(shù)據(jù)源產(chǎn)生到交到用戶手里的過程。很多專家責難企業(yè)數(shù)據(jù)倉庫沒有“單一真相”,同樣的數(shù)據(jù)產(chǎn)生出五花八門的分析結(jié)果,以及難以實現(xiàn)有效的數(shù)據(jù)治理。

現(xiàn)在,移動設備和自服務BI工具極大地改變了信息的傳播范圍。當數(shù)據(jù)進入移動設備,你很難監(jiān)管它的傳播。都有誰看了該信息?信息傳播的軌跡是怎樣的?有效的BI和大數(shù)據(jù)管理不只是收集和處理信息,也是管理信息的流通和傳播。

數(shù)據(jù)規(guī)模確實是一個技術難題,但核心的問題在于廣數(shù)據(jù)。如何將多種數(shù)據(jù)源的數(shù)據(jù)集成起來,如何處理,再如何讓廣大的用戶用于業(yè)務決策和分析,這才是技術應該最主要關注的問題。要做到支持廣泛的數(shù)據(jù)環(huán)境,供應商需要關注這些問題:

提供結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的訪問,并能有效集成能夠以不同的方式有效管理不同的數(shù)據(jù)集支持強大的數(shù)據(jù)治理模型

下一代BI和大數(shù)據(jù)技術必須能夠解決數(shù)據(jù)的廣度和復雜度的問題,而不僅僅是數(shù)據(jù)量。大數(shù)據(jù)不僅僅是數(shù)據(jù)量的大,更包含數(shù)據(jù)的廣泛性。用戶和供應商最好能在這一點上達成共識。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號