在當(dāng)前的大數(shù)據(jù)時(shí)代下,大數(shù)據(jù)的概念確實(shí)有點(diǎn)歧義。當(dāng)然,來(lái)自網(wǎng)絡(luò)、電話(huà)、和其他數(shù)據(jù)源的信息確實(shí)數(shù)據(jù)量很大,但數(shù)據(jù)的主要價(jià)值并不在規(guī)模中。要從大數(shù)據(jù)中獲取真正的商業(yè)價(jià)值,用戶(hù)和BI供應(yīng)商等還需要關(guān)注對(duì)廣泛來(lái)源的數(shù)據(jù)的集成和分析,簡(jiǎn)言之,就是廣數(shù)據(jù)。
未來(lái)商業(yè)的成功,依賴(lài)于大數(shù)據(jù)和企業(yè)主流數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)能否有機(jī)地結(jié)合。很多供應(yīng)商開(kāi)發(fā)了很多技術(shù)來(lái)實(shí)現(xiàn),比如在NoSQL數(shù)據(jù)庫(kù)和Hadoop資源池上實(shí)現(xiàn)SQL查詢(xún)。這種技術(shù)趨勢(shì)很利于行業(yè)發(fā)展,因?yàn)樾录夹g(shù)和老技術(shù)終究要結(jié)合起來(lái)。
對(duì)于管理大量非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō),Hadoop是個(gè)好東西,但要實(shí)現(xiàn)精益分析,尤其是針對(duì)既有結(jié)構(gòu)化數(shù)據(jù)、又有非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)時(shí),Hadoop就顯得力不從心了。另一方面,傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在利用幾乎同一調(diào)用方式訪問(wèn)異構(gòu)數(shù)據(jù)源方面,有著悠久的歷史。而且從事數(shù)據(jù)分析的技術(shù)人員更熟悉的也是SQL語(yǔ)言。
另外,大多數(shù)用戶(hù)想要的都是技術(shù)上的穩(wěn)步革新,而不是徹底的變革。這意味著企業(yè)在采用新技術(shù)的同時(shí),要最大限度地使其能夠和現(xiàn)有IT生態(tài)系統(tǒng)融合,保護(hù)歷史資產(chǎn)。因此,Hadoop集群、NoSQL數(shù)據(jù)庫(kù)中的信息需要和傳統(tǒng)的數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)有效集成,這樣才能更好地構(gòu)建客戶(hù)、市場(chǎng)趨勢(shì)、企業(yè)運(yùn)營(yíng)視圖。比如社交媒體的客戶(hù)情感數(shù)據(jù)固然有價(jià)值,但如何不能和其他客戶(hù)數(shù)據(jù)、市場(chǎng)數(shù)據(jù)相聯(lián),反應(yīng)的情況也是片面的。
物聯(lián)網(wǎng)數(shù)據(jù)不能孤立
物聯(lián)網(wǎng)(IoT)也是大數(shù)據(jù)的重要數(shù)據(jù)源之一。安裝在產(chǎn)品和機(jī)器設(shè)備上的傳感器可以捕捉數(shù)據(jù),并通過(guò)互聯(lián)網(wǎng)將數(shù)據(jù)發(fā)送回運(yùn)營(yíng)系統(tǒng)。物聯(lián)網(wǎng)大多應(yīng)用于大型制造業(yè),比如石油管道的遠(yuǎn)程傳感器監(jiān)控,卡車(chē)、貨車(chē)等車(chē)輛的維護(hù)相關(guān)信息收集。
物聯(lián)網(wǎng)的作用很大。傳感器發(fā)回的大量信息可以幫助用戶(hù)更好地監(jiān)控質(zhì)量問(wèn)題、了解地域差異等等。物聯(lián)網(wǎng)數(shù)據(jù)增長(zhǎng)迅猛,隨著時(shí)間的發(fā)展,很可能會(huì)差多Web數(shù)據(jù)。但同樣,如果只是狹義地關(guān)注物聯(lián)網(wǎng)數(shù)據(jù),沒(méi)有把它和眾多其他數(shù)據(jù)源的數(shù)據(jù)集成,企業(yè)會(huì)錯(cuò)過(guò)很多有價(jià)值的信息。
數(shù)據(jù)倉(cāng)庫(kù)的潛力還沒(méi)有完全發(fā)揮出來(lái)。一個(gè)主要的原因就是數(shù)據(jù)倉(cāng)庫(kù)很難利用實(shí)時(shí)數(shù)據(jù)。另一方面看,數(shù)據(jù)倉(cāng)庫(kù)處理的多是歷史數(shù)據(jù)等變化緩慢的數(shù)據(jù),處理這些數(shù)據(jù)根本不需要像處理實(shí)時(shí)數(shù)據(jù)一樣。因此,好的BI和分析平臺(tái)應(yīng)該是既能處理歷史數(shù)據(jù),又能處理實(shí)時(shí)數(shù)據(jù)。將數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)技術(shù)結(jié)合起來(lái),可以考慮內(nèi)存處理。
下一代大數(shù)據(jù)技術(shù)應(yīng)該解決的難題
更廣義來(lái)看,大數(shù)據(jù)還應(yīng)包括數(shù)據(jù)的流動(dòng),即數(shù)據(jù)從數(shù)據(jù)源產(chǎn)生到交到用戶(hù)手里的過(guò)程。很多專(zhuān)家責(zé)難企業(yè)數(shù)據(jù)倉(cāng)庫(kù)沒(méi)有“單一真相”,同樣的數(shù)據(jù)產(chǎn)生出五花八門(mén)的分析結(jié)果,以及難以實(shí)現(xiàn)有效的數(shù)據(jù)治理。
現(xiàn)在,移動(dòng)設(shè)備和自服務(wù)BI工具極大地改變了信息的傳播范圍。當(dāng)數(shù)據(jù)進(jìn)入移動(dòng)設(shè)備,你很難監(jiān)管它的傳播。都有誰(shuí)看了該信息?信息傳播的軌跡是怎樣的?有效的BI和大數(shù)據(jù)管理不只是收集和處理信息,也是管理信息的流通和傳播。
數(shù)據(jù)規(guī)模確實(shí)是一個(gè)技術(shù)難題,但核心的問(wèn)題在于廣數(shù)據(jù)。如何將多種數(shù)據(jù)源的數(shù)據(jù)集成起來(lái),如何處理,再如何讓廣大的用戶(hù)用于業(yè)務(wù)決策和分析,這才是技術(shù)應(yīng)該最主要關(guān)注的問(wèn)題。要做到支持廣泛的數(shù)據(jù)環(huán)境,供應(yīng)商需要關(guān)注這些問(wèn)題:
提供結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的訪問(wèn),并能有效集成能夠以不同的方式有效管理不同的數(shù)據(jù)集支持強(qiáng)大的數(shù)據(jù)治理模型
D1Net評(píng)論:
下一代BI和大數(shù)據(jù)技術(shù)必須能夠解決數(shù)據(jù)的廣度和復(fù)雜度的問(wèn)題,而不僅僅是數(shù)據(jù)量。大數(shù)據(jù)不僅僅是數(shù)據(jù)量的大,更包含數(shù)據(jù)的廣泛性。用戶(hù)和供應(yīng)商最好能在這一點(diǎn)上達(dá)成共識(shí)。