《企業(yè)網(wǎng)D1Net》3月17日訊

在大數(shù)據(jù)時代下，大數(shù)據(jù)行業(yè)的發(fā)展之快，令人驚訝萬分，與此同時，隨著大數(shù)據(jù)分析的應(yīng)用深入，大數(shù)據(jù)分析已經(jīng)成為企業(yè)決策新助手。但中國有句古話“盡信書不如無書”，其實大數(shù)據(jù)分析沒有你想象的那么完美。這主要是由于大數(shù)據(jù)中并不是所有的數(shù)據(jù)對用戶都有價值，一些垃圾信息甚至對數(shù)據(jù)價值帶來深深的傷害，如何對收集的數(shù)據(jù)進行篩選、去偽存真，才是大數(shù)據(jù)真正實現(xiàn)價值的關(guān)鍵。

不可否認的是大數(shù)據(jù)擁有巨大的價值，但是就目前情況看來，大數(shù)據(jù)更像是鏡中花水中月，看似美好，實則言過其實。在浩如煙海的數(shù)據(jù)中心去發(fā)掘?qū)τ脩粲袃r值的數(shù)據(jù)，就好比在垃圾場撿拾寶貝一樣，就好比在沙漠中尋找寶石一樣。

那么，如何從大量數(shù)據(jù)中心獲得對用戶有價值的信息呢？下面讓我們看一下當前人們是如何剔除垃圾信息，尋找數(shù)據(jù)價值。

為何要剔除這些垃圾信息你？其中一點上文中我們已經(jīng)提到，這些垃圾信息影響我們的數(shù)據(jù)分析結(jié)果，讓數(shù)據(jù)價值難以體現(xiàn)，其實這只是垃圾信息的一種危害。同時，過多的垃圾信息還會造成客戶基礎(chǔ)設(shè)施的瓶頸，給系統(tǒng)帶來負擔(dān)，并增添存儲、主機等設(shè)備成本，大大增加企業(yè)用戶的運維成本。那么如何去除這些垃圾信息呢？

大數(shù)據(jù)相比于傳統(tǒng)的數(shù)據(jù)有著一個重要的區(qū)別，那就是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)，這讓傳統(tǒng)的按照原本特定的規(guī)則和參數(shù)剔除垃圾信息的方式失去了用武之地。大數(shù)據(jù)時代需要新的垃圾信息剔除方式。但如今大數(shù)據(jù)正處于發(fā)展出去，各大IT廠商雖然都競相推出了大數(shù)據(jù)解決方案，但是針對垃圾信息剔除方面的方法幾乎沒有。

筆者認為不妨從以下兩個方面入手：

人力方面:如今的大數(shù)據(jù)分析方面缺乏只能，這樣很多解決方案并不能真正的實現(xiàn)智能分析，而人工就要承擔(dān)其中的智能部分。有些數(shù)據(jù)分析問題會被發(fā)送于負責(zé)相應(yīng)問題的專員，由相關(guān)的大數(shù)據(jù)分析專業(yè)人員提供問題的解決方案。

IT廠商方面：除了在人力方面加大力度，培訓(xùn)專業(yè)的人才。還需要更多的大數(shù)據(jù)廠商來提供更加智能的解決方案，光靠人力顯然是不夠的。

在未來面對這么大一堆的垃圾，這將是大數(shù)據(jù)廠商的一個重要挑戰(zhàn)。廠商們需要確立新的數(shù)據(jù)標準，幫助用戶更加深入的分析數(shù)據(jù)，能夠智能分辨數(shù)據(jù)的級別，自動剔除重復(fù)的、同一IP地址的或者惡意干擾的數(shù)據(jù)，這樣才會大大加快數(shù)據(jù)分析的速度。從無到有，有的時候可能就是一點點，然后需要一點點時間，逐步的積累，這是對大數(shù)據(jù)廠商的長期考驗。

D1Net評論：

隨著大數(shù)據(jù)價值的凸顯，很多企業(yè)都紛紛運用大數(shù)據(jù)為企業(yè)創(chuàng)造價值，然而，大數(shù)據(jù)并非都是好的，也存在很多垃圾數(shù)據(jù)，在運用過程中，需遵循取其精華，去其糟粕的原則，這樣才能將大數(shù)據(jù)的真正價值應(yīng)用到實處。