關(guān)于大數(shù)據(jù)的五大陷阱

責(zé)任編輯:editor005

2016-02-19 13:53:35

摘自:比特網(wǎng)

成功利用大數(shù)據(jù)已成為眾多企業(yè)的關(guān)鍵要素,其中包括制定平臺(tái)戰(zhàn)略,無(wú)論它是“數(shù)據(jù)中心”,還是“數(shù)據(jù)平臺(tái)”亦或是“數(shù)據(jù)湖”。

大數(shù)據(jù)龐大而又復(fù)雜。這不僅體現(xiàn)在信息的積累上,而且體現(xiàn)在其對(duì)經(jīng)營(yíng)策略的影響上。據(jù)IDC預(yù)測(cè),2018年,全球業(yè)務(wù)分析開(kāi)支將高達(dá)896億美元。成功利用大數(shù)據(jù)已成為眾多企業(yè)的關(guān)鍵要素,其中包括制定平臺(tái)戰(zhàn)略,無(wú)論它是“數(shù)據(jù)中心”,還是“數(shù)據(jù)平臺(tái)”亦或是“數(shù)據(jù)湖”。

大數(shù)據(jù)

很多還未實(shí)施大數(shù)據(jù)項(xiàng)目的企業(yè)正在評(píng)估他們2016年的數(shù)據(jù)戰(zhàn)略,其它公司則在審視它們現(xiàn)有的項(xiàng)目,探索利用分析改善經(jīng)營(yíng)和增加收入的新方法。事實(shí)上,大數(shù)據(jù)并不容易做到。據(jù)Gartner預(yù)測(cè),直到2018年,由于技能和集成上的問(wèn)題,70%的Hadoop系統(tǒng)可能將無(wú)法滿(mǎn)足成本節(jié)約和創(chuàng)收目標(biāo)。因此,如何才能把大數(shù)據(jù)“物盡其用”變得至關(guān)重要。以下是一些您應(yīng)該規(guī)避的最常見(jiàn)的大數(shù)據(jù)陷阱:

陷阱1:缺乏企業(yè)平臺(tái)或以數(shù)據(jù)為本的架構(gòu)

Hadoop系統(tǒng)通常是以具體應(yīng)用的原型身份進(jìn)入企業(yè)的,然后逐漸成為重心,吸引越來(lái)越多的數(shù)據(jù),并很快成為一個(gè)巨獸——由一小撮“數(shù)據(jù)科學(xué)家”領(lǐng)導(dǎo)的數(shù)字運(yùn)算引擎。企業(yè)必需從一個(gè)企業(yè)平臺(tái)策略和一個(gè)以數(shù)據(jù)為本的架構(gòu)開(kāi)始,打破在各種規(guī)模的企業(yè)中盛行并削弱企業(yè)力量的數(shù)據(jù)孤島。大數(shù)據(jù)需要能夠在一個(gè)完全可擴(kuò)展的分布式環(huán)境中實(shí)施并行處理,并盡可能地減少阻力。與傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)或應(yīng)用孤島不同,在一個(gè)以數(shù)據(jù)為本的架構(gòu)或企業(yè)平臺(tái)中,數(shù)據(jù)不受限制,不綁定模式,也沒(méi)有被鎖定。

陷阱2:缺乏“數(shù)據(jù)湖”愿景

對(duì)于企業(yè)而言,“數(shù)據(jù)湖”具有改變游戲規(guī)則的變革性意義。它是一個(gè)數(shù)據(jù)集中目的地,可提供企業(yè)急需的各類(lèi)型的數(shù)據(jù)集成,其中包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)以及內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)和合作伙伴數(shù)據(jù)。數(shù)據(jù)湖存儲(chǔ)庫(kù)通過(guò)“大數(shù)據(jù)經(jīng)濟(jì)學(xué)” 創(chuàng)造巨大效益,與傳統(tǒng)解決方案相比,它可將數(shù)據(jù)存儲(chǔ)和分析的成本降低30到50倍。 數(shù)據(jù)湖能夠在任何數(shù)據(jù)轉(zhuǎn)換或模式創(chuàng)建之前捕獲“原始數(shù)據(jù)”,并提供自動(dòng)快速攝取機(jī)制。在向企業(yè)數(shù)據(jù)接入、無(wú)縫數(shù)據(jù)訪問(wèn)、迭代算法開(kāi)發(fā)和敏捷開(kāi)發(fā)演進(jìn)的過(guò)程中,數(shù)據(jù)湖發(fā)揮著舉足輕重的作用。

陷阱3:沒(méi)有針對(duì)數(shù)據(jù)增長(zhǎng)和成熟度進(jìn)行規(guī)劃

當(dāng)數(shù)據(jù)湖成為默認(rèn)的數(shù)據(jù)目的地時(shí),管理和細(xì)粒度安全性從一開(kāi)始就變得異常重要。元數(shù)據(jù)訪問(wèn)及存儲(chǔ)、數(shù)據(jù)沿襲及標(biāo)注會(huì)成為內(nèi)置,而原始數(shù)據(jù)和不同階段的轉(zhuǎn)換數(shù)據(jù)仍能毫無(wú)沖突地共存。各類(lèi)應(yīng)用可以通過(guò)Hadoop使用彼此的數(shù)據(jù)。外部數(shù)據(jù)可以根據(jù)明確的處理/分析要求被屏蔽或集成,所有數(shù)據(jù)集能夠在數(shù)據(jù)湖中和睦相處,這提高了數(shù)據(jù)的可用性,縮短了應(yīng)用部署時(shí)間,并可支持無(wú)限的數(shù)據(jù)擴(kuò)展和增長(zhǎng)。

陷阱4:分析小樣本數(shù)據(jù)集

很多人認(rèn)為數(shù)據(jù)不需要被集成,人們可以使用小樣本數(shù)據(jù)集,這是一種危險(xiǎn)的錯(cuò)誤觀念,因?yàn)檫@會(huì)導(dǎo)致分析結(jié)果常常被延展到較大的數(shù)據(jù)集,而且不考慮差異,少則造成誤導(dǎo),嚴(yán)重的話(huà)甚至可能導(dǎo)致極度扭曲的結(jié)果。這通常被稱(chēng)為小樣本數(shù)據(jù)集分析魔咒。例如,當(dāng)您使用小樣本數(shù)據(jù)集時(shí),您可能會(huì)遇到很多離群數(shù)據(jù)或異常數(shù)據(jù)。如果使用的是小樣本數(shù)據(jù)集,您無(wú)法知道異常數(shù)據(jù)在較大的數(shù)據(jù)集中是否具有結(jié)構(gòu)性,或離群數(shù)據(jù)是否處于一種具備明確特征的模式。

陷阱5:采集更少的數(shù)據(jù),依賴(lài)更高級(jí)的算法

另一個(gè)錯(cuò)誤觀念是:高級(jí)和復(fù)雜的算法能夠解決所有問(wèn)題。如果是這么簡(jiǎn)單的話(huà),生活就太美好了。由于是在邏輯進(jìn)程上運(yùn)行,計(jì)算機(jī)將無(wú)條件地處理意外、甚至荒謬的輸入數(shù)據(jù),并生成無(wú)用、荒謬的輸出數(shù)據(jù)。在信息與計(jì)算機(jī)科學(xué)中,當(dāng)未被凈化的數(shù)據(jù)被輸入到復(fù)雜算法中,被稱(chēng)為“垃圾進(jìn)入/垃圾輸出”。缺失/稀疏的數(shù)據(jù)、空值和人為錯(cuò)誤必須被清除。IT人員應(yīng)避免依賴(lài)未經(jīng)驗(yàn)證的假設(shè)或弱關(guān)聯(lián),而去盡可能多地采集數(shù)據(jù),讓數(shù)據(jù)自己說(shuō)話(huà)。在部署數(shù)據(jù)平臺(tái)時(shí),這一點(diǎn)非常經(jīng)濟(jì)高效。

制定一個(gè)成功的大數(shù)據(jù)策略

如果將規(guī)避以上陷阱做為動(dòng)機(jī),從一開(kāi)始就把事情做對(duì),即可事半功倍,幫助企業(yè)更快、更好地利用大數(shù)據(jù)。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)