那么，在運(yùn)行大型數(shù)據(jù)項(xiàng)目時(shí)，數(shù)據(jù)團(tuán)隊(duì)的感知能力與實(shí)際性能之間的脫節(jié)程度如何?

以下是企業(yè)在實(shí)施大型數(shù)據(jù)項(xiàng)目或達(dá)到大數(shù)據(jù)成熟度時(shí)報(bào)告的五個(gè)最重要的挑戰(zhàn)：

01.確保數(shù)據(jù)質(zhì)量

很少有人會(huì)否認(rèn)大數(shù)據(jù)在世界各地的組織所發(fā)揮的重要作用，但是發(fā)現(xiàn)這些好處需要保持高質(zhì)量的數(shù)據(jù)——這一點(diǎn)變得越來越困難，并且被認(rèn)為是IT和數(shù)據(jù)專業(yè)人員面臨的最大挑戰(zhàn)。在許多情況下，企業(yè)收集的數(shù)據(jù)的關(guān)鍵方面可能會(huì)因失誤，錯(cuò)誤或不完整的數(shù)據(jù)而被破壞，所有這些都可能導(dǎo)致數(shù)據(jù)團(tuán)隊(duì)的錯(cuò)誤結(jié)論。這被稱為臟數(shù)據(jù)，它對(duì)希望利用這些數(shù)據(jù)來驅(qū)動(dòng)洞察力和改進(jìn)業(yè)務(wù)操作的公司來說是一個(gè)巨大的障礙。骯臟的數(shù)據(jù)并不是一個(gè)小問題。據(jù)數(shù)據(jù)倉(cāng)庫(kù)研究所(TDWI)的報(bào)告，遭到損壞或不完整的數(shù)據(jù)最終導(dǎo)致美國(guó)公司每年損失6000億美元。

現(xiàn)在采取步驟清理數(shù)據(jù)并防止這個(gè)問題的發(fā)生將大大有助于組織充分利用他們收集的信息。企業(yè)可以通過定期更新系統(tǒng)來幫助保持?jǐn)?shù)據(jù)的干凈，以確保數(shù)據(jù)可以處理大量的數(shù)據(jù)收集和分析，而不會(huì)在此過程中造成損害。擁有正確技術(shù)的企業(yè)甚至可以進(jìn)行數(shù)據(jù)清洗，這是一個(gè)徹底的清理過程，涉及到數(shù)據(jù)集的過濾、解碼和轉(zhuǎn)換。

02.保持預(yù)期成本

CIO們往往難以準(zhǔn)確地預(yù)測(cè)大型數(shù)據(jù)項(xiàng)目的成本，特別是在缺乏經(jīng)驗(yàn)的情況下。其挑戰(zhàn)在于考慮到與每個(gè)項(xiàng)目相關(guān)的各種不同的成本-從獲取新的硬件或軟件，支付云提供商，雇用額外的所需人員等等。由于大型數(shù)據(jù)項(xiàng)目的趨勢(shì)很快擴(kuò)大，與這些項(xiàng)目相關(guān)的成本可能很快就會(huì)變得壓倒一切，如果公司沒有準(zhǔn)備好的話。對(duì)于尋求內(nèi)部部署項(xiàng)目的企業(yè)，決策者必須考慮培訓(xùn)、維護(hù)和擴(kuò)大其數(shù)據(jù)庫(kù)和員工的成本。另一方面，雖然基于云的大數(shù)據(jù)部署通常比內(nèi)部部署數(shù)據(jù)中心具有更低的成本要求和更快的生產(chǎn)時(shí)間，但追求云模型的企業(yè)也需要評(píng)估與供應(yīng)商的服務(wù)級(jí)別協(xié)議，以確定如何收取使用費(fèi)用，如果有任何額外費(fèi)用可能會(huì)發(fā)生的話。

03.滿足業(yè)務(wù)需求和期望

雖然數(shù)據(jù)團(tuán)隊(duì)對(duì)提供自我服務(wù)洞察能力以滿足日益增長(zhǎng)的需求的能力非常有信心，但很少有人能夠滿足企業(yè)的高期望值。這個(gè)問題的一部分是由于缺乏有效運(yùn)行大數(shù)據(jù)操作所需的技術(shù)資源。事實(shí)上，Dimensional Research最近進(jìn)行的一項(xiàng)調(diào)查中，近三分之一的受訪者表示，他們無(wú)法獲得實(shí)施內(nèi)部部署大型數(shù)據(jù)項(xiàng)目所需的基礎(chǔ)設(shè)施或技術(shù)。盡管企業(yè)可能在開始實(shí)施一個(gè)大數(shù)據(jù)項(xiàng)目的期望很高，他們往往沒有投資數(shù)據(jù)團(tuán)隊(duì)正確實(shí)施這些項(xiàng)目所需的資源。為了避免這個(gè)問題，數(shù)據(jù)團(tuán)隊(duì)領(lǐng)導(dǎo)者應(yīng)該在開始一個(gè)項(xiàng)目之前，與業(yè)務(wù)負(fù)責(zé)人磋商，根據(jù)現(xiàn)有資源制定預(yù)期。同時(shí)，數(shù)據(jù)團(tuán)隊(duì)必須作為教育者，向決策者通報(bào)技術(shù)，基礎(chǔ)設(shè)施和實(shí)現(xiàn)特定目標(biāo)所需的人員的情況。

04.量化大數(shù)據(jù)項(xiàng)目的價(jià)值

雖然大多數(shù)組織都主張實(shí)施自己的大數(shù)據(jù)項(xiàng)目的好處，了解需求和能夠量化所需的投資價(jià)值并不總是齊頭并進(jìn)。例如，決定在內(nèi)部數(shù)據(jù)中心運(yùn)行數(shù)據(jù)分析的企業(yè)將需要購(gòu)買一些昂貴的服務(wù)器，并使用適當(dāng)?shù)能浖⑵洳渴鸬綌?shù)據(jù)中心，并運(yùn)行測(cè)試以確保所有功能正常運(yùn)行。這個(gè)過程可能需要幾個(gè)月甚至幾年的時(shí)間，也就是在第一個(gè)查詢甚至可以運(yùn)行之前。如果一個(gè)數(shù)據(jù)小組在這個(gè)時(shí)候被要求投資回報(bào)，他們根本無(wú)法進(jìn)行回應(yīng)。

云計(jì)算已經(jīng)大大改變了這種情況。雖然仍有不少組織將選擇投資于本地部署的大型數(shù)據(jù)基礎(chǔ)設(shè)施，，但越來越多的企業(yè)正在意識(shí)到基于云的大數(shù)據(jù)基礎(chǔ)設(shè)施的優(yōu)勢(shì)，可以降低前期投資和更快的部署時(shí)間。

05.缺乏行業(yè)專長(zhǎng)

最后，組織在實(shí)施大數(shù)據(jù)項(xiàng)目時(shí)面臨的最大挑戰(zhàn)之一就是尋找合格的工作人員。雖然83%的調(diào)查對(duì)象表示他們的數(shù)據(jù)團(tuán)隊(duì)正在增長(zhǎng)，但超過三分之一企業(yè)表示，他們難以找到具有處理其數(shù)據(jù)操作所需的專業(yè)知識(shí)和技能的人員。事實(shí)上，一個(gè)成功的大型數(shù)據(jù)項(xiàng)目無(wú)法由單一類型的用戶處理，企業(yè)需要聘請(qǐng)開發(fā)人員，數(shù)據(jù)科學(xué)家，分析師和其他人員，這些人都具有自己的技能和專業(yè)領(lǐng)域，所以這個(gè)問題進(jìn)一步加劇。

然而，即使企業(yè)有一個(gè)熟練的團(tuán)隊(duì)，許多數(shù)據(jù)團(tuán)隊(duì)也會(huì)陷入維護(hù)大型數(shù)據(jù)基礎(chǔ)設(shè)施的工作中。而不是簡(jiǎn)單地添加人員來處理這些數(shù)據(jù)管理任務(wù)，企業(yè)應(yīng)該集中精力尋找工具來幫助他們的數(shù)據(jù)團(tuán)隊(duì)更有效地工作。通過云計(jì)算和機(jī)器學(xué)習(xí)，諸如容量規(guī)劃和軟件更新等耗時(shí)的任務(wù)可以實(shí)現(xiàn)無(wú)縫自動(dòng)化，讓團(tuán)隊(duì)專注于高價(jià)值的工作，以推動(dòng)運(yùn)營(yíng)改進(jìn)和收入。

大數(shù)據(jù)是困難和復(fù)雜的，并且充分利用它面臨很多障礙。雖然在某種程度上，在某些層面上，許多公司似乎認(rèn)識(shí)到與實(shí)施大數(shù)據(jù)項(xiàng)目有關(guān)的困難，但在其他方面，他們往往對(duì)實(shí)現(xiàn)下一個(gè)成熟階段所需的努力和專門知識(shí)抱有不切實(shí)際的期望。在企業(yè)能夠執(zhí)行自己成功的成熟的大數(shù)據(jù)計(jì)劃之前，他們首先需要開發(fā)必要的基礎(chǔ)設(shè)施，工具和專家資源來克服上述每個(gè)挑戰(zhàn)。通過采用DataOps方法，企業(yè)可以構(gòu)建一個(gè)自助服務(wù)數(shù)據(jù)模型，從而在整個(gè)組織中提供洞察驅(qū)動(dòng)的業(yè)務(wù)決策。