在大數(shù)據(jù)時代下,大數(shù)據(jù)解決方案的實施讓很多的IT部門面臨困境。大數(shù)據(jù)應(yīng)用程序并不需要如支持團(tuán)隊做應(yīng)用程序一樣的基礎(chǔ)架構(gòu)。隨著企業(yè)接受大數(shù)據(jù),管理層會假設(shè)員工規(guī)模會減少。而那些非必要的技術(shù)人員應(yīng)該做什么呢?一個答案就是:將其轉(zhuǎn)換為技術(shù)顧問,與業(yè)務(wù)部門進(jìn)行協(xié)作。換句話說,就是給予他們面向客戶的角色。
大數(shù)據(jù)之后信息技術(shù)的狀態(tài)
大數(shù)據(jù)革命已然過去,這讓信息技術(shù)(IT)企業(yè)不同程度的采用了新技術(shù)。有些完全接受了大數(shù)據(jù)存儲和復(fù)雜分析的概念,并采用了最佳實踐和成熟的項目管理方法。結(jié)果是:形成了關(guān)于產(chǎn)品,銷售,訂單及最重要的客戶的分析寶庫。
而其他的用戶則沒有如此幸運??赡芩麄兯徺I的特定供應(yīng)商的解決方案并不包含完整的規(guī)劃,或是可能中層管理人員并沒有準(zhǔn)備好為成功的解決方案投入必要的成熟資源。結(jié)果便是:半組織化的信息集合,少數(shù)分析解決方案,并且這種想法會在某天以某種方式讓其付出代價。
與此同時,數(shù)據(jù)庫管理員,系統(tǒng)程序員,以及其他技術(shù)專家和主題專家處在一個后大數(shù)據(jù)時代。軟硬件安裝及配置已經(jīng)完成,概念驗證和試點程序已交付給最先的內(nèi)部客戶。大多數(shù)軟硬件混合大數(shù)據(jù)解決方案都不要求內(nèi)部調(diào)優(yōu):分析查詢執(zhí)行非???,而且業(yè)務(wù)分析師正對探索和調(diào)查尋找有用信息翹首以待。
還剩下什么留給技術(shù)人員去做呢?
當(dāng)前的基礎(chǔ)架構(gòu)團(tuán)隊
首先,我們來考慮多面手。新手DBA和系統(tǒng)程序員在這個類別起步,只是發(fā)展專業(yè)技能并在他們之后的職業(yè)生涯中加深知識。他們最好的角色往往是明確定義好的,標(biāo)準(zhǔn)化的流程。這些包括:
管理數(shù)據(jù)庫備份和恢復(fù)流程;監(jiān)視并檢測災(zāi)難恢復(fù)準(zhǔn)備;實施自我分析和自我調(diào)優(yōu)流程(有時稱之為自治);SQL查詢調(diào)優(yōu),包括Explains和訪問路徑分析;數(shù)據(jù)庫性能調(diào)優(yōu);測試生產(chǎn)對象和數(shù)據(jù)遷移;監(jiān)視數(shù)據(jù)庫日志以發(fā)現(xiàn)錯誤和問題。
在新環(huán)境中,很多這些流程是多余的或不必要的。鑒于大數(shù)據(jù)分析解決方案的速度,SQL查詢調(diào)優(yōu)在大多數(shù)情況下可能是不必要的。對于數(shù)據(jù)庫性能調(diào)優(yōu)同樣如此,因為很多供應(yīng)商的軟硬件混合解決方案(有時稱之為設(shè)備)是在沒有任何內(nèi)部性能調(diào)優(yōu)的功能條件下交付的。這就使得輔助人員更加容易的完成工作。
結(jié)果就是:在后大數(shù)據(jù)時代的IT企業(yè)中不再需要多面手。
接下來,讓我們考慮專家。他們專門負(fù)責(zé)處理復(fù)雜工作:
系統(tǒng)和網(wǎng)絡(luò)性能調(diào)優(yōu);軟件安裝和版本遷移;為關(guān)鍵任務(wù)應(yīng)用程序做首要技術(shù)支持;協(xié)助和管理數(shù)據(jù)架構(gòu)變更;對潛在供應(yīng)商工具執(zhí)行基準(zhǔn)測試。
隨著IT企業(yè)接受大數(shù)據(jù)分析,需要專家做的事會更少,這意味著專家需求量會減少。
在后大數(shù)據(jù)時代的基礎(chǔ)架構(gòu)支持
IT專家和多面手必須將他們的注意力轉(zhuǎn)移到內(nèi)部用戶上來,他們會面臨許多的技術(shù)問題。以下是他們最為緊迫的一些問題。
大數(shù)據(jù)性能。 隨著大數(shù)據(jù)應(yīng)用程序價值的增長,業(yè)務(wù)分析師對分析的使用會劇增。更多的查詢會產(chǎn)生可操作的結(jié)果,生成常規(guī)報表。用戶會要求時間跨度更大,地理區(qū)域更大的更多數(shù)據(jù)。最終,大量用戶和查詢會壓垮你的大數(shù)據(jù)應(yīng)用程序。
專家應(yīng)該注意增加內(nèi)部用戶應(yīng)用程序的知識。他們需要什么數(shù)據(jù),他們什么時候需要,以及誰會使用這些結(jié)果?專家會在一些應(yīng)用程序領(lǐng)域變?yōu)橹黝}專家,作為內(nèi)部顧問,以及會在諸如查詢效率和類似數(shù)據(jù)集之類的高級分析方法提供問題咨詢,進(jìn)而提升他們的價值。
多面手可以在他們的環(huán)境中通過收集性能數(shù)據(jù)和使用統(tǒng)計信息來提供有價值的服務(wù)。這些數(shù)據(jù)可能會用于對查詢類別進(jìn)行優(yōu)先級的劃分。例如,當(dāng)資源利用較低時,低優(yōu)先級查詢會推遲處理。
企業(yè)數(shù)據(jù)模型。 隨著存儲了越來越多的數(shù)據(jù),擁有一個有組織的數(shù)據(jù)字典和數(shù)據(jù)模型變得尤為重要。試問如果不知道擁有什么樣的數(shù)據(jù),又如何有效的進(jìn)行查詢呢?
專家,特別是數(shù)據(jù)庫管理員,應(yīng)該已經(jīng)意識到數(shù)據(jù)建模概念并且應(yīng)該擁有多重應(yīng)用程序和系統(tǒng)的知識?,F(xiàn)在可以利用這些知識來協(xié)助業(yè)務(wù)分析師進(jìn)行最初的分析定義和查詢構(gòu)建。
多面手可以作為應(yīng)用程序調(diào)查員來提供服務(wù),給出數(shù)據(jù)元素的清單并進(jìn)行分類和確認(rèn)數(shù)據(jù)屬性和來源。
大數(shù)據(jù)技術(shù)。 大數(shù)據(jù)并不只是關(guān)于用戶姓名,賬號,以及存款等。雖然這些常見的業(yè)務(wù)數(shù)據(jù)可以包括在大數(shù)據(jù)解決方案中,但是還有更為有趣的數(shù)據(jù)元素和數(shù)據(jù)類型可以探索:
還有諸如大型對象(LOBs)之類的新型復(fù)雜數(shù)據(jù)類型。
諸如可擴(kuò)展標(biāo)記語言(XML)的自我描述型數(shù)據(jù)正變?yōu)閮?nèi)部應(yīng)用程序數(shù)據(jù)傳輸事實上的標(biāo)準(zhǔn)。很多文檔和數(shù)據(jù)記錄都以XML格式存儲,因為它們可以通過多種跨平臺應(yīng)用程序進(jìn)行讀取。
多重結(jié)構(gòu)數(shù)據(jù)在捕獲用戶網(wǎng)站行為的時候是很常見的。所謂的點擊流為追蹤網(wǎng)站訪問者做了什么和他們訪問了什么數(shù)據(jù),以及他們的偏好數(shù)據(jù)提供了方法。
這些新數(shù)據(jù)類型中的有些會讓業(yè)務(wù)分析師感到困惑。專家和多面手都可以為參考和回答問題以及為新數(shù)據(jù)類型的展示和如何對它們進(jìn)行最佳利用等提供服務(wù)
對過渡進(jìn)行管理
支持經(jīng)理應(yīng)該找到相對簡便的方法為他們的員工在過渡上提供幫助。
一些多面手會在最初服務(wù)于特定的內(nèi)部用戶,以在數(shù)據(jù)需求定義上為他們提供服務(wù)。然后這可以擴(kuò)展到更多的技術(shù)角色上來,包括分析執(zhí)行或是結(jié)果分析等。甚至將多面手轉(zhuǎn)移至業(yè)務(wù)線也是值得考慮的。
很多專家會繼續(xù)處理技術(shù)相關(guān)的問題,諸如性能和調(diào)優(yōu)。一些會在高級分析選項,方法和分析新數(shù)據(jù)類型等方面提供內(nèi)部咨詢。管理層必須讓這些專家在工作中保持主動,否則就要承受他們流失去其他類似企業(yè)的風(fēng)險。
D1Net評論:
基礎(chǔ)架構(gòu)支持團(tuán)隊成功的經(jīng)受了大數(shù)據(jù)的洗禮,并且最有可能負(fù)責(zé)了許多應(yīng)用程序的成功實施。但是,這一結(jié)果就導(dǎo)致對于IT支持人員需求不可避免的減少。IT專家和多面手必須通過學(xué)習(xí)內(nèi)部業(yè)務(wù)線和讓他們自己熟悉當(dāng)前的業(yè)務(wù)數(shù)據(jù)需求來擴(kuò)展他們的技能。假設(shè)一個面向用戶的角色可能是他們僅有的長期職業(yè)生涯選擇。