數(shù)據(jù)庫(kù)管理員(DBA)的職能已擴(kuò)展到數(shù)據(jù)管理、基礎(chǔ)架構(gòu)管理以及工作負(fù)載和SLA管理上。作為大數(shù)據(jù)戰(zhàn)略的一部分,DBA的角色又是如何變化的呢?
數(shù)據(jù)管理
* 為成為數(shù)據(jù)管理專(zhuān)家而努力。雖然SQL數(shù)據(jù)庫(kù)可以擴(kuò)展以處理大數(shù)據(jù),但數(shù)據(jù)庫(kù)并不是最優(yōu)解決方案。DBA正在預(yù)算方面做努力,在預(yù)算范圍內(nèi),以最低的成本滿足SLA。
* 出現(xiàn)數(shù)據(jù)ops概念。數(shù)據(jù)管理和數(shù)據(jù)治理。數(shù)據(jù)操作是團(tuán)隊(duì)的一部分,在收集和創(chuàng)建數(shù)據(jù)時(shí)共享目標(biāo)、協(xié)作工作。使用自動(dòng)化來(lái)擠壓延遲、采取最合適的敏捷方案以提高提高效率。
* 管理、治理和軟件交付。維護(hù)數(shù)據(jù)庫(kù)模型和模式。在大數(shù)據(jù)中,從定義明確的轉(zhuǎn)換到應(yīng)用程序和工程師之間的協(xié)同工作,一切都是具有探索性的。
* 雖然開(kāi)發(fā)人員認(rèn)為不需要數(shù)據(jù)管理,但為了后續(xù)的分析數(shù)據(jù),DBA們?nèi)孕枰M(jìn)行數(shù)據(jù)管理。
* DBA從管理數(shù)據(jù)庫(kù)轉(zhuǎn)變?yōu)榭缍鄠€(gè)系統(tǒng)的數(shù)據(jù)工程師。他們關(guān)注的是數(shù)據(jù)如何從一個(gè)數(shù)據(jù)庫(kù)轉(zhuǎn)移到另一個(gè)數(shù)據(jù)庫(kù)、數(shù)據(jù)的消耗、數(shù)據(jù)的調(diào)整以及數(shù)據(jù)流程的管理,對(duì)于數(shù)據(jù)自動(dòng)分配和執(zhí)行來(lái)說(shuō)這些都至關(guān)重要。
* DBA已經(jīng)不再是單單只關(guān)注像SQLServer和Oracle這樣的個(gè)人產(chǎn)品,而是必須要處理好企業(yè)大數(shù)據(jù)實(shí)施方案的執(zhí)行問(wèn)題。
基礎(chǔ)架構(gòu)和平臺(tái)
DBA的角色已經(jīng)被推到第一線上。對(duì)IT棧的演變負(fù)責(zé)。基礎(chǔ)設(shè)施和平臺(tái)的認(rèn)定范圍變的更大。
* 這是一個(gè)不容忽視的大挑戰(zhàn),應(yīng)用程序所使用的數(shù)據(jù)庫(kù)技術(shù)不再歸于DBA的控制范圍內(nèi)。遷移到云上的比重越大,DBA的控制范圍就越小。數(shù)據(jù)越來(lái)越多,同時(shí)也在不斷推出新的數(shù)據(jù)庫(kù)。管理數(shù)據(jù)基礎(chǔ)設(shè)施、提出大數(shù)據(jù)的解決喝整合方案、掌握如何歸檔和處理災(zāi)難恢復(fù)的技能。AWS似乎將云中的數(shù)據(jù)庫(kù)選項(xiàng)綁定到了DBA上。DBA仍然需要在備份、災(zāi)難恢復(fù)和海量存儲(chǔ)上多費(fèi)心思。值得在備份和存儲(chǔ)方面進(jìn)行更具戰(zhàn)略性的思考。
* DBA比以往更重要,因此他們也需要學(xué)習(xí):如何有效地集成存儲(chǔ)在RDBMS系統(tǒng)中的遺留數(shù)據(jù),同時(shí)大數(shù)據(jù)技術(shù)也是必不可少的。
* 由于大數(shù)據(jù)改變了數(shù)據(jù)架構(gòu),DBA的存在可能需要不是立竿見(jiàn)影的,但確實(shí)是實(shí)實(shí)在在的。新技術(shù)為數(shù)據(jù)管理提供了新的契機(jī),使DBA和數(shù)據(jù)模式打開(kāi)了一個(gè)新時(shí)代。
* 事實(shí)上,沒(méi)有數(shù)據(jù)模式和Hadoop的NoSQL平臺(tái),以及支持它的一系列工具,會(huì)越來(lái)越多地部署在企業(yè)中?,F(xiàn)在開(kāi)發(fā)人員在數(shù)據(jù)本身的設(shè)計(jì)上有更多的影響力。
* 這在擴(kuò)大DBA的專(zhuān)業(yè)范圍上起到了推動(dòng)作用:必須學(xué)習(xí)NoSQL系統(tǒng)的機(jī)制和操作;掌握管理Hadoop集群的能力;實(shí)施“無(wú)需存儲(chǔ)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)”的方法。
* 而且,NoSQL的靈活性是以數(shù)據(jù)完整性為代價(jià),這種模型的難度更高。目前,許多公司的網(wǎng)絡(luò)應(yīng)用程序的數(shù)據(jù)完整性已經(jīng)給靈活性讓位了。
* DBA必須適應(yīng)設(shè)計(jì)和開(kāi)發(fā)的風(fēng)格變化。DBA也需要運(yùn)行幾個(gè)關(guān)系系統(tǒng),并且認(rèn)真學(xué)習(xí)NoSQL技術(shù),對(duì)指導(dǎo)公司做出的部署負(fù)責(zé)。將來(lái)可能會(huì)劃分出幾種類(lèi)型的DBA:局限于技術(shù)的;傳統(tǒng)的管理員;努力學(xué)習(xí)并適應(yīng)管理大數(shù)據(jù)的新技術(shù)和工具的。
* DBA始終是整個(gè)軟件開(kāi)發(fā)流程的一部分。在目前的環(huán)境中,更是需要所有的DBA都參與到整個(gè)開(kāi)發(fā)過(guò)程中,尤其是規(guī)劃、范圍界定和原型設(shè)計(jì)部分。DBA能為企業(yè)提供有關(guān)數(shù)據(jù)基礎(chǔ)設(shè)施功能、所需變更成本、潛在性能影響以及總體容量規(guī)劃等項(xiàng)目的具體信息。
* 鑒于對(duì)數(shù)據(jù)的使用要求,更多特定數(shù)據(jù)平臺(tái)范圍之外的技術(shù)正被用于實(shí)施解決方案。DBA不僅僅要專(zhuān)注于SQL、DDL等,還要掌握J(rèn)avaScript、Java、.NET等技術(shù)。DBA會(huì)越來(lái)越精通應(yīng)用容器化和系統(tǒng)容器化(Docker、Rkt、Linux容器等)。DBA壓力會(huì)越來(lái)越大,一旦與其他角色聯(lián)系到一起,數(shù)據(jù)及其管理都是穿插著多條生命線,因此需要掌握的技術(shù)就不斷增加。
* 成功采用大數(shù)據(jù)策略的企業(yè),早已經(jīng)把DBA轉(zhuǎn)變?yōu)樾滦蛿?shù)據(jù)基礎(chǔ)管理員,包括NoSQL數(shù)據(jù)庫(kù)和Hadoop在內(nèi)。與開(kāi)發(fā)數(shù)據(jù)管理邏輯的數(shù)據(jù)開(kāi)發(fā)人員、處理和準(zhǔn)備數(shù)據(jù)的數(shù)據(jù)科學(xué)家以及業(yè)務(wù)線上的數(shù)據(jù)分析人員相結(jié)合,DBA是操作大數(shù)據(jù)戰(zhàn)略的重要部分。現(xiàn)在,DBA依賴(lài)于更智能的工具,這些工具可以管理并報(bào)告各種數(shù)據(jù)庫(kù)和技術(shù)框架的數(shù)據(jù)基礎(chǔ)架構(gòu)和流程。
工作負(fù)載和SLA
* 工作結(jié)構(gòu)消失了。有類(lèi)型更為廣泛的問(wèn)題需要解決。要實(shí)現(xiàn)混合的環(huán)境在流和批處理中交付新的工作負(fù)載,同時(shí)又能跟得上變化。
* 現(xiàn)在,有許多不在數(shù)據(jù)庫(kù)中管理數(shù)據(jù),而是將數(shù)據(jù)組織成超級(jí)管理數(shù)據(jù)的數(shù)據(jù)生態(tài)系統(tǒng)一部分的做法。了解通信、鏈接的速度、安全性以及如何將來(lái)源匯集在一起。
* 比起以往,現(xiàn)在有更多的技術(shù)管理。理解并管理一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)方法有10到20種。為了能給問(wèn)題選擇出正確的技術(shù),便于管理,規(guī)模較大的企業(yè)正在考慮將搜索、NoSQL、Hadoop和GPU技術(shù)標(biāo)準(zhǔn)化。
* 從一個(gè)擁有數(shù)據(jù)庫(kù)領(lǐng)域知識(shí)的系統(tǒng)管理員,到現(xiàn)在需要掌握處理數(shù)據(jù)集成、非結(jié)構(gòu)化數(shù)據(jù)、自然語(yǔ)言處理、文檔存儲(chǔ)和統(tǒng)計(jì)。工具集可以能夠簡(jiǎn)化工作。關(guān)系數(shù)據(jù)庫(kù)不會(huì)有大的進(jìn)展,但大數(shù)據(jù)存儲(chǔ)會(huì)有新變化。
1. 大數(shù)據(jù)時(shí)代,DBA的角色發(fā)生了重大變化。在很長(zhǎng)一段時(shí)間里,DBA僅僅只是一個(gè)系統(tǒng)管理員。他們的確有SQL知識(shí)、知道該如何優(yōu)化SQL,以及對(duì)構(gòu)建數(shù)據(jù)庫(kù)的理解,但他們并沒(méi)有主動(dòng)參與到數(shù)據(jù)庫(kù)系統(tǒng)里數(shù)據(jù)的特定用途上。
2. 大數(shù)據(jù)DBA對(duì)數(shù)據(jù)和非關(guān)系數(shù)據(jù)模型的應(yīng)用程序有更深入的了解,并且必須具備執(zhí)行數(shù)據(jù)集成的知識(shí),這些數(shù)據(jù)集超出了用于商業(yè)智能(BI)應(yīng)用的傳統(tǒng)提取——轉(zhuǎn)換——加載過(guò)程(ETL)。