如何創(chuàng)建數(shù)據(jù)架構(gòu)以推動(dòng)創(chuàng)新

責(zé)任編輯:cres

作者:Antonio Castro

2020-08-18 09:59:10

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

昔日的數(shù)據(jù)架構(gòu)已經(jīng)無(wú)法滿足當(dāng)今對(duì)速度、靈活性和創(chuàng)新的需求。成功升級(jí)的關(guān)鍵是敏捷性。

昔日的數(shù)據(jù)架構(gòu)已經(jīng)無(wú)法滿足當(dāng)今對(duì)速度、靈活性和創(chuàng)新的需求。成功升級(jí)的關(guān)鍵(也是巨大的潛在回報(bào))是敏捷性。
 
在過(guò)去的幾年中,組織不得不迅速在原有基礎(chǔ)設(shè)施的基礎(chǔ)上部署各種新的數(shù)據(jù)技術(shù),從而推動(dòng)由市場(chǎng)驅(qū)動(dòng)的各種創(chuàng)新,例如定制化的報(bào)價(jià)、實(shí)時(shí)警報(bào)和預(yù)測(cè)性維護(hù)。
 
但是,數(shù)據(jù)湖、客戶分析平臺(tái)、流處理等技術(shù)的加入極大地增加了數(shù)據(jù)架構(gòu)的復(fù)雜性,這些技術(shù)往往嚴(yán)重妨礙了組織提供新功能,維護(hù)現(xiàn)有基礎(chǔ)設(shè)施以及持續(xù)確保人工智能模型的完整性。
 
當(dāng)前的市場(chǎng)動(dòng)態(tài)不容放緩。亞馬遜和谷歌等先進(jìn)的公司一直在利用人工智能技術(shù)創(chuàng)新來(lái)顛覆傳統(tǒng)的商業(yè)模式,而這就要求落后者重新構(gòu)想自身業(yè)務(wù)的各個(gè)方面以跟上發(fā)展的步伐。云提供商已經(jīng)推出了最前沿的產(chǎn)品(例如可以立即部署的無(wú)服務(wù)器數(shù)據(jù)平臺(tái)),這些產(chǎn)品使采用者享有更快的上市時(shí)間并且具備更高的敏捷性。Analytics(分析)用戶要求使用更多兼容性強(qiáng)的工具(如自動(dòng)模型部署平臺(tái)),以便他們可以更快地使用新模型。許多組織已經(jīng)采用了應(yīng)用程序編程接口(API),使來(lái)自不同系統(tǒng)的數(shù)據(jù)能夠接觸到數(shù)據(jù)湖并迅速將洞察直接集成到前端的應(yīng)用程序中。如今,隨著各大公司紛紛開(kāi)始研究由冠狀病毒(COVID-19)大流行所引起的前所未有的人道主義危機(jī)并為下一次正常運(yùn)轉(zhuǎn)做準(zhǔn)備,它們對(duì)靈活性和速度的需求只會(huì)增加而不會(huì)減少。
 
對(duì)于要加強(qiáng)競(jìng)爭(zhēng)優(yōu)勢(shì)(甚至是保持同等優(yōu)勢(shì))的公司,它們必須以一種新的方法來(lái)定義、實(shí)施和集成數(shù)據(jù)棧,同時(shí)利用云(除了基礎(chǔ)架構(gòu)即服務(wù))以及各種新的概念和組件。
 
打造顛覆性數(shù)據(jù)架構(gòu)的六個(gè)轉(zhuǎn)變
 
我們發(fā)現(xiàn),各大公司正在對(duì)其數(shù)據(jù)體系結(jié)構(gòu)藍(lán)圖做出六項(xiàng)根本性的轉(zhuǎn)變,這些轉(zhuǎn)變可以更快地交付新功能并大大簡(jiǎn)化現(xiàn)有的體系結(jié)構(gòu)方法。這些轉(zhuǎn)變幾乎涉及所有的數(shù)據(jù)活動(dòng),包括采集、處理、存儲(chǔ)、分析和公開(kāi)。盡管組織可以在實(shí)施一些轉(zhuǎn)變的同時(shí)使其核心技術(shù)棧不受任何影響,但許多組織仍需要對(duì)現(xiàn)有數(shù)據(jù)平臺(tái)和基礎(chǔ)設(shè)施進(jìn)行仔細(xì)的架構(gòu)調(diào)整,包括以前使用的各種遺留技術(shù)和比較新的技術(shù)。
 
這樣的工作并非微不足道。為創(chuàng)建基本用例(例如自動(dòng)報(bào)告)的功能而進(jìn)行的投資往往高達(dá)數(shù)千萬(wàn)美元,而用于部署尖端功能的體系結(jié)構(gòu)組件(例如為了與最具創(chuàng)新力的顛覆者競(jìng)爭(zhēng)的各種實(shí)時(shí)服務(wù))的投資則可能高達(dá)數(shù)億美元。因此,對(duì)于組織而言,制定清晰的戰(zhàn)略計(jì)劃至關(guān)重要,數(shù)據(jù)和技術(shù)領(lǐng)導(dǎo)者必須做出大膽的選擇,以優(yōu)先考慮那些將直接影響業(yè)務(wù)目標(biāo)的轉(zhuǎn)變,并投資于復(fù)雜度適中的體系結(jié)構(gòu)。因此,各大公司之間的數(shù)據(jù)架構(gòu)藍(lán)圖往往看起來(lái)截然不同。
 
如果投資得當(dāng),投資回報(bào)將非常豐厚(有一家美國(guó)銀行每年可賺取5億多美元,一家石油和天然氣公司則實(shí)現(xiàn)了12%至15%的利潤(rùn)率增長(zhǎng))。我們發(fā)現(xiàn),這類收益來(lái)自方方面面:節(jié)省IT成本、提高生產(chǎn)率、降低法規(guī)和運(yùn)營(yíng)風(fēng)險(xiǎn)以及提供全新的功能,新服務(wù)乃至整個(gè)業(yè)務(wù)。
 
那么,組織需要考慮哪些關(guān)鍵變革?
 
1. 從本地?cái)?shù)據(jù)平臺(tái)到基于云的數(shù)據(jù)平臺(tái)
 
云可能是一種全新的數(shù)據(jù)架構(gòu)方法的最具顛覆性的推動(dòng)力,因?yàn)樗鼮楣咎峁┝艘环N快速擴(kuò)展人工智能工具和功能以獲取競(jìng)爭(zhēng)優(yōu)勢(shì)的方法。亞馬遜(Amazon Web Services)、谷歌(Google Cloud Platform)和微軟(Microsoft Azure)等主要云提供商已經(jīng)徹底改變了各大組織大規(guī)模采購(gòu),部署和運(yùn)行數(shù)據(jù)基礎(chǔ)設(shè)施、平臺(tái)和應(yīng)用程序的方式。
 
例如,有一家公用事業(yè)服務(wù)公司將基于云的數(shù)據(jù)平臺(tái)與容器技術(shù)相結(jié)合,該技術(shù)用微服務(wù)(例如搜索賬單數(shù)據(jù)或向帳戶添加各種新屬性)將應(yīng)用程序功能模塊化。這使公司能夠在幾天(而不是幾個(gè)月)的時(shí)間內(nèi)向大約100000個(gè)業(yè)務(wù)客戶部署新的自助式服務(wù)功能,為最終用戶提供大量的實(shí)時(shí)庫(kù)存和交易數(shù)據(jù)以進(jìn)行分析并通過(guò)在云中(而不是在更昂貴的本地舊系統(tǒng)上)“緩沖”交易來(lái)降低成本。
 
管用的概念和組件
 
•無(wú)服務(wù)器數(shù)據(jù)平臺(tái)(如Amazon S3和Google BigQuery)使組織可以無(wú)限地創(chuàng)建和運(yùn)行以數(shù)據(jù)為主的各種應(yīng)用程序,而無(wú)需安裝和配置解決方案或管理工作負(fù)載。此類產(chǎn)品可以降低專業(yè)門檻,將部署時(shí)間從數(shù)周縮短至幾分鐘,而且?guī)缀鯖](méi)有產(chǎn)生任何運(yùn)營(yíng)開(kāi)銷。
 
•由于使用了Kubernetes的容器化數(shù)據(jù)解決方案(可通過(guò)云提供商以及開(kāi)放源代碼獲得,并且可以快速集成和部署),公司能夠脫離其他計(jì)算能力和數(shù)據(jù)存儲(chǔ)系統(tǒng)的部署并將這項(xiàng)工作自動(dòng)化。此功能可以確保設(shè)置高度復(fù)雜的數(shù)據(jù)平臺(tái)(例如,將數(shù)據(jù)從一個(gè)應(yīng)用程序會(huì)話保留到另一個(gè)應(yīng)用程序會(huì)話所需的數(shù)據(jù)平臺(tái),以及具有復(fù)雜備份和恢復(fù)要求的數(shù)據(jù)平臺(tái))可以擴(kuò)展以滿足需求,因此它特別有用。
 
2. 從批處理到實(shí)時(shí)數(shù)據(jù)處理
 
實(shí)時(shí)數(shù)據(jù)通信和流媒體功能的成本已大大降低,這為其主流使用鋪平了道路。這些技術(shù)實(shí)現(xiàn)了一系列新的業(yè)務(wù)應(yīng)用:例如,運(yùn)輸公司可以在出租車到達(dá)時(shí)向客戶提供精確到秒的抵達(dá)時(shí)間預(yù)測(cè);保險(xiǎn)公司可以分析來(lái)自智能設(shè)備的實(shí)時(shí)行為數(shù)據(jù),從而將費(fèi)率客制化;而且制造商可以根據(jù)實(shí)時(shí)的傳感器數(shù)據(jù)來(lái)預(yù)測(cè)基礎(chǔ)設(shè)施方面的各種問(wèn)題。
 
訂閱機(jī)制等實(shí)時(shí)流媒體功能使數(shù)據(jù)消費(fèi)者(包括數(shù)據(jù)集市和數(shù)據(jù)驅(qū)動(dòng)的員工)可以訂閱各種“主題”,以便他們可以獲取所需交易的持續(xù)更新。通用數(shù)據(jù)湖通常充當(dāng)此類服務(wù)的“大腦”,它保留了所有細(xì)粒度的事務(wù)。
 
管用的概念和組件
 
•Apache Kafka之類的消息通信平臺(tái)提供了完全可擴(kuò)展,持久且具備容錯(cuò)能力的發(fā)布/訂閱服務(wù),該服務(wù)每秒可以處理和存儲(chǔ)數(shù)百萬(wàn)條消息,以供立即使用或以后使用。與傳統(tǒng)的企業(yè)通信隊(duì)列相比,這可以支持實(shí)時(shí)用例,繞過(guò)現(xiàn)有的基于批處理的解決方案并且占用的空間更少(占用的成本基礎(chǔ)也更少)。
 
•流處理和分析解決方案(例如Apache Kafka流、Apache Flume、Apache Storm和Apache Spark流)實(shí)現(xiàn)了實(shí)時(shí)對(duì)消息進(jìn)行直接的分析。該分析可以基于規(guī)則,也可以包括高級(jí)分析,從而在數(shù)據(jù)中提取事件或信號(hào)。分析往往會(huì)整合眾多歷史數(shù)據(jù)以比較各種模式,這在推薦和預(yù)測(cè)引擎中尤其重要。
 
•Graphite或Splunk之類的警報(bào)平臺(tái)可以向用戶觸發(fā)各種業(yè)務(wù)操作,例如,如果銷售代表沒(méi)有達(dá)到每天的銷售目標(biāo),那么他們就會(huì)得到通知,或者將這些操作集成到可能運(yùn)行于ERP或CRM的現(xiàn)有流程中。
 
3. 從預(yù)集成的商業(yè)解決方案到模塊化的同類最佳平臺(tái)
 
為了擴(kuò)展應(yīng)用程序的規(guī)模,公司往往需要沖破大型解決方案供應(yīng)商所提供的遺留數(shù)據(jù)生態(tài)系統(tǒng)的限制?,F(xiàn)在,許多公司正朝著高度模塊化的數(shù)據(jù)架構(gòu)發(fā)展,這種架構(gòu)使用了最佳的,經(jīng)常使用的開(kāi)源組件,這些組件可以根據(jù)需要被新技術(shù)替換而不會(huì)影響數(shù)據(jù)架構(gòu)的其他部分。
 
前面提到的那家公用事業(yè)服務(wù)公司正在向這種方法過(guò)渡,從而快速向數(shù)百萬(wàn)客戶提供新的,以數(shù)據(jù)為主的各種數(shù)字化服務(wù)并大規(guī)模地接入基于云的各種應(yīng)用程序。例如,該公司每天都會(huì)準(zhǔn)確地顯示客戶的能源消耗和比較了同儕消費(fèi)的實(shí)時(shí)的分析洞察。該公司建立了一個(gè)獨(dú)立的數(shù)據(jù)層,該數(shù)據(jù)層包含各種商業(yè)數(shù)據(jù)庫(kù)和開(kāi)源組件。數(shù)據(jù)通過(guò)專有的企業(yè)服務(wù)總線與后端系統(tǒng)同步,而托管在容器中的各個(gè)微服務(wù)在數(shù)據(jù)中運(yùn)行業(yè)務(wù)邏輯。
 
管用的概念和組件
 
•數(shù)據(jù)管道和基于API的接口簡(jiǎn)化了不同工具和平臺(tái)之間的集成,其方法是使數(shù)據(jù)團(tuán)隊(duì)免受不同層的復(fù)雜性的困擾,縮短產(chǎn)品上市時(shí)間并減少在現(xiàn)有應(yīng)用程序中引起新問(wèn)題的機(jī)會(huì)。當(dāng)需求發(fā)生變化是,這些接口還使單個(gè)組件更容易更換。
 
•Amazon Sagemaker和Kubeflow等分析工作臺(tái)可簡(jiǎn)化高度模塊化架構(gòu)中的端到端解決方案的創(chuàng)建。這樣的工具可以與各種各樣的基礎(chǔ)數(shù)據(jù)庫(kù)和服務(wù)連接并使高度模塊化的設(shè)計(jì)成為現(xiàn)實(shí)。
 
4. 從點(diǎn)對(duì)點(diǎn)到脫離數(shù)據(jù)訪問(wèn)
 
人們可以通過(guò)API來(lái)揭露數(shù)據(jù),這樣可以確保直接查看和修改數(shù)據(jù)的做法是受限且安全的,同時(shí)還可以讓人們更快地訪問(wèn)常見(jiàn)的數(shù)據(jù)集。這使得數(shù)據(jù)可以在團(tuán)隊(duì)之間輕松得到重用(reused),從而加速訪問(wèn)并實(shí)現(xiàn)分析團(tuán)隊(duì)之間的無(wú)縫協(xié)作,從而可以更高效地開(kāi)發(fā)各種人工智能用例。
 
例如,有一家制藥公司正在通過(guò)API為所有員工創(chuàng)建內(nèi)部“數(shù)據(jù)市場(chǎng)”,以簡(jiǎn)化和標(biāo)準(zhǔn)化對(duì)核心數(shù)據(jù)資產(chǎn)的使用,而不是依賴各種專有接口。該公司將在18個(gè)月內(nèi)逐步將其最有價(jià)值的現(xiàn)有數(shù)據(jù)饋送(data feed)遷移到基于API的結(jié)構(gòu)中,同時(shí)部署API管理平臺(tái)以向用戶展示各種API。
 
管用的概念和組件
 
•企業(yè)必須創(chuàng)建一個(gè)API管理平臺(tái)(通常稱為API網(wǎng)關(guān))以創(chuàng)建和發(fā)布以數(shù)據(jù)為主的API,實(shí)施使用策略,控制訪問(wèn)并衡量使用情況和性能。該平臺(tái)還可以讓開(kāi)發(fā)人員和用戶搜索現(xiàn)有數(shù)據(jù)接口并重用這些接口,而不是創(chuàng)建新的數(shù)據(jù)接口。API網(wǎng)關(guān)通常作為數(shù)據(jù)中心內(nèi)的單獨(dú)區(qū)域而被嵌入,但它也可以作為中心外的獨(dú)立功能開(kāi)發(fā)。
 
•企業(yè)往往需要一個(gè)數(shù)據(jù)平臺(tái)來(lái)“緩沖”核心系統(tǒng)之外的各種事務(wù)。這樣的緩沖區(qū)可以由數(shù)據(jù)湖之類的中央數(shù)據(jù)平臺(tái)或在分布式數(shù)據(jù)網(wǎng)格中提供,這個(gè)分布式數(shù)據(jù)網(wǎng)格是一個(gè)生態(tài)系統(tǒng),它由為每個(gè)業(yè)務(wù)域的預(yù)期數(shù)據(jù)的使用情況和負(fù)載創(chuàng)建的最佳平臺(tái)(包括數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)等)組成。例如,有一家銀行創(chuàng)建了一個(gè)縱列數(shù)據(jù)庫(kù)(columnar database),以便直接向線上銀行和移動(dòng)銀行應(yīng)用程序提供客戶信息(例如最近的金融交易)并減少大型機(jī)上昂貴的工作量。
 
5. 從企業(yè)倉(cāng)庫(kù)到基于域的架構(gòu)
 
許多負(fù)責(zé)數(shù)據(jù)架構(gòu)的領(lǐng)導(dǎo)者已經(jīng)從中央企業(yè)數(shù)據(jù)湖轉(zhuǎn)向“域驅(qū)動(dòng)”的設(shè)計(jì),這些設(shè)計(jì)可以定制并“合乎某個(gè)目的”,從而縮短新的數(shù)據(jù)產(chǎn)品和服務(wù)的上市時(shí)間。由于用了這種方法,雖然數(shù)據(jù)集可能仍駐留在相同的物理平臺(tái)上,但每個(gè)業(yè)務(wù)領(lǐng)域(例如,市場(chǎng)營(yíng)銷,銷售,制造等)中的“產(chǎn)品負(fù)責(zé)人”的任務(wù)就是以易于使用的方式來(lái)組織數(shù)據(jù)集,使其既適用于域內(nèi)的用戶,也適用于其他業(yè)務(wù)域中的下游數(shù)據(jù)使用者。這種方法需要謹(jǐn)慎地權(quán)衡,以免變得支離破碎和效率低下,但是它可以減少在數(shù)據(jù)湖中創(chuàng)建新數(shù)據(jù)模型所需的時(shí)間(通常從數(shù)月縮短至數(shù)天),在反映聯(lián)合業(yè)務(wù)結(jié)構(gòu)或遵守?cái)?shù)據(jù)移動(dòng)性的法規(guī)限制時(shí),它可以是一種更簡(jiǎn)單有效的選擇。
 
有一家歐洲電信提供商使用了分布式的基于域的架構(gòu),因此銷售和運(yùn)營(yíng)人員可以將客戶、訂單和賬單等數(shù)據(jù)提供給數(shù)據(jù)科學(xué)家用于人工智能模型或直接通過(guò)數(shù)字渠道提供給客戶。該公司部署了由公司銷售和運(yùn)營(yíng)團(tuán)隊(duì)中的產(chǎn)品負(fù)責(zé)人管理的各種邏輯平臺(tái),而不是創(chuàng)建一個(gè)中心化的數(shù)據(jù)平臺(tái)。該公司還激勵(lì)產(chǎn)品負(fù)責(zé)人使用數(shù)據(jù)進(jìn)行分析并使用數(shù)字渠道、論壇和黑客馬拉松來(lái)推動(dòng)采用。
 
管用的概念和組件
 
•作為平臺(tái)的數(shù)據(jù)基礎(chǔ)設(shè)施提供了用于存儲(chǔ)和管理的一系列通用工具和功能,以加快實(shí)施速度并使數(shù)據(jù)生產(chǎn)者不必創(chuàng)建自己的數(shù)據(jù)資產(chǎn)平臺(tái)。
 
•數(shù)據(jù)虛擬化技術(shù)始于客戶數(shù)據(jù)之類的小眾領(lǐng)域,這些技術(shù)如今已為各大企業(yè)所采用,以此來(lái)管理人們對(duì)分布式數(shù)據(jù)資產(chǎn)的使用并將分布式數(shù)據(jù)資產(chǎn)整合進(jìn)來(lái)。
 
•即便企業(yè)沒(méi)有獲得完全訪問(wèn)權(quán)或沒(méi)有做好充分準(zhǔn)備,數(shù)據(jù)編目工具也能讓企業(yè)搜索和研究數(shù)據(jù)。該目錄通常還提供元數(shù)據(jù)定義和端到端接口,以簡(jiǎn)化對(duì)數(shù)據(jù)資產(chǎn)的訪問(wèn)。
 
6. 從嚴(yán)格的數(shù)據(jù)模型到靈活的,可擴(kuò)展的數(shù)據(jù)模式
 
來(lái)自軟件供應(yīng)商的預(yù)定義數(shù)據(jù)模型和滿足特定業(yè)務(wù)智能需求的專有數(shù)據(jù)模型往往都創(chuàng)建于高度標(biāo)準(zhǔn)化的架構(gòu)(schema)中,這些架構(gòu)具有固定的數(shù)據(jù)庫(kù)表和數(shù)據(jù)元素,從而最大程度地減少冗余。盡管此方法仍然是數(shù)據(jù)報(bào)送和以法規(guī)為中心的用例的標(biāo)準(zhǔn),但它也要求組織在合并新的數(shù)據(jù)元素或數(shù)據(jù)源時(shí)經(jīng)歷漫長(zhǎng)的開(kāi)發(fā)周期并具備豐富的系統(tǒng)知識(shí),因?yàn)槿魏胃亩伎赡苡绊憯?shù)據(jù)的完整性。
 
為了在研究數(shù)據(jù)或支持高級(jí)分析時(shí)獲得更大的靈活性和強(qiáng)大的競(jìng)爭(zhēng)優(yōu)勢(shì),公司正朝著“架構(gòu)簡(jiǎn)化(schema-light)”的方法發(fā)展,它們使用物理表較少的非規(guī)范化數(shù)據(jù)模型來(lái)組織數(shù)據(jù)以實(shí)現(xiàn)最佳性能。這種方法好處頗多——靈活的數(shù)據(jù)探索,更靈活地存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以及降低復(fù)雜性,因?yàn)閿?shù)據(jù)領(lǐng)導(dǎo)者不再需要引入其它抽象層(例如高度規(guī)范化的表之間的多個(gè)“聯(lián)接”)來(lái)查詢關(guān)系數(shù)據(jù)。
 
管用的概念和組件
 
•數(shù)據(jù)點(diǎn)建模技術(shù)(例如Data vault 2.0)可以確保數(shù)據(jù)模型可擴(kuò)展,以便將來(lái)可以在有限的中斷范圍內(nèi)添加或刪除數(shù)據(jù)元素。
 
•圖形數(shù)據(jù)庫(kù)是NoSQL數(shù)據(jù)庫(kù)的一種,這種數(shù)據(jù)庫(kù)近年來(lái)頗受關(guān)注。一般來(lái)說(shuō),NoSQL數(shù)據(jù)庫(kù)非常適合需要大量可伸縮性和實(shí)時(shí)功能的數(shù)字應(yīng)用程序以及服務(wù)于人工智能應(yīng)用程序的數(shù)據(jù)層,這是因?yàn)樗鼈兛梢岳梅墙Y(jié)構(gòu)化數(shù)據(jù)。尤其是圖形數(shù)據(jù)庫(kù),提供了以強(qiáng)大而靈活的方式對(duì)數(shù)據(jù)之間的關(guān)系進(jìn)行建模的功能,許多公司正在使用圖形數(shù)據(jù)庫(kù)來(lái)創(chuàng)建主數(shù)據(jù)庫(kù),以適應(yīng)不斷變化的信息模型。
 
•Azure Synapse Analytics之類的技術(shù)服務(wù)使人們可以訪問(wèn)類似于關(guān)系數(shù)據(jù)庫(kù)的基于文件的數(shù)據(jù),其方法是將各種表結(jié)構(gòu)動(dòng)態(tài)地應(yīng)用到各種文件。用戶得以靈活地在訪問(wèn)存儲(chǔ)于文件中的數(shù)據(jù)時(shí)繼續(xù)使用各種通用接口(例如SQL)。
 
•使用JavaScript對(duì)象表示法(JSON)來(lái)存儲(chǔ)信息,這使組織可以更改數(shù)據(jù)庫(kù)結(jié)構(gòu)而不必更改業(yè)務(wù)信息模型。
 
如何開(kāi)始
 
數(shù)據(jù)技術(shù)正在迅速發(fā)展,這使定義三到五年的目標(biāo)架構(gòu)的狀態(tài)并朝著這個(gè)方向努力的傳統(tǒng)工作既充滿風(fēng)險(xiǎn)又效率低下。只要制定各種使數(shù)據(jù)領(lǐng)導(dǎo)者和技術(shù)領(lǐng)導(dǎo)者快速評(píng)估和部署各種新技術(shù)的實(shí)踐,以便他們快速適應(yīng),那么他們就能得到更好的服務(wù)。下面來(lái)看看四種重要的做法:
 
•將測(cè)試中學(xué)習(xí)的思維方式應(yīng)用于架構(gòu)創(chuàng)建并嘗試使用各種不同的組件和概念。這種敏捷實(shí)踐已經(jīng)在應(yīng)用程序開(kāi)發(fā)中應(yīng)用了很長(zhǎng)時(shí)間并且最近在數(shù)據(jù)領(lǐng)域得到沿用。例如,領(lǐng)導(dǎo)者可以從較小的預(yù)算開(kāi)始,創(chuàng)建最小可行產(chǎn)品或者將現(xiàn)有的開(kāi)源工具整合起來(lái)創(chuàng)建一個(gè)臨時(shí)產(chǎn)品并將其投入生產(chǎn)(使用云來(lái)加速這個(gè)過(guò)程),以便它們可以在得到擴(kuò)展和進(jìn)一步發(fā)展之前展示其價(jià)值;相反,領(lǐng)導(dǎo)者不應(yīng)該為了找到“完美”的選擇而參與有關(guān)最佳設(shè)計(jì),產(chǎn)品和供應(yīng)商的漫長(zhǎng)討論,然后再進(jìn)行冗長(zhǎng)的預(yù)算批準(zhǔn)。
 
•建立數(shù)據(jù)“部落”,由數(shù)據(jù)管理人員,數(shù)據(jù)工程師和數(shù)據(jù)建模人員組成的團(tuán)隊(duì)負(fù)責(zé)創(chuàng)建端到端的數(shù)據(jù)體系結(jié)構(gòu)。這些部落還致力于創(chuàng)建標(biāo)準(zhǔn)的,可重復(fù)的數(shù)據(jù)工程流程和特征工程流程,從而為開(kāi)發(fā)高度可建模的數(shù)據(jù)集提供支持。這些敏捷的數(shù)據(jù)實(shí)踐有助于加快各種新數(shù)據(jù)服務(wù)的上市時(shí)間。
 
•投資數(shù)據(jù)運(yùn)維(DataOps,即用于數(shù)據(jù)的強(qiáng)化了的DevOps)有助于加快新組件在數(shù)據(jù)體系結(jié)構(gòu)中的設(shè)計(jì),開(kāi)發(fā)和部署,以便團(tuán)隊(duì)可以根據(jù)反饋快速實(shí)施和頻繁更新各種解決方案。
 
•創(chuàng)建這樣一種數(shù)據(jù)文化,在這種文化氛圍里,員工希望在其職務(wù)范圍內(nèi)應(yīng)用各種新的數(shù)據(jù)服務(wù)。實(shí)現(xiàn)這一目標(biāo)的一個(gè)重要工具是確保數(shù)據(jù)戰(zhàn)略與業(yè)務(wù)目標(biāo)相關(guān)聯(lián)并在高管向組織發(fā)出的信息中得到反映,這有助于強(qiáng)調(diào)這項(xiàng)工作對(duì)業(yè)務(wù)團(tuán)隊(duì)的重要性。
 
隨著數(shù)據(jù)、分析和人工智能在大多數(shù)組織的日常運(yùn)營(yíng)中得到越來(lái)越深入的應(yīng)用,為了創(chuàng)建和發(fā)展以數(shù)據(jù)為中心的企業(yè)而對(duì)數(shù)據(jù)架構(gòu)采取截然不同的方法是十分必要的,這是顯而易見(jiàn)的。那些采用這種新方法的數(shù)據(jù)和技術(shù)領(lǐng)導(dǎo)者可以更好地定位自己的公司,即具備敏捷性,彈性并且在未來(lái)具有競(jìng)爭(zhēng)力。
 
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)