近日,“2019中國大數(shù)據(jù)技術(shù)大會(BDTC)”在北京舉行,華為云數(shù)據(jù)中臺總架構(gòu)師龍江分析了下一代數(shù)據(jù)中臺面臨的新趨勢及挑戰(zhàn),并分享了華為云數(shù)據(jù)中臺解決方案DAYU的解決之道。

數(shù)據(jù)時代企業(yè)要發(fā)展就必須進(jìn)行數(shù)字化轉(zhuǎn)型,大數(shù)據(jù)技術(shù)能打破現(xiàn)有數(shù)據(jù)孤島,構(gòu)建數(shù)據(jù)分析和運營能力,為企業(yè)實現(xiàn)降本增效。華為全球產(chǎn)業(yè)展望(GIV)報告顯示,企業(yè)生產(chǎn)活動產(chǎn)生的數(shù)據(jù)中只有不到2%被保存,而其中得到分析利用的不足10%。由此可以看出,數(shù)據(jù)的價值還遠(yuǎn)遠(yuǎn)沒有釋放。

企業(yè)數(shù)字化運營面臨四大挑戰(zhàn)

龍江表示:“數(shù)據(jù)中臺,是指通過建設(shè)全域級可復(fù)用的數(shù)據(jù)資產(chǎn)中心和數(shù)據(jù)能力中心,提供清潔、透明、智慧的數(shù)據(jù)資產(chǎn)和高效易用的數(shù)據(jù)能力,使能業(yè)務(wù)數(shù)字化運營與創(chuàng)新。因此數(shù)據(jù)中臺,不僅是個技術(shù)架構(gòu),更重要的是一個數(shù)據(jù)架構(gòu)。所以,企業(yè)建設(shè)數(shù)據(jù)中臺,一定需要有方法論的指導(dǎo)和基于業(yè)務(wù)的頂層數(shù)據(jù)架構(gòu)設(shè)計。”

華為云數(shù)據(jù)中臺總架構(gòu)師龍江發(fā)表演講

龍江介紹,大數(shù)據(jù)時代,企業(yè)積累的數(shù)據(jù)資源越來越多,企業(yè)數(shù)字化運營需要由傳統(tǒng)的煙囪式IT系統(tǒng)向數(shù)據(jù)中臺轉(zhuǎn)型,在轉(zhuǎn)型過程中面臨四大挑戰(zhàn):

挑戰(zhàn)1:獨

當(dāng)前企業(yè)各個部門都建立了自己的煙囪式IT系統(tǒng)或者獨立的數(shù)據(jù)分析平臺和數(shù)據(jù)倉庫,導(dǎo)致存在大量數(shù)據(jù)孤島和孤立的應(yīng)用,導(dǎo)致數(shù)據(jù)不共享不流通,無法實現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析和創(chuàng)新。由于缺乏高效運營工具平臺,數(shù)據(jù)開發(fā)周期長,既有數(shù)據(jù)的重復(fù)開發(fā),也有數(shù)據(jù)平臺的重復(fù)開發(fā),同時也帶來數(shù)據(jù)的重復(fù)存儲,造成企業(yè)成本浪費。

挑戰(zhàn)2:缺

企業(yè)普遍缺乏數(shù)據(jù)治理的標(biāo)準(zhǔn)或者數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,數(shù)據(jù)缺乏治理,數(shù)據(jù)找不到,讀不懂及不可信等。

挑戰(zhàn)3:斷

數(shù)據(jù)理解與數(shù)據(jù)價值鏈條的斷層。數(shù)據(jù)的生產(chǎn)者和數(shù)據(jù)的消費者對數(shù)據(jù)的理解有斷層,例如生產(chǎn)者不知道消費者為什么消費這些數(shù)據(jù),對于數(shù)據(jù)指標(biāo)背后的商業(yè)邏輯不理解,所以給業(yè)務(wù)決策者開發(fā)的數(shù)據(jù)運營報表就會存在數(shù)據(jù)是否可信和指標(biāo)邏輯是否正確的問題。

挑戰(zhàn)4:難

企業(yè)會遇到知數(shù)據(jù)難、要數(shù)據(jù)難和懂?dāng)?shù)據(jù)難的情況,例如企業(yè)不同部門間相互要數(shù)據(jù)難,對于獲取過來的數(shù)據(jù),又不知道數(shù)據(jù)字段的含義,數(shù)據(jù)理解非常難。

華為云智能數(shù)據(jù)湖運營平臺DAYU :一站式高效易用的數(shù)據(jù)治理運營平臺

針對企業(yè)數(shù)字化運營轉(zhuǎn)型面臨的挑戰(zhàn),華為云打造了“智能數(shù)據(jù)湖運營平臺DAYU”——面向企業(yè)數(shù)字化運營訴求,提供一站式、端到端的數(shù)據(jù)中臺解決方案, 在全域數(shù)據(jù)目錄的基礎(chǔ)上,統(tǒng)一數(shù)據(jù)規(guī)范,協(xié)同數(shù)據(jù)開發(fā),優(yōu)化數(shù)據(jù)質(zhì)量,提供數(shù)據(jù)可視化,實現(xiàn)多數(shù)據(jù)源數(shù)據(jù)接入,多類型數(shù)據(jù)遷移,私有云&公有云數(shù)據(jù)湖統(tǒng)一調(diào)度,數(shù)據(jù)開放用于豐富數(shù)據(jù)消費的智能數(shù)據(jù)管理能力,幫助企業(yè)快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng),消除數(shù)據(jù)孤島,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),加快數(shù)據(jù)變現(xiàn),促進(jìn)數(shù)字化轉(zhuǎn)型。

應(yīng)對一:行業(yè)模板+運營,一站式構(gòu)建企業(yè)數(shù)據(jù)中臺,數(shù)據(jù)孤島不再

DAYU平臺通過內(nèi)置行業(yè)數(shù)據(jù)模板及全流程可視化的數(shù)據(jù)開發(fā)治理工具,使能企業(yè)聚焦業(yè)務(wù)領(lǐng)域數(shù)據(jù)變現(xiàn)。針對政府、園區(qū)、電力、工業(yè)、零售、汽車等行業(yè),DAYU平臺提供的行業(yè)模板,包含行業(yè)主題數(shù)據(jù)模型、指標(biāo)庫、數(shù)據(jù)開發(fā)Pipeline、行業(yè)數(shù)據(jù)算子、計算資源智能規(guī)劃等,用戶可一鍵式完成數(shù)據(jù)中臺建設(shè),幫助用戶管好和用好數(shù)據(jù)。

DAYU以可復(fù)用的行業(yè)模板,加速數(shù)據(jù)價值發(fā)現(xiàn)流程,提供垂直行業(yè)可復(fù)用的領(lǐng)域知識庫,涵蓋行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)、行業(yè)領(lǐng)域模型、行業(yè)數(shù)據(jù)主題庫、行業(yè)算法庫和行業(yè)指標(biāo)庫,支持智慧政務(wù)、智慧稅務(wù)、智慧園區(qū)等行業(yè)企業(yè)快速定制數(shù)據(jù)運營端到端解決方案。

在某園區(qū)行業(yè)數(shù)據(jù)中臺場景中,DAYU平臺幫助某地產(chǎn)集團(tuán)建設(shè)智慧園區(qū)數(shù)據(jù)中臺,實現(xiàn)全國百余園區(qū)的人員、車輛、設(shè)備、資產(chǎn)、安防綜合態(tài)勢可視化管理、統(tǒng)一調(diào)度指揮、智能決策。

應(yīng)對二:數(shù)據(jù)規(guī)范設(shè)計,基于華為數(shù)據(jù)體系建設(shè)方法論沉淀而成,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)中臺的核心是要進(jìn)行數(shù)據(jù)治理,而數(shù)據(jù)治理的核心是統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。很多企業(yè)的數(shù)據(jù)標(biāo)準(zhǔn)當(dāng)前只是停留在紙面上,無法真正應(yīng)用到產(chǎn)品中,無法實現(xiàn)數(shù)據(jù)的規(guī)范。DAYU提供了數(shù)據(jù)規(guī)范設(shè)計模塊,該模塊是基于華為十多年的數(shù)據(jù)體系建設(shè)方法論沉淀而成,可以指導(dǎo)企業(yè)如何根據(jù)所在行業(yè)的業(yè)務(wù)和數(shù)據(jù)特點,結(jié)合企業(yè)自身訴求,輸出標(biāo)準(zhǔn)化的數(shù)據(jù)中臺涉及,幫助企業(yè)實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)化、流程化,打通數(shù)據(jù)需求全鏈路,使數(shù)據(jù)研發(fā)自動化、無碼化。

應(yīng)對三:一站式敏捷大數(shù)據(jù)開發(fā)治理,全流程可視

DAYU提供一站式數(shù)據(jù)開發(fā)治理能力,通過數(shù)據(jù)開發(fā)模塊對數(shù)據(jù)進(jìn)行敏捷開發(fā)和調(diào)度;通過數(shù)據(jù)治理模塊對數(shù)據(jù)質(zhì)量進(jìn)行管控,實時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,并實時告警;通過標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)模塊提供一站式數(shù)據(jù)服務(wù)開發(fā)、測試部署能力,實現(xiàn)數(shù)據(jù)服務(wù)敏捷響應(yīng),降低數(shù)據(jù)獲取難度,提升數(shù)據(jù)消費體驗和效率,最終實現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn),幫助企業(yè)快速開發(fā)數(shù)據(jù)大屏;通過數(shù)據(jù)資產(chǎn)模塊統(tǒng)一管理數(shù)據(jù)資產(chǎn),可以提供全局資產(chǎn)視圖、快速查看、智能管理、數(shù)據(jù)溯源和數(shù)據(jù)開放共享,從業(yè)務(wù)視角管理和查看數(shù)據(jù),定義業(yè)務(wù)架構(gòu)、業(yè)務(wù)分類和業(yè)務(wù)術(shù)語,統(tǒng)一管理資產(chǎn)訪問權(quán)限。

應(yīng)對四:AI能力與SQL融合,懂SQL就可以開發(fā)AI業(yè)務(wù)

DAYU具有SQL和AI相結(jié)合的能力,可以使用SQL進(jìn)行圖片識別,快速完成非結(jié)構(gòu)化數(shù)據(jù)處理。同時DAYU通過與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法深入結(jié)合,增強(qiáng)實時數(shù)據(jù)分析能力,SQL中調(diào)用各種機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)框架,降低AI能力使用門檻。

為了讓數(shù)據(jù)最大化發(fā)揮價值,企業(yè)急需構(gòu)建數(shù)據(jù)中臺來提供數(shù)據(jù)運營能力。面向數(shù)據(jù)中臺場景,華為云與普華、希嘉、中軟、德勤、興海物聯(lián)、傲亞等諸多行業(yè)伙伴合作共建生態(tài),開放DAYU平臺能力,賦能行業(yè)合作伙伴,結(jié)合DAYU智能數(shù)據(jù)湖運營平臺和行業(yè)伙伴的行業(yè)經(jīng)驗知識,共同打造面向不同行業(yè)的數(shù)據(jù)中臺解決方案,幫助客戶打破數(shù)據(jù)孤島,快速完成業(yè)務(wù)創(chuàng)新和數(shù)據(jù)變現(xiàn)。

截止目前,集成了DAYU的華為云智能數(shù)據(jù)湖解決方案已廣泛應(yīng)用于金融、醫(yī)學(xué)、物流、互聯(lián)網(wǎng)、汽車、政府、零售等行業(yè)。在近日舉行的2019第六界中國國際大數(shù)據(jù)大會上,華為一舉攬獲2項大獎,華為云智能數(shù)據(jù)湖榮獲“2019年度大數(shù)據(jù)行業(yè)最佳服務(wù)平臺獎”,華為云“存算分離+鯤鵬”大數(shù)據(jù)云服務(wù)榮獲“2019年度大數(shù)據(jù)行業(yè)創(chuàng)新產(chǎn)品獎”,再一次證明了華為云在大數(shù)據(jù)領(lǐng)域的不凡實力。