用友AE:提升大數(shù)據(jù)下的大規(guī)模數(shù)據(jù)管理能力

責(zé)任編輯:editor004

2014-07-09 14:40:06

摘自:光明網(wǎng)

大數(shù)據(jù)時(shí)代,企業(yè)商業(yè)環(huán)境的變化使得企業(yè)的業(yè)務(wù)數(shù)據(jù)不僅有存儲(chǔ)于關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)還有大規(guī)模諸如網(wǎng)絡(luò)點(diǎn)擊流數(shù)據(jù)、社交溝通數(shù)據(jù)或者是其他類型的非結(jié)構(gòu)化數(shù)據(jù)。

大數(shù)據(jù)時(shí)代,企業(yè)商業(yè)環(huán)境的變化使得企業(yè)的業(yè)務(wù)數(shù)據(jù)不僅有存儲(chǔ)于關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)還有大規(guī)模諸如網(wǎng)絡(luò)點(diǎn)擊流數(shù)據(jù)、社交溝通數(shù)據(jù)或者是其他類型的非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)數(shù)據(jù)處理面臨嚴(yán)峻挑戰(zhàn)。

用友大數(shù)據(jù)處理平臺(tái)AE是解決企業(yè)大規(guī)模結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、集成整合和分析計(jì)算的底層基礎(chǔ)平臺(tái),支撐企業(yè)上層的商業(yè)分析等基于數(shù)據(jù)處理的產(chǎn)品和應(yīng)用。基于這些產(chǎn)品或者產(chǎn)品組合,可為企業(yè)提供專業(yè)的數(shù)據(jù)處理和分析計(jì)算解決方案。

用友結(jié)構(gòu)化大數(shù)據(jù)處理產(chǎn)品體系涵蓋傳統(tǒng)數(shù)據(jù)處理的功能和能力,同時(shí),基于ShareNothing、MPP架構(gòu)的列存式數(shù)據(jù)倉庫產(chǎn)品,和用友自主研發(fā)的采用ROLAP架構(gòu)的和內(nèi)存分析技術(shù)的分析引擎??蛇M(jìn)行大規(guī)模結(jié)構(gòu)化數(shù)據(jù)分析,實(shí)現(xiàn)分析場(chǎng)景50倍的性能提升??芍С諴B級(jí)結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一的存儲(chǔ)、管理和分析。

用友AE結(jié)構(gòu)化大數(shù)據(jù)處理包含四大類產(chǎn)品。建模工具、數(shù)據(jù)集成、分析引擎、數(shù)據(jù)挖掘。

統(tǒng)一建模主要進(jìn)行數(shù)據(jù)倉庫模型、語義模型和多維模型的定義、發(fā)布。統(tǒng)一建模產(chǎn)品產(chǎn)生元數(shù)據(jù),同時(shí)也使用元數(shù)據(jù)。例如,多維建模工具定義多維模型,存儲(chǔ)到元數(shù)據(jù)存儲(chǔ)庫存儲(chǔ)為多維分析元數(shù)據(jù),同時(shí)再定義多維模型時(shí)需要用到數(shù)據(jù)倉庫元數(shù)據(jù),建立多維模型與數(shù)據(jù)倉庫模型的映射關(guān)系,作為OLAP引擎的執(zhí)行多維分析的主要依據(jù)。

用友AE 提升大數(shù)據(jù)下的大規(guī)模數(shù)據(jù)管理能力

AE數(shù)據(jù)集成主要涵蓋傳統(tǒng)ETL、ELT的能力,提供了豐富的數(shù)據(jù)處理、轉(zhuǎn)換功能組件,同時(shí)可集成實(shí)時(shí)數(shù)據(jù)復(fù)制、主數(shù)據(jù)管理產(chǎn)品(MDM),為企業(yè)提供一個(gè)全面的數(shù)據(jù)集成處理解決方案;實(shí)時(shí)數(shù)據(jù)集成除了可集成到數(shù)據(jù)集成產(chǎn)品中提供實(shí)時(shí)能力之外,也可單獨(dú)部署,滿足企業(yè)實(shí)時(shí)數(shù)據(jù)同步、災(zāi)備等需要。

用友AE數(shù)據(jù)集成

分析處理引擎是AE的核心部分。它是上層BQ分析展現(xiàn)產(chǎn)品和底層數(shù)據(jù)存儲(chǔ)層的橋梁,主要包括查詢引擎、報(bào)表引擎、多維分析(OLAP)引擎。多維分析引擎基于ROLAP技術(shù),實(shí)現(xiàn)上層多維立分析方體模型對(duì)底層數(shù)據(jù)倉庫數(shù)據(jù)的動(dòng)態(tài)實(shí)時(shí)多維分析展現(xiàn)操作,支持MDX、XMLA,應(yīng)用內(nèi)存分析技術(shù),可以快速進(jìn)行大規(guī)模數(shù)據(jù)的即時(shí)分析?;诹写媸綌?shù)據(jù)庫,可實(shí)現(xiàn)數(shù)百GB數(shù)據(jù)的即時(shí)多維分析操作的秒級(jí)響應(yīng)。

用友AE 提升大數(shù)據(jù)下的大規(guī)模數(shù)據(jù)管理能力

數(shù)據(jù)挖掘提供向?qū)Щ哪P陀?xùn)練,預(yù)測(cè),及其對(duì)應(yīng)的可視化展現(xiàn)。實(shí)現(xiàn)數(shù)據(jù)挖掘模型訓(xùn)練,分析執(zhí)行結(jié)果的管理等功能。預(yù)置時(shí)間序列挖掘算法,如季節(jié)分析模型,差分自回歸模型等。數(shù)據(jù)挖掘基于開源R平臺(tái),有非常豐富的算法支持,算法的更新推出速度快。另外具有高性價(jià)比,與R語言整合后可以大幅降低數(shù)據(jù)挖掘項(xiàng)目的實(shí)施成本。

用友AE數(shù)據(jù)處理引擎

大數(shù)據(jù)時(shí)代,企業(yè)需要對(duì)大規(guī)模多種類型(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)的數(shù)據(jù)進(jìn)行集中、統(tǒng)一、快速的處理和分析來支持業(yè)務(wù)增長。傳統(tǒng)的基于關(guān)系數(shù)據(jù)存儲(chǔ)系統(tǒng)的技術(shù)和產(chǎn)品無法進(jìn)行大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的處理,而新興的各種開源大數(shù)據(jù)處理產(chǎn)品尚未形成成熟的標(biāo)準(zhǔn)化的應(yīng)用產(chǎn)品和框架,使用難度大,技術(shù)集成度復(fù)雜,不能滿足業(yè)務(wù)發(fā)展需求。為解決企業(yè)快速、低成本的運(yùn)用Hadoop,需要軟件服務(wù)廠商提供一個(gè)整合性的產(chǎn)品技術(shù)解決方案,于是,便有了用友UDH。

用友AE 提升大數(shù)據(jù)下的大規(guī)模數(shù)據(jù)管理能力

用友UDH集群管理器

用友UDH,基于開源hadoop,hive,storm、Spark等進(jìn)行了優(yōu)化,按照企業(yè)數(shù)據(jù)處理與分析的應(yīng)用模式,開發(fā)了一系列管理工具,涵蓋大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)集成、存儲(chǔ)和分析計(jì)算。單集群可達(dá)100臺(tái)以上,可管理PB級(jí)數(shù)據(jù)。

企業(yè)想要想要建成一個(gè)Hadoop系統(tǒng),即使有較大技術(shù)團(tuán)隊(duì)和較強(qiáng)技術(shù)力量儲(chǔ)備的企業(yè)和組織,至少也要一年的時(shí)間,才有辦法一個(gè)Hadoop的集群,做到可以商業(yè)運(yùn)行的階段。使用UDH,會(huì)把整個(gè)系統(tǒng)的人力投入降到1到2個(gè)工程師就可以去運(yùn)維一個(gè)相當(dāng)大規(guī)模的一個(gè)集群,而且把時(shí)間縮短到大概在一個(gè)月左右,這對(duì)企業(yè)來講是非常重要,因?yàn)樗馕吨〉某杀?、更快的投資回報(bào)。

另外,企業(yè)用戶如果對(duì)Hadoop整個(gè)產(chǎn)品體系的發(fā)展、演變和技術(shù)架構(gòu)不是很熟悉的情況下,要部署HA,十分困難。尤其安全的部分,如何實(shí)現(xiàn)對(duì)數(shù)據(jù)的強(qiáng)認(rèn),也相當(dāng)復(fù)雜。通過使用UDH,這些東西可以統(tǒng)統(tǒng)做成自動(dòng)化,用戶基本上不會(huì)感覺到什么問題。

用友AE屬于用友UAP平臺(tái)的一部分,結(jié)合UAP平臺(tái)的其他產(chǎn)品,還可以為客戶提供在全企業(yè)級(jí)更廣泛的綜合數(shù)據(jù)治理平臺(tái)化解決方案,實(shí)現(xiàn)向數(shù)據(jù)驅(qū)動(dòng)的企業(yè)跨越。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)