大數(shù)據(jù)時(shí)代，企業(yè)商業(yè)環(huán)境的變化使得企業(yè)的業(yè)務(wù)數(shù)據(jù)不僅有存儲(chǔ)于關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)還有大規(guī)模諸如網(wǎng)絡(luò)點(diǎn)擊流數(shù)據(jù)、社交溝通數(shù)據(jù)或者是其他類型的非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)數(shù)據(jù)處理面臨嚴(yán)峻挑戰(zhàn)。

用友大數(shù)據(jù)處理平臺(tái)AE是解決企業(yè)大規(guī)模結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、集成整合和分析計(jì)算的底層基礎(chǔ)平臺(tái)，支撐企業(yè)上層的商業(yè)分析等基于數(shù)據(jù)處理的產(chǎn)品和應(yīng)用。基于這些產(chǎn)品或者產(chǎn)品組合，可為企業(yè)提供專業(yè)的數(shù)據(jù)處理和分析計(jì)算解決方案。

用友結(jié)構(gòu)化大數(shù)據(jù)處理產(chǎn)品體系涵蓋傳統(tǒng)數(shù)據(jù)處理的功能和能力，同時(shí)，基于ShareNothing、MPP架構(gòu)的列存式數(shù)據(jù)倉庫產(chǎn)品，和用友自主研發(fā)的采用ROLAP架構(gòu)的和內(nèi)存分析技術(shù)的分析引擎?？蛇M(jìn)行大規(guī)模結(jié)構(gòu)化數(shù)據(jù)分析，實(shí)現(xiàn)分析場(chǎng)景50倍的性能提升?？芍С諴B級(jí)結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一的存儲(chǔ)、管理和分析。

用友AE結(jié)構(gòu)化大數(shù)據(jù)處理包含四大類產(chǎn)品。建模工具、數(shù)據(jù)集成、分析引擎、數(shù)據(jù)挖掘。

統(tǒng)一建模主要進(jìn)行數(shù)據(jù)倉庫模型、語義模型和多維模型的定義、發(fā)布。統(tǒng)一建模產(chǎn)品產(chǎn)生元數(shù)據(jù)，同時(shí)也使用元數(shù)據(jù)。例如，多維建模工具定義多維模型，存儲(chǔ)到元數(shù)據(jù)存儲(chǔ)庫存儲(chǔ)為多維分析元數(shù)據(jù)，同時(shí)再定義多維模型時(shí)需要用到數(shù)據(jù)倉庫元數(shù)據(jù)，建立多維模型與數(shù)據(jù)倉庫模型的映射關(guān)系，作為OLAP引擎的執(zhí)行多維分析的主要依據(jù)。

AE數(shù)據(jù)集成主要涵蓋傳統(tǒng)ETL、ELT的能力，提供了豐富的數(shù)據(jù)處理、轉(zhuǎn)換功能組件，同時(shí)可集成實(shí)時(shí)數(shù)據(jù)復(fù)制、主數(shù)據(jù)管理產(chǎn)品(MDM)，為企業(yè)提供一個(gè)全面的數(shù)據(jù)集成處理解決方案;實(shí)時(shí)數(shù)據(jù)集成除了可集成到數(shù)據(jù)集成產(chǎn)品中提供實(shí)時(shí)能力之外，也可單獨(dú)部署，滿足企業(yè)實(shí)時(shí)數(shù)據(jù)同步、災(zāi)備等需要。

用友AE數(shù)據(jù)集成

分析處理引擎是AE的核心部分。它是上層BQ分析展現(xiàn)產(chǎn)品和底層數(shù)據(jù)存儲(chǔ)層的橋梁，主要包括查詢引擎、報(bào)表引擎、多維分析(OLAP)引擎。多維分析引擎基于ROLAP技術(shù)，實(shí)現(xiàn)上層多維立分析方體模型對(duì)底層數(shù)據(jù)倉庫數(shù)據(jù)的動(dòng)態(tài)實(shí)時(shí)多維分析展現(xiàn)操作，支持MDX、XMLA，應(yīng)用內(nèi)存分析技術(shù)，可以快速進(jìn)行大規(guī)模數(shù)據(jù)的即時(shí)分析?；诹写媸綌?shù)據(jù)庫，可實(shí)現(xiàn)數(shù)百GB數(shù)據(jù)的即時(shí)多維分析操作的秒級(jí)響應(yīng)。

數(shù)據(jù)挖掘提供向?qū)Щ哪Ｐ陀?xùn)練，預(yù)測(cè)，及其對(duì)應(yīng)的可視化展現(xiàn)。實(shí)現(xiàn)數(shù)據(jù)挖掘模型訓(xùn)練，分析執(zhí)行結(jié)果的管理等功能。預(yù)置時(shí)間序列挖掘算法，如季節(jié)分析模型，差分自回歸模型等。數(shù)據(jù)挖掘基于開源R平臺(tái)，有非常豐富的算法支持，算法的更新推出速度快。另外具有高性價(jià)比，與R語言整合后可以大幅降低數(shù)據(jù)挖掘項(xiàng)目的實(shí)施成本。

用友AE數(shù)據(jù)處理引擎

大數(shù)據(jù)時(shí)代，企業(yè)需要對(duì)大規(guī)模多種類型(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)的數(shù)據(jù)進(jìn)行集中、統(tǒng)一、快速的處理和分析來支持業(yè)務(wù)增長。傳統(tǒng)的基于關(guān)系數(shù)據(jù)存儲(chǔ)系統(tǒng)的技術(shù)和產(chǎn)品無法進(jìn)行大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的處理，而新興的各種開源大數(shù)據(jù)處理產(chǎn)品尚未形成成熟的標(biāo)準(zhǔn)化的應(yīng)用產(chǎn)品和框架，使用難度大，技術(shù)集成度復(fù)雜，不能滿足業(yè)務(wù)發(fā)展需求。為解決企業(yè)快速、低成本的運(yùn)用Hadoop，需要軟件服務(wù)廠商提供一個(gè)整合性的產(chǎn)品技術(shù)解決方案，于是，便有了用友UDH。

用友UDH集群管理器

用友UDH，基于開源hadoop，hive，storm、Spark等進(jìn)行了優(yōu)化，按照企業(yè)數(shù)據(jù)處理與分析的應(yīng)用模式，開發(fā)了一系列管理工具，涵蓋大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)集成、存儲(chǔ)和分析計(jì)算。單集群可達(dá)100臺(tái)以上，可管理PB級(jí)數(shù)據(jù)。

企業(yè)想要想要建成一個(gè)Hadoop系統(tǒng)，即使有較大技術(shù)團(tuán)隊(duì)和較強(qiáng)技術(shù)力量儲(chǔ)備的企業(yè)和組織，至少也要一年的時(shí)間，才有辦法一個(gè)Hadoop的集群，做到可以商業(yè)運(yùn)行的階段。使用UDH，會(huì)把整個(gè)系統(tǒng)的人力投入降到1到2個(gè)工程師就可以去運(yùn)維一個(gè)相當(dāng)大規(guī)模的一個(gè)集群，而且把時(shí)間縮短到大概在一個(gè)月左右，這對(duì)企業(yè)來講是非常重要，因?yàn)樗馕吨〉某杀?、更快的投資回報(bào)。

另外，企業(yè)用戶如果對(duì)Hadoop整個(gè)產(chǎn)品體系的發(fā)展、演變和技術(shù)架構(gòu)不是很熟悉的情況下，要部署HA，十分困難。尤其安全的部分，如何實(shí)現(xiàn)對(duì)數(shù)據(jù)的強(qiáng)認(rèn)，也相當(dāng)復(fù)雜。通過使用UDH，這些東西可以統(tǒng)統(tǒng)做成自動(dòng)化，用戶基本上不會(huì)感覺到什么問題。

用友AE屬于用友UAP平臺(tái)的一部分，結(jié)合UAP平臺(tái)的其他產(chǎn)品，還可以為客戶提供在全企業(yè)級(jí)更廣泛的綜合數(shù)據(jù)治理平臺(tái)化解決方案，實(shí)現(xiàn)向數(shù)據(jù)驅(qū)動(dòng)的企業(yè)跨越。