用友華表技術(shù)架構(gòu)師任少斌:三面突圍大數(shù)據(jù)存儲(chǔ)

責(zé)任編輯:sjia

2012-06-28 17:01:28

來(lái)源:企業(yè)網(wǎng)D1Net

原創(chuàng)

本文將從用友華表的技術(shù)思路、存儲(chǔ)方案、存儲(chǔ)之后的數(shù)據(jù)如何融合三個(gè)層次來(lái)闡述我們?nèi)绾螒?yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。

大數(shù)據(jù)時(shí)代給傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)帶來(lái)了一系列的沖擊和挑戰(zhàn),僅從源數(shù)據(jù)采集和存儲(chǔ)層面,就讓倉(cāng)儲(chǔ)的構(gòu)建者不得不重新認(rèn)真地思考:數(shù)據(jù)在哪里?這個(gè)問(wèn)題的答案改寫(xiě)了企業(yè)數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)源的既有定義,同時(shí)也傳遞了兩方面的焦慮,一是數(shù)據(jù)規(guī)模急速增長(zhǎng),現(xiàn)有的單節(jié)點(diǎn)或者共享磁盤(pán)架構(gòu)能否適應(yīng)海量數(shù)據(jù)的存儲(chǔ);二是數(shù)據(jù)結(jié)構(gòu)復(fù)雜多樣,現(xiàn)有的基于結(jié)構(gòu)化數(shù)據(jù)為主體的存儲(chǔ)方案能否兼容無(wú)模式的非結(jié)構(gòu)化數(shù)據(jù)。

面對(duì)企業(yè)大數(shù)據(jù)的挑戰(zhàn),用友華表作為一家提供商業(yè)分析產(chǎn)品的供應(yīng)商,在技術(shù)上我們將如何解決大數(shù)據(jù)的問(wèn)題呢?目前面對(duì)大數(shù)據(jù)給現(xiàn)有倉(cāng)庫(kù)存儲(chǔ)架構(gòu)帶來(lái)的量的沖擊和數(shù)據(jù)種類增加的挑戰(zhàn),不同的公司會(huì)選擇不同的技術(shù)路線,我們最初試圖通過(guò)一個(gè)大而全的存儲(chǔ)架構(gòu)來(lái)解決海量數(shù)據(jù)和多種數(shù)據(jù)類型的問(wèn)題。但結(jié)過(guò)一段時(shí)間反復(fù)研究,我們認(rèn)為大而全的存儲(chǔ)架構(gòu)不是解決大數(shù)據(jù)的最佳方案,我們目前決定采用的技術(shù)路線是讓不同種類的數(shù)據(jù)存儲(chǔ)在最適合他們的存儲(chǔ)系統(tǒng)里,然后再將不同的數(shù)據(jù)類型進(jìn)行融合,企業(yè)在融合的數(shù)據(jù)基礎(chǔ)上做商業(yè)分析。

本文我將從用友華表的技術(shù)思路、存儲(chǔ)方案、存儲(chǔ)之后的數(shù)據(jù)如何融合三個(gè)層次來(lái)闡述我們?nèi)绾螒?yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。

分而治之 三面突圍

第一,有“容”乃大。“容”,即有足夠的容量來(lái)存儲(chǔ)數(shù)據(jù)。對(duì)于大規(guī)模數(shù)據(jù),我們將采用分而治之的思想,構(gòu)建分布式存儲(chǔ)系統(tǒng),并且做到易擴(kuò)展。保證系統(tǒng)可以方便的增加節(jié)點(diǎn),當(dāng)企業(yè)的數(shù)據(jù)快速增加時(shí),可以使數(shù)據(jù)分布始終保持在平衡狀態(tài);

第二,有“榮”乃大。即兼用多種存儲(chǔ)引擎。大數(shù)據(jù)因結(jié)構(gòu)復(fù)雜多樣使得數(shù)據(jù)倉(cāng)庫(kù)要采集的源數(shù)據(jù)種類無(wú)比“繁榮”,因此新的倉(cāng)儲(chǔ)架構(gòu)也要改變目前以結(jié)構(gòu)化為主體的單一存儲(chǔ)方案的現(xiàn)狀,針對(duì)每種數(shù)據(jù)的存儲(chǔ)特點(diǎn)選擇最合適的解決方案:對(duì)非結(jié)構(gòu)化數(shù)據(jù)采用分布式文件系統(tǒng)進(jìn)行存儲(chǔ),對(duì)結(jié)構(gòu)松散無(wú)模式的半結(jié)構(gòu)化數(shù)據(jù)采用面向文檔的分布式key/value存儲(chǔ)引擎,對(duì)海量的結(jié)構(gòu)化數(shù)據(jù)采用shared-nothing的分布式并行數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ);

第三,有“融”乃大。如上所述可以兼用多種分布式存儲(chǔ)引擎來(lái)解決“容”和“榮”的挑戰(zhàn),但企業(yè)存儲(chǔ)多元化數(shù)據(jù)的一個(gè)重要目標(biāo)是集成分析,而多種類型數(shù)據(jù)孤立存儲(chǔ)對(duì)后續(xù)的集成分析會(huì)帶來(lái)極大不便。因此我們還需要構(gòu)建分布式數(shù)據(jù)庫(kù)系統(tǒng)和分布式文件系統(tǒng)之間的連接器,使得非結(jié)構(gòu)化數(shù)據(jù)在處理成結(jié)構(gòu)化信息后,能方便的和分布式數(shù)據(jù)庫(kù)中的關(guān)系型數(shù)據(jù)快速融通,保證大數(shù)據(jù)分析的敏捷性。

存儲(chǔ)方案各不同

上面提到針對(duì)大數(shù)據(jù)規(guī)模大、種類多的特點(diǎn),我們可以采用“容”、“榮”的方案,兼用多種分布式存儲(chǔ)引擎分而治之。那么我們就拿非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化這三大類數(shù)據(jù)的存儲(chǔ)方案分別舉例說(shuō)明,以便讓大家更清楚的了解到不同類型的海量數(shù)據(jù)通常都是通過(guò)哪些方式來(lái)進(jìn)行存儲(chǔ)的。由于談到的都是業(yè)界普遍使用的開(kāi)源或商業(yè)方案,因此不做深入討論。

首先,適合存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)的分布式文件系統(tǒng)。

HDFS(Hadoop Distributed File System),是鼎鼎大名的開(kāi)源項(xiàng)目Hadoop的家族成員,是谷歌文件系統(tǒng)GFS(Google File System)的開(kāi)源實(shí)現(xiàn)。HDFS將大規(guī)模數(shù)據(jù)分割為多個(gè)64兆字節(jié)的數(shù)據(jù)塊,存儲(chǔ)在多個(gè)數(shù)據(jù)節(jié)點(diǎn)組成的分布式集群中,隨著數(shù)據(jù)規(guī)模的不斷增長(zhǎng),只需要在集群中增加更多的數(shù)據(jù)節(jié)點(diǎn)即可,因此具有很強(qiáng)的可擴(kuò)展性;同時(shí)每個(gè)數(shù)據(jù)塊會(huì)在不同的節(jié)點(diǎn)中存儲(chǔ)3個(gè)副本,因此具有高容錯(cuò)性;因?yàn)閿?shù)據(jù)是分布式存儲(chǔ)的,因此可以提供高吞吐量的數(shù)據(jù)訪問(wèn)能力,在海量數(shù)據(jù)批處理方面有很強(qiáng)的性能表現(xiàn)。

其次,適合存儲(chǔ)海量無(wú)模式的半結(jié)構(gòu)化數(shù)據(jù)的分布式Key/Value存儲(chǔ)引擎。

HBase(Hadoop Database),也是開(kāi)源項(xiàng)目Hadoop的家族成員,是谷歌大表Bigtable的開(kāi)源實(shí)現(xiàn)。HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng),它不同于一般的有模式的關(guān)系型數(shù)據(jù)庫(kù),HBase存儲(chǔ)的數(shù)據(jù)表是無(wú)模式的,特別適合結(jié)構(gòu)復(fù)雜多樣的半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。此外,HBase利用HDFS作為其文件存儲(chǔ)系統(tǒng),利用MapReduce技術(shù)來(lái)處理HBase中的海量數(shù)據(jù)。

第三,適合存儲(chǔ)海量結(jié)構(gòu)化數(shù)據(jù)的分布式并行數(shù)據(jù)庫(kù)系統(tǒng)。

Greenplum是基于PostgreSQL開(kāi)發(fā)的一款MPP(海量并行處理)架構(gòu)的、shared-nothing無(wú)共享的分布式并行數(shù)據(jù)庫(kù)系統(tǒng)。采用Master/Slave架構(gòu),Master只存儲(chǔ)元數(shù)據(jù),真正的用戶數(shù)據(jù)被散列存儲(chǔ)在多臺(tái)Slave服務(wù)器上,并且所有的數(shù)據(jù)都在其它Slave節(jié)點(diǎn)上存有副本,從而提高了系統(tǒng)可用性。

Greenplum最核心的技術(shù)就是,大表數(shù)據(jù)分片存儲(chǔ),可以應(yīng)對(duì)海量數(shù)據(jù);基于大表的查詢語(yǔ)句在經(jīng)過(guò)Master分析后可以分片發(fā)送到Slave節(jié)點(diǎn)進(jìn)行并行運(yùn)行,所有節(jié)點(diǎn)將中間結(jié)果返回給Master節(jié)點(diǎn),由Master進(jìn)行匯總后返回給客戶端,大大提高了SQL的運(yùn)行速度。

“三融合一”——Xnet數(shù)據(jù)交換網(wǎng)絡(luò)

各種復(fù)雜而大量的數(shù)據(jù)猶如一張立體的大網(wǎng),三類數(shù)據(jù)是網(wǎng)里三種不同的結(jié)點(diǎn),前面提到的三類分布式存儲(chǔ)引擎可以將不同的結(jié)點(diǎn)有序的安排在網(wǎng)上,并且每種相同的結(jié)點(diǎn)都可以直接用線相互連接起來(lái)。但此時(shí)只是三個(gè)孤立的面,就如同三類數(shù)據(jù)間存在的孤島。若要把這三個(gè)面也相互連接起來(lái),形成一張可以從點(diǎn)到面,從點(diǎn)到點(diǎn),從面到面的大網(wǎng),則需要構(gòu)建一個(gè)方便、快速的數(shù)據(jù)交換組件,它是一個(gè)連接器,可以實(shí)現(xiàn)“三融合一”,滿足大數(shù)據(jù)存儲(chǔ)有“融”乃大的特性。

下面先介紹一下數(shù)據(jù)交換網(wǎng)絡(luò)Xnet(Exchange Net)的一些基本構(gòu)思,它是一個(gè)可以完成分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)之間海量數(shù)據(jù)快速交換的組件。

上圖僅是一個(gè)簡(jiǎn)化的邏輯圖,在實(shí)際的物理部署中,HDFS集群和并行數(shù)據(jù)庫(kù)集群共用一個(gè)服務(wù)器集群,即在服務(wù)器集群的每個(gè)節(jié)點(diǎn)上既有HDFS數(shù)據(jù)節(jié)點(diǎn)也有并行數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)單實(shí)例。處于中間融通兩方數(shù)據(jù)的藍(lán)色部分就是我們本節(jié)要探討的分布式、可并行運(yùn)行的高速連接器Xnet。

Xnet實(shí)際就是運(yùn)行在Hadoop集群上的一系列Mapreduce任務(wù),它要完成從HDFS讀取源數(shù)據(jù)、處理中間結(jié)果集、最后寫(xiě)入分布式數(shù)據(jù)庫(kù)的若干作業(yè),這些作業(yè)對(duì)調(diào)用者而言是完全透明的,僅需要配置簡(jiǎn)單的業(yè)務(wù)信息,調(diào)用Xnet就可自動(dòng)完成:

源數(shù)據(jù)文件:需要同步至分布式數(shù)據(jù)庫(kù)的HDFS文件

文件頭:源數(shù)據(jù)的列分隔符、以及與目標(biāo)表列名的映射

目標(biāo)表:要寫(xiě)入的數(shù)據(jù)庫(kù)表

過(guò)濾條件:選擇寫(xiě)入的數(shù)據(jù)行條件

散列鍵:根據(jù)散列鍵的值和哈希算法確定數(shù)據(jù)要寫(xiě)入分布式數(shù)據(jù)庫(kù)的節(jié)點(diǎn),對(duì)數(shù)據(jù)進(jìn)行分片保證數(shù)據(jù)均衡分布

Xnet組件的主要功能設(shè)計(jì)如下:

第一, 拆分列表。將源數(shù)據(jù)文件符合過(guò)濾條件的面向行的記錄拆分為多個(gè)列表,并存入如下的目錄結(jié)構(gòu)中:

一級(jí)目錄為表名,二級(jí)目錄為列名,這樣方便后續(xù)的基于列的數(shù)據(jù)傳輸、裝載以及基于列的統(tǒng)計(jì)信息采集,其Mapreduce過(guò)程可以模擬如下:

Map階段:

a、源數(shù)據(jù)文件被splitable接口分割為多個(gè)數(shù)據(jù)段,對(duì)每個(gè)段Jobtracker會(huì)啟動(dòng)一個(gè)Mapper檢索每一行記錄,根據(jù)Xnet的配置信息得到符合過(guò)濾條件的記錄

b、根據(jù)Xnet配置信息得到每條記錄的散列鍵,結(jié)合哈希算法計(jì)算出該記錄的散列值HK

c、根據(jù)Mapper處理的數(shù)據(jù)段號(hào)和當(dāng)前處理的行號(hào)產(chǎn)生一個(gè)行標(biāo)識(shí)RID

d、Mapper結(jié)合Xnet的配置信息對(duì)當(dāng)前記錄的每一列都產(chǎn)生輸出,數(shù)據(jù)格式為HK:(Cn;RID;Cv),其中HK為散列值,Cn為列名,RID為行標(biāo)識(shí),Cv為列值

Reduce階段:

a、Reducer遠(yuǎn)程讀取Mapper產(chǎn)生的中間數(shù)據(jù)集,通過(guò)實(shí)現(xiàn)定制化的MultipleOutputFormat接口并根據(jù)記錄中Cn即列名,將記錄寫(xiě)入如上的樹(shù)結(jié)構(gòu)目錄中,數(shù)據(jù)格式為HK:(RID;Cv)。
第二,散列列表。將拆分得到的列表數(shù)據(jù)文件根據(jù)每條記錄的散列值HK匯聚到相應(yīng)的數(shù)據(jù)庫(kù)實(shí)例節(jié)點(diǎn),進(jìn)行排序等操作,并行加載入分布式數(shù)據(jù)庫(kù)中,其Mapreduce過(guò)程模擬如下:

Map階段:

a、Mapper從對(duì)應(yīng)的二級(jí)目錄結(jié)構(gòu)中讀取每個(gè)列表的數(shù)據(jù)文件

Reduce階段:

a、Mapper產(chǎn)生的中間數(shù)據(jù)集根據(jù)散列值HK進(jìn)行Partition匯聚到不同的Reducer進(jìn)程

b、Reducer對(duì)數(shù)據(jù)集按照列值即Cv進(jìn)行排序操作,并通過(guò)實(shí)現(xiàn)定制化的MultipleOutputFormat接口將數(shù)據(jù)通過(guò)分布式數(shù)據(jù)庫(kù)的裝載接口寫(xiě)入相應(yīng)的數(shù)據(jù)庫(kù)實(shí)例中
第三,統(tǒng)計(jì)信息。該功能主要是以單位列表為對(duì)象進(jìn)行全量或者抽樣計(jì)算,產(chǎn)生列級(jí)統(tǒng)計(jì)信息,利用Xnet的數(shù)據(jù)交換過(guò)程進(jìn)行統(tǒng)計(jì)信息采集,減輕分布式數(shù)據(jù)庫(kù)后續(xù)分析表的相關(guān)運(yùn)算。這些統(tǒng)計(jì)信息有助于分布式數(shù)據(jù)庫(kù)的查詢引擎做出最合理的執(zhí)行計(jì)劃,提高用戶的數(shù)據(jù)分析效率。

我們將統(tǒng)計(jì)信息采集的操作實(shí)現(xiàn)為獨(dú)立的算子,嵌入到Xnet的數(shù)據(jù)交換過(guò)程中,保證代碼的獨(dú)立性,可以方便的控制何時(shí)進(jìn)行統(tǒng)計(jì)信息的采集。主要算子描述如下:

StatisticsGather

簡(jiǎn)單的聚集統(tǒng)計(jì)采集,如空值數(shù)、記錄數(shù),最大最小值等

HistogramGather

等高直方圖、常用值統(tǒng)計(jì)等

SampleGather

數(shù)據(jù)采樣算子,在采樣統(tǒng)計(jì)情景下,將命中的記錄傳給其它兩個(gè)算子進(jìn)行統(tǒng)計(jì)

下面通過(guò)舉例看看統(tǒng)計(jì)信息采集的處理過(guò)程。

首先,準(zhǔn)備階段。Mapreduce過(guò)程要對(duì)輸入的數(shù)據(jù)進(jìn)行分割split操作,在統(tǒng)計(jì)信息的采集過(guò)程中不用對(duì)所有的splits都進(jìn)行統(tǒng)計(jì)分析,每次采集任務(wù)只選擇指定數(shù)量的split進(jìn)行。這些數(shù)量值需要在統(tǒng)計(jì)信息任務(wù)里進(jìn)行配置,如采樣的splits數(shù)量num_sample_splits,采樣的記錄數(shù)num_sample_records。

采樣的選擇方法:

如果num_sample_splits大于splits總數(shù),那么所有splits都需要進(jìn)行采樣,每個(gè)split采樣的記錄數(shù)為num_sample_records / total_splits

如果num_sample_splits小于splits總數(shù),計(jì)算splits挑選的間隔sample_step = total_splits / num_sample_splits,按照sample_step的間隔從splits列表中選出
num_sample_splits個(gè)split,每個(gè)split需要采樣的任務(wù)數(shù)為num_sample_records / num_sample_splits

其次,采樣算子。在海量數(shù)據(jù)中,對(duì)每個(gè)字段統(tǒng)計(jì)一個(gè)精確的直方圖信息的代價(jià)太大,而且也沒(méi)有意義。因此采用采樣的手段來(lái)統(tǒng)計(jì)每個(gè)字段的直方圖信息比較可取,下面描述兩種采樣方式,如果能清楚知道每個(gè)分割文件的記錄數(shù)目那么直接采用采樣算法Algorithm S或者Algorithm R是最好的,具體采樣算法這里不做討論。

順序讀取:SampleGather接收需要處理的記錄,如果達(dá)到配置的采樣數(shù)目則跳過(guò)不做任何操作;如果沒(méi)有達(dá)到則傳遞給HistogramGather進(jìn)行統(tǒng)計(jì)分析

估值讀?。篠ampleGather統(tǒng)計(jì)前n條記錄的平均長(zhǎng)度,根據(jù)平均長(zhǎng)度和當(dāng)前分割文件的總長(zhǎng)度,估算當(dāng)前包含的總記錄數(shù)。有了總記錄數(shù)N就可進(jìn)行采樣算法如Algorithm S或者Algorithm R,將采樣命中的記錄傳遞給HistogramGather進(jìn)行統(tǒng)計(jì)分析

第三,MR流程。在此模擬統(tǒng)計(jì)信息采集的Mapreduce過(guò)程,包括字段記錄總數(shù)、空值記錄比例、常用值統(tǒng)計(jì)和等高直方圖統(tǒng)計(jì)。

Map階段:

a、Mapper從文本文件中解析得到的一行記錄,并傳遞給StatisticsGather和SampleGather

b、StatisticsGather的處理:統(tǒng)計(jì)記錄數(shù)num_all加1,如果該字段同時(shí)為空則num_null加1

c、SampleGather進(jìn)行采樣后,將采樣的記錄傳遞給HistogramGather進(jìn)行直方圖統(tǒng)計(jì)(在Map階段直方圖統(tǒng)計(jì)包括常用值統(tǒng)計(jì)和等高直方圖統(tǒng)計(jì))

d、常用值統(tǒng)計(jì):將該字段放入HashTable進(jìn)行去重操作,統(tǒng)計(jì)該字段的重復(fù)類;HashTable中按照值出現(xiàn)的次數(shù)排序,并且保證HashTable的大小在指定的范圍內(nèi),比如250個(gè)Key

e、等高直方圖統(tǒng)計(jì):直接將所有采樣到的所有記錄輸出到Reduce階段,因?yàn)榈雀咧狈綀D需要一個(gè)全局的采樣統(tǒng)計(jì)

Map階段輸出:

a、StatisticsGather輸出:該split中包含的總記錄數(shù)num_all,該字段的空值數(shù)量num_null

b、HistogramGather輸出:常用值(MCV)統(tǒng)計(jì)輸出,HashTable中key的數(shù)目,key的列表,以及每個(gè)key在split中占有的數(shù)量;等高直方圖統(tǒng)計(jì)輸出,采樣得到的所有記錄

Reduce階段:

a、StatisticsGather輸出:累加每個(gè)Map輸出的num_all,得到總記錄數(shù);累加每個(gè)Map輸出的字段的空值數(shù)量,并與總記錄數(shù)相除,得到空值比例

b、HistogramGather的常用值統(tǒng)計(jì)輸出:利用Mapper和Reducer的Sort機(jī)制,對(duì)常用值出現(xiàn)次數(shù)進(jìn)行累加統(tǒng)計(jì)。基于常用值統(tǒng)計(jì)可以進(jìn)一步產(chǎn)生更多的統(tǒng)計(jì)信息,如遍歷常用值的HashTable,統(tǒng)計(jì)出現(xiàn)次數(shù)大于1的鍵值,如果該值為0,則說(shuō)明該字段具有唯一性。還可以利用常用值輸出計(jì)算該列的離散度等,這里不再贅述。

c、HistogramGather的等高直方圖統(tǒng)計(jì)輸出:利用Mapper和Reducer的Sort機(jī)制,將每個(gè)Mapper輸出的采樣記錄進(jìn)行排序。根據(jù)配置的直方圖箱個(gè)數(shù),將這些值分到不同的bin中,記錄每個(gè)bin的起始值和結(jié)束值。輸出等高的直方圖。(如下圖所示,得到等高直方圖的例子)

上圖中的直方圖(根據(jù)紅線分割bin)可以記錄為:0 - B;1-C;2 - C;3 - E;

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)