清華大學(xué)國(guó)家工程實(shí)驗(yàn)室走向大數(shù)據(jù)之路 華為一路相隨

責(zé)任編輯:賈世華

2014-12-12 14:08:10

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

針對(duì)清華大學(xué)對(duì)IT系統(tǒng)的建設(shè)要求,華為推薦采用RH2288H高性能服務(wù)器集群。

引言:

作為中國(guó)的頂尖學(xué)府,清華大學(xué)承擔(dān)著下一代互聯(lián)網(wǎng)核心網(wǎng)國(guó)家工程實(shí)驗(yàn)室建設(shè)項(xiàng)目中的“下一代互聯(lián)網(wǎng)核心網(wǎng)運(yùn)行管理技術(shù)研發(fā)平臺(tái)(簡(jiǎn)稱運(yùn)管研發(fā)平臺(tái))測(cè)量系統(tǒng)”的建設(shè),擬建成“綜合流量采集與分析系統(tǒng)”,為網(wǎng)絡(luò)測(cè)量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù)。

從目前來看,綜合流量采集與分析系統(tǒng),用于采集和分析實(shí)時(shí)網(wǎng)絡(luò)流量,需具備8條主干鏈路分組流量的采集和分析能力,以便為網(wǎng)絡(luò)測(cè)量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù),數(shù)據(jù)容量最大達(dá)540TB。這就要求業(yè)務(wù)平臺(tái)必須具備足夠大的存儲(chǔ)容量、高讀寫帶寬以及高效的大數(shù)據(jù)分析能力,才能滿足“綜合流量采集與分析系統(tǒng)”未來的業(yè)務(wù)發(fā)展需要。

而Netflow流采集與分析系統(tǒng),依托CERNET大規(guī)模試驗(yàn)網(wǎng)絡(luò)構(gòu)建,用于采集和分析試驗(yàn)網(wǎng)核心節(jié)點(diǎn)的Netflow流數(shù)據(jù),支持網(wǎng)絡(luò)研究人員從網(wǎng)絡(luò)全局的角度觀察和分析網(wǎng)絡(luò)行為、網(wǎng)絡(luò)發(fā)展與演進(jìn)規(guī)律,基于現(xiàn)有的分析平臺(tái),要求系統(tǒng)具備連續(xù)12個(gè)月流數(shù)據(jù)的存儲(chǔ)能力,并支持未來持續(xù)不間斷的存儲(chǔ)容量擴(kuò)充,為網(wǎng)絡(luò)優(yōu)化和新型網(wǎng)絡(luò)體系結(jié)構(gòu)研究提供網(wǎng)絡(luò)流量采樣數(shù)據(jù)。

根據(jù)以上項(xiàng)目需求,清華大學(xué)在采購IT基礎(chǔ)設(shè)施時(shí)考慮如下訴求:

1.如何向大數(shù)據(jù)分析平臺(tái)平滑過渡?

整體架構(gòu)和功能設(shè)計(jì)應(yīng)該立足于較高起點(diǎn),在考慮系統(tǒng)性價(jià)比的同時(shí)應(yīng)兼顧系統(tǒng)的先進(jìn)性和可持續(xù)發(fā)展性,要求存儲(chǔ)硬件平臺(tái)采用國(guó)內(nèi)外領(lǐng)先的技術(shù)和理念,確保項(xiàng)目在建成后的3~5年內(nèi)保持足夠的先進(jìn)性。綜合流量采集與分析系統(tǒng)具備演進(jìn)能力,建成后可平滑過渡到大數(shù)據(jù)分析平臺(tái)。

2.數(shù)據(jù)共享能力是否夠“硬”?

CERNET實(shí)驗(yàn)網(wǎng)全國(guó)26個(gè)核心節(jié)點(diǎn)每天產(chǎn)生2TB Netflow流數(shù)據(jù),網(wǎng)絡(luò)流量峰值高達(dá)1.1GB/s,對(duì)存儲(chǔ)系統(tǒng)的讀寫性能提出了非常高的要求。同時(shí),采集到的數(shù)據(jù)需要共享給不同的業(yè)務(wù)系統(tǒng)進(jìn)行研究分析,這就同時(shí)要求存儲(chǔ)系統(tǒng)具備高效的數(shù)據(jù)共享能力。

3.如何讓存儲(chǔ)系統(tǒng)變得更加“機(jī)靈”?

清華大學(xué)運(yùn)管研發(fā)平臺(tái)將為下一代互聯(lián)網(wǎng)核心網(wǎng)國(guó)家工程實(shí)驗(yàn)室提供數(shù)據(jù)服務(wù),為科研項(xiàng)目提供原始數(shù)據(jù)和分析數(shù)據(jù)樣本,系統(tǒng)的建立必須具備前瞻性,需充分考慮未來5年業(yè)務(wù)的持續(xù)發(fā)展和數(shù)據(jù)急劇增長(zhǎng)帶來的擴(kuò)容問題,要求存儲(chǔ)系統(tǒng)具備靈活的擴(kuò)展性,且不影響現(xiàn)有業(yè)務(wù)系統(tǒng)的正常運(yùn)行。

清華大學(xué)國(guó)家工程實(shí)驗(yàn)室大數(shù)據(jù)之路 一路有華為

為達(dá)成項(xiàng)目建設(shè)目標(biāo),清華大學(xué)對(duì)該項(xiàng)目整體方案的把控頗為嚴(yán)謹(jǐn),在滿足綜合流量采集與分析系統(tǒng)對(duì)服務(wù)器及存儲(chǔ)設(shè)備要求的基礎(chǔ)上,還需充分考慮系統(tǒng)向大數(shù)據(jù)平臺(tái)演進(jìn)的方案,系統(tǒng)建成之后易可平滑過渡到Hadoop平臺(tái),并具備大數(shù)據(jù)分析計(jì)算能力。在對(duì)比Dell、宏杉、浪潮方案之后毅然選擇華為整體解決方案。

1.走向“大數(shù)據(jù)之路” 滿足客戶對(duì)平臺(tái)演進(jìn)能力的要求

針對(duì)清華大學(xué)對(duì)IT系統(tǒng)的建設(shè)要求,華為推薦采用RH2288H高性能服務(wù)器集群,為綜合流量采集與分析系統(tǒng)提供計(jì)算及存儲(chǔ)平臺(tái),以及平滑演進(jìn)到Hadoop大數(shù)據(jù)平臺(tái)的能力。針對(duì)Netflow流采集與分析系統(tǒng),華為推薦采用OceanStor N8500集群NAS存儲(chǔ)系統(tǒng),為該系統(tǒng)提供CIFS/NFS業(yè)務(wù),實(shí)現(xiàn)CERNET實(shí)驗(yàn)網(wǎng)全國(guó)26個(gè)核心節(jié)點(diǎn)網(wǎng)絡(luò)流數(shù)據(jù)的集中存儲(chǔ)和共享。

此外,華為OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)采用多節(jié)點(diǎn)全Active的集群架構(gòu),多引擎存儲(chǔ)空間全共享,全面滿足清華大學(xué)對(duì)存儲(chǔ)設(shè)備技術(shù)領(lǐng)先的要求。通過華為FusionInsight大數(shù)據(jù)解決方案,可將現(xiàn)有平臺(tái)平滑過渡至大數(shù)據(jù)分析平臺(tái),滿足客戶對(duì)平臺(tái)演進(jìn)能力的要求。

2.數(shù)據(jù)流動(dòng)自如、存儲(chǔ)擴(kuò)展 滿足運(yùn)管研發(fā)平臺(tái)未來業(yè)務(wù)的擴(kuò)容需求

針對(duì)清華大學(xué)對(duì)快速高效的要求,華為OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)憑借雙引擎2GB/s的穩(wěn)定讀寫帶寬,贏得客戶青睞;同時(shí),CIFS/NFS/FTP/HTTP等多種數(shù)據(jù)共享方式的靈活選擇,最大程度的方便了不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)流動(dòng)。

憑借scale-out的領(lǐng)先架構(gòu)設(shè)計(jì),OceanStor N8500最高可支持16個(gè)節(jié)點(diǎn),提供高達(dá)15PB的存儲(chǔ)容量,高于業(yè)界同類產(chǎn)品30%以上,同時(shí)系統(tǒng)的吞吐能力隨著節(jié)點(diǎn)的增加線性增長(zhǎng)。隨著清華大學(xué)數(shù)據(jù)采集業(yè)務(wù)的增長(zhǎng),可在線增加NAS引擎達(dá)到橫向擴(kuò)展性能的目的,同時(shí)也可在線增加存儲(chǔ)單元達(dá)到縱向擴(kuò)展容量的目的,滿足運(yùn)管研發(fā)平臺(tái)未來業(yè)務(wù)發(fā)展的擴(kuò)容需求。

目前,該系統(tǒng)運(yùn)行穩(wěn)定,其大數(shù)據(jù)平臺(tái)演進(jìn)能力更為未來的業(yè)務(wù)發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。清華大學(xué)國(guó)家工程實(shí)驗(yàn)室走向大數(shù)據(jù)之路在華為一路相隨下,將走得更遠(yuǎn)、更穩(wěn)健。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)