引言：

作為中國(guó)的頂尖學(xué)府，清華大學(xué)承擔(dān)著下一代互聯(lián)網(wǎng)核心網(wǎng)國(guó)家工程實(shí)驗(yàn)室建設(shè)項(xiàng)目中的“下一代互聯(lián)網(wǎng)核心網(wǎng)運(yùn)行管理技術(shù)研發(fā)平臺(tái)(簡(jiǎn)稱運(yùn)管研發(fā)平臺(tái))測(cè)量系統(tǒng)”的建設(shè)，擬建成“綜合流量采集與分析系統(tǒng)”，為網(wǎng)絡(luò)測(cè)量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù)。

從目前來看，綜合流量采集與分析系統(tǒng)，用于采集和分析實(shí)時(shí)網(wǎng)絡(luò)流量，需具備8條主干鏈路分組流量的采集和分析能力，以便為網(wǎng)絡(luò)測(cè)量、網(wǎng)絡(luò)管理、探索新型網(wǎng)絡(luò)等業(yè)務(wù)系統(tǒng)提供網(wǎng)絡(luò)流量原始數(shù)據(jù)，數(shù)據(jù)容量最大達(dá)540TB。這就要求業(yè)務(wù)平臺(tái)必須具備足夠大的存儲(chǔ)容量、高讀寫帶寬以及高效的大數(shù)據(jù)分析能力，才能滿足“綜合流量采集與分析系統(tǒng)”未來的業(yè)務(wù)發(fā)展需要。

而Netflow流采集與分析系統(tǒng)，依托CERNET大規(guī)模試驗(yàn)網(wǎng)絡(luò)構(gòu)建，用于采集和分析試驗(yàn)網(wǎng)核心節(jié)點(diǎn)的Netflow流數(shù)據(jù)，支持網(wǎng)絡(luò)研究人員從網(wǎng)絡(luò)全局的角度觀察和分析網(wǎng)絡(luò)行為、網(wǎng)絡(luò)發(fā)展與演進(jìn)規(guī)律，基于現(xiàn)有的分析平臺(tái)，要求系統(tǒng)具備連續(xù)12個(gè)月流數(shù)據(jù)的存儲(chǔ)能力，并支持未來持續(xù)不間斷的存儲(chǔ)容量擴(kuò)充，為網(wǎng)絡(luò)優(yōu)化和新型網(wǎng)絡(luò)體系結(jié)構(gòu)研究提供網(wǎng)絡(luò)流量采樣數(shù)據(jù)。

根據(jù)以上項(xiàng)目需求，清華大學(xué)在采購IT基礎(chǔ)設(shè)施時(shí)考慮如下訴求：

1.如何向大數(shù)據(jù)分析平臺(tái)平滑過渡?

整體架構(gòu)和功能設(shè)計(jì)應(yīng)該立足于較高起點(diǎn)，在考慮系統(tǒng)性價(jià)比的同時(shí)應(yīng)兼顧系統(tǒng)的先進(jìn)性和可持續(xù)發(fā)展性，要求存儲(chǔ)硬件平臺(tái)采用國(guó)內(nèi)外領(lǐng)先的技術(shù)和理念，確保項(xiàng)目在建成后的3～5年內(nèi)保持足夠的先進(jìn)性。綜合流量采集與分析系統(tǒng)具備演進(jìn)能力，建成后可平滑過渡到大數(shù)據(jù)分析平臺(tái)。

2.數(shù)據(jù)共享能力是否夠“硬”?

CERNET實(shí)驗(yàn)網(wǎng)全國(guó)26個(gè)核心節(jié)點(diǎn)每天產(chǎn)生2TB Netflow流數(shù)據(jù)，網(wǎng)絡(luò)流量峰值高達(dá)1.1GB/s，對(duì)存儲(chǔ)系統(tǒng)的讀寫性能提出了非常高的要求。同時(shí)，采集到的數(shù)據(jù)需要共享給不同的業(yè)務(wù)系統(tǒng)進(jìn)行研究分析，這就同時(shí)要求存儲(chǔ)系統(tǒng)具備高效的數(shù)據(jù)共享能力。

3.如何讓存儲(chǔ)系統(tǒng)變得更加“機(jī)靈”?

清華大學(xué)運(yùn)管研發(fā)平臺(tái)將為下一代互聯(lián)網(wǎng)核心網(wǎng)國(guó)家工程實(shí)驗(yàn)室提供數(shù)據(jù)服務(wù)，為科研項(xiàng)目提供原始數(shù)據(jù)和分析數(shù)據(jù)樣本，系統(tǒng)的建立必須具備前瞻性，需充分考慮未來5年業(yè)務(wù)的持續(xù)發(fā)展和數(shù)據(jù)急劇增長(zhǎng)帶來的擴(kuò)容問題，要求存儲(chǔ)系統(tǒng)具備靈活的擴(kuò)展性，且不影響現(xiàn)有業(yè)務(wù)系統(tǒng)的正常運(yùn)行。

清華大學(xué)國(guó)家工程實(shí)驗(yàn)室大數(shù)據(jù)之路 一路有華為

為達(dá)成項(xiàng)目建設(shè)目標(biāo)，清華大學(xué)對(duì)該項(xiàng)目整體方案的把控頗為嚴(yán)謹(jǐn)，在滿足綜合流量采集與分析系統(tǒng)對(duì)服務(wù)器及存儲(chǔ)設(shè)備要求的基礎(chǔ)上，還需充分考慮系統(tǒng)向大數(shù)據(jù)平臺(tái)演進(jìn)的方案，系統(tǒng)建成之后易可平滑過渡到Hadoop平臺(tái)，并具備大數(shù)據(jù)分析計(jì)算能力。在對(duì)比Dell、宏杉、浪潮方案之后毅然選擇華為整體解決方案。

1.走向“大數(shù)據(jù)之路” 滿足客戶對(duì)平臺(tái)演進(jìn)能力的要求

針對(duì)清華大學(xué)對(duì)IT系統(tǒng)的建設(shè)要求，華為推薦采用RH2288H高性能服務(wù)器集群，為綜合流量采集與分析系統(tǒng)提供計(jì)算及存儲(chǔ)平臺(tái)，以及平滑演進(jìn)到Hadoop大數(shù)據(jù)平臺(tái)的能力。針對(duì)Netflow流采集與分析系統(tǒng)，華為推薦采用OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)，為該系統(tǒng)提供CIFS/NFS業(yè)務(wù)，實(shí)現(xiàn)CERNET實(shí)驗(yàn)網(wǎng)全國(guó)26個(gè)核心節(jié)點(diǎn)網(wǎng)絡(luò)流數(shù)據(jù)的集中存儲(chǔ)和共享。

此外，華為OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)采用多節(jié)點(diǎn)全Active的集群架構(gòu)，多引擎存儲(chǔ)空間全共享，全面滿足清華大學(xué)對(duì)存儲(chǔ)設(shè)備技術(shù)領(lǐng)先的要求。通過華為FusionInsight大數(shù)據(jù)解決方案，可將現(xiàn)有平臺(tái)平滑過渡至大數(shù)據(jù)分析平臺(tái)，滿足客戶對(duì)平臺(tái)演進(jìn)能力的要求。

2.數(shù)據(jù)流動(dòng)自如、存儲(chǔ)擴(kuò)展 滿足運(yùn)管研發(fā)平臺(tái)未來業(yè)務(wù)的擴(kuò)容需求

針對(duì)清華大學(xué)對(duì)快速高效的要求，華為OceanStor N8500集群NAS存儲(chǔ)系統(tǒng)憑借雙引擎2GB/s的穩(wěn)定讀寫帶寬，贏得客戶青睞;同時(shí)，CIFS/NFS/FTP/HTTP等多種數(shù)據(jù)共享方式的靈活選擇，最大程度的方便了不同業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)流動(dòng)。

憑借scale-out的領(lǐng)先架構(gòu)設(shè)計(jì)，OceanStor N8500最高可支持16個(gè)節(jié)點(diǎn)，提供高達(dá)15PB的存儲(chǔ)容量，高于業(yè)界同類產(chǎn)品30%以上，同時(shí)系統(tǒng)的吞吐能力隨著節(jié)點(diǎn)的增加線性增長(zhǎng)。隨著清華大學(xué)數(shù)據(jù)采集業(yè)務(wù)的增長(zhǎng)，可在線增加NAS引擎達(dá)到橫向擴(kuò)展性能的目的，同時(shí)也可在線增加存儲(chǔ)單元達(dá)到縱向擴(kuò)展容量的目的，滿足運(yùn)管研發(fā)平臺(tái)未來業(yè)務(wù)發(fā)展的擴(kuò)容需求。

目前，該系統(tǒng)運(yùn)行穩(wěn)定，其大數(shù)據(jù)平臺(tái)演進(jìn)能力更為未來的業(yè)務(wù)發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。清華大學(xué)國(guó)家工程實(shí)驗(yàn)室走向大數(shù)據(jù)之路在華為一路相隨下，將走得更遠(yuǎn)、更穩(wěn)健。