省級電網(wǎng)企業(yè)數(shù)據(jù)中心信息網(wǎng)絡(luò)是電網(wǎng)公司信息網(wǎng)中最核心的網(wǎng)絡(luò)部位，作為企業(yè)信息系統(tǒng)運(yùn)行的重要支撐，數(shù)據(jù)中心信息網(wǎng)絡(luò)為電網(wǎng)公司的生產(chǎn)、經(jīng)營和管理類系統(tǒng)提供基本的數(shù)據(jù)傳輸通道。隨著國家電網(wǎng)公司“三集五大”建設(shè)和改革發(fā)展的需要，作為改革發(fā)展重要支撐手段的信息系統(tǒng)建設(shè)取得了長足發(fā)展和重大突破，實(shí)現(xiàn)了企業(yè)關(guān)鍵系統(tǒng)在國網(wǎng)和省公司的兩級集中部署。省公司數(shù)據(jù)中心集中部署的重要信息系統(tǒng)越來越多，系統(tǒng)交換數(shù)據(jù)量越來越大。由于電網(wǎng)企業(yè)關(guān)乎國計(jì)民生，電力客戶和電網(wǎng)企業(yè)對信息系統(tǒng)的連續(xù)穩(wěn)定運(yùn)行要求非常高，十二五期間國家電網(wǎng)還將開展云計(jì)算和硬件資源池建設(shè)。所以，支撐核心系統(tǒng)運(yùn)行的省公司數(shù)據(jù)中心信息網(wǎng)絡(luò)面臨著“高性能、高帶寬、高可靠、高靈活性”的應(yīng)用需求。為適應(yīng)電網(wǎng)企業(yè)這種新形勢下的網(wǎng)絡(luò)需求，數(shù)據(jù)中心網(wǎng)絡(luò)需要不斷優(yōu)化結(jié)構(gòu)。

網(wǎng)絡(luò)虛擬化是當(dāng)前網(wǎng)絡(luò)發(fā)展中重要的研究內(nèi)容，并且是下一代網(wǎng)絡(luò)的重要發(fā)展方向，其關(guān)鍵思想是實(shí)現(xiàn)網(wǎng)絡(luò)各層的橫向整合，將交換網(wǎng)絡(luò)每一層的多臺物理設(shè)備使用虛擬化技術(shù)形成一個(gè)統(tǒng)一的交換架構(gòu)，減少了邏輯上的設(shè)備數(shù)量，增加網(wǎng)絡(luò)對業(yè)務(wù)部署的靈活性。

虛擬化整合后的網(wǎng)絡(luò)系統(tǒng)，對外表現(xiàn)為單臺物理設(shè)備，因此，在保持網(wǎng)絡(luò)基本互聯(lián)條件下(圖1左)，可將一對虛擬系統(tǒng)之間的多條線纜進(jìn)行鏈路捆綁聚合動(dòng)作(圖1中)，從而將不同網(wǎng)絡(luò)層之間的網(wǎng)狀互聯(lián)簡化成單條邏輯鏈路并增加帶寬(圖1右)。

1 現(xiàn)狀分析

某省電網(wǎng)企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)經(jīng)過多年的發(fā)展和建設(shè)，建成了分布在黃山路電網(wǎng)調(diào)度大樓、黃山路第二辦公樓、蕪湖路辦公樓三地信息機(jī)房的數(shù)據(jù)中心核心網(wǎng)絡(luò)。改造前省公司數(shù)據(jù)中心核心網(wǎng)絡(luò)是呈星型網(wǎng)絡(luò)結(jié)構(gòu)，以黃山路數(shù)據(jù)中心為網(wǎng)絡(luò)核心節(jié)點(diǎn)，黃山路第二辦公樓和蕪湖路數(shù)據(jù)中心分別部署一套匯聚交換機(jī)，三地機(jī)房的接人層交換機(jī)經(jīng)過本地機(jī)房匯聚交換機(jī)星狀接人網(wǎng)絡(luò)。

隨著省公司數(shù)據(jù)中心集中部署的應(yīng)用系統(tǒng)不斷增加，現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)的技術(shù)缺陷和結(jié)構(gòu)弊端日益凸顯，主要表現(xiàn)在以下幾個(gè)方面:

1)單網(wǎng)絡(luò)出口:雖然有三地?cái)?shù)據(jù)中心，但是網(wǎng)絡(luò)出口只位于黃山路信息機(jī)房一處，一旦該節(jié)點(diǎn)核心交換機(jī)故障或停機(jī)檢修將造成整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)對外聯(lián)絡(luò)中斷。同時(shí)該節(jié)點(diǎn)核心交換機(jī)負(fù)載很高，業(yè)務(wù)板卡槽位已滿配，擴(kuò)容有難度。

2)設(shè)備資源利用率不高:網(wǎng)絡(luò)核心節(jié)點(diǎn)、三地機(jī)房的網(wǎng)絡(luò)匯聚設(shè)備全部采用雙機(jī)部署。核心交換機(jī)雙機(jī)運(yùn)行虛擬路由器冗余協(xié)議(virtualrouter redundancy protocol，VRRP)實(shí)現(xiàn)雙機(jī)熱備。受到VRRP技術(shù)制約，兩臺核心交換機(jī)在同一時(shí)刻其實(shí)只有一臺負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)發(fā)，另外一臺處于熱備狀態(tài)。

3)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜:整個(gè)網(wǎng)絡(luò)邏輯結(jié)構(gòu)雖然是星狀，但是設(shè)備與設(shè)備之間的互聯(lián)鏈路是全連接(fullmesh)的結(jié)構(gòu)，拓?fù)潢P(guān)系復(fù)雜。

4)鏈路資源利用率不高:由于網(wǎng)絡(luò)在二層轉(zhuǎn)發(fā)層面需要按照固定無環(huán)的網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)發(fā)，所以再復(fù)雜的物理連接鏈路最終在邏輯上通過生成樹算法協(xié)議(spanning tree protocol，STP)算法計(jì)算后只表現(xiàn)為單鏈路在發(fā)揮作用，故full mesh的二層鏈路只有一條鏈路在真正發(fā)揮作用。

5)網(wǎng)絡(luò)收斂慢:因?yàn)槭切菭畹亩咏粨Q網(wǎng)絡(luò)冗余全依賴STP協(xié)議二層收斂，網(wǎng)關(guān)依靠VRRP收斂，一旦網(wǎng)絡(luò)中有設(shè)備和鏈路異常，STP全網(wǎng)收斂時(shí)間至少在30秒以上。

2 改造方案

2. 1總體方案

該省電網(wǎng)數(shù)據(jù)中心網(wǎng)絡(luò)改造一方面對原有網(wǎng)絡(luò)架構(gòu)改造，將原來的單核心網(wǎng)絡(luò)節(jié)點(diǎn)改造成分布式的三地機(jī)房分別部署核心交換機(jī)，三個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)間的核心交換機(jī)背靠背互聯(lián)形成環(huán)狀網(wǎng)絡(luò)，并分別在黃山路數(shù)據(jù)中心和蕪湖路數(shù)據(jù)中心建立與廣域網(wǎng)的互聯(lián)出口，形成環(huán)網(wǎng)雙出口的核心網(wǎng)絡(luò)結(jié)構(gòu);另一方面引人網(wǎng)絡(luò)虛擬化技術(shù)，所有的核心節(jié)點(diǎn)使用H3 C12508 Tb級別的數(shù)據(jù)中心路由交換機(jī)雙機(jī)部署，所有的接入層交換機(jī)使用H3C 7500E系列交換機(jī)雙機(jī)部署，使用IRF2技術(shù)將每個(gè)節(jié)點(diǎn)的交換機(jī)虛擬成一臺邏輯交換機(jī)。虛擬后的核心交換機(jī)與虛擬后的接人交換機(jī)直連，摒棄了網(wǎng)絡(luò)核心層、匯聚層、接人層的傳統(tǒng)三層結(jié)構(gòu)，使用核心層直連接人層方式，形成扁平化的統(tǒng)一虛擬化交換網(wǎng)絡(luò)。

2. 2統(tǒng)一交換架構(gòu)實(shí)現(xiàn)方案

因?yàn)樵撌‰娋W(wǎng)企業(yè)三地?cái)?shù)據(jù)中心機(jī)房互為備份關(guān)系，設(shè)計(jì)人員在設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)時(shí)保留三地互備關(guān)系，重點(diǎn)將各個(gè)機(jī)房的網(wǎng)絡(luò)資源進(jìn)行整合。整合方案是以高端的H3C12508數(shù)據(jù)中心級交換機(jī)作為核心，雙機(jī)部署使用IRF2虛擬化形成一個(gè)邏輯的核心交換設(shè)備;以H3C 7500E系列交換機(jī)作為接入，在每機(jī)房的集中配線柜雙機(jī)部署并使用IRF2形成一個(gè)邏輯接人設(shè)備;邏輯接人交換機(jī)7500E與邏輯核心交換機(jī)12508使用雙萬兆鏈路互聯(lián)并通過鏈路聚合控制協(xié)議(link aggregation control protocol， LACP)捆綁成一個(gè)20G邏輯通道。因?yàn)樗泄?jié)點(diǎn)設(shè)備都是通過虛擬化后對外互聯(lián)，所以每個(gè)機(jī)房就形成邏輯上純星型的高速交換網(wǎng)絡(luò)。

在這個(gè)網(wǎng)絡(luò)中，57500 E不開啟三層功能，僅提供二層轉(zhuǎn)發(fā)功能，所有的三層以上功能交由核心交換機(jī)12508處理。因?yàn)樵O(shè)備間有足夠的帶寬，整個(gè)機(jī)房內(nèi)是一個(gè)高速的統(tǒng)一交換網(wǎng)絡(luò)。

根據(jù)三個(gè)數(shù)據(jù)中心全部改造需求，安徽省電力公司在三地機(jī)房10個(gè)分區(qū)總計(jì)部署了6臺12508交換機(jī)形成三個(gè)機(jī)房的核心節(jié)點(diǎn)，部署了20臺7500E交換機(jī)形成了10個(gè)接入節(jié)點(diǎn)。

2. 3設(shè)備間帶寬設(shè)計(jì)方案

數(shù)據(jù)中心網(wǎng)絡(luò)每兩個(gè)邏輯節(jié)點(diǎn)之間的4臺設(shè)備呈口字型互聯(lián)，2個(gè)邏輯節(jié)點(diǎn)鏈路通過LACP實(shí)現(xiàn)了雙鏈路邏輯捆綁，聚合后的雙鏈路同時(shí)轉(zhuǎn)發(fā)數(shù)據(jù)并使用HASH算法負(fù)載均衡。鏈路聚合實(shí)現(xiàn)了網(wǎng)絡(luò)邏輯節(jié)點(diǎn)間20G的高速網(wǎng)絡(luò)帶寬(如果有需要，可以聚合更多接口獲取更大帶寬)。

2. 4虛擬機(jī)接人和網(wǎng)絡(luò)動(dòng)態(tài)遷移方案

網(wǎng)絡(luò)設(shè)備與終端主機(jī)的互聯(lián)接口工作方式因?yàn)橹鳈C(jī)的工作方式變化而有所不同。傳統(tǒng)上一個(gè)主機(jī)只運(yùn)行一個(gè)應(yīng)用系統(tǒng)，這時(shí)候其上聯(lián)交換機(jī)接口會明確地工作在接入(access)模式下。隨著虛擬主機(jī)(virtual machine ， VM )應(yīng)用部署，物理服務(wù)器上可能運(yùn)行多個(gè)虛擬服務(wù)器，而且物理主機(jī)上不同的VM可能用不同的子網(wǎng)IP。

網(wǎng)絡(luò)改造方案設(shè)計(jì)將子網(wǎng)的網(wǎng)關(guān)部署在12508核心交換機(jī)上，7500E交換機(jī)純做二層接入，系統(tǒng)間網(wǎng)絡(luò)通過ULAN技術(shù)實(shí)現(xiàn)邏輯分區(qū)，從而實(shí)現(xiàn)了整個(gè)物理機(jī)房的大二層交換。這時(shí)候再將VM宿主物理服務(wù)器與交換機(jī)接口工作模式配置為trunk模式，VM可以根據(jù)802. 1 Q協(xié)議中的VLAN標(biāo)簽對進(jìn)出的數(shù)據(jù)包按標(biāo)簽識別處理，確保轉(zhuǎn)發(fā)給需要的VM。因?yàn)檎麄€(gè)機(jī)房二層互通，所以VM可以在機(jī)房不同位置的宿主物理服務(wù)器上靈活遷移應(yīng)用。

2. 5 MAD實(shí)現(xiàn)方案

因?yàn)閿?shù)據(jù)中心全網(wǎng)的網(wǎng)絡(luò)節(jié)點(diǎn)通過IRF2虛擬化，當(dāng)虛擬化堆疊鏈路發(fā)生斷裂的時(shí)候，原來的IRF堆疊系統(tǒng)可能會分裂成為兩臺上全局配置完全一致的IRF設(shè)備。這些IRF堆疊設(shè)備同時(shí)運(yùn)行在網(wǎng)絡(luò)中可能會引起多種網(wǎng)絡(luò)故障，如IP地址沖突、STP協(xié)議計(jì)算出錯(cuò)，而且原來跨設(shè)備的鏈路聚合也會出現(xiàn)問題。為了提高IRF系統(tǒng)的可用性則需要這樣一種機(jī)制:在IRF堆疊鏈路發(fā)生故障斷裂、堆疊分裂時(shí)，能夠檢測出組網(wǎng)環(huán)境中存在的多臺IRF堆疊設(shè)備，并提供相應(yīng)的處理方式使得網(wǎng)絡(luò)能夠正常運(yùn)行。這種機(jī)制就是MAD，即多Active檢測。

方案設(shè)計(jì)時(shí)在兩臺虛擬化設(shè)備上開啟建立專用的監(jiān)測VLAN接口，用專用線路互聯(lián)，并使能基于雙向轉(zhuǎn)發(fā)檢測(bidirectional forwarding detection ， BFD)分裂檢測功能。BFD在兩臺設(shè)備間建立會話，會話建立后會周期性地快速發(fā)送BFD報(bào)文，如果在檢測時(shí)間內(nèi)沒有收到BFD報(bào)文則認(rèn)為該雙向轉(zhuǎn)發(fā)路徑發(fā)生了故障，通知被服務(wù)的上層MAD應(yīng)用進(jìn)行相應(yīng)的處理。

MAD機(jī)制收到BFD通知后立即啟動(dòng)措施為網(wǎng)絡(luò)只保留一個(gè)Active設(shè)備，而將其它的Active的業(yè)務(wù)口關(guān)閉，防止多臺配置相同的設(shè)備對組網(wǎng)環(huán)境產(chǎn)生影響。

3 基于虛擬化技術(shù)的數(shù)據(jù)中心網(wǎng)絡(luò)改造優(yōu)勢

3. 1網(wǎng)絡(luò)簡化

數(shù)據(jù)中心網(wǎng)絡(luò)全面使用虛擬化技術(shù)組網(wǎng)后，網(wǎng)絡(luò)節(jié)點(diǎn)和鏈路的邏輯表現(xiàn)更加簡單。

(1)網(wǎng)絡(luò)節(jié)點(diǎn)簡化

網(wǎng)絡(luò)設(shè)備虛擬化后，IRF2技術(shù)屏蔽了IRF2系統(tǒng)內(nèi)成員設(shè)備的物理差異，網(wǎng)絡(luò)節(jié)點(diǎn)內(nèi)的兩臺物理交換機(jī)對外表現(xiàn)為一臺網(wǎng)絡(luò)設(shè)備在服務(wù)。不論在網(wǎng)管上還是設(shè)備操作配置上，完全可以通過IRF2的管理層面對設(shè)備一次性監(jiān)視和管理。

(2)拓?fù)浣Y(jié)構(gòu)簡化

虛擬化后的網(wǎng)絡(luò)因?yàn)槠帘瘟宋锢聿町?，所以傳統(tǒng)上LACP對跨設(shè)備鏈路聚合無法實(shí)現(xiàn)的問題迎刃而解。虛擬化設(shè)備整體表現(xiàn)為一臺設(shè)備，所以兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)間4臺設(shè)備互聯(lián)完全可以當(dāng)做兩個(gè)邏輯設(shè)備互聯(lián)。從而使原來復(fù)雜的full mesh鏈路在虛擬化網(wǎng)絡(luò)中通過跨設(shè)備的鏈路聚合變成了簡單的2個(gè)設(shè)備互聯(lián)。

3. 2網(wǎng)絡(luò)資源利用率提高

(1)設(shè)備全利用

使用IRF2虛擬化后的邏輯設(shè)備會從物理設(shè)備的主控板中進(jìn)行角色選舉，選出master和slave，masto:統(tǒng)一指揮所有的物理交換機(jī)協(xié)同工作，其他的slave作為備用引擎，解決了VRRP中有一臺設(shè)備資源閑置的問題。

(2)通道全利用

使用IRF2虛擬化設(shè)備解決了跨設(shè)備鏈路聚合問題，所以網(wǎng)絡(luò)節(jié)點(diǎn)間的鏈路互聯(lián)可以依托LACP實(shí)現(xiàn)全部的聚合，網(wǎng)絡(luò)節(jié)點(diǎn)之間不運(yùn)行STP協(xié)議，所有的互聯(lián)鏈路不再被STP阻塞，提高了鏈路利用率、增加了鏈路帶寬。

3. 3網(wǎng)絡(luò)收斂速度快

(1)設(shè)備故障的網(wǎng)路收斂

使用VRRP協(xié)議進(jìn)行雙機(jī)熱備時(shí)，VRRP協(xié)議的切換速度取決于它的hello以及配置的搶占速度，不過至少是在秒級。而IRF對設(shè)備的切換檢測時(shí)間是毫秒級，用戶基本感覺不到網(wǎng)絡(luò)故障收斂時(shí)的鏈路中斷。

(2)鏈路故障的網(wǎng)路收斂

在網(wǎng)絡(luò)沒有虛擬化之前，二層網(wǎng)絡(luò)的收斂完全依靠STP協(xié)議對拓?fù)滏溌分匦掠?jì)算。根據(jù)STP切換狀態(tài)過程，備用鏈路切換需要經(jīng)過從blocking一>listening一>learning一>forwarding過程，總計(jì)需要50秒時(shí)間。即時(shí)使用快速生成樹RSTP協(xié)議減少等待時(shí)間，但是仍然停留在秒級的切換。虛擬化后的鏈路使用了LACP協(xié)議捆綁，當(dāng)其中一個(gè)鏈路故障時(shí)，其余的鏈路仍然正常發(fā)送數(shù)據(jù)，這種檢測時(shí)間在SOms內(nèi)完成，用戶感覺不到網(wǎng)絡(luò)中斷，滿足電網(wǎng)企業(yè)網(wǎng)絡(luò)低延時(shí)需求。我們知道即使IP電話也只需要保證100ms內(nèi)的延時(shí)即可實(shí)現(xiàn)無損通話。

3.4安全性更高

(1)網(wǎng)架更堅(jiān)強(qiáng)

數(shù)據(jù)中心網(wǎng)架從星狀拓?fù)涓脑斐扇睾诵幕ヂ?lián)的環(huán)狀并設(shè)立了雙出口，不但增加了跨機(jī)房的數(shù)據(jù)交換路徑冗余性，而且鞏固了三體機(jī)房形成的整體數(shù)據(jù)中心網(wǎng)絡(luò)可靠性。即使任意一個(gè)機(jī)房發(fā)生意外，仍然有兩個(gè)機(jī)房的網(wǎng)絡(luò)能夠?qū)ν馓峁┓?wù)。另外，通過數(shù)據(jù)中心雙出口改造，數(shù)據(jù)中心與廣域網(wǎng)之間的對接更加可靠。

(2)網(wǎng)絡(luò)節(jié)點(diǎn)更加強(qiáng)

傳統(tǒng)的網(wǎng)絡(luò)節(jié)點(diǎn)是通過設(shè)備1 +1和引擎1 +1實(shí)現(xiàn)節(jié)點(diǎn)冗余。虛擬化后的網(wǎng)絡(luò)節(jié)點(diǎn)在設(shè)備同時(shí)發(fā)揮作用的基礎(chǔ)上仍保證設(shè)備級1十1冗余，同時(shí)IRF2系統(tǒng)內(nèi)的兩臺設(shè)備的總計(jì)4塊引擎是1 +3冗余關(guān)系，網(wǎng)絡(luò)節(jié)點(diǎn)更可靠。

4 結(jié)語

該省電網(wǎng)企業(yè)成功地將網(wǎng)絡(luò)虛擬化技術(shù)應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)改造，數(shù)據(jù)中心網(wǎng)絡(luò)更加安全、高效和扁平化，為信息系統(tǒng)向省公司的集中部署提供了良好的網(wǎng)絡(luò)基礎(chǔ)環(huán)境。今后電網(wǎng)企業(yè)數(shù)據(jù)中心的網(wǎng)絡(luò)發(fā)展還應(yīng)當(dāng)結(jié)合信息系統(tǒng)虛擬化和國家電網(wǎng)公司硬件資源池建設(shè)開展研究，為下一步國家電網(wǎng)電力云計(jì)算建設(shè)提供更可靠、更靈活的網(wǎng)絡(luò)服務(wù)。

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。