揭秘虛擬化環(huán)境高可靠存儲的構架和配置

責任編輯:vivian

2011-08-25 08:38:58

摘自:it168

在IT技術快速發(fā)展的今天,虛擬化技術日趨成熟,由于其在資金節(jié)省和IT效率提高上的優(yōu)勢日益明顯,越來越多的企業(yè)也開始部署虛擬化平臺。在企業(yè)環(huán)境中部署虛擬化平臺的存儲系統(tǒng)時……

在IT技術快速發(fā)展的今天,虛擬化技術日趨成熟,由于其在資金節(jié)省和IT效率提高上的優(yōu)勢日益明顯,越來越多的企業(yè)也開始部署虛擬化平臺。在企業(yè)環(huán)境中部署虛擬化平臺的存儲系統(tǒng)時,在考慮到性能的同時,還要充分考慮負載均衡和高可用性,這是確保整個虛擬化基礎平臺能夠提供高質量可靠服務的基礎。本文主要以VMware vSphere環(huán)境下的IBM DS5100為例來介紹如何進行存儲設備的HA構架和配置,文章主要包括如下幾個主要內(nèi)容

IBM DS5100的基本內(nèi)部結構介紹

高可靠性SAN構架設計

光纖交換機Zone的設計和配置(基于IBM Storage Area Network Web Tool)

存儲系統(tǒng)Array、LUN的設計和配置(基于IBM System Storage DS Storage Manager)

示例環(huán)境介紹

在概述部分已經(jīng)提到,本文主要以VMware vSphere 4.1環(huán)境下的DS5100為例來介紹存儲的HA架構和配置,下面圖1則是的筆者要介紹的虛擬化架構環(huán)境SAN組網(wǎng)示意圖。


▲圖1 SAN網(wǎng)絡示意圖

 

在圖1中,在整個架構中包括三種類型的設備,Host Server, SAN Switch和Storage System。Server Group中的Host Server是用于部署vSphere4.1的應用服務器,用于運行所有的虛擬機,每一個Server Group在VMware環(huán)境中會配置為一個Cluster,每個Cluster中的所有機器會共享一定的存儲空間。上圖中的Storage System為這些應用服務器提供虛擬化需要用的存儲空間, SAN Switch則是實現(xiàn)了Host Server和Storage System的連接。為了實現(xiàn)SAN網(wǎng)絡上的高可用性,所有的Server和Storage System同時連接兩臺SAN Switch。在上述的虛擬化環(huán)境下, 每個Server Group只連接一個Storage System,Server Group 1/2/3分享Storage System1上面的存儲空間,Server Group 4/5/6分享Storage System2上面的存儲空間。在后面的組網(wǎng)、架構設計和配置時,會依據(jù)這個組網(wǎng)結構為基礎進行說明。

IBM DS5100的基本內(nèi)部結構

IBM System Storage DS5000系列磁盤存儲系統(tǒng)是IBM的中端高性能磁盤存儲系統(tǒng),集成度非常高,從架構上能夠支持線性的可擴張性,同時也能夠非常容易的根據(jù)用戶需求來進行負載均衡的定制,來實現(xiàn)高IOPS和MBPs的要求,能夠在支持大容量的同時保證優(yōu)異的性能,非常適合于虛擬化和整合。

為了有效的提升存儲的I/O性能并做到高可靠性,就需要設計一套符合該存儲特點的組網(wǎng)模式,因此,我們需要先大概了解一下DS5100的基本內(nèi)部結構,在此基礎上,便可以設計出能夠充分發(fā)揮其優(yōu)勢的架構連接模式。如圖2所示,DS5100主柜有兩個相同的Controller模塊,每個Controller模塊有8個磁盤通道端口(紅框部分,連接存儲擴展柜),共分為4組,每一組的2個端口是通過一個回路開關(loop Switch)來控制的。每個Controller模塊還有8個主機連接端口(籃框部分,連接主機或者SAN Switch),這8個主機連接端口由2個主機接口卡提供,每個卡上有4個端口,所有這些端口可以根據(jù)需要定制為4GB FC接口或者8GB FC接口。


▲圖2 DS5100主機后面板接口示意圖

 

DS5100的兩個Controller模塊之間通過內(nèi)部連接模塊連接,能夠實現(xiàn)快速有效的控制交互和數(shù)據(jù)傳輸。每個Controller模塊內(nèi)部有一個專有ZIP ASIC芯片,該芯片被設計于專門支持I/O操作,來計算RAID的冗余信息,通過這個芯片來實現(xiàn)基于硬件的奇偶校驗計算,這樣會比通過軟件計算快很多,這能夠有效的保證整個系統(tǒng)的性能。

圖3是DS5100的內(nèi)部機構示意圖,從圖中可以看到,每個DS5100 Controller內(nèi)部的磁盤通道端口模塊和主機連接端口模塊以Zip Processor模塊為樞紐實現(xiàn)了內(nèi)部連接,在DS5100內(nèi)部這些通信是通過PCI Express總線來實現(xiàn)的。每個Controller模塊的兩個主機接口卡提供了8個主機接口,兩個4口的4GB FC芯片組來連接磁盤通道接口, 其中一個4口4GB FC芯片組通過回路開關(loop Switch)連接本Controller模塊上面的8個磁盤通道接口,另一個4口的4GB FC芯片組連接另外一個Controller模塊上面的8個磁盤通道接口。

同理,另外一個Controller模塊上的兩個4口4GB FC芯片組也通過回路開關分別連接兩個Controller模塊上的16個磁盤通道端口。這樣,就可以實現(xiàn)每個Controller都可以隨時訪問16個磁盤通道端口,每個主機接口通道的數(shù)據(jù),都可以通過主機接口卡、Zip Processor模塊、4口的4GB FC模塊和回路開關來連接所有的磁盤通道接口。DS5100內(nèi)部的處理芯片會根據(jù)各個通道接口的負載、擴展柜的連接情況、LUN的劃分情況和數(shù)據(jù)讀寫目的來判斷如何進行分流和回路開關的控制,最大程度上實現(xiàn)負載的均衡。


▲圖3 DS5100主機內(nèi)部結構示意圖

 

提示:試試“← →”可以實現(xiàn)快速翻頁

高可靠性的SAN架構設計:主機與擴展柜鏈接

1.存儲系統(tǒng)主機和擴展柜的連接

通過上一節(jié)DS5100的內(nèi)部結構介紹可以了解到,DS5100有2個Controller,多個內(nèi)部模塊和端口,要實現(xiàn)高可靠性的架構,就必須要充分考慮冗余和負責均衡,即應該把主機通信和存儲擴展柜的連接盡量的分布到所有的模塊,芯片組和端口。

在連接磁盤存儲擴展柜時,考慮到冗余和負載均衡,每個擴展柜都要同時連接Controller A和Controller B。同時考慮相鄰的磁盤通道端口是通過一個回路開關控制,因此,建議使用如圖4所示的配對方式。這樣,在只有4個存儲擴展柜的時候,可以采用圖5所示的連接方式,可以完全使用所有的內(nèi)部模塊和回路開關模塊。當存儲擴展柜有8個時候,采用圖6所示的連接方式,這樣會使用了全部的磁盤通道端口。當擴展柜的數(shù)量大于8個時候,就需要兩個或多個擴展柜先串聯(lián),然后再按照圖6的方式連接到主柜。


▲圖4 DS5100存儲柜連接配對圖

 


▲圖5 四個擴展柜時連接示意圖

 


▲圖6 八個擴展柜時連接示意圖

 

提示:試試“← →”可以實現(xiàn)快速翻頁

高可靠性的SAN架構設計:存儲與SAN Switch連接  

2.存儲主機系統(tǒng)和SAN Switch的連接

在圖1所示的組網(wǎng)示意圖中提到,該環(huán)境里面是有兩套存儲系統(tǒng)和兩個SAN Switch,每個存儲系統(tǒng)將會支持3個Server Group.為了實現(xiàn)高可用性和負載均衡,兩個DS5100主機需要同時連接兩個SAN Switch??紤]到在可能的SAN Switch損壞或者某個Controller損壞的情況下還能夠實現(xiàn)一定的負載均衡,建議采用如圖7所示的連接方式,每個Controller的兩個主機接口模塊分別連接不同的SAN Switch,即兩個Controller的1~4號主機連接端口連接到SAN Switch1, 5~8號主機連接端口連接到SAN Switch2。在這種情況,若任何一個SAN Switch損壞,DS5100的Controller A和Controller B還是能夠有效的進行負載均衡;若DS5100的任何一個Controller損壞,兩個SAN Switch也能夠進行負載均衡。極端情況下,任何一個SAN Switch和一個Controller同時損壞的情況下,還是能夠實現(xiàn)Host Server到DS5100存儲系統(tǒng)的路徑可達。

為了便于理解,在圖7僅僅列出一個DS5100和2臺Host Server跟SAN Switch的連接方式, 第二個DS5100和其他所有的Host Server也采用類似的方式同時連接。

SAN Switch的選擇:在保證系統(tǒng)接口速度滿足的基礎上,要保證有足夠的端口數(shù),連接兩個DS5100總共需要16個端口,連接Host Server時,每個Host Server只需要一個端口。


▲圖7 SAN Switch組網(wǎng)示意圖(1個DS5100和部分host Server)

 

3.Host Server和SAN Switch的連接

同存儲主機系統(tǒng)類似,為了保證Host Server的高可用性,每個Host Server都配置了兩個HBA光纖適配卡,兩個HBA卡分別連接SAN Swith1和SAN Switch2.如圖7所示。為了便于在SAN Switch上的配置,也為了便于后期的維護和糾錯,建議每個Host Server的兩個HBA接口連接到兩個SAN Switch的相同編號的接口上。

光纖交換機Zone的設計

把DS5100和Host Server都連接SAN Switch后,整個SAN網(wǎng)絡的物理連接部分基本完成。要實現(xiàn)所有的Host Server能夠方便的連接到所需要的存儲空間,同時要保證高可靠性和負載均衡,在光纖交換機和存儲內(nèi)部的配置也非常關鍵,本節(jié)先介紹光纖交換機想過的設計和配置。

1.光纖交換機Zone的設計

在SAN網(wǎng)絡中,Zone是一個非常重要的概念,非常好的設計和配置Zone,能夠消除許多潛在的常見問題,同時還能夠保證充分發(fā)揮系統(tǒng)的性能。FC SWITCH上的Zone功能類似于以太網(wǎng)交換機上的VLAN功能,它是將連接在SAN網(wǎng)絡中的設備(主機和存儲),邏輯上劃到為不同的區(qū)域內(nèi),使得不同區(qū)域中的設備相互間不能通過網(wǎng)絡直接訪問,從而實現(xiàn)網(wǎng)絡中的設備之間的相互隔離。由于本文描述的場景是用于虛擬化的場景之下,有效的配置Zone還能夠在保障性能的同時減低Host Server上面Multipath的數(shù)量,優(yōu)化Host Server上vSphere的尋址管理能力。

在這里,我們推薦一個創(chuàng)建Zone的最佳實踐,那就是為每一個主機到存儲的連接單獨創(chuàng)建一個Zone,在圖7中可以看到,每個DS5100存儲的Controller A和Controller B分別有4個FC主機接口連接到SAN Switch上,因此,在創(chuàng)建Zone的時候,在SAN Switch上面,我們應該為每個Host創(chuàng)建至少2個Zone,分別連接到相應存儲的Con

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號