在IT技術快速發(fā)展的今天，虛擬化技術日趨成熟，由于其在資金節(jié)省和IT效率提高上的優(yōu)勢日益明顯，越來越多的企業(yè)也開始部署虛擬化平臺。在企業(yè)環(huán)境中部署虛擬化平臺的存儲系統(tǒng)時，在考慮到性能的同時，還要充分考慮負載均衡和高可用性，這是確保整個虛擬化基礎平臺能夠提供高質量可靠服務的基礎。本文主要以VMware vSphere環(huán)境下的IBM DS5100為例來介紹如何進行存儲設備的HA構架和配置，文章主要包括如下幾個主要內(nèi)容

IBM DS5100的基本內(nèi)部結構介紹

高可靠性SAN構架設計

光纖交換機Zone的設計和配置(基于IBM Storage Area Network Web Tool)

存儲系統(tǒng)Array、LUN的設計和配置(基于IBM System Storage DS Storage Manager)

示例環(huán)境介紹

在概述部分已經(jīng)提到，本文主要以VMware vSphere 4.1環(huán)境下的DS5100為例來介紹存儲的HA架構和配置，下面圖1則是的筆者要介紹的虛擬化架構環(huán)境SAN組網(wǎng)示意圖。

▲圖1 SAN網(wǎng)絡示意圖

在圖1中，在整個架構中包括三種類型的設備，Host Server， SAN Switch和Storage System。Server Group中的Host Server是用于部署vSphere4.1的應用服務器，用于運行所有的虛擬機，每一個Server Group在VMware環(huán)境中會配置為一個Cluster，每個Cluster中的所有機器會共享一定的存儲空間。上圖中的Storage System為這些應用服務器提供虛擬化需要用的存儲空間, SAN Switch則是實現(xiàn)了Host Server和Storage System的連接。為了實現(xiàn)SAN網(wǎng)絡上的高可用性，所有的Server和Storage System同時連接兩臺SAN Switch。在上述的虛擬化環(huán)境下， 每個Server Group只連接一個Storage System，Server Group 1/2/3分享Storage System1上面的存儲空間，Server Group 4/5/6分享Storage System2上面的存儲空間。在后面的組網(wǎng)、架構設計和配置時，會依據(jù)這個組網(wǎng)結構為基礎進行說明。

IBM DS5100的基本內(nèi)部結構

IBM System Storage DS5000系列磁盤存儲系統(tǒng)是IBM的中端高性能磁盤存儲系統(tǒng)，集成度非常高，從架構上能夠支持線性的可擴張性，同時也能夠非常容易的根據(jù)用戶需求來進行負載均衡的定制，來實現(xiàn)高IOPS和MBPs的要求，能夠在支持大容量的同時保證優(yōu)異的性能，非常適合于虛擬化和整合。

為了有效的提升存儲的I/O性能并做到高可靠性，就需要設計一套符合該存儲特點的組網(wǎng)模式，因此，我們需要先大概了解一下DS5100的基本內(nèi)部結構，在此基礎上，便可以設計出能夠充分發(fā)揮其優(yōu)勢的架構連接模式。如圖2所示，DS5100主柜有兩個相同的Controller模塊，每個Controller模塊有8個磁盤通道端口(紅框部分，連接存儲擴展柜)，共分為4組，每一組的2個端口是通過一個回路開關(loop Switch)來控制的。每個Controller模塊還有8個主機連接端口(籃框部分，連接主機或者SAN Switch)，這8個主機連接端口由2個主機接口卡提供，每個卡上有4個端口，所有這些端口可以根據(jù)需要定制為4GB FC接口或者8GB FC接口。

▲圖2 DS5100主機后面板接口示意圖

DS5100的兩個Controller模塊之間通過內(nèi)部連接模塊連接，能夠實現(xiàn)快速有效的控制交互和數(shù)據(jù)傳輸。每個Controller模塊內(nèi)部有一個專有ZIP ASIC芯片，該芯片被設計于專門支持I/O操作，來計算RAID的冗余信息，通過這個芯片來實現(xiàn)基于硬件的奇偶校驗計算，這樣會比通過軟件計算快很多，這能夠有效的保證整個系統(tǒng)的性能。

圖3是DS5100的內(nèi)部機構示意圖，從圖中可以看到，每個DS5100 Controller內(nèi)部的磁盤通道端口模塊和主機連接端口模塊以Zip Processor模塊為樞紐實現(xiàn)了內(nèi)部連接，在DS5100內(nèi)部這些通信是通過PCI Express總線來實現(xiàn)的。每個Controller模塊的兩個主機接口卡提供了8個主機接口，兩個4口的4GB FC芯片組來連接磁盤通道接口， 其中一個4口4GB FC芯片組通過回路開關(loop Switch)連接本Controller模塊上面的8個磁盤通道接口，另一個4口的4GB FC芯片組連接另外一個Controller模塊上面的8個磁盤通道接口。

同理，另外一個Controller模塊上的兩個4口4GB FC芯片組也通過回路開關分別連接兩個Controller模塊上的16個磁盤通道端口。這樣，就可以實現(xiàn)每個Controller都可以隨時訪問16個磁盤通道端口，每個主機接口通道的數(shù)據(jù)，都可以通過主機接口卡、Zip Processor模塊、4口的4GB FC模塊和回路開關來連接所有的磁盤通道接口。DS5100內(nèi)部的處理芯片會根據(jù)各個通道接口的負載、擴展柜的連接情況、LUN的劃分情況和數(shù)據(jù)讀寫目的來判斷如何進行分流和回路開關的控制，最大程度上實現(xiàn)負載的均衡。

▲圖3 DS5100主機內(nèi)部結構示意圖

提示：試試“← →”可以實現(xiàn)快速翻頁

高可靠性的SAN架構設計：主機與擴展柜鏈接

1.存儲系統(tǒng)主機和擴展柜的連接

通過上一節(jié)DS5100的內(nèi)部結構介紹可以了解到，DS5100有2個Controller，多個內(nèi)部模塊和端口，要實現(xiàn)高可靠性的架構，就必須要充分考慮冗余和負責均衡，即應該把主機通信和存儲擴展柜的連接盡量的分布到所有的模塊，芯片組和端口。

在連接磁盤存儲擴展柜時，考慮到冗余和負載均衡，每個擴展柜都要同時連接Controller A和Controller B。同時考慮相鄰的磁盤通道端口是通過一個回路開關控制，因此，建議使用如圖4所示的配對方式。這樣，在只有4個存儲擴展柜的時候，可以采用圖5所示的連接方式，可以完全使用所有的內(nèi)部模塊和回路開關模塊。當存儲擴展柜有8個時候，采用圖6所示的連接方式，這樣會使用了全部的磁盤通道端口。當擴展柜的數(shù)量大于8個時候，就需要兩個或多個擴展柜先串聯(lián)，然后再按照圖6的方式連接到主柜。

▲圖4 DS5100存儲柜連接配對圖

▲圖5 四個擴展柜時連接示意圖

▲圖6 八個擴展柜時連接示意圖

提示：試試“← →”可以實現(xiàn)快速翻頁

高可靠性的SAN架構設計：存儲與SAN Switch連接　　

2.存儲主機系統(tǒng)和SAN Switch的連接

在圖1所示的組網(wǎng)示意圖中提到，該環(huán)境里面是有兩套存儲系統(tǒng)和兩個SAN Switch，每個存儲系統(tǒng)將會支持3個Server Group.為了實現(xiàn)高可用性和負載均衡，兩個DS5100主機需要同時連接兩個SAN Switch?？紤]到在可能的SAN Switch損壞或者某個Controller損壞的情況下還能夠實現(xiàn)一定的負載均衡，建議采用如圖7所示的連接方式，每個Controller的兩個主機接口模塊分別連接不同的SAN Switch，即兩個Controller的1~4號主機連接端口連接到SAN Switch1， 5~8號主機連接端口連接到SAN Switch2。在這種情況，若任何一個SAN Switch損壞，DS5100的Controller A和Controller B還是能夠有效的進行負載均衡;若DS5100的任何一個Controller損壞，兩個SAN Switch也能夠進行負載均衡。極端情況下，任何一個SAN Switch和一個Controller同時損壞的情況下，還是能夠實現(xiàn)Host Server到DS5100存儲系統(tǒng)的路徑可達。

為了便于理解，在圖7僅僅列出一個DS5100和2臺Host Server跟SAN Switch的連接方式， 第二個DS5100和其他所有的Host Server也采用類似的方式同時連接。

SAN Switch的選擇：在保證系統(tǒng)接口速度滿足的基礎上，要保證有足夠的端口數(shù)，連接兩個DS5100總共需要16個端口，連接Host Server時，每個Host Server只需要一個端口。

▲圖7 SAN Switch組網(wǎng)示意圖(1個DS5100和部分host Server)

3.Host Server和SAN Switch的連接

同存儲主機系統(tǒng)類似，為了保證Host Server的高可用性，每個Host Server都配置了兩個HBA光纖適配卡，兩個HBA卡分別連接SAN Swith1和SAN Switch2.如圖7所示。為了便于在SAN Switch上的配置，也為了便于后期的維護和糾錯，建議每個Host Server的兩個HBA接口連接到兩個SAN Switch的相同編號的接口上。

光纖交換機Zone的設計

把DS5100和Host Server都連接SAN Switch后，整個SAN網(wǎng)絡的物理連接部分基本完成。要實現(xiàn)所有的Host Server能夠方便的連接到所需要的存儲空間，同時要保證高可靠性和負載均衡，在光纖交換機和存儲內(nèi)部的配置也非常關鍵，本節(jié)先介紹光纖交換機想過的設計和配置。

1.光纖交換機Zone的設計

在SAN網(wǎng)絡中，Zone是一個非常重要的概念，非常好的設計和配置Zone，能夠消除許多潛在的常見問題，同時還能夠保證充分發(fā)揮系統(tǒng)的性能。FC SWITCH上的Zone功能類似于以太網(wǎng)交換機上的VLAN功能，它是將連接在SAN網(wǎng)絡中的設備(主機和存儲)，邏輯上劃到為不同的區(qū)域內(nèi)，使得不同區(qū)域中的設備相互間不能通過網(wǎng)絡直接訪問，從而實現(xiàn)網(wǎng)絡中的設備之間的相互隔離。由于本文描述的場景是用于虛擬化的場景之下，有效的配置Zone還能夠在保障性能的同時減低Host Server上面Multipath的數(shù)量，優(yōu)化Host Server上vSphere的尋址管理能力。

在這里，我們推薦一個創(chuàng)建Zone的最佳實踐，那就是為每一個主機到存儲的連接單獨創(chuàng)建一個Zone，在圖7中可以看到，每個DS5100存儲的Controller A和Controller B分別有4個FC主機接口連接到SAN Switch上，因此，在創(chuàng)建Zone的時候，在SAN Switch上面，我們應該為每個Host創(chuàng)建至少2個Zone，分別連接到相應存儲的Con