新疆油田公司勘探開發(fā)研究院地球物理研究所(以下簡(jiǎn)稱新疆石油地物所),位于新疆首府烏魯木齊,是集石油地震勘探數(shù)據(jù)處理、資料解釋及地質(zhì)綜合研究和計(jì)算機(jī)軟件開發(fā)為一體的高科技單位。2006年中油股份公司為改善勘探環(huán)境,對(duì)新疆油田PC集群地震處理系統(tǒng)進(jìn)行了擴(kuò)充。目前該所已擁有1000多個(gè)計(jì)算節(jié)點(diǎn)1900多個(gè)CPU的PC集群地震處理系統(tǒng)、56個(gè)CPU的SGI Origin 2000并行計(jì)算機(jī)系統(tǒng)、200多套高性能圖形工作站,數(shù)據(jù)存儲(chǔ)系統(tǒng)總?cè)萘窟_(dá)到了180TB。多臺(tái)萬(wàn)兆高效交換機(jī)進(jìn)行互聯(lián),使新疆油田公司物探技術(shù)水平繼續(xù)保持在世界領(lǐng)先水平。被稱為中國(guó)西北地區(qū)最具影響力的地震資料處理解釋中心。
二、 項(xiàng)目背景
新疆石油地物所肩負(fù)的石油勘探地震資料處理工作的主要原理是,通過人工的方式產(chǎn)生地震信號(hào)(放炮),然后將地下地質(zhì)的地震信號(hào),通過地面感應(yīng)器提取后,利用大型計(jì)算機(jī)或機(jī)群(Cluster)(包括刀片服務(wù)器集群和普通服務(wù)器集群)通過專業(yè)的Paradigm epos 3 .0、 CGG geocluster 4.1等多套處理軟件系統(tǒng)和一套完整的疊前時(shí)間、深度偏移系統(tǒng),進(jìn)行資料的處理工作,形成地下的構(gòu)造以及成像,從而掌握地下的油氣構(gòu)造,為石油鉆井提供更加可靠的勘探數(shù)據(jù)。針對(duì)新疆應(yīng)用服務(wù)器管理方面,具體需求主要體現(xiàn)在以下幾個(gè)方面:
大量勘探地震資料處理系統(tǒng)的快速部署??碧降卣鹳Y料處理往往需要使用大量的計(jì)算節(jié)點(diǎn)并行執(zhí)行,雖然新疆油田公司地球物理研究所現(xiàn)有地震處理軟件可以完成計(jì)算任務(wù)在這些節(jié)點(diǎn)上的自動(dòng)分發(fā),但與之匹配的操作系統(tǒng)以及相關(guān)配置信息的部署工作卻依然難以統(tǒng)一、快速的完成,這極大地增加了系統(tǒng)管理人員的負(fù)擔(dān)與啟動(dòng)計(jì)算任務(wù)所需的準(zhǔn)備時(shí)間。
計(jì)算資源的調(diào)度與充分利用。石油地震資料的處理帶有鮮明的階段特征,每一階段的處理內(nèi)容、計(jì)算規(guī)模以及系統(tǒng)要求都截然不同,這些系統(tǒng)層面的差異導(dǎo)致計(jì)算資源無(wú)法被充分的調(diào)度以滿足不同任務(wù)不同階段的計(jì)算需求,而固定每個(gè)節(jié)點(diǎn)計(jì)算任務(wù)的使用模式又無(wú)法對(duì)計(jì)算資源進(jìn)行充分的利用。
降低管理與維護(hù)成本。雖然兼具高性能與高可靠性的SAN或NAS設(shè)備已經(jīng)廣泛應(yīng)用于存儲(chǔ)領(lǐng)域,然而PC集群所裝備本地磁盤卻遠(yuǎn)遠(yuǎn)無(wú)法達(dá)到與之匹配的可用性,磁盤以及磁盤相關(guān)的散熱裝置損壞已成為大規(guī)模集群管理與維護(hù)的主要負(fù)擔(dān),而硬件Raid以及全光纖SAN連接的成本也無(wú)法被計(jì)算集群所接受。
節(jié)省能源消耗。供電保障、冷卻和總體能源消耗已成為國(guó)內(nèi)外超大型數(shù)據(jù)中心的主要成本負(fù)擔(dān)與發(fā)展瓶頸之一,縮短部署、調(diào)度甚至等待的時(shí)間,將從最大程度上提升系統(tǒng)單位能耗下的有效計(jì)算能力,同時(shí)可以盡可能的降低對(duì)機(jī)房供電保障和冷卻系統(tǒng)的負(fù)擔(dān)。
異構(gòu)系統(tǒng)的支持。目前集群存儲(chǔ)系統(tǒng)只支持Linux客戶端、很少有支持其他系統(tǒng)客戶端。
隨著新疆石油地物所計(jì)算規(guī)模的不斷擴(kuò)大,更有效的快速部署、調(diào)度與高可靠性方案將成為充分利用計(jì)算資源、降低能耗與維護(hù)成本的自然訴求,異構(gòu)平臺(tái)的支持、海量存儲(chǔ)環(huán)境的高可用性,是保障計(jì)算環(huán)境高效、穩(wěn)定工作的基礎(chǔ)。
三、 解決方案
下圖是根據(jù)新疆石油地物所目前環(huán)境進(jìn)行針對(duì)客戶的需求的bladmin存儲(chǔ)管理服務(wù)器實(shí)施圖
Bladmin架構(gòu)的新疆石油地物所網(wǎng)絡(luò)拓?fù)鋱D
通過Bladmin網(wǎng)絡(luò)存儲(chǔ)的新型計(jì)算環(huán)境管理系統(tǒng),使用低成本的千兆以太網(wǎng)絡(luò)直接啟動(dòng)計(jì)算節(jié)點(diǎn),并且采用IP SAN技術(shù)儲(chǔ)存服務(wù)器中的系統(tǒng)數(shù)據(jù)。
Bladmin由管理服務(wù)器、網(wǎng)絡(luò)存儲(chǔ)設(shè)備和計(jì)算節(jié)點(diǎn)(服務(wù)器節(jié)點(diǎn)集群包括:刀片服務(wù)器集群、塔式服務(wù)器集群、機(jī)架式服務(wù)器集群)等硬件通過高速互聯(lián)網(wǎng)絡(luò)連接而成,并在該系統(tǒng)中運(yùn)行Bladmin系統(tǒng)管理軟件。管理服務(wù)器和網(wǎng)絡(luò)存儲(chǔ)設(shè)備可以共用一臺(tái)物理機(jī),我們統(tǒng)稱為存儲(chǔ)管理服務(wù)器。
本系統(tǒng)提供集中、可靠、安全、穩(wěn)定的數(shù)據(jù)存儲(chǔ)功能,并實(shí)現(xiàn)大量計(jì)算節(jié)點(diǎn)的快速部署、角色的動(dòng)態(tài)切換、節(jié)點(diǎn)監(jiān)控等模塊功能。
在本系統(tǒng)中:
網(wǎng)絡(luò)硬盤:網(wǎng)絡(luò)中的所有存儲(chǔ)資源統(tǒng)一存放在存儲(chǔ)管理服務(wù)器上,形成一個(gè)大的虛擬存儲(chǔ)池,存儲(chǔ)管理服務(wù)器將該存儲(chǔ)池中的存儲(chǔ)空間按需分割成任意大小,供集群計(jì)算節(jié)點(diǎn)使用。每個(gè)空間稱為一塊“網(wǎng)絡(luò)硬盤”。服務(wù)安裝在網(wǎng)絡(luò)硬盤上,集群計(jì)算節(jié)點(diǎn)通過網(wǎng)絡(luò),可以把網(wǎng)絡(luò)硬盤映射成為本地硬盤,通過運(yùn)行硬盤上的服務(wù)來(lái)滿足計(jì)算節(jié)點(diǎn)的使用需求。
服務(wù)(操作系統(tǒng)以及應(yīng)用軟件的組合):存放在相應(yīng)的網(wǎng)絡(luò)硬盤上(網(wǎng)絡(luò)硬盤都集中存放在存儲(chǔ)管理服務(wù)器上);
計(jì)算節(jié)點(diǎn)啟動(dòng)后,Bladmin把網(wǎng)絡(luò)硬盤映射成為計(jì)算節(jié)點(diǎn)的本地硬盤使用;
存儲(chǔ)管理服務(wù)器完成整個(gè)系統(tǒng)內(nèi)部運(yùn)轉(zhuǎn)的監(jiān)控管理任務(wù),并為其提供統(tǒng)一的存儲(chǔ)池。
四、 用戶價(jià)值
五、 應(yīng)用效益
新疆石油地物所通過使用bladmin系統(tǒng),通過按需分配、快速部署、靈活切換調(diào)度、時(shí)時(shí)監(jiān)控等功能,不僅使新疆石油地物所的計(jì)算作業(yè)成功率提高了一倍,而且在管理和維護(hù)方面真正起到了快捷方便的功效。對(duì)人員來(lái)說(shuō),減短了大量的工作任務(wù);對(duì)長(zhǎng)期使用的節(jié)點(diǎn)來(lái)說(shuō),本地硬盤的節(jié)省間接的提高了計(jì)算節(jié)點(diǎn)的壽命,節(jié)省了損壞造成的成本控制;對(duì)提高工作效率來(lái)說(shuō),充分體現(xiàn)了省時(shí)省力;對(duì)資源的分配上,使各個(gè)節(jié)點(diǎn)的使用率大幅度提升;對(duì)快速轉(zhuǎn)換來(lái)說(shuō),部署功能快捷、方便、按需分配體現(xiàn)的淋漓盡致。