摘要:大型數(shù)據(jù)中心往往是由很多規(guī)模龐大的集群系統(tǒng)組成,其運維工作需要具備方方面面的知識,包括硬件、網(wǎng)絡、服務器、存儲、安全以及業(yè)務上的東西,需要上下打通地去做運維工作。
什么叫數(shù)據(jù)中心?維基百科給出的定義是“數(shù)據(jù)中心是一整套復雜的設施。它不僅僅包括計算機系統(tǒng)和其它與之配套的設備(例如通信和存儲系統(tǒng)),還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設備、監(jiān)控設備以及各種安全裝置”。在云大行其道的今天,隨著數(shù)據(jù)中心建設規(guī)模的不斷擴大,新技術的層出不窮,數(shù)據(jù)中心變得越來越復雜。大型數(shù)據(jù)中心往往是由很多規(guī)模龐大的集群系統(tǒng)組成,其運維工作需要具備方方面面的知識,包括硬件、網(wǎng)絡、服務器、存儲、安全以及業(yè)務上的東西,需要上下打通地去做運維工作。
當一個數(shù)據(jù)中心的規(guī)模非常大,面臨的挑戰(zhàn)和問題也比較超前,很多在小環(huán)境小體系下不是問題的問題在這樣的規(guī)模下也就凸顯出來了,所以要做好大型數(shù)據(jù)中心的運維工作,對整個數(shù)據(jù)中心技術體系的系統(tǒng)學習就要花費比較長的時間,只有對這個數(shù)據(jù)中心整體非常了解,才能有針對性地制定一些運維方案,甚至可以二次開發(fā)一些監(jiān)控運維軟件,對整個數(shù)據(jù)中心進行有效管理與監(jiān)控,提升整個數(shù)據(jù)中心的運行效率、減少故障的發(fā)生,從而將運維工作推向新的高度。一個大型的數(shù)據(jù)中心內(nèi)部往往都包含了很多小系統(tǒng),運維工作都是圍繞著這些具體的應用系統(tǒng)展開的,具體的可以分為基礎運維管理、日常業(yè)務運維、網(wǎng)絡、服務器、存儲、安全六大部分,本文就來說一說一般大型的數(shù)據(jù)中心應該具備的哪些運維方法和能力。
首先從數(shù)據(jù)中心的基礎運維管理方面來說,則主要有硬件配置管理、可維護性優(yōu)化、監(jiān)控、報警處理、自動化運維、斷網(wǎng),斷電、機房容災等運維工作。硬件配置管理包含機柜里每臺服務器的型號和硬件配置,并清楚是哪些業(yè)務系統(tǒng)在使用這些服務器。即便是虛擬化運行環(huán)境,也需要知道這些虛機都在哪些物理機組成的資源池中流動。數(shù)據(jù)中心物理機和虛機數(shù)量都很龐大,使用自動化運維是非常有必要的。自動化運維不僅能提升運維的工作效率,還可以減少人為的參與,同時讓數(shù)據(jù)中心自己管理自己,釋放人力。并對數(shù)據(jù)中心可能發(fā)生的故障還做好監(jiān)控與報警處理,以便能夠在故障發(fā)生的第一時間知曉問題,往往一次大的故障都是從開始的一點小故障逐漸擴展最終引發(fā)整個大系統(tǒng)的崩潰的,所以在出現(xiàn)一些小的異常時一定要及時消除,而這些異常就要靠完善的監(jiān)控和報警系統(tǒng)來檢測。
從數(shù)據(jù)中心的日常業(yè)務運維方面考慮,則主要有資源、機器分配、資源使用、網(wǎng)絡吞吐、故障恢復、備份應用,集群搭建、流量,壓力,遷移擴容,升級、上下級業(yè)務關聯(lián)情況、資源利用率、異常處理、應急預案等等。這些日常運維工作實際上要花費大量的人力和時間,是運維工作的主體,也最煩瑣,但卻最不能體現(xiàn)業(yè)績的部分。一個數(shù)據(jù)中心能夠長久安全穩(wěn)定運行,就是靠這些日常的工作積累,只有平時注意這些細微的變化,才能不斷優(yōu)化。壓力測試、軟件升級、業(yè)務部署、異常處理等幾乎成為了運維工作的日常必修課,只有將這些工作做好,才能避免出現(xiàn)大的故障,并能夠快速部署新的業(yè)務,根據(jù)資源使用情況及時擴容設備。
從數(shù)據(jù)中心網(wǎng)絡方面考慮,則主要有網(wǎng)絡硬件設備、ACL、OSPF、LACP、VIP、流量、負載均衡、二三四七層情況、網(wǎng)絡監(jiān)控、萬兆板卡、核心交換等。網(wǎng)絡是數(shù)據(jù)中心的重要組成部分,是一切工作運行的基本保證,沒有網(wǎng)絡數(shù)據(jù)中心就無法運轉(zhuǎn)起來,所以保證網(wǎng)絡穩(wěn)定是數(shù)據(jù)中心運維工作中的重中之重。這里主要關注的就是網(wǎng)絡的硬件問題,ACL部署還有流量監(jiān)控情況。網(wǎng)絡可以說是包羅萬象,涉及太多的設備和協(xié)議技術,所以也需要不斷地學習,加深對網(wǎng)絡技術的理解,這樣才能做好網(wǎng)絡運維工作。
從數(shù)據(jù)中心服務器方面考慮,則主要有文件系統(tǒng)、內(nèi)核參數(shù)調(diào)優(yōu)、各種硬盤驅(qū)動、內(nèi)核版本、Kernel panic等。Linux系統(tǒng)不僅在服務器,在網(wǎng)絡操作系統(tǒng)也占據(jù)著主流地位,掌握Linux系統(tǒng)的使用才能更好地處理服務器和網(wǎng)絡設備的運維工作,Linux是運維工作的一項基本技能。除了熟悉Linux系統(tǒng)的操作,還要對服務器的運行狀態(tài)和內(nèi)核運行狀態(tài)進行監(jiān)控與管理,減少服務器故障的發(fā)生。一般大型的數(shù)據(jù)中心都包含有成千上萬臺的服務器,幾乎每天都會有服務器出現(xiàn)各種各樣的問題,只有對服務器有深入理解才能很好地消除問題。為了防止服務器故障引發(fā)業(yè)務中斷,所以一般在服務器上都要部署虛擬化技術或者集群技術,當一臺服務器物理硬件故障時,業(yè)務可以平滑切換到其它服務器上,業(yè)務不會受到任何影響。這些虛擬化技術增加了運維的難度,也需要對虛擬化技術進行不斷深入學習。
從數(shù)據(jù)中心存儲方面考慮,架構(gòu)更加多樣和復雜化。在云計算、虛擬化、大數(shù)據(jù)等相關技術進入數(shù)據(jù)中心后,存儲已經(jīng)發(fā)生了巨大的改變,塊存儲、文件存儲、對象存儲支撐起多種數(shù)據(jù)類型的讀取;集中式存儲已經(jīng)不再是數(shù)據(jù)中心的主流存儲架構(gòu),海量數(shù)據(jù)的存儲訪問,需要擴展性、伸縮性極強的分布式存儲架構(gòu)來實現(xiàn)。在大規(guī)模系統(tǒng)支撐上,分布式文件系統(tǒng)、分布式對象存儲等技術,為存儲的各種應用提供了高度可伸縮、可擴展和極大的彈性支撐和強大的數(shù)據(jù)訪問性能,并且因為這些分布式技術對標準化硬件的支持,使得大規(guī)模數(shù)據(jù)中心存儲得以低成本的建設和運維。當然分布式存儲不是要取代現(xiàn)有的盤陣,而是為了應付高速成長的數(shù)據(jù)量與帶寬而產(chǎn)生的新形態(tài)存儲系統(tǒng)。另外就是軟件定義存儲,它代表了一種趨勢,即存儲架構(gòu)中軟件和硬件的分離,也就是數(shù)據(jù)層和控制層的分離。對于數(shù)據(jù)中心用戶而言,通過軟件來實現(xiàn)對存儲資源的管理和調(diào)度,實現(xiàn)存儲資源的虛擬化 、抽象化、自動化,能夠完整的實現(xiàn)數(shù)據(jù)中心存儲系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個要求,使得存儲系統(tǒng)具備靈活、自由和高可用等特點。企業(yè)及互聯(lián)網(wǎng)數(shù)據(jù)以每年50%的速率在增長,新增數(shù)據(jù)中結(jié)構(gòu)化數(shù)據(jù)總量有限,多數(shù)為非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)中心存儲架構(gòu)隨著業(yè)務發(fā)展也需要極強的彈性適應能力,低成本、海量擴展、高并發(fā)性能是面向大型云數(shù)據(jù)中心運營存儲架構(gòu)的基本技術屬性。如何進行數(shù)量龐大且雜亂無章的數(shù)據(jù)存儲與深度應用處理,并迅速提取有價值的信息,形成商業(yè)決策將成為各類型企業(yè)生存基礎,也是今后存儲以及圍繞存儲架構(gòu)不斷衍生的業(yè)務發(fā)展方向。
最后從數(shù)據(jù)中心安全方面來考慮,安全就是十幾個小項:攻擊保護、升級備份、抓BUG/找BUG、腳本工具、數(shù)據(jù)安全、服務巡檢等項目,其中每一項拿出來其實都包含很多的內(nèi)容。比如說到攻擊與保護,這個主要指的是防止外來的異常入侵者對數(shù)據(jù)中心發(fā)起的惡意和無意攻擊,惡意攻擊就是有人故意的使用各種攻擊方法,進入到數(shù)據(jù)中心內(nèi)部,將重要的數(shù)據(jù)竊取或者破壞,達到其不可告人的目的。也有的是無意的攻擊,因為整個數(shù)據(jù)中心是要與外界保持互聯(lián)互通的,運行是動態(tài)的,變化的,不可避免會有一些異常流量攻擊數(shù)據(jù)中心,有時甚至來自于數(shù)據(jù)中心內(nèi)部,比如某些服務器中毒,或者硬件故障,構(gòu)造出了環(huán)路,異常流量等網(wǎng)絡故障,這些都會影響到數(shù)據(jù)中心的運行,所以如何做好數(shù)據(jù)中心的攻擊與保護是一個很大的題目,這并不是在數(shù)據(jù)中心里部署幾臺安全設備就能解決的,需要對整個數(shù)據(jù)中心進行全面的統(tǒng)一規(guī)劃,并有針對性地部署一些安全防護措施,而且隨著各種黑客技術的提升,安全防護措施也要不斷提升,這是一個不斷學習與完善的過程,只要數(shù)據(jù)中心還在運行,這個完善就不會停止。為了方便運維,也要做好一些執(zhí)行腳本,以便在出現(xiàn)突發(fā)事件時,能夠快速處理問題。比如一個數(shù)據(jù)中心的業(yè)務出現(xiàn)異常,為了快速恢復業(yè)務,需要將路由進行調(diào)整,將流量全部引到其它的數(shù)據(jù)中心,這就需要在核心路由器上進行調(diào)整,這時有個現(xiàn)成的腳本就可以自動執(zhí)行,達到快速切換的目的。數(shù)據(jù)中心還應該準備很多其它工作的腳本,以便緊急的時候快速使用。
通過上面的分析您一定很驚訝,原來數(shù)據(jù)中心運維包含這么多內(nèi)容,大大小小數(shù)十項,而且每一項包含的內(nèi)容說起來都不那么簡單,也涉及很多的技術知識。一個數(shù)據(jù)中心能否穩(wěn)定運行,能夠高效運行,運維是關鍵。只有將這些運維工作很好地部署和執(zhí)行下去,數(shù)據(jù)中心才能長期穩(wěn)定。