引言:
一個典型的數(shù)據(jù)中心供電系統(tǒng),由中壓配電、變壓器、低壓配電、不間斷電源(Uninterruptible power supply,UPS)、末端配電以及發(fā)電機等設(shè)備組成,其中,UPS的主要作用,是在市電電源中斷、發(fā)電機啟動之前,確保所帶的負載持續(xù)供電,因此,UPS系統(tǒng)包含了儲能設(shè)備,如蓄電池或飛輪;此外,傳統(tǒng)UPS還具有隔離市電側(cè)浪涌、電壓驟升驟降等作用。
UPS系統(tǒng)是數(shù)據(jù)中心供電連續(xù)性的重要保障,UPS系統(tǒng)的可靠性直接影響數(shù)據(jù)中心的可靠性,同時,在絕大多數(shù)數(shù)據(jù)中心,UPS系統(tǒng)的損耗可占IT設(shè)備能耗的10%以上。因此,提高UPS系統(tǒng)的可靠性,同時降低其損耗,就成為數(shù)據(jù)中心UPS系統(tǒng)架構(gòu)演變的主旋律。
一、傳統(tǒng)UPS供電系統(tǒng)
目前,數(shù)據(jù)中心內(nèi)應(yīng)用最廣的不間斷電源還是傳統(tǒng)UPS,它主要由整流AC-DC、逆變DC-AC和靜態(tài)旁路3部分電路組成,DC母線上掛接蓄電池,輸入AC正常時,經(jīng)整流和逆變兩次轉(zhuǎn)換后為負載供電,同時為蓄電池浮充,輸入AC中斷時,蓄電池由浮充轉(zhuǎn)放電,經(jīng)逆變器為負載供電,對負載來說,感受不到輸入端電源的中斷。
1.1 UPS設(shè)備的發(fā)展
從結(jié)構(gòu)上看,UPS設(shè)備可以分為后備式、在線互動式、雙轉(zhuǎn)換在線式、Delta 轉(zhuǎn)換在線式等類型,其中前兩種主要用于小容量負載(≤5kVA),Delta轉(zhuǎn)換在線式技術(shù)受專利保護,因此,大型數(shù)據(jù)中心主要采用雙轉(zhuǎn)換在線式UPS設(shè)備。
傳統(tǒng)的雙轉(zhuǎn)換在線式UPS設(shè)備采用可控硅整流,主要的問題是諧波電流畸變率(THDi)高(10-30%),轉(zhuǎn)換效率低(85-92%)。
隨著電力電子器件的發(fā)展,呈現(xiàn)出IGBT取代可控硅整流的趨勢,IGBT整流的優(yōu)勢是取消變壓器,因而降低了成本,同時有比較好的輸入特性,在較寬的負載范圍內(nèi),可以將THDi控制在5-10%之間,最大的好處是效率的提升,通常在87-95%之間。目前,IGBT整流型UPS的可靠性比可控硅整流型略低。
1.2 UPS系統(tǒng)的發(fā)展
由于UPS設(shè)備結(jié)構(gòu)復(fù)雜,因此自身容易發(fā)生故障,設(shè)備冗余可以提高可用性,UPS系統(tǒng)便有了N、N+X、2N、”市電+U電“等架構(gòu)。
N系統(tǒng)滿足基本需求,沒有冗余的UPS設(shè)備。它的優(yōu)點是系統(tǒng)簡單,硬件配置成本低廉;由于UPS工作在設(shè)計滿負荷條件下,因此效率較高。其缺點是可用性低,當UPS發(fā)生故障,負載將轉(zhuǎn)換到旁路供電,無保護電源;在UPS、電池等設(shè)備維護期間,負載處于無保護電源狀態(tài);存在多個單故障點。
N+X并聯(lián)冗余系統(tǒng)是指由N+X臺型號規(guī)格相同且具有并機功能的UPS設(shè)備并聯(lián)組成的系統(tǒng),配置N臺UPS設(shè)備,其總?cè)萘繛橄到y(tǒng)的基本容量,再配置X臺(X=1~N)UPS冗余設(shè)備,允許X臺設(shè)備故障退出檢修。相對于“N”系統(tǒng),“N+X”系統(tǒng)在UPS配置上有了一定的冗余,系統(tǒng)可靠性有所提高,同時帶來了系統(tǒng)配置成本的增加、系統(tǒng)負荷率的降低以及效率降低。N+X系統(tǒng)在成本增加不多的前提下提高了可用性,因此,在數(shù)據(jù)中心得到了廣泛的應(yīng)用,但是該系統(tǒng)在UPS輸出端仍然存在單故障點,實際項目中由此造成的系統(tǒng)宕機屢見不鮮。
為了消除單點故障,高等級數(shù)據(jù)中心通常采用2N冗余系統(tǒng)。該系統(tǒng)是指由兩套或多套UPS系統(tǒng)組成的冗余系統(tǒng),每套UPS系統(tǒng)N臺UPS設(shè)備的總?cè)萘繛橄到y(tǒng)的基本容量。該系統(tǒng)從交流輸入經(jīng)UPS設(shè)備直到雙電源輸入負載,完全是彼此隔離的兩條供電線路,也就是說,在供電的整個路徑中的所有環(huán)節(jié)和設(shè)備都是冗余配置的,正常運行時,每套UPS系統(tǒng)僅承擔總負荷的一部分。這種多電源系統(tǒng)冗余的供電方式,克服單電源系統(tǒng)存在的單點故障瓶頸,對于少數(shù)單電源設(shè)備的情況,可通過安裝小型STS設(shè)備,保證其供電可靠性。采用2N冗余系統(tǒng)可用性得到明顯提高。2N冗余系統(tǒng)的缺點也非常明顯,設(shè)備配置多、成本高,通常情況下效率比N+X系統(tǒng)更低。
“市電+U電”供電架構(gòu)由百度提出并在2011年其自建M1數(shù)據(jù)中心規(guī)模應(yīng)用,它在N+1系統(tǒng)基礎(chǔ)上做了改進,UPS設(shè)備配置不變,將服務(wù)器等雙電源設(shè)備的其中1路改由市電直接供電,消除了單點故障,可靠性較N+1系統(tǒng)大大提高,同時,UPS系統(tǒng)的損耗降低為原先的50%。UPS系統(tǒng)整體效率提升至95%以上。
圖1.2.1 N+1冗余系統(tǒng)和“市電+U電”系統(tǒng)
1.3 UPS ECO模式
前文已經(jīng)提到,雙轉(zhuǎn)換在線式UPS配置有靜態(tài)旁路,當正常情況下負載由旁路供電,交流輸入中斷后再切換至逆變由電池供電的運行模式,被稱為ECO模式,又稱為經(jīng)濟運行模式,某些UPS廠家將此模式也稱為ESS(節(jié)能系統(tǒng))、SEM(超級節(jié)電模式)、VFD(基于電壓和頻率的模式),等等。
由于正常情況下電能不再經(jīng)過整流和逆變兩次轉(zhuǎn)換,因此,整機效率有所提升,不少廠家聲稱的ECO模式效率高達99%,但是實測數(shù)據(jù)與此相差較大。圖1.3.1是5種型號UPS ECO模式效率的實測數(shù)據(jù)。(注:圖中“工頻”表示可控硅整流機型,“高頻”表示IGBT整流機型)
圖1.3.1 UPS ECO模式實測效率曲線
對上述6個型號UPS在逆變工況和ECO工況實測效率做平均后的對比如圖1.3.2。可見,不同產(chǎn)品ECO-逆變效率提升差異較大,30%負載率下,某些工頻機效率僅提升2.69%,某些高頻機效率提升可達5.89%,整機效率高達98%。
圖1.3.2 UPS ECO和逆變模式實測效率對比曲線
UPS ECO模式帶來了效率的提升,其代價是IT負載由市電供電,UPS必須不斷監(jiān)視市電狀態(tài),并在發(fā)現(xiàn)問題且當該問題尚未影響負載時,迅速切換到逆變器供電。這個聽起來簡單,但實際操作起來非常復(fù)雜并且需要承擔很多風險以及潛在的負面影響。
經(jīng)過對主流的3種品牌6個型號UPS實測的ECO和逆變切換時間,在大約100次切換中,UPS最大切換時間為6.6ms,滿足IEC 標準 62040-3,UPS要求服務(wù)器等設(shè)備在瞬時斷電10ms內(nèi)時應(yīng)能維持正常工作;以及ITIC標準,服務(wù)器等設(shè)備在瞬時斷電20ms內(nèi)時能維持正常工作的要求。采用UPS ECO模式不需要改變服務(wù)器電源,可以取得類似Facebook DC 48V離線供電的節(jié)能效果。
[page]二、直流(HVDC)不間斷電源系統(tǒng)
盡管所有國家的市電都是交流,但是IT設(shè)備內(nèi)部都采用直流供電,這就為直流供電提供了可能。事實上,通信行業(yè)采用直流48V供電已經(jīng)有幾十年的歷史,電力行業(yè)也長期采用直流220V作為斷路器等設(shè)備的操作和控制電源。
傳統(tǒng)UPS設(shè)備存在效率低、可靠性差、靈活性和擴展性差、故障后不易修復(fù)等問題,所以業(yè)內(nèi)一直在尋找替換UPS的方案。
國外早在上世紀90年代就提出高電壓直流供電的方案,如1999年日本代表INTELEC上發(fā)布《290V直流供電系統(tǒng)是電信和數(shù)據(jù)高效和可靠的供電系統(tǒng)》。真正有效的推動直流供電大規(guī)模應(yīng)用,卻發(fā)生在國內(nèi),2007年,中國電信結(jié)合DC48V和DC220V系統(tǒng),提出DC240V系統(tǒng)并應(yīng)用在江蘇省自用的數(shù)據(jù)機房。隨后,中國移動提出了DC336V的系統(tǒng)。
圖2 是現(xiàn)有主流的高壓直流供電系統(tǒng)圖,與通信行業(yè)48V直流系統(tǒng)架構(gòu)基本一致。與傳統(tǒng)雙轉(zhuǎn)換在線式UPS系統(tǒng)的主要區(qū)別,是取消了逆變環(huán)節(jié),蓄電池掛接在直流母線,與整流器并聯(lián),同時為IT設(shè)備供電。由于直流電源拓撲簡單,因此故障率較UPS有所降低,因采用模塊化設(shè)計,可在線維護。
圖2 現(xiàn)有典型高壓直流供電系統(tǒng)圖
2.1 DC240V or DC336V,電壓等級的選擇
采用高壓直流供電架構(gòu)遇到的第一個問題就是電壓等級的選擇。涉及系統(tǒng)效率、元器件耐壓、配電設(shè)備耐壓、配電線路的金屬消耗、與蓄電池的匹配、對現(xiàn)有IT設(shè)備電源的匹配等因素,最重要的因素是對IT設(shè)備的兼容。
DC336V系統(tǒng)浮充電壓為380V,采用單體2V電池168只,適用于有PFC電路的IT設(shè)備或?qū)橹绷麟娫囱兄频腎T設(shè)備,其優(yōu)點是配電線路的金屬消耗量小,轉(zhuǎn)換效率高。其主要缺點是對現(xiàn)有IT設(shè)備的兼容性不如240V直流系統(tǒng)。
DC240V系統(tǒng)浮充電壓為270V,采用單體2V電池120只,對現(xiàn)有IT設(shè)備的兼容性最好,由于電壓較低,因此對人身的安全性較好,其主要缺點是配電線路的金屬消耗最大,與DC336V相比,電源轉(zhuǎn)換效率較低。
DC240系統(tǒng)在國內(nèi)從提出到實施落地已經(jīng)超過7年,保守估計,目前應(yīng)有數(shù)以十萬計的IT設(shè)備運行在DC240V系統(tǒng)下,其可行性得到較好的實踐檢驗。其效率可以通過元件的選擇以及采用離線架構(gòu)(后文詳述)彌補,將電源與負荷就近布置也可以抵消配電線路金屬的消耗。綜合考慮,建議選擇DC240V。
2.2 DC240V 系統(tǒng)的IT設(shè)備兼容性
IT設(shè)備電源模塊的前端一般是一個橋式整流電路,從原理上看,輸入由AC220V替換為DC240V可以工作,另外,中國電信等公司也做過一些IT設(shè)備DC240V供電兼容性的測試,有些資料宣稱兼容性達98%以上。
不論原理如何,也不論其他公司兼容性測試數(shù)據(jù)有多高,當決定選用DC240V直流供電后,必須進行系統(tǒng)的兼容性測試,建議的測試內(nèi)容至少包括:正常電壓、反復(fù)上下電、極性反接、誤接地、欠壓保護、緩慢上電、長時間工作7項內(nèi)容。
一項對34款服務(wù)器、17款交換機所做的兼容性測試中,共有8款服務(wù)器電源、1款交換機電源不支持,服務(wù)器電源不兼容率高達24%;5款I(lǐng)T設(shè)備不支持正負極反接,這個需要在確定接口極性時特別注意;還有1款服務(wù)器在長時間(不小于3個月)測試中出現(xiàn)性能不穩(wěn)定,經(jīng)常宕機情況。有些雙電源服務(wù)器的2個電源模塊分別由不同的廠家提供,會有1個兼容另1個不兼容的情況。不做相關(guān)的測試,很難發(fā)現(xiàn)其中的問題,當大規(guī)模上線后再遇到問題,恐怕為時已晚。
2.3 從在線(Online)到離線(Offline),節(jié)能到極致
與雙變換在線式UPS應(yīng)用類似,高壓直流目前也以在線應(yīng)用為主。所謂在線(Online),是指交流電能始終經(jīng)HVDC整流后為IT設(shè)備供電,通常有6%以上的損耗;所謂離線(Offline),是指正常情況下市電直供IT設(shè)備,HVDC僅為蓄電池提供浮充,市電中斷后,轉(zhuǎn)由蓄電池供電,在這種架構(gòu)下,正常情況為IT設(shè)備供電的電能不經(jīng)過HVDC轉(zhuǎn)換,此部分損耗幾乎可以忽略。因此節(jié)能效果顯著。圖2.3.1 – 2.3.3顯示了傳統(tǒng)UPS、HVDC Online、HVDC Offline在系統(tǒng)效率上的差異。
三、分布式不間斷電源系統(tǒng)
UPS或HVDC通常采用集中式供電方案,集中式系統(tǒng)的優(yōu)點是可以實現(xiàn)資源共享,降低成本,其缺點是系統(tǒng)故障范圍大,影響面廣。
UPS也有小型機分布式供電方案,但是多套分布式小型機系統(tǒng)與1套集中式大型UPS系統(tǒng)相比,小型機的數(shù)量多,故障點多,成本高,因此大中型數(shù)據(jù)中心不會采用分布式UPS系統(tǒng)。
盡管有如上問題,但是對于分布式不間斷電源系統(tǒng)的探索,從來沒有停止過。
3.1 DC12V 分布式系統(tǒng)
谷歌是最早進行服務(wù)器自研定制的互聯(lián)網(wǎng)公司,同時也最早放棄了集中式UPS電源方案,轉(zhuǎn)將蓄電池分布到每臺服務(wù)器電源直流12V輸出端。詳見圖3.1。
圖3.1 谷歌DC12V分布式供電架構(gòu)
市電正常時,進入服務(wù)器電源轉(zhuǎn)換成DC12V為服務(wù)器主板供電,同時為蓄電池提供浮充電源,市電停電后,由DC12V母線并聯(lián)的蓄電池繼續(xù)給主板供電,直到柴油發(fā)電機啟動后回復(fù)交流供電。谷歌早期采用鉛酸電池供電,因服務(wù)器內(nèi)部高溫導(dǎo)致鉛酸電池故障率高,后改為鋰電池方案。蓄電池的后備時間為分鐘級(通常為1-3分鐘)。
此方案的優(yōu)點是大大簡化了IT設(shè)備前端供電系統(tǒng),缺點是服務(wù)器電源需要深度定制。
3.2 DC48V 分布式系統(tǒng)
Facebook于2011年公開了其自建數(shù)據(jù)中心的資料,供電系統(tǒng)采用DC48V離線備用系統(tǒng)。詳見圖3.2。
圖3.2 Facebook DC48V分布式供電架構(gòu)
Facebook為每6個9kW的機柜配置1個鉛酸蓄電池柜,輸出為DC48V,服務(wù)器電源采用AC277V和DC48V雙輸入,市電正常時作為主用,市電中斷后由蓄電池輸出DC48V為服務(wù)器供電。蓄電池后備時間為45秒。此方案的系統(tǒng)效率與240V HVDC Offline方案及DC12V分布式系統(tǒng)相當。
3.3 DC240V 分布式系統(tǒng)
隨著業(yè)內(nèi)對數(shù)據(jù)中心能耗關(guān)注日益增強,國內(nèi)近幾年出現(xiàn)了一種新型的分布式DC240V電源設(shè)備,同樣采用離線方案,市電正常時,直接輸出市電電源,市電停電后,由內(nèi)部鋰電池提供DC240V輸出。
這種方案的優(yōu)勢是IT設(shè)備無需定制,只要兼容DC240V供電即可。其缺點是電源內(nèi)部存在AC220V和DC240V的切換,系統(tǒng)可靠性降低;鋰電池串聯(lián)數(shù)量多,單只電池故障會影響系統(tǒng)的可靠性。
從實際應(yīng)用效果看,某互聯(lián)網(wǎng)公司租用的數(shù)據(jù)中心一年中發(fā)生十幾起電源故障,證明此架構(gòu)還需完善。
四、總結(jié)和展望
根據(jù)以上討論,可以看出數(shù)據(jù)中心不間斷電源系統(tǒng)架構(gòu)呈現(xiàn)如下兩種趨勢:
第一,從在線到離線。UPS ECO模式、DC48V電池備用、DC12V電池備用、DC240V電池備用等本質(zhì)上都是將電源離線,從而降低電源成本和運行損耗。
第二,從集中到分布。隨著鋰電池等新型儲能設(shè)備的發(fā)展以及大數(shù)據(jù)時代服務(wù)器快速部署、靈活擴展的需要,不間斷電源設(shè)備正在從集中到分布。
供電架構(gòu)只有更好,沒有最好,選擇與業(yè)務(wù)匹配的技術(shù)才是最佳選擇。對于追求穩(wěn)定可靠的銀行客戶,UPS雙總線架構(gòu)可能是穩(wěn)妥的選擇;對于追求低成本、快速發(fā)展的互聯(lián)網(wǎng)企業(yè),將更青睞于分布式鋰電池方案。
另一種格式的總結(jié)和展望:
過去,計算機作為一種非常嬌貴的設(shè)備,雙轉(zhuǎn)換在線式UPS消除了市電電能質(zhì)量問題,但帶來了6-10%的電能損失以及其自身可靠性低的問題。
通過冗余可以提高系統(tǒng)可靠性,UPS發(fā)展出主備供電、N+1冗余并機、雙總線、分布冗余等方案,相應(yīng)帶來的是成本和能耗的進一步增加。
為了避免UPS設(shè)備故障率高的問題,國內(nèi)提出并已規(guī)模部署了直流240V電源系統(tǒng),大部分IT設(shè)備可以直接兼容直流供電。
UPS ECO模式是一種離線供電方案,雖然效率較高,但是解決不了UPS設(shè)備故障率高和不便于維護的問題。
Facebook提出了48V直流電源設(shè)備離線運行的方案,降低了電源設(shè)備投資和損耗。48V系統(tǒng)的缺點是電壓低,電流大,配電設(shè)備容量大,配電距離近,不僅投資高,而且蓄電池需靠近服務(wù)器機柜布置。
國內(nèi)蓄電池的品質(zhì)差,易產(chǎn)生漏液、著火等故障,因此這種方案直接應(yīng)用于國內(nèi)風險非常大。百度提出了240V高壓直流離線應(yīng)用的技術(shù)方案,蓄電池安裝在專門的電池室,有效控制了安全風險,同時電源設(shè)備成本節(jié)省70%,電源效率提高到99.5%。
DC12V分布式鋰電池方案可以簡化前端供配電系統(tǒng),加快部署速度,但是國內(nèi)動輒15分鐘以上的后備時間與谷歌分鐘級(據(jù)估計3分鐘左右)的后備時間相比,鋰電池的配置增加3-5倍,相應(yīng)成本和安全風險都成比例增加。
隨著國內(nèi)數(shù)據(jù)中心前端配電系統(tǒng)及發(fā)電機自動控制系統(tǒng)的完善以及運營水平的提升,蓄電池的后備時間一定會縮短,分布式鋰電池供電系統(tǒng)將在互聯(lián)網(wǎng)等行業(yè)數(shù)據(jù)中心迎來春天。
作者簡介:
朱永忠,現(xiàn)任平安科技(深圳)有限公司基礎(chǔ)架構(gòu)首席總監(jiān)、云計算發(fā)展與政策論壇用戶委員會副主任。曾在百度歷任系統(tǒng)部高級經(jīng)理、副總監(jiān)、總監(jiān)、高級總監(jiān),加入百度之前供職于中國最大的商業(yè)數(shù)據(jù)中心服務(wù)提供商——世紀互聯(lián)(Nasdaq:VNET).擁有十多年數(shù)據(jù)中心建設(shè)、運營和管理經(jīng)驗,是百度數(shù)據(jù)中心基礎(chǔ)設(shè)施的總設(shè)計師、規(guī)劃師和推動者。在百度的七年時間中,永忠組建和培養(yǎng)了國內(nèi)互聯(lián)網(wǎng)領(lǐng)域最強大的數(shù)據(jù)中心團隊,打造出中國互聯(lián)網(wǎng)領(lǐng)域最領(lǐng)先的數(shù)據(jù)中心基礎(chǔ)設(shè)施,為百度的大數(shù)據(jù)戰(zhàn)略打下了良好的基礎(chǔ)。永忠是國內(nèi)數(shù)據(jù)中心領(lǐng)域的頂尖技術(shù)專家,身為中國數(shù)據(jù)中心專家技術(shù)委員會副主任委員,和工信部數(shù)據(jù)中心工作組特聘專家,主持和參與了多項行業(yè)標準及白皮書的編寫和審核工作,為過去幾年中國數(shù)據(jù)中心行業(yè)的大發(fā)展做出了突出貢獻。