據(jù)估計(jì)，目前數(shù)據(jù)中心總耗費(fèi)的電力占全球電力消費(fèi)總量的1.5%至2%，相當(dāng)于400TWh (萬億瓦(特)時(shí)， 1TWh=1000GWh=1e6 MWh=1e9 kWh(1e9 表示10的9次方);，或接近于一年法國使用的電力總量(Corcoran&Andrae，2013)(2016年的Shehabi，o.a)。

想象一下，如果有辦法重新部署數(shù)據(jù)中心的服務(wù)器所用電力，是不是耗電量會(huì)有所改善。 本篇文章探討了如何通過熱回收大規(guī)模數(shù)據(jù)中心冷卻提高數(shù)據(jù)中心的成本效率以及可持續(xù)性提高到一個(gè)層級(jí)。

數(shù)據(jù)中心冷卻系統(tǒng)標(biāo)準(zhǔn)

隨著CPU性能的提高、電源分配、提高設(shè)備的耐受性、新的制冷技術(shù)，成本意識(shí)和環(huán)境問題有關(guān)，自2004年第一次介紹“數(shù)據(jù)處理環(huán)境熱指南”以來，數(shù)據(jù)中心冷卻的指導(dǎo)方針和方法已經(jīng)有了顯著的發(fā)展。

ASHRAE指南，現(xiàn)在已經(jīng)到了第四版，并在2008年與相應(yīng)的網(wǎng)絡(luò)設(shè)備建設(shè)系統(tǒng)需求同步，是數(shù)據(jù)中心行業(yè)真正意義上熱管理的的標(biāo)準(zhǔn)。該指南的發(fā)展已經(jīng)嘗試在不影響可靠性的情況下，支持對(duì)IT設(shè)備進(jìn)行更節(jié)能的冷卻。

　　圖1

斯德哥爾摩的環(huán)境條件

在斯德哥爾摩，關(guān)于制冷解決方案的選擇，很大程度上依賴于數(shù)據(jù)中心所在的環(huán)境條件。

瑞典的天氣在全國和季節(jié)之間變化很大。在首都斯德哥爾摩斯德哥爾摩北部的干球溫度已經(jīng)低于15°C自2001年1月1日以來,82.26%的小時(shí)和27°C以下,(ASHRAE這樣推薦最大99.63%,低于32°C(ASHRAE這樣A1最大),那個(gè)時(shí)期的99.998%。露點(diǎn)溫度低于15攝氏度(ASHRAE推薦的最大值)，為96.98%，低于17攝氏度(ASHRAE A1最大)，為99.19%(斯德哥爾摩2016)。

斯德哥爾摩冷卻方案

斯德哥爾摩為數(shù)據(jù)中心提供了大量潛在的冷卻解決方案。在這一節(jié)中，我們概述了最適合城市天氣狀況的解決方案。

氣流系統(tǒng)

考慮到瑞典的環(huán)境條件，直接和間接蒸發(fā)冷卻系統(tǒng)是兩個(gè)最具吸引力的替代方案。然而，到目前為止，這種建筑實(shí)踐的經(jīng)驗(yàn)在瑞典。

Facebook的最佳實(shí)例是Facebook在瑞典北部的Lule的建設(shè)的數(shù)據(jù)中心。 在斯德哥爾摩沒有使用直接蒸發(fā)冷卻系統(tǒng)方案的，究其原因可能在于城市環(huán)境中對(duì)于過濾器維護(hù)的高成本，不過該系統(tǒng)的主要優(yōu)點(diǎn)是PUE低。

然而，這個(gè)解決方案中最重要的問題是，大量的寶貴能量被浪費(fèi)在數(shù)據(jù)服務(wù)器上的多余熱量被直接丟棄到環(huán)境空氣中。 然而，直接蒸發(fā)冷卻系統(tǒng)可以被設(shè)計(jì)為通過引入水到空氣交換器來來重新利用熱量。 雖然在概念上可行，除了Yandex在芬蘭Mntsl的工廠外，北歐地區(qū)的設(shè)備依然很少。 盡管斯德哥爾摩地區(qū)有良好的環(huán)境條件，仍然需要一個(gè)全面的后備冷卻系統(tǒng)來管理少數(shù)幾個(gè)小時(shí)的高露點(diǎn)溫度。

間接蒸發(fā)冷卻系統(tǒng)是指把直接蒸發(fā)冷卻過程中降溫后的空氣和水通過非接觸式換熱器冷卻待處理的空氣，那么就可以得到溫度降低而含濕量不變的送風(fēng)空氣，(此過程為等濕冷卻過程)。該方法的效率將取決于室外空氣的濕球溫度，并且需要機(jī)械的向上冷卻來控制在相對(duì)濕度過高的情況下，在蒸發(fā)過程中工作的相對(duì)濕度過高。若把直接蒸發(fā)冷卻中用的空氣稱二次空氣，待處理的空氣稱一次空氣，則可得到用于間接蒸發(fā)冷卻的裝置。

這個(gè)系統(tǒng)，會(huì)有較低的PUE，雖然通常比一個(gè)直接蒸發(fā)冷卻系統(tǒng)PUE要高一些。在直接蒸發(fā)冷卻系統(tǒng)中，多余的熱量被丟棄在環(huán)境中。然而，與直接蒸發(fā)冷卻系統(tǒng)不同的是，很難構(gòu)想出一種高效的設(shè)計(jì)，在這種設(shè)計(jì)中，熱量回收可以與間接蒸發(fā)冷卻系統(tǒng)相結(jié)合。

冷凍水系統(tǒng)

最常用的系統(tǒng)依賴?yán)鋬鏊鋮s系統(tǒng)，通常采用某種機(jī)械冷卻，通常與一年中大部分時(shí)間的自然空氣冷卻系統(tǒng)模式相結(jié)合。系統(tǒng)基礎(chǔ)設(shè)施與蒸發(fā)冷卻系統(tǒng)不同，因?yàn)槟芰吭跀?shù)據(jù)中心的液體中攜帶，并且通過數(shù)據(jù)室中的液體 - 空氣熱交換進(jìn)行冷卻。

冷凍水系統(tǒng)通常比基于空氣的系統(tǒng)有更高的PUE。另一方面，冷水系統(tǒng)更傾向于提供更大的設(shè)計(jì)靈活性，而與間接蒸發(fā)冷卻系統(tǒng)相比，這套方案需要更少的空間。

冷卻水系統(tǒng)的一個(gè)特殊版本是區(qū)域冷卻。在一個(gè)地區(qū)的冷卻解決方案中，使用相同的數(shù)據(jù)中心基礎(chǔ)設(shè)施，但是冷卻是作為地區(qū)冷卻供應(yīng)商提供的服務(wù)提供的。冷卻服務(wù)的供應(yīng)商可能采用不同的方法來生產(chǎn)冷卻水，包括海水冷卻、冷卻機(jī)和熱泵。雖然在斯德哥爾摩并不存在，但其他地區(qū)的地區(qū)冷卻供應(yīng)商正在考慮以吸收為基礎(chǔ)的冷卻。

冷凍水系統(tǒng)的一個(gè)關(guān)鍵優(yōu)點(diǎn)是有機(jī)會(huì)進(jìn)行有效的熱回收。在傳統(tǒng)的冷凍水系統(tǒng)中，在冷卻塔中會(huì)除去多余的熱量。

然而，在一個(gè)冷卻的水系統(tǒng)中，通過熱泵來實(shí)現(xiàn)數(shù)據(jù)中心的冷卻，可以提高過熱的溫度，這樣，熱泵就可以通過與地區(qū)供熱網(wǎng)絡(luò)的連接，為住宅和辦公需要供暖。在地區(qū)冷卻解決方案中，數(shù)據(jù)中心的冷卻是作為一種服務(wù)提供的，熱恢復(fù)是系統(tǒng)的固有特性，在這個(gè)系統(tǒng)中，返回管道將數(shù)據(jù)中心的余熱從數(shù)據(jù)中心輸送到一個(gè)配有熱泵的生產(chǎn)設(shè)備，并連接到地區(qū)供熱網(wǎng)絡(luò)。

隨著高性能計(jì)算的出現(xiàn)，液體冷卻開始出現(xiàn)。一種液體冷卻的解決方案不需要液體到空氣的熱交換，而且對(duì)于熱回收的效率更高，因?yàn)樗芨玫奈諢崃浚叩臏囟?，更不需要機(jī)械的幫助來達(dá)到為住宅供暖而工作的溫度。

斯德哥爾摩數(shù)據(jù)中心和熱回收

事實(shí)上，斯德哥爾摩的非常適合熱回收。在其他地方進(jìn)行的許多熱回收項(xiàng)目沒有達(dá)到成功的熱回收的先決條件。第一個(gè)挑戰(zhàn)是需要管理的大量的熱量。一個(gè)10兆瓦的數(shù)據(jù)中心負(fù)荷符合大約2萬套現(xiàn)代住宅公寓的供暖需求(55 kwh/m2/年)。因此，在本地或與數(shù)據(jù)中心相同的建筑物中完全重用熱的選項(xiàng)是不可行的。

另一個(gè)需要考慮的關(guān)鍵因素是數(shù)據(jù)中心依賴于單一建筑物或有限居住區(qū)域來吸收數(shù)據(jù)中心熱量的風(fēng)險(xiǎn)。

只有數(shù)據(jù)中心連接到龐大的建筑物網(wǎng)絡(luò)，才能在足夠大的規(guī)模和合理的風(fēng)險(xiǎn)下進(jìn)行熱回收。 采用斯德哥爾摩的12個(gè)TWh /年區(qū)域供熱系統(tǒng)，需要足夠的熱量來適應(yīng)各種數(shù)據(jù)中心(相當(dāng)于150兆瓦負(fù)荷的數(shù)據(jù)中心)的熱回收。

Fortum vrme有超過25年的經(jīng)驗(yàn)，從數(shù)據(jù)中心恢復(fù)熱量，并將其傳輸?shù)降貐^(qū)供熱網(wǎng)絡(luò)，從1989年開始，IBM開始提供其Kista數(shù)據(jù)中心的熱量。

除了許多較小的數(shù)據(jù)中心使用的普通區(qū)域冷卻之外，F(xiàn)ortumVrme還開發(fā)了具有熱回收的特定區(qū)域冷卻服務(wù)，例如，由Interxion在Kista的數(shù)據(jù)中心使用。 在Interxion，熱交換器和循環(huán)泵是冷卻數(shù)據(jù)中心內(nèi)部冷水循環(huán)所需要的。 在這個(gè)過程中，數(shù)據(jù)中心的余熱被回收并返回到FortumVrme，在那里進(jìn)入大型熱泵，然后提供區(qū)域供熱。

FortumVrme自此開發(fā)出一種商業(yè)模式，允許任何熱源接入城市供熱系統(tǒng)，同時(shí)接收供熱、開放區(qū)域供熱。使用專門用于熱回收的熱泵，熱泵的冷凝器側(cè)與區(qū)域供熱系統(tǒng)進(jìn)行熱交換，在那里傳遞熱量，而不是將其散發(fā)到外部空氣中，這使得能量被使用兩次 - 為服務(wù)器供電以及為斯德哥爾摩提供供暖。

　　圖2 熱回收原理圖

目前，斯德哥爾摩有三十多個(gè)數(shù)據(jù)中心從事熱回收。

冷卻系統(tǒng)中的熱回收服務(wù)

正如前面所述，在斯德哥爾摩，可以用兩種方式來進(jìn)行熱恢復(fù)。任何數(shù)據(jù)中心都可以用熱泵進(jìn)行制冷，并在適當(dāng)?shù)臏囟认聦⒍嘤嗟臒崃颗懦趨^(qū)域供熱網(wǎng)絡(luò)中。另外，F(xiàn)ortum vrme提供了冷卻作為一種服務(wù)——(CaaS)，數(shù)據(jù)中心的多余熱量被輸送到一個(gè)返回管道的生產(chǎn)工廠。在生產(chǎn)車間，過熱的熱量進(jìn)入了大型集中熱泵的蒸發(fā)器一側(cè)，為地區(qū)供熱網(wǎng)絡(luò)供熱。

在斯德哥爾摩數(shù)據(jù)中心園區(qū)，F(xiàn)ortumVrme歡迎兩種解決方案。 為了實(shí)現(xiàn)和分享規(guī)模經(jīng)濟(jì)，F(xiàn)ortumVrme已經(jīng)開發(fā)并提出了一種增強(qiáng)的針對(duì)數(shù)據(jù)中心的CaaS產(chǎn)品，預(yù)計(jì)將達(dá)到超過5兆瓦的計(jì)算機(jī)負(fù)載。 通過使用較大的機(jī)器和串聯(lián)的熱泵，可以增加COP(制冷量)，并且通常采用并聯(lián)配置，與局部熱回收解決方案相比，耗電量降低。

事實(shí)上，在每個(gè)數(shù)據(jù)中心園區(qū)(位于斯德哥爾摩的不同地點(diǎn))都會(huì)有一個(gè)專用的冷卻裝置，在那里有大型的離心裝置(而不是滾動(dòng)或螺旋)，冷卻機(jī)為數(shù)據(jù)中心的冷卻提供CaaS，為整個(gè)園區(qū)提供熱量回收。

從數(shù)據(jù)中心的角度來看，所提供的交付服務(wù)是將冷水通過兩套系統(tǒng)分別連接到一套標(biāo)準(zhǔn)的冷凍水系統(tǒng)中，允許這種冷卻系統(tǒng)提供的全方位的設(shè)計(jì)靈活性。 數(shù)據(jù)中心冷凍水分配系統(tǒng)通過熱交換器與CaaS系統(tǒng)接口，在交付側(cè)提供 20°C的水，允許 22°C的水進(jìn)入CRAH單元。 熱水返回到CaaS工廠，在那里它進(jìn)入能產(chǎn)生68°C熱水的熱泵中。

根據(jù)供暖需要，向地區(qū)供熱系統(tǒng)供水。在斯德哥爾摩的數(shù)據(jù)公園Kista，制冷服務(wù)的價(jià)格(sek/mwh)隨著負(fù)荷的下降而下降，這反映了隨著體積的增加，熱量回收的好處也增加了。在該產(chǎn)品中，冷卻水冷卻將免費(fèi)提供，以換取數(shù)據(jù)中心的余熱，其冷卻負(fù)荷僅為10兆瓦。

　　圖3 斯德哥爾摩的數(shù)據(jù)公園Kista價(jià)格模型

與使用數(shù)據(jù)中心自己的電氣系統(tǒng)相比，通過公共連接的電源是減少OPEX(運(yùn)營(yíng)成本)的一種方式，熱回收系統(tǒng)可以被認(rèn)為是減少和最終消除OPEX冷卻系統(tǒng)的一種方法。有了這一功能，F(xiàn)ortum vrme建議每年運(yùn)行CaaS的時(shí)間為8030小時(shí)，有99.7%的可用性，允許進(jìn)行修訂和維護(hù)。

這一服務(wù)與電力公司的功能類似，它設(shè)想客戶將為CaaS補(bǔ)充冗余，并在沒有提供CaaS的情況下為數(shù)據(jù)中心提供冷卻。

考慮到未來使用量低，數(shù)據(jù)中心運(yùn)營(yíng)商可以選擇備用冷卻系統(tǒng)，而降低對(duì)OPEX的關(guān)注度。

由于備份系統(tǒng)每年的使用時(shí)間少于730個(gè)小時(shí)，主系統(tǒng)在設(shè)計(jì)上也不會(huì)過于復(fù)雜，運(yùn)維的工作量也隨之降低，數(shù)據(jù)中心的水系統(tǒng)基礎(chǔ)設(shè)施由兩個(gè)系統(tǒng)共享。

　　圖4 數(shù)據(jù)中心使用熱回收與備份制冷系統(tǒng)

如果需要一個(gè)完全冗余的CaaS解決方案，可以提供一個(gè)具有兩個(gè)獨(dú)立提要的結(jié)構(gòu)，但是影響定價(jià)模型。效率和環(huán)境PUE是度量數(shù)據(jù)中心效率的常用度量標(biāo)準(zhǔn)。它變得越來越流行，主要是因?yàn)樗暮?jiǎn)單性。但是，PUE也受到了批評(píng)，因?yàn)樗鼪]有提供數(shù)據(jù)中心的效率和環(huán)境影響的完整視圖。

Fortum vrme相信未來的綠色數(shù)據(jù)中心將會(huì)提供可持續(xù)的電力以減少對(duì)環(huán)境的影響。幾家主要的公司已經(jīng)對(duì)這種影響做出了承諾，并且正在推進(jìn)對(duì)額外的可再生電力的投資，主要是風(fēng)力發(fā)電(Cook，2017年)。2016年12月，谷歌宣布計(jì)劃在2017年將其整個(gè)公司的可再生電力運(yùn)營(yíng)。

在這一轉(zhuǎn)型過程中，F(xiàn)ortum vrme與主要數(shù)據(jù)中心的參與者做出了同樣的承諾，在斯德哥爾摩的數(shù)據(jù)公園中增加了可再生能源的使用能力。

斯德哥爾摩的數(shù)據(jù)中心有10兆瓦的數(shù)據(jù)中心，大約有2萬套現(xiàn)代化的住宅公寓可以被加熱，用于焚燒的燃料資源可以被保存下來，減少二氧化碳的排放。部署熱回收，綠色數(shù)據(jù)中心可以變成凈氣候。在斯德哥爾摩，10兆瓦的數(shù)據(jù)中心負(fù)荷可以減少近8000噸的二氧化碳排放量。

　　圖5-ICT公司已經(jīng)完成了100%的可再生能源承諾(Cook，2017)

　　圖6 10MW數(shù)據(jù)中心可再生電源與熱回收產(chǎn)生的CO2

無論你如何評(píng)價(jià)斯德哥爾摩數(shù)據(jù)公園的熱回收對(duì)氣候的影響，它對(duì)環(huán)境的影響總是比目前單純的為數(shù)據(jù)中心提供降溫的方案要好。