騰訊的數(shù)據(jù)中心至少發(fā)展了三代。
據(jù)騰訊IDC平臺部高級總監(jiān)楊曉偉介紹,騰訊的第一代數(shù)據(jù)中心采用傳統(tǒng)的電信解決方案,數(shù)據(jù)中心PUE差不多在1.6左右;第二代數(shù)據(jù)中心以天津濱海(一期)為代表,開啟了騰訊超大規(guī)模數(shù)據(jù)中心的建設(shè)歷程,采用水側(cè)自然冷卻技術(shù),PUE降到1.4;2012年,騰訊進(jìn)一步創(chuàng)新,自行研發(fā)了第三代的數(shù)據(jù)中心技術(shù)——TMDC。
TMDC即騰訊模塊化數(shù)據(jù)中心(Tencent Modular Data Center),指完全按照模塊化設(shè)計思路搭建的可快速部署的數(shù)據(jù)中心模型,數(shù)據(jù)中心內(nèi)部由多個完全相同的微模塊(Micro Module)組成;微模塊則是以若干機架為基本單位,包含制冷模塊、供配電模塊及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨立的運行單元,全部組件可在工廠預(yù)制,并可靈活拆卸,快速組裝。
換句話說,微模塊數(shù)據(jù)中心就是IT設(shè)施(服務(wù)器、網(wǎng)絡(luò)、存儲、機架)加上部分基礎(chǔ)設(shè)施,如高壓直流UPS、末端精密空調(diào)、末端配電等,是一個對外部有部分依賴的微型數(shù)據(jù)中心。工信部2013年11月中對騰訊寶安數(shù)據(jù)中心的實測表明,TMDC 2.0內(nèi)部(不含外部空調(diào)系統(tǒng)如水的損耗,市電+高壓直流)的PUE達(dá)到1.066,要注意這不能代表整個數(shù)據(jù)中心的PUE水平。
微模塊的關(guān)鍵是產(chǎn)品化、模塊化,把數(shù)據(jù)中心里偏I(xiàn)T的部分打包成一個標(biāo)準(zhǔn)化的產(chǎn)品,從“風(fēng)火水電”等數(shù)據(jù)中心基礎(chǔ)設(shè)施中獨立出來,主要組件如行間空調(diào)、直流電源、電池等,都是普通的標(biāo)準(zhǔn)化產(chǎn)品,商業(yè)化程度高,方便靈活配置,隨時減配或增配,還支持在線擴容。如果說集裝箱數(shù)據(jù)中心的應(yīng)用場景優(yōu)勢在室外,那么微模塊主要是解決數(shù)據(jù)中心內(nèi)部的快速部署。微模塊在結(jié)構(gòu)上與集裝箱數(shù)據(jù)中心最大的區(qū)別是可拆卸,能夠適應(yīng)國內(nèi)大多數(shù)廠房的條件,對建筑基本沒有特殊要求,而且方便拼裝、改造、搬運。每一個微模塊可以看作一個微型的數(shù)據(jù)中心,可以相對獨立運行,具備自愈的能力。
產(chǎn)品化和模塊化意味著去工程化,TMDC實際上把原來數(shù)據(jù)中心工程建設(shè)中機房精裝修、高架地板、回風(fēng)天花板、列頭柜、配電柜、空調(diào)、消防、監(jiān)控、現(xiàn)場測試驗證等工作全部集成在微模塊這樣一個產(chǎn)品里,以前的大部分現(xiàn)場工程都可以在工廠預(yù)制完成,現(xiàn)場組裝所需人力和時間都大為縮短。
騰訊天津數(shù)據(jù)中心3號樓一層和樓頂?shù)墓艿?,這是典型的工程,很難模塊化。整個天津數(shù)據(jù)中心有上千個閥門,清楚的了解上千個閥門的具體位置,也成為天津運營團(tuán)隊的工作難點之一
這樣還實現(xiàn)了數(shù)據(jù)中心IT建設(shè)與土建的解耦,不用等待機房工藝條件明確再做建筑設(shè)計。因此,騰訊拿到一塊地之后,可以先以最簡單的廠房形式報建,把樓先蓋起來,也不用考慮分割機房,可以是一個大開間。廠房蓋起來,把一些基礎(chǔ)的水電配套管路做好,再把柴發(fā)、冷機等基礎(chǔ)設(shè)施裝好,整個土建部分就完成了。IT部分完全根據(jù)需求去下單定制,即土建部分先行,虛位以待微模塊,從而可以免受機房建設(shè)進(jìn)度的影響。譬如前面提到的上海青浦?jǐn)?shù)據(jù)中心,是騰訊首次對外采用與運營商合建數(shù)據(jù)中心的模式:騰訊負(fù)責(zé)土建建設(shè)、電信負(fù)責(zé)工藝建設(shè),土建與工藝解耦、同步展開,將項目建設(shè)工期從30個月減少到24個月,節(jié)省了半年的時間。
微模塊的靈活性和效率也是騰訊看重的優(yōu)勢。傳統(tǒng)數(shù)據(jù)中心設(shè)計時不知道機器的布局,采取就高不就低的原則,每一個機架都得按照高功耗的需求(供電、制冷)設(shè)計,可能造成數(shù)據(jù)中心設(shè)計容量遠(yuǎn)超實際使用的容量,造成很大的浪費;投產(chǎn)之后,可能會出現(xiàn)高功耗和低功耗的機柜混雜在一起的情況,也會產(chǎn)生一些局部的熱點。TMDC把制冷系統(tǒng)從整個機房離散到微模塊里,可以自行配制高低功耗類型,設(shè)計不同功耗等級的微模塊;或者把所有微模塊的功耗密度都設(shè)計成一樣的,不用去區(qū)分高功耗模塊和低功耗模塊。微模塊內(nèi)部可以同時有高功耗和低功耗的服務(wù)器,因為微模塊內(nèi)部的制冷空間非常小,行間制冷的優(yōu)勢得以體現(xiàn),可以在一個小空間里形成一個相對均衡的靜壓箱。
天津濱海數(shù)據(jù)中心3號樓里的騰訊微模塊(TMDC),可以看到近處的這兩個都使用了整機柜(共8個)。TMDC采用冷通道密閉的方式,便于發(fā)揮行間制冷的優(yōu)勢,對南方炎熱潮濕的氣候和非自建數(shù)據(jù)中心的適應(yīng)性較好
從數(shù)據(jù)中心運營的角度來看,微模塊的顆粒度比數(shù)據(jù)中心小,又比服務(wù)器乃至整機柜大,作為標(biāo)準(zhǔn)化的資源居于二者之間,便于全局調(diào)度。以微模塊作為一個資源運作單位,可以整體上架、整體改造(如服務(wù)器機型發(fā)生變化)、整體退役,并且方便搬遷,不受服務(wù)器與數(shù)據(jù)中心生命周期不一致的影響;業(yè)務(wù)需要分布冗余的時候,可以微模塊而不是服務(wù)器作為容災(zāi)的基本單位,同一個園區(qū)可以跨微模塊分布,更靈活和節(jié)省投資。數(shù)據(jù)中心基礎(chǔ)設(shè)施(風(fēng)火水電)的運營與IT運營也分開了,可以大幅度簡化管理。
下一步是數(shù)據(jù)中心監(jiān)管控系統(tǒng)的南向和北向接口的標(biāo)準(zhǔn)化工作。南向接口是面向微模塊內(nèi)部的控制單元接口,北向接口是到運營管理平面的接口,騰訊希望把這兩個軟件接口標(biāo)準(zhǔn)化,這樣就可以用運營管理系統(tǒng)把海量的數(shù)據(jù)中心智能、有效地運營管理起來,化解運營方面日益嚴(yán)峻的挑戰(zhàn)。前兩章中我們已經(jīng)粗略談過Google和Facebook在這個方向上的努力,可見大勢所趨。
在各種新業(yè)務(wù)層出不窮、快速發(fā)展的互聯(lián)網(wǎng)時代,數(shù)據(jù)中心建設(shè)速度只有更快,沒有夠快。美國和中國的互聯(lián)網(wǎng)巨頭都將模塊化數(shù)據(jù)中心作為發(fā)展方向,即數(shù)據(jù)中心建設(shè)盡量由傳統(tǒng)的工程項目變成工廠生產(chǎn)、現(xiàn)場組裝的方式,標(biāo)準(zhǔn)化、快速部署、降低成本。從這一點來說,騰訊的微模塊數(shù)據(jù)中心與Facebook的RDDC(Rapid Deployment Data Center,快速部署數(shù)據(jù)中心)基于同樣的思想,只是由于國情不同而在技術(shù)路線上各有側(cè)重。
在大環(huán)境允許的情況下,像Facebook這樣的公司,已經(jīng)在嘗試包括基礎(chǔ)設(shè)施在內(nèi)的整個數(shù)據(jù)中心的模塊化。中國則不同,單憑水循環(huán)管道的存在,就很難實現(xiàn)數(shù)據(jù)中心基礎(chǔ)設(shè)施的模塊化。在這種情況下,圍繞IT設(shè)施的模塊化工作便成了BAT的重點。以機架為單元的天蝎項目是一例,而將多個機柜連同冷/熱通道組件等作為一個整體是更大范圍上的模塊化,如百度的預(yù)模塊、騰訊的微模塊,F(xiàn)acebook的RDDC也包括相應(yīng)的部分。
浪潮宣稱,微模塊數(shù)據(jù)中心(MDC)的部署速度可以是整機柜的三倍
微模塊數(shù)據(jù)中心不僅具有模塊化數(shù)據(jù)中心標(biāo)準(zhǔn)化、部署靈活快速的優(yōu)點,還方便遷移,對使用第三方數(shù)據(jù)中心格外有幫助。當(dāng)然,百度和騰訊的業(yè)務(wù)情況不同,運用起來側(cè)重點有所差異:騰訊的產(chǎn)品很多,一個業(yè)務(wù)上線初期很難估計其使用量,微模塊顆粒度相對較細(xì)(又比整機柜粗,交付更快),小量部署也更具經(jīng)濟性;百度預(yù)模塊的做法更像Facebook和Google,便于快速大規(guī)模部署——Facebook在瑞典實踐RDDC,動因就是瑞典人工和物料貴,F(xiàn)acebook希望用模塊化預(yù)制方式解決當(dāng)?shù)厝耸侄倘钡膯栴}。
注:本部分參考了騰訊IDC平臺部技術(shù)發(fā)展中心副總監(jiān)朱華、騰訊數(shù)據(jù)中心架構(gòu)師李典林的演講和時任騰訊天津數(shù)據(jù)中心高級經(jīng)理閆昆的介紹。