在信息技術(shù)快速發(fā)展的背景下，數(shù)據(jù)中心作為各行各業(yè)的信息基礎(chǔ)設(shè)施，為數(shù)字經(jīng)濟(jì)轉(zhuǎn)型提供了重要支撐，也是未來云網(wǎng)融合發(fā)展的戰(zhàn)略性基礎(chǔ)資源，是決定移動、寬帶用戶體驗(yàn)的內(nèi)容資源和云計(jì)算、大數(shù)據(jù)等新興業(yè)務(wù)的基礎(chǔ)承載設(shè)施，進(jìn)而數(shù)據(jù)中心的規(guī)劃布局將成為行業(yè)關(guān)注的重點(diǎn)。同時(shí)，資本市場也對“新基建”躍躍欲試，有助于數(shù)據(jù)中心實(shí)現(xiàn)規(guī)模建設(shè)。

國內(nèi)數(shù)據(jù)中心的發(fā)展經(jīng)歷了由運(yùn)營商主導(dǎo)的以通信機(jī)樓為主的分散、小規(guī)?；l(fā)展階段，逐步向市場驅(qū)動的規(guī)?；?、標(biāo)準(zhǔn)化、高密度、綠色節(jié)能方向發(fā)展。盡管國內(nèi)數(shù)據(jù)中心發(fā)展有一定的基礎(chǔ)，但數(shù)據(jù)中心整體布局仍然存在東部資源緊張、西部資源空閑等問題，如何在現(xiàn)有數(shù)據(jù)中心布局的基礎(chǔ)上進(jìn)一步優(yōu)化結(jié)構(gòu)、提升效益、精準(zhǔn)投入，以應(yīng)對未來新興業(yè)務(wù)發(fā)展需求是大數(shù)據(jù)中心發(fā)展演進(jìn)的關(guān)鍵環(huán)節(jié)。

大數(shù)據(jù)中心布局驅(qū)動力

5G與云計(jì)算、IoT、AI、邊緣計(jì)算等新興技術(shù)的互促發(fā)展，使大數(shù)據(jù)中心成為未來核心的信息基礎(chǔ)設(shè)施載體可提供強(qiáng)有力和廣泛的基礎(chǔ)設(shè)施保障。算力、數(shù)據(jù)存儲量以及PUE能效等問題都對數(shù)據(jù)中心布局提出了新的要求，超大型和大中型數(shù)據(jù)中心服務(wù)采用遠(yuǎn)端部署，降低成本，處理“冷溫?cái)?shù)據(jù)”和非時(shí)效性較高的業(yè)務(wù)；邊緣計(jì)算數(shù)據(jù)中心采用分布式部署，滿足超低時(shí)延、高實(shí)時(shí)性、高安全性、本地化等需求場景，這種兩極分布將成為未來數(shù)據(jù)中心產(chǎn)業(yè)新形態(tài)。

5G、物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)將帶動數(shù)據(jù)量爆炸式增長，引領(lǐng)數(shù)據(jù)中心需求猛增。根據(jù)思科預(yù)測，2025年全球數(shù)據(jù)流量將會從2016年的16ZB上升至163ZB，帶動數(shù)據(jù)中心總體建設(shè)規(guī)模持續(xù)高速增長，并且集約化建設(shè)的大型數(shù)據(jù)中心比重將進(jìn)一步增加。新興技術(shù)催生數(shù)據(jù)量的爆炸式增長，數(shù)據(jù)中心大型化、園區(qū)化、集群化趨勢明顯。隨著云計(jì)算技術(shù)的規(guī)模商用，大型云基礎(chǔ)設(shè)施要求在相對集中的區(qū)域內(nèi)部署多個大型數(shù)據(jù)中心園區(qū)，滿足其超大規(guī)模計(jì)算和數(shù)據(jù)存儲的需要。

海量的數(shù)據(jù)處理能力和能耗要求影響數(shù)據(jù)中心的總體布局。自2012年以來，業(yè)界最大規(guī)模的人工智能訓(xùn)練(如2012年的AlexNet、2014年的GoogleNet、2017年的AlphaZero等)使用的計(jì)算量成指數(shù)級增長，過去的六七年間計(jì)算量已經(jīng)增長了30多萬倍。因此，未來滿足人工智能領(lǐng)域激增的計(jì)算需求，作為計(jì)算能力主要提供者的數(shù)據(jù)中心相關(guān)技術(shù)也面臨新的挑戰(zhàn)。AI服務(wù)器引入新的計(jì)算核心和架構(gòu)以滿足人工智能計(jì)算負(fù)載的需求，將直接關(guān)系到與之相匹配的供電、散熱、功耗等關(guān)鍵技術(shù)。而隨著政策對一線城市能耗限制逐漸嚴(yán)格，考慮到中西部地區(qū)電價(jià)遠(yuǎn)低于東部地區(qū)，使得大型和超大型數(shù)據(jù)中心需在更大地域范圍內(nèi)布局，以降低綜合成本和能耗水平。

2020年國民經(jīng)濟(jì)和社會發(fā)展計(jì)劃草案明確實(shí)施全國一體化大數(shù)據(jù)中心建設(shè)重大工程，布局10個左右區(qū)域級數(shù)據(jù)中心集群和智能計(jì)算中心；十三五規(guī)劃明確了13個城市群，以及“京津冀協(xié)同”“長江經(jīng)濟(jì)帶”“大數(shù)據(jù)綜合試驗(yàn)區(qū)”等多項(xiàng)政策使得區(qū)域間的協(xié)同發(fā)展更加緊密，產(chǎn)業(yè)和資源隨著人口而聚集，由都市圈引領(lǐng)城市群發(fā)展、城市群帶動區(qū)域發(fā)展將是數(shù)據(jù)中心發(fā)展的新模式。

總之，政策引領(lǐng)、行業(yè)數(shù)字化轉(zhuǎn)型發(fā)展以及信息技術(shù)的迭代演進(jìn)將成為數(shù)據(jù)中心布局的核心驅(qū)動力。

大數(shù)據(jù)中心布局思考

整體布局架構(gòu)

低時(shí)延、高帶寬、高并發(fā)的業(yè)務(wù)需求驅(qū)使數(shù)據(jù)中心層次化布局。面向未來，依據(jù)服務(wù)區(qū)域用戶分布、業(yè)務(wù)承接模型、建設(shè)運(yùn)營成本等差異，打造層次化的數(shù)據(jù)中心布局架構(gòu)，如圖1所示。

大數(shù)據(jù)中心整體布局架構(gòu)

國家級數(shù)據(jù)中心的定位及布局要求

國家級數(shù)據(jù)中心主要面向全國性經(jīng)營業(yè)務(wù)、大型客戶托管類業(yè)務(wù)，且主要為冷數(shù)據(jù)、離線計(jì)算分析以及其他對網(wǎng)絡(luò)時(shí)延要求較低的業(yè)務(wù)；以建設(shè)超大型數(shù)據(jù)中心園區(qū)或集群為主，考慮到建設(shè)運(yùn)營成本，園區(qū)優(yōu)先選擇政策利好、能源充足、土地成本低、自然氣候適宜、自然冷源充沛、地質(zhì)穩(wěn)定的區(qū)域規(guī)劃布局。

網(wǎng)絡(luò)互聯(lián)要求方面，國家級數(shù)據(jù)中心應(yīng)具備建設(shè)骨干網(wǎng)節(jié)點(diǎn)的傳輸、光纜資源及安全可靠性要求，同時(shí)需具備多個直連骨干網(wǎng)鏈路，實(shí)現(xiàn)全國性業(yè)務(wù)的快速轉(zhuǎn)接。國家級數(shù)據(jù)中心彼此間互為備份，進(jìn)一步提升數(shù)據(jù)中心的安全可靠性。

區(qū)域級(省級)數(shù)據(jù)中心的定位及布局要求

區(qū)域級(省級)集中數(shù)據(jù)中心主要面向區(qū)域集中經(jīng)營業(yè)務(wù)，以溫?cái)?shù)據(jù)為主；建設(shè)規(guī)模以大中型園區(qū)或集群為主，需統(tǒng)籌考慮國家及地方相關(guān)政策、市場業(yè)務(wù)驅(qū)動、網(wǎng)絡(luò)能力、災(zāi)備等多種因素。

首先，受市場和業(yè)務(wù)驅(qū)動力因素的影響大，重點(diǎn)布局需求旺盛、發(fā)展?jié)摿Υ蠡蛐畔a(chǎn)業(yè)集群區(qū)的省級/市及周邊。

其次，網(wǎng)絡(luò)能力需考慮所服務(wù)區(qū)域內(nèi)用戶訪問、業(yè)務(wù)時(shí)延、安全可靠性等要求。

在用戶訪問方面，要滿足區(qū)域內(nèi)用戶業(yè)務(wù)訪問需求，其數(shù)據(jù)中心出口主要與省內(nèi)城域網(wǎng)出口、IDC匯聚、骨干網(wǎng)節(jié)點(diǎn)互聯(lián)實(shí)現(xiàn)流量省內(nèi)本地化轉(zhuǎn)接，對于主要服務(wù)外省客戶可實(shí)現(xiàn)IDC出口與省外骨干網(wǎng)節(jié)點(diǎn)直連；區(qū)域內(nèi)數(shù)據(jù)中心間組建MESH網(wǎng)絡(luò)。

在業(yè)務(wù)時(shí)延方面，為了保障區(qū)域間數(shù)據(jù)中心的時(shí)延，通過區(qū)域內(nèi)各主要數(shù)據(jù)中心與骨干網(wǎng)直連，減少數(shù)據(jù)中心間跳數(shù)，保證不同區(qū)域間數(shù)據(jù)中心互訪的網(wǎng)絡(luò)時(shí)延要求。區(qū)域內(nèi)數(shù)據(jù)中心考慮到云業(yè)務(wù)跨數(shù)據(jù)中心的調(diào)度、遷移、互訪、同步等時(shí)延要求，采用數(shù)據(jù)中心間光纜直驅(qū)互聯(lián)方式。

在安全可靠性方面，區(qū)域級數(shù)據(jù)中心的建設(shè)布局還需考慮可用性和容災(zāi)管理的需求，兩地三中心、分布式多活將是未來區(qū)域數(shù)據(jù)中心布局與架構(gòu)演進(jìn)的方向。

最后，考慮到未來云計(jì)算業(yè)務(wù)將成為大數(shù)據(jù)中心的主要業(yè)務(wù)，區(qū)域內(nèi)將部署多個大中型數(shù)據(jù)中心園區(qū)，以滿足計(jì)算、存儲的要求。如亞馬遜區(qū)域級數(shù)據(jù)中心集群通常包含多個大型數(shù)據(jù)中心單體建筑組成，可滿足數(shù)十萬規(guī)模服務(wù)器部署需求。為了更好的匹配云計(jì)算業(yè)務(wù)的承載需求，區(qū)域數(shù)據(jù)中心布局應(yīng)考慮云Region(以區(qū)域內(nèi)的核心城市為中心布局云的地域)和AZ(Region內(nèi)布局多個可用區(qū))規(guī)劃要求。

如圖2所示，Region之間完全隔離，保證不同Region間最大程度的穩(wěn)定性和容錯性?？捎脜^(qū)(AZ)為電力和網(wǎng)絡(luò)互相獨(dú)立的物理區(qū)域，同一AZ內(nèi)實(shí)例之間的網(wǎng)絡(luò)延時(shí)最小，AZ之間內(nèi)網(wǎng)互通，故障隔離，不出現(xiàn)故障擴(kuò)散，使得用戶的業(yè)務(wù)持續(xù)在線服務(wù)。

云Region和AZ架構(gòu)圖

Region間考慮跨域備份，保證高速傳輸帶寬系統(tǒng)容量超過10TB.AZ間可利用低延遲光纖網(wǎng)絡(luò)互聯(lián)，同時(shí)保證超大帶寬互通能力，通常兩點(diǎn)間容量超過20TB。對于多AZ間以及AZ內(nèi)部既滿足災(zāi)備建設(shè)與業(yè)務(wù)聯(lián)系的要求，多個數(shù)據(jù)中心在建設(shè)上可以循序漸進(jìn)地展開，又彼此保持一定的獨(dú)立性，未來擴(kuò)容升級可與現(xiàn)有架構(gòu)保持良好兼容，同時(shí)多中心之間地位均等，并行地為業(yè)務(wù)訪問提供服務(wù)，合理的布局能夠?qū)崿F(xiàn)對數(shù)據(jù)中心資源的充分合理利用。

邊緣數(shù)據(jù)中心

超低時(shí)延的5G 、AI和工業(yè)物聯(lián)網(wǎng)應(yīng)用需要具備近端構(gòu)建算力、本地化處理業(yè)務(wù)和可定制化等特定能力，促使云端數(shù)據(jù)處理能力下沉，海量輕量化邊緣數(shù)據(jù)中心的需求涌現(xiàn)。邊緣數(shù)據(jù)中心部署靠近信息源，具有屬地化(地級市及以下)部署特點(diǎn)，分布極為廣泛，滿足屬地用戶需求，具有規(guī)模小、數(shù)量多、分散部署等特點(diǎn)。而運(yùn)營商擁有大量的邊緣機(jī)房，在邊緣數(shù)據(jù)中心的部署中具有天然的優(yōu)勢。邊緣數(shù)據(jù)中心更多面向5G、人工智能、物聯(lián)網(wǎng)等新興技術(shù)的落地部署，需保障用戶業(yè)務(wù)體驗(yàn)的同時(shí)兼顧安全可靠性。因此數(shù)據(jù)中心布局既要盡可能地靠近用戶端保障用戶業(yè)務(wù)體驗(yàn)要求，又要滿足邊緣數(shù)據(jù)中心機(jī)房資源和配套、網(wǎng)絡(luò)的安全可靠性要求，基于上述要求，邊緣數(shù)據(jù)中心部署的業(yè)務(wù)匹配流程如圖3所示。

邊緣數(shù)據(jù)中心的業(yè)務(wù)匹配流程

考慮到用戶的移動性，受限于邊緣數(shù)據(jù)中心規(guī)模和可提供算力的限制，邊緣之間、邊緣與云數(shù)據(jù)中心之間的數(shù)據(jù)、業(yè)務(wù)遷移將更加頻繁。而這對邊緣數(shù)據(jù)中心與云數(shù)據(jù)中心間，以及邊緣數(shù)據(jù)中心彼此之間的網(wǎng)絡(luò)提出了更高的要求。為了更好地適應(yīng)邊緣業(yè)務(wù)需求，邊緣數(shù)據(jù)中心與云數(shù)據(jù)中心間依靠現(xiàn)有城域網(wǎng)或骨干網(wǎng)的物理鏈路，借助SR、EVPN等技術(shù)實(shí)現(xiàn)邊—云間的點(diǎn)到點(diǎn)業(yè)務(wù)轉(zhuǎn)發(fā)路徑；邊緣數(shù)據(jù)中心彼此間依靠現(xiàn)有本地網(wǎng)光纜傳輸環(huán)，同樣借助SR、EVPN、OTN等專線技術(shù)，以及行業(yè)主推的以算力為目標(biāo)的快速轉(zhuǎn)發(fā)策略，建立點(diǎn)到點(diǎn)、點(diǎn)到多點(diǎn)的業(yè)務(wù)轉(zhuǎn)發(fā)路徑。

用戶端節(jié)點(diǎn)

用戶端節(jié)點(diǎn)主要滿足園區(qū)企業(yè)內(nèi)、用戶個性化場景等更加切近用戶端的業(yè)務(wù)需求，業(yè)務(wù)規(guī)模通常較小，以單臺或多臺服務(wù)器為主，可部署于綜合局站、基站、接入局所等多場景。用戶端機(jī)房的配套設(shè)施、出局光纜的可用性和可靠性通常差異性較大，機(jī)房環(huán)境較差，宜采用定制化設(shè)備，如擴(kuò)寬設(shè)備正常運(yùn)行溫度范圍以適應(yīng)周邊環(huán)境要求，集成自備電池提升運(yùn)行等手段，提升業(yè)務(wù)的可靠承接。

大數(shù)據(jù)中心的發(fā)展演進(jìn)

當(dāng)前國內(nèi)數(shù)據(jù)中心相互分離，“煙囪”效應(yīng)明顯。在新一輪數(shù)據(jù)中心大發(fā)展中，需要在國家、區(qū)域、省市等多個層面統(tǒng)籌數(shù)據(jù)中心的共建共享，按照統(tǒng)一戰(zhàn)略、統(tǒng)一方向、統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)等方式進(jìn)行協(xié)同布局和建設(shè)，才能有效支撐新興數(shù)字化業(yè)務(wù)的蓬勃發(fā)展，發(fā)揮信息基礎(chǔ)設(shè)施基石的關(guān)鍵作用。

建設(shè)模式多樣化、標(biāo)準(zhǔn)化和模塊化是重要抓手

·建設(shè)模式的多樣化

數(shù)據(jù)中心因其重資產(chǎn)屬性，建設(shè)周期長，受市場因素影響大，存在一定的風(fēng)險(xiǎn)。傳統(tǒng)的單一自投自建的數(shù)據(jù)中心建設(shè)模式，將隨著“新基建”、公募REITs試點(diǎn)等支持政策的持續(xù)推出，逐步向多樣化轉(zhuǎn)變，如基金合作、股權(quán)、合作建設(shè)合作運(yùn)營、租賃等模式，實(shí)現(xiàn)布局優(yōu)化和資源高效利用。

·建設(shè)標(biāo)準(zhǔn)化、模塊化

數(shù)據(jù)中心建設(shè)趨向標(biāo)準(zhǔn)化和規(guī)范化，包括數(shù)據(jù)中心選址、布局、結(jié)構(gòu)、內(nèi)部規(guī)劃的建筑和環(huán)境層面，以及IT設(shè)備和供配電制冷層面的設(shè)備的選型、節(jié)能優(yōu)化等相關(guān)的國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、以及相關(guān)組織(如OCP、ODCC、GCC等)，都在大力推進(jìn)數(shù)據(jù)中心建設(shè)的標(biāo)準(zhǔn)化和規(guī)范化。

同時(shí)針對不同的需求場景，建設(shè)方式也呈現(xiàn)多樣化，如倉儲式、集裝箱、微模塊等標(biāo)準(zhǔn)化的模塊化，可以實(shí)現(xiàn)快速搭建組裝，最大程度地降低基礎(chǔ)設(shè)施對機(jī)房環(huán)境的耦合，提高數(shù)據(jù)中心的整體運(yùn)營效率，實(shí)現(xiàn)快速部署、彈性擴(kuò)展和綠色節(jié)能。

數(shù)據(jù)中心的綠色節(jié)能是關(guān)鍵舉措

大數(shù)據(jù)中心本質(zhì)是電力轉(zhuǎn)換為算力，算力轉(zhuǎn)換為IT服務(wù)，隨著計(jì)算能力不斷提升，數(shù)據(jù)中心節(jié)能也成為了行業(yè)關(guān)注的焦點(diǎn)，建設(shè)綠色、節(jié)能成為數(shù)據(jù)中心必然趨勢。伴隨著國家政策引導(dǎo)，IT設(shè)備的技術(shù)與效率的不斷提高，制冷和供配電等基礎(chǔ)設(shè)施技術(shù)的不斷改進(jìn)，相對于算力的快速增長，數(shù)據(jù)中心能耗增長呈現(xiàn)放緩的趨勢，與2010年相比，2018年全球數(shù)據(jù)中心計(jì)算實(shí)例增加了550%，而同期耗電量僅增加了6%。然而未來3~4年數(shù)據(jù)中心計(jì)算實(shí)例翻倍，因此，數(shù)據(jù)中心節(jié)能將成為行業(yè)關(guān)注的重中之重，下面筆者將從IT設(shè)備和運(yùn)營、制冷和供配電維度進(jìn)行探討數(shù)據(jù)中心的研究趨勢。

·IT設(shè)備和運(yùn)營的綠色節(jié)能

傳統(tǒng)的計(jì)算能力遵循摩爾定律，單位芯片面積的計(jì)算能力在穩(wěn)步提升；同樣根據(jù) OpenAI研究顯示，從2012年以來，用于AI模型訓(xùn)練的計(jì)算能力每3.4個月將翻倍，這很大程度上降低了IT設(shè)備的單位計(jì)算實(shí)例能耗。另外借助AI和大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)不同應(yīng)用場景、不同站點(diǎn)、不同時(shí)間的協(xié)同節(jié)能，在保證正常性能的基礎(chǔ)上，使節(jié)能效果最大化，實(shí)現(xiàn)能耗與性能的最佳平衡。如谷歌采用AI技術(shù)，將數(shù)據(jù)中心服務(wù)器、供配電、冷卻設(shè)備綜合考慮，依據(jù)數(shù)據(jù)中心設(shè)備的運(yùn)轉(zhuǎn)狀態(tài)與天氣等因素，優(yōu)化冷卻設(shè)備的設(shè)定、服務(wù)器休眠等舉措，使整體功耗達(dá)到最小，為行業(yè)應(yīng)用推廣提供了很好的借鑒。

·供電方式和制冷的主要節(jié)能方式

在數(shù)據(jù)中心能耗中，制冷和供電系統(tǒng)能耗僅次于IT設(shè)備；如PUE=1.5的數(shù)據(jù)中心，制冷和供電系統(tǒng)消耗約占整體能耗的40%左右。探索低能耗提升效率，優(yōu)化制冷和配電系統(tǒng)成為業(yè)界研究的重點(diǎn)。如在設(shè)備供電方面，高壓直流(HVDC)供電相比交流的UPS減少了整流逆變環(huán)節(jié)，其工作效率有較大程度的提升，但卻面臨現(xiàn)有存量改造規(guī)模大、成本高等問題，亟待解決。

隨著設(shè)備功耗的逐步提升，傳統(tǒng)的風(fēng)冷面臨著效率低、難于滿足需求的問題；借助自然冷卻技術(shù)存在依賴周邊環(huán)境，難于廣泛推廣；浸沒式液冷技術(shù)將IT設(shè)備浸沒在絕緣冷卻液中，借助冷卻液吸收IT設(shè)備產(chǎn)生的熱量，具有靜音效果好、機(jī)柜放置設(shè)備密度高、占地空間小的優(yōu)點(diǎn)，可以很大程度上節(jié)省TCO成本。

在國家“新基建”戰(zhàn)略引導(dǎo)以及5G、云計(jì)算、AI、大數(shù)據(jù)等新興技術(shù)的驅(qū)動下，大數(shù)據(jù)中心將迎來新一輪的發(fā)展，并隨信息技術(shù)發(fā)展而不斷演進(jìn)。如何在現(xiàn)有數(shù)據(jù)中心布局的基礎(chǔ)上進(jìn)一步優(yōu)化結(jié)構(gòu)、提升效益、精準(zhǔn)投入，以達(dá)到戰(zhàn)略性信息基礎(chǔ)資源儲備的需要，是整個行業(yè)關(guān)注的重點(diǎn)。本文探討了大數(shù)據(jù)中心背后的業(yè)務(wù)驅(qū)動力，并對數(shù)據(jù)中心布局的關(guān)鍵因素、面向云業(yè)務(wù)場景的數(shù)據(jù)中心布局思路進(jìn)行了梳理和思考，提出了面向未來數(shù)據(jù)中心發(fā)展演進(jìn)的趨勢和方向，為后續(xù)數(shù)據(jù)中心行業(yè)的規(guī)劃建設(shè)和發(fā)展提供參考依據(jù)。相信在國家戰(zhàn)略及相應(yīng)政策的支持下，伴隨著數(shù)字化技術(shù)的快速發(fā)展，大數(shù)據(jù)中心將向著更加理性、智能、綠色、節(jié)能的方向規(guī)模發(fā)展。