2016年12月20-22日,第十一屆中國IDC產(chǎn)業(yè)年度大典隆重召開,阿里巴巴、萬國數(shù)據(jù)、XDC+(江蘇恒云太)分別就數(shù)據(jù)中心建設(shè)實(shí)踐經(jīng)驗(yàn)進(jìn)行分享,下面就一起來看看他們是如何造就高逼格數(shù)據(jù)中心的:
阿里巴巴
阿里巴巴集團(tuán)技術(shù)保障IDC高級專家 劉水旺
如今,互聯(lián)網(wǎng)數(shù)據(jù)中心的主要特點(diǎn)包括規(guī)模大、變化快、高帶寬、高功率、高成本、高可靠性,那么根據(jù)這些特點(diǎn)又該如何來建設(shè)數(shù)據(jù)中心呢?
一、數(shù)據(jù)中心規(guī)模大:
近年來,隨著互聯(lián)網(wǎng)的快速發(fā)展,尤其是移動互聯(lián)網(wǎng)的興起,推動了互聯(lián)網(wǎng)數(shù)據(jù)中心規(guī)模和數(shù)量都在增加,加之互聯(lián)網(wǎng)集中度高,"二八"效應(yīng)非常明顯,更促進(jìn)了數(shù)據(jù)中心規(guī)模大這一特點(diǎn)。那么大規(guī)模數(shù)據(jù)中心該如何選擇、設(shè)計及運(yùn)營呢?
.數(shù)據(jù)中心選址:
單個點(diǎn)占用資源越來越多,選址越來越難選,符合條件的非常少;怎么辦?現(xiàn)在國內(nèi),北京已經(jīng)在關(guān)注能耗,數(shù)據(jù)中心PUE要求1.5以下才能批準(zhǔn)。在國內(nèi)其他城市,更多的是靠自律。我們認(rèn)為數(shù)據(jù)中心選址應(yīng)盡可能少的占用資源,這是非常重要,如果我們不減少資源的占用,對于以后可持續(xù)發(fā)展是非常不利的。
.數(shù)據(jù)中心設(shè)計:
數(shù)據(jù)中心架構(gòu)設(shè)計合理非常關(guān)鍵,方案設(shè)計精細(xì)化也很重要,任何不恰當(dāng)?shù)脑O(shè)計都會導(dǎo)致巨大代價。例如阿里張北數(shù)據(jù)中心,采用新風(fēng)和冷凍水系統(tǒng),在張北這個地方其實(shí)是比較合適的,因?yàn)楫?dāng)?shù)厮Y源比較緊張。
.數(shù)據(jù)中心運(yùn)營:
數(shù)據(jù)中心規(guī)模大之后,這么大的增量和存量靠人肉肯定不行,自動化、大數(shù)據(jù)運(yùn)營、人工智能等等都很必要。
二、數(shù)據(jù)中心變化快:
現(xiàn)在這個時代,互聯(lián)網(wǎng)時代一個產(chǎn)品或業(yè)務(wù)的"存亡"和"爆發(fā)"都會在非常短的時間內(nèi)發(fā)生,用傳統(tǒng)的響應(yīng)方式已經(jīng)不能適應(yīng)互聯(lián)網(wǎng)的需要。
.IDC快速新建,快速擴(kuò)容,按需建設(shè)非常重要;
.做到單元化、標(biāo)準(zhǔn)化和個性化、按需定制化會并存;
.按照周期分解建設(shè)內(nèi)容,實(shí)現(xiàn)建設(shè)速度、建設(shè)成本和匹配需求的最佳結(jié)合;
.對于規(guī)模應(yīng)用,整機(jī)架是非常好的選擇;
三、數(shù)據(jù)中心高可靠:
互聯(lián)網(wǎng)已經(jīng)涉及到民生,對于可靠性的要求不斷提高,互聯(lián)網(wǎng)數(shù)據(jù)中心的地位應(yīng)當(dāng)足夠重視。比如支付寶"5.27"、AWS的雷擊、微信的斷網(wǎng)等等影響都非常巨大。從技術(shù)來看,主要有三方面要求:供電、制冷、網(wǎng)絡(luò)。
.供電系統(tǒng):分布式供電減少影響面;加強(qiáng)柴發(fā)配置,減少外部依賴;
.制冷系統(tǒng):采用不間斷制冷技術(shù)及高可靠性的自控系統(tǒng);
.網(wǎng)絡(luò)系統(tǒng):網(wǎng)絡(luò)包括內(nèi)部和外部,內(nèi)部雙上聯(lián)/多上聯(lián);外部連接多路由;
四、數(shù)據(jù)中心高功率:
看過很多數(shù)據(jù)中心,大規(guī)模的建設(shè)都是16A、20A,這種更多考慮可能是建設(shè)的時候,利潤率更高一點(diǎn),或者是針對中小用戶。真正從用戶端來看,從互聯(lián)網(wǎng)大規(guī)模來看,性價比一定是非常低的,我們現(xiàn)在選擇高功率密度的機(jī)器一定是更劃算的。
五、數(shù)據(jù)中心高帶寬:
在云計算和大數(shù)據(jù)的推動下,網(wǎng)絡(luò)發(fā)展速度非常快,東西流量翻倍,南北流量持續(xù)增加,短時間實(shí)現(xiàn)了百兆,千兆,10G,25G的跨越;用戶需求和流量推動網(wǎng)絡(luò)架構(gòu)不斷演進(jìn),未來會怎么樣?
國外互聯(lián)網(wǎng)巨頭紛紛開啟自建傳輸和光纜,很可能成為未來趨勢,他們已經(jīng)建海底光纜了,像谷歌和亞馬遜,包括澳洲、歐洲和亞洲之間的互聯(lián)。
六、數(shù)據(jù)中心高成本:
狹義的數(shù)據(jù)中心,建設(shè)成本一般2~4萬元/KW-IT,廣義的數(shù)據(jù)中心全壽命周期成本是其10倍以上,那么該如何降低成本:
.最有效的方式是利用率提升(比如云計算、離線在線混部、 服務(wù)器負(fù)荷率、 機(jī)柜負(fù)荷率);
.硬件性能提升,降低數(shù)據(jù)中心PUE,技術(shù)優(yōu)化降低冗余等等也是重要方法之一;
.只盯著PUE一個指標(biāo)往往走向誤區(qū),比如單純的提升溫度或降低數(shù)據(jù)中心冗余,這種絕對是得不償失的。
數(shù)據(jù)中心其實(shí)就是互聯(lián)網(wǎng),快速變化的互聯(lián)網(wǎng)撞上了科技密集的IT業(yè)與傳統(tǒng)的機(jī)電行業(yè),我們做的很多東西不一定是對的。我們在不斷地摸索,經(jīng)常做很多決策,不一定讓大家都能夠理解得了,但是我們?nèi)匀粫诓粩嗟募m結(jié)中,找到平衡點(diǎn)。沿用阿里的話"夢想還是要有的".
萬國數(shù)據(jù)
萬國數(shù)據(jù)高級副總裁 陳怡琳
會上,萬國數(shù)據(jù)高級副總裁陳怡琳重點(diǎn)解讀了高性能數(shù)據(jù)中心。因?yàn)榭蛻舻男枨?,因?yàn)樾枨蟮脑鲩L,因?yàn)樾枨蟮牟町愋?,因?yàn)檎囊恍┲笇?dǎo)的原則,也因?yàn)楦偁幍沫h(huán)境,也就出現(xiàn)了談到的高性能數(shù)據(jù)中心,談到高性能數(shù)據(jù)中心該如何建設(shè)?
一、高性能數(shù)據(jù)中心有五個特點(diǎn):
.高等級:高等級有一個特色,今天客戶在每一個數(shù)據(jù)中心里尋找擴(kuò)展,不僅在當(dāng)?shù)?,還在一個城市里尋找2到3個點(diǎn)的擴(kuò)展,除此以外在不同城市之間尋找擴(kuò)展。這就形成了數(shù)據(jù)中心集群的要求。對于高等級的要求也是有一些規(guī)格認(rèn)證的要求。比如說有ISO的要求、TRA的要求、UPtime的要求,都形成一系列的高等級的定義。
.高密度:目前為止8000瓦變成很常見的規(guī)模,未來10到12千瓦也是很常見的需求。這對數(shù)據(jù)中心的運(yùn)營和能耗都帶來了一定的改變,由此在進(jìn)行定制化和模塊化。
.高能效:阿里千島湖的數(shù)據(jù)中心年平均的密度是1.3,也是為行業(yè)樹立了標(biāo)桿,我們也有很多的技術(shù)手段、運(yùn)營手段來實(shí)現(xiàn)。對于數(shù)據(jù)中心在暖通方面就提出了挑戰(zhàn)。更宏觀的是數(shù)據(jù)中心的選址,包括對國家電力的政策都有很大的依賴性。
.模塊化與定制化:今天運(yùn)行的數(shù)據(jù)中心規(guī)格在變化,除了從單機(jī)柜到樓宇的交付不一樣,有很多產(chǎn)品規(guī)格的要求,比如一路高壓直流、微模塊,對制冷和電力提出了一系列設(shè)計的要求。
二、數(shù)據(jù)中心全生命周期的覆蓋和改革:
.數(shù)據(jù)中心選址:選址非常重要也非常復(fù)雜,50%的數(shù)據(jù)中心在一線城市,為什么?是因?yàn)檫@里有很多客戶的應(yīng)用,比如滴滴打車2秒鐘就要給出反饋,你的反應(yīng)必須要非常快。這就影響到客戶使用的體驗(yàn)和網(wǎng)絡(luò)的部署。今天中國電力的穩(wěn)定性和人才的問題導(dǎo)致你不得不選擇在一線城市。
.數(shù)據(jù)中心設(shè)計:更多的談一談可靠性和性價比的平衡。數(shù)據(jù)中心有一個造價的理念,我們的每一個造價師要盡量的把成本用足,但還要平衡可靠性的因素,平衡將來發(fā)展的因素,平衡將來技術(shù)革新的因素。
.數(shù)據(jù)中心建設(shè):一個改造的數(shù)據(jù)中心5、6個月可以完成,從土建開始12個月左右。跑工地你會發(fā)現(xiàn)中國基建的環(huán)境差異性非常大,所以建設(shè)第一點(diǎn)談的就是質(zhì)量控制 ,這是跟整個行業(yè)的素質(zhì)有關(guān)的。二是變更管理。造的過程中需求會不斷的變化,設(shè)備已經(jīng)買好了但是需求發(fā)生了變化,怎么平衡好。三是成本的管控。
.數(shù)據(jù)中心測試驗(yàn)收:涉及到設(shè)備的場驗(yàn),現(xiàn)場的場驗(yàn),涉及到設(shè)備安裝以后單機(jī)的調(diào)試,也涉及到所有系統(tǒng)安裝好以后聯(lián)機(jī)的調(diào)試。這些環(huán)節(jié)可以幫助我們把控好質(zhì)量的環(huán)節(jié),確保數(shù)據(jù)中心投放的時候是一個安全有保障的數(shù)據(jù)中心。
.數(shù)據(jù)中心運(yùn)維:運(yùn)維平臺涉及到內(nèi)部的管理,涉及到給客戶提供的服務(wù)。無論是從流程還是技術(shù)方面以及人員方面都在非常緊密的耦合,在不斷的優(yōu)化調(diào)整,形成了我們非常強(qiáng)的核心競爭力。
數(shù)據(jù)中心并不是冷冰冰的,最后是以服務(wù)的形式提供給客戶和合作伙伴。
XDC+(江蘇恒云太)
XDC+江蘇恒云太信息科技有限公司副總經(jīng)理 曹曉華
從建設(shè)的階段去做一個高可靠的數(shù)據(jù)中心。數(shù)據(jù)中心的可靠性,從我們的理解來說分幾塊:物理可靠性;電力可靠性;暖通可靠性;控制可靠性。
一、物理可靠性:
.通過將數(shù)據(jù)中心的物流、人流進(jìn)行分離,通過分離人與物進(jìn)入數(shù)據(jù)中心路徑,保證了整體的運(yùn)營安全;
.在物理結(jié)構(gòu)上,實(shí)施全路徑物理隔離,從電纜到管道保證無交錯點(diǎn),并用混凝土墻進(jìn)行隔離;
.在數(shù)據(jù)中心建設(shè)上做到了全方位防入侵,從交通流的組織上面做到全面的防入侵,在將整個樓的外部墻體結(jié)構(gòu)加固為防爆墻;
.通過對外來人員進(jìn)行全路徑監(jiān)控,并通過自主研發(fā)的分析系統(tǒng)進(jìn)行解析,分析數(shù)據(jù)中心是否存在危險,在通過其與報警系統(tǒng)聯(lián)動,將分析結(jié)果通知數(shù)據(jù)中心運(yùn)營人員。
二、電力可靠性:
.市電接入,數(shù)據(jù)中心的電力主體為10KV母線,并為其設(shè)置了兩個母聯(lián)開關(guān),將其分為紅色跟藍(lán)色,放置于不同的房間內(nèi),保證單獨(dú)電力維護(hù)不會影響到整體數(shù)據(jù)中心的電力設(shè)施,保障了整體的安全可靠性。
.柴油發(fā)電機(jī),在數(shù)據(jù)中心柴發(fā)方面,采用N+1或者N+2的形式,通過兩段母線進(jìn)行引入,保障數(shù)據(jù)中心電力的高可靠性;
.UPS,在數(shù)據(jù)中心電力運(yùn)維方面,整個數(shù)據(jù)中心采用統(tǒng)一的UPS,以保障任何一臺UPS出現(xiàn)故障,都會有備件的UPS來支撐數(shù)據(jù)中心業(yè)務(wù)連續(xù)性,并為每組數(shù)據(jù)中心機(jī)房模塊配備獨(dú)立的2NUPS,以保障電力設(shè)施的可靠性;在整個系統(tǒng)架構(gòu)來說,通過使用傳統(tǒng)的2NUPS代替高壓直流技術(shù),并用兩組獨(dú)立的2N UPS代載冷通道。
三、暖通可靠性:
.受墻體結(jié)構(gòu)和樓房內(nèi)部建筑的影響,局部熱點(diǎn)是數(shù)據(jù)中心建設(shè)的重要問題,為了保障數(shù)據(jù)中心暖氣流通性,將數(shù)據(jù)中心空間設(shè)置為無柱結(jié)構(gòu),并將頂板降低一米,保障物流和人流通道氣流順暢平穩(wěn);
.在末端采用2N結(jié)構(gòu)空調(diào);
.在管路上設(shè)計為單側(cè)環(huán)網(wǎng)模式;
.在數(shù)據(jù)中心制冷設(shè)計方面,采用四冷凍站結(jié)構(gòu),實(shí)現(xiàn)各模塊數(shù)據(jù)中心之間冷凍站的共用,提高了制冷系統(tǒng)的運(yùn)行效率;
.數(shù)據(jù)中心冷凍站管理方面采用DCS控制系統(tǒng),冷機(jī)的控制跟冷泵的控制采用了獨(dú)立控制系統(tǒng),將四個冷凍站進(jìn)行環(huán)狀連接,單體的冷凍站可為任意末端供水,提高了數(shù)據(jù)中心制冷系統(tǒng)的運(yùn)行效率;
.采用數(shù)據(jù)中心獨(dú)特的補(bǔ)水系統(tǒng),通過過濾使水質(zhì)達(dá)到飲用級標(biāo)準(zhǔn);
.在排水系統(tǒng)方面,為管道做全路徑漏水檢測,并將其記錄在XDC控制系統(tǒng),與報警系統(tǒng)互聯(lián),及時發(fā)現(xiàn)問題,為機(jī)房模塊設(shè)置了多環(huán)路冗余排水系統(tǒng)。
四、控制可靠性:
.控制系統(tǒng)分為采集系統(tǒng)和高頻率的采集,傳統(tǒng)的采集系統(tǒng)將所有的數(shù)據(jù)上傳至PLC,統(tǒng)一存儲、查找與管理,高頻率的采集是將重要數(shù)據(jù)著重采集,并將數(shù)據(jù)獨(dú)立存儲,數(shù)據(jù)不再存儲在原來工業(yè)的數(shù)據(jù)庫里,而是存在MYsql的數(shù)據(jù)系統(tǒng)里;
.在配電側(cè)采用全冗余的控制器,并擁有國家認(rèn)證的IC61850標(biāo)準(zhǔn),二次泵上采用獨(dú)立的冗余器,并為數(shù)據(jù)中心做了獨(dú)立的分析系統(tǒng),從整體的配電系統(tǒng)上的儀表、脫口到暖通設(shè)備的傳感器,統(tǒng)一對數(shù)據(jù)中心進(jìn)行了全系統(tǒng)的波形捕捉,所有儀表支持每波63次采集的頻率,收集的數(shù)據(jù)統(tǒng)一存儲近HadOOP里,加強(qiáng)了配電系統(tǒng)數(shù)據(jù)的安全性;
.決策系統(tǒng)基于在整個配電系統(tǒng)之上的,決策系統(tǒng)會基于多個數(shù)據(jù)中心的數(shù)據(jù)分析進(jìn)行決策,將所有數(shù)據(jù)中心控制系統(tǒng)統(tǒng)一管路,實(shí)現(xiàn)了全遠(yuǎn)程的控制;
.其次將數(shù)據(jù)中心所有的系統(tǒng)做到了標(biāo)準(zhǔn)化,每個數(shù)據(jù)中心軟件是恒定的,每當(dāng)總控制系統(tǒng)進(jìn)行軟件升級的時候,對它控制邏輯進(jìn)行升級的時候,會同步升級到每一個數(shù)據(jù)中心的控制系統(tǒng),來保障整體系統(tǒng)的軟件版本始終是統(tǒng)一的。
五、網(wǎng)絡(luò)可靠性:
.在每個數(shù)據(jù)中心都去架設(shè)波分設(shè)備,而且做到了80×100G波分的技術(shù),以完成數(shù)據(jù)中心建設(shè)免費(fèi)的互聯(lián);
.另外通過一些高性能的路由設(shè)備,實(shí)現(xiàn)全網(wǎng)帶寬超過1.5TB的能力。通過國內(nèi)運(yùn)營商,以及國際運(yùn)營商,建立超過20個TB帶寬,來保障整體的電路可靠性。
以上整理,部分演講內(nèi)容有刪減!
2016年12月20-22日,第十一屆中國IDC產(chǎn)業(yè)年度大典隆重召開,阿里巴巴、萬國數(shù)據(jù)、XDC+(江蘇恒云太)分別就數(shù)據(jù)中心建設(shè)實(shí)踐經(jīng)驗(yàn)進(jìn)行分享,下面就一起來看看他們是如何造就高逼格數(shù)據(jù)中心的:
阿里巴巴
阿里巴巴集團(tuán)技術(shù)保障IDC高級專家 劉水旺
如今,互聯(lián)網(wǎng)數(shù)據(jù)中心的主要特點(diǎn)包括規(guī)模大、變化快、高帶寬、高功率、高成本、高可靠性,那么根據(jù)這些特點(diǎn)又該如何來建設(shè)數(shù)據(jù)中心呢?
一、數(shù)據(jù)中心規(guī)模大:
近年來,隨著互聯(lián)網(wǎng)的快速發(fā)展,尤其是移動互聯(lián)網(wǎng)的興起,推動了互聯(lián)網(wǎng)數(shù)據(jù)中心規(guī)模和數(shù)量都在增加,加之互聯(lián)網(wǎng)集中度高,"二八"效應(yīng)非常明顯,更促進(jìn)了數(shù)據(jù)中心規(guī)模大這一特點(diǎn)。那么大規(guī)模數(shù)據(jù)中心該如何選擇、設(shè)計及運(yùn)營呢?
.數(shù)據(jù)中心選址:
單個點(diǎn)占用資源越來越多,選址越來越難選,符合條件的非常少;怎么辦?現(xiàn)在國內(nèi),北京已經(jīng)在關(guān)注能耗,數(shù)據(jù)中心PUE要求1.5以下才能批準(zhǔn)。在國內(nèi)其他城市,更多的是靠自律。我們認(rèn)為數(shù)據(jù)中心選址應(yīng)盡可能少的占用資源,這是非常重要,如果我們不減少資源的占用,對于以后可持續(xù)發(fā)展是非常不利的。
.數(shù)據(jù)中心設(shè)計:
數(shù)據(jù)中心架構(gòu)設(shè)計合理非常關(guān)鍵,方案設(shè)計精細(xì)化也很重要,任何不恰當(dāng)?shù)脑O(shè)計都會導(dǎo)致巨大代價。例如阿里張北數(shù)據(jù)中心,采用新風(fēng)和冷凍水系統(tǒng),在張北這個地方其實(shí)是比較合適的,因?yàn)楫?dāng)?shù)厮Y源比較緊張。
.數(shù)據(jù)中心運(yùn)營:
數(shù)據(jù)中心規(guī)模大之后,這么大的增量和存量靠人肉肯定不行,自動化、大數(shù)據(jù)運(yùn)營、人工智能等等都很必要。
二、數(shù)據(jù)中心變化快:
現(xiàn)在這個時代,互聯(lián)網(wǎng)時代一個產(chǎn)品或業(yè)務(wù)的"存亡"和"爆發(fā)"都會在非常短的時間內(nèi)發(fā)生,用傳統(tǒng)的響應(yīng)方式已經(jīng)不能適應(yīng)互聯(lián)網(wǎng)的需要。
.IDC快速新建,快速擴(kuò)容,按需建設(shè)非常重要;
.做到單元化、標(biāo)準(zhǔn)化和個性化、按需定制化會并存;
.按照周期分解建設(shè)內(nèi)容,實(shí)現(xiàn)建設(shè)速度、建設(shè)成本和匹配需求的最佳結(jié)合;
.對于規(guī)模應(yīng)用,整機(jī)架是非常好的選擇;
三、數(shù)據(jù)中心高可靠:
互聯(lián)網(wǎng)已經(jīng)涉及到民生,對于可靠性的要求不斷提高,互聯(lián)網(wǎng)數(shù)據(jù)中心的地位應(yīng)當(dāng)足夠重視。比如支付寶"5.27"、AWS的雷擊、微信的斷網(wǎng)等等影響都非常巨大。從技術(shù)來看,主要有三方面要求:供電、制冷、網(wǎng)絡(luò)。
.供電系統(tǒng):分布式供電減少影響面;加強(qiáng)柴發(fā)配置,減少外部依賴;
.制冷系統(tǒng):采用不間斷制冷技術(shù)及高可靠性的自控系統(tǒng);
.網(wǎng)絡(luò)系統(tǒng):網(wǎng)絡(luò)包括內(nèi)部和外部,內(nèi)部雙上聯(lián)/多上聯(lián);外部連接多路由;
四、數(shù)據(jù)中心高功率:
看過很多數(shù)據(jù)中心,大規(guī)模的建設(shè)都是16A、20A,這種更多考慮可能是建設(shè)的時候,利潤率更高一點(diǎn),或者是針對中小用戶。真正從用戶端來看,從互聯(lián)網(wǎng)大規(guī)模來看,性價比一定是非常低的,我們現(xiàn)在選擇高功率密度的機(jī)器一定是更劃算的。
五、數(shù)據(jù)中心高帶寬:
在云計算和大數(shù)據(jù)的推動下,網(wǎng)絡(luò)發(fā)展速度非??欤瑬|西流量翻倍,南北流量持續(xù)增加,短時間實(shí)現(xiàn)了百兆,千兆,10G,25G的跨越;用戶需求和流量推動網(wǎng)絡(luò)架構(gòu)不斷演進(jìn),未來會怎么樣?
國外互聯(lián)網(wǎng)巨頭紛紛開啟自建傳輸和光纜,很可能成為未來趨勢,他們已經(jīng)建海底光纜了,像谷歌和亞馬遜,包括澳洲、歐洲和亞洲之間的互聯(lián)。
六、數(shù)據(jù)中心高成本:
狹義的數(shù)據(jù)中心,建設(shè)成本一般2~4萬元/KW-IT,廣義的數(shù)據(jù)中心全壽命周期成本是其10倍以上,那么該如何降低成本:
.最有效的方式是利用率提升(比如云計算、離線在線混部、 服務(wù)器負(fù)荷率、 機(jī)柜負(fù)荷率);
.硬件性能提升,降低數(shù)據(jù)中心PUE,技術(shù)優(yōu)化降低冗余等等也是重要方法之一;
.只盯著PUE一個指標(biāo)往往走向誤區(qū),比如單純的提升溫度或降低數(shù)據(jù)中心冗余,這種絕對是得不償失的。
數(shù)據(jù)中心其實(shí)就是互聯(lián)網(wǎng),快速變化的互聯(lián)網(wǎng)撞上了科技密集的IT業(yè)與傳統(tǒng)的機(jī)電行業(yè),我們做的很多東西不一定是對的。我們在不斷地摸索,經(jīng)常做很多決策,不一定讓大家都能夠理解得了,但是我們?nèi)匀粫诓粩嗟募m結(jié)中,找到平衡點(diǎn)。沿用阿里的話"夢想還是要有的".
萬國數(shù)據(jù)
萬國數(shù)據(jù)高級副總裁 陳怡琳
會上,萬國數(shù)據(jù)高級副總裁陳怡琳重點(diǎn)解讀了高性能數(shù)據(jù)中心。因?yàn)榭蛻舻男枨螅驗(yàn)樾枨蟮脑鲩L,因?yàn)樾枨蟮牟町愋?,因?yàn)檎囊恍┲笇?dǎo)的原則,也因?yàn)楦偁幍沫h(huán)境,也就出現(xiàn)了談到的高性能數(shù)據(jù)中心,談到高性能數(shù)據(jù)中心該如何建設(shè)?
一、高性能數(shù)據(jù)中心有五個特點(diǎn):
.高等級:高等級有一個特色,今天客戶在每一個數(shù)據(jù)中心里尋找擴(kuò)展,不僅在當(dāng)?shù)?,還在一個城市里尋找2到3個點(diǎn)的擴(kuò)展,除此以外在不同城市之間尋找擴(kuò)展。這就形成了數(shù)據(jù)中心集群的要求。對于高等級的要求也是有一些規(guī)格認(rèn)證的要求。比如說有ISO的要求、TRA的要求、UPtime的要求,都形成一系列的高等級的定義。
.高密度:目前為止8000瓦變成很常見的規(guī)模,未來10到12千瓦也是很常見的需求。這對數(shù)據(jù)中心的運(yùn)營和能耗都帶來了一定的改變,由此在進(jìn)行定制化和模塊化。
.高能效:阿里千島湖的數(shù)據(jù)中心年平均的密度是1.3,也是為行業(yè)樹立了標(biāo)桿,我們也有很多的技術(shù)手段、運(yùn)營手段來實(shí)現(xiàn)。對于數(shù)據(jù)中心在暖通方面就提出了挑戰(zhàn)。更宏觀的是數(shù)據(jù)中心的選址,包括對國家電力的政策都有很大的依賴性。
.模塊化與定制化:今天運(yùn)行的數(shù)據(jù)中心規(guī)格在變化,除了從單機(jī)柜到樓宇的交付不一樣,有很多產(chǎn)品規(guī)格的要求,比如一路高壓直流、微模塊,對制冷和電力提出了一系列設(shè)計的要求。
二、數(shù)據(jù)中心全生命周期的覆蓋和改革:
.數(shù)據(jù)中心選址:選址非常重要也非常復(fù)雜,50%的數(shù)據(jù)中心在一線城市,為什么?是因?yàn)檫@里有很多客戶的應(yīng)用,比如滴滴打車2秒鐘就要給出反饋,你的反應(yīng)必須要非???。這就影響到客戶使用的體驗(yàn)和網(wǎng)絡(luò)的部署。今天中國電力的穩(wěn)定性和人才的問題導(dǎo)致你不得不選擇在一線城市。
.數(shù)據(jù)中心設(shè)計:更多的談一談可靠性和性價比的平衡。數(shù)據(jù)中心有一個造價的理念,我們的每一個造價師要盡量的把成本用足,但還要平衡可靠性的因素,平衡將來發(fā)展的因素,平衡將來技術(shù)革新的因素。
.數(shù)據(jù)中心建設(shè):一個改造的數(shù)據(jù)中心5、6個月可以完成,從土建開始12個月左右。跑工地你會發(fā)現(xiàn)中國基建的環(huán)境差異性非常大,所以建設(shè)第一點(diǎn)談的就是質(zhì)量控制 ,這是跟整個行業(yè)的素質(zhì)有關(guān)的。二是變更管理。造的過程中需求會不斷的變化,設(shè)備已經(jīng)買好了但是需求發(fā)生了變化,怎么平衡好。三是成本的管控。
.數(shù)據(jù)中心測試驗(yàn)收:涉及到設(shè)備的場驗(yàn),現(xiàn)場的場驗(yàn),涉及到設(shè)備安裝以后單機(jī)的調(diào)試,也涉及到所有系統(tǒng)安裝好以后聯(lián)機(jī)的調(diào)試。這些環(huán)節(jié)可以幫助我們把控好質(zhì)量的環(huán)節(jié),確保數(shù)據(jù)中心投放的時候是一個安全有保障的數(shù)據(jù)中心。
.數(shù)據(jù)中心運(yùn)維:運(yùn)維平臺涉及到內(nèi)部的管理,涉及到給客戶提供的服務(wù)。無論是從流程還是技術(shù)方面以及人員方面都在非常緊密的耦合,在不斷的優(yōu)化調(diào)整,形成了我們非常強(qiáng)的核心競爭力。
數(shù)據(jù)中心并不是冷冰冰的,最后是以服務(wù)的形式提供給客戶和合作伙伴。
XDC+(江蘇恒云太)
XDC+江蘇恒云太信息科技有限公司副總經(jīng)理 曹曉華
從建設(shè)的階段去做一個高可靠的數(shù)據(jù)中心。數(shù)據(jù)中心的可靠性,從我們的理解來說分幾塊:物理可靠性;電力可靠性;暖通可靠性;控制可靠性。
一、物理可靠性:
.通過將數(shù)據(jù)中心的物流、人流進(jìn)行分離,通過分離人與物進(jìn)入數(shù)據(jù)中心路徑,保證了整體的運(yùn)營安全;
.在物理結(jié)構(gòu)上,實(shí)施全路徑物理隔離,從電纜到管道保證無交錯點(diǎn),并用混凝土墻進(jìn)行隔離;
.在數(shù)據(jù)中心建設(shè)上做到了全方位防入侵,從交通流的組織上面做到全面的防入侵,在將整個樓的外部墻體結(jié)構(gòu)加固為防爆墻;
.通過對外來人員進(jìn)行全路徑監(jiān)控,并通過自主研發(fā)的分析系統(tǒng)進(jìn)行解析,分析數(shù)據(jù)中心是否存在危險,在通過其與報警系統(tǒng)聯(lián)動,將分析結(jié)果通知數(shù)據(jù)中心運(yùn)營人員。
二、電力可靠性:
.市電接入,數(shù)據(jù)中心的電力主體為10KV母線,并為其設(shè)置了兩個母聯(lián)開關(guān),將其分為紅色跟藍(lán)色,放置于不同的房間內(nèi),保證單獨(dú)電力維護(hù)不會影響到整體數(shù)據(jù)中心的電力設(shè)施,保障了整體的安全可靠性。
.柴油發(fā)電機(jī),在數(shù)據(jù)中心柴發(fā)方面,采用N+1或者N+2的形式,通過兩段母線進(jìn)行引入,保障數(shù)據(jù)中心電力的高可靠性;
.UPS,在數(shù)據(jù)中心電力運(yùn)維方面,整個數(shù)據(jù)中心采用統(tǒng)一的UPS,以保障任何一臺UPS出現(xiàn)故障,都會有備件的UPS來支撐數(shù)據(jù)中心業(yè)務(wù)連續(xù)性,并為每組數(shù)據(jù)中心機(jī)房模塊配備獨(dú)立的2NUPS,以保障電力設(shè)施的可靠性;在整個系統(tǒng)架構(gòu)來說,通過使用傳統(tǒng)的2NUPS代替高壓直流技術(shù),并用兩組獨(dú)立的2N UPS代載冷通道。
三、暖通可靠性:
.受墻體結(jié)構(gòu)和樓房內(nèi)部建筑的影響,局部熱點(diǎn)是數(shù)據(jù)中心建設(shè)的重要問題,為了保障數(shù)據(jù)中心暖氣流通性,將數(shù)據(jù)中心空間設(shè)置為無柱結(jié)構(gòu),并將頂板降低一米,保障物流和人流通道氣流順暢平穩(wěn);
.在末端采用2N結(jié)構(gòu)空調(diào);
.在管路上設(shè)計為單側(cè)環(huán)網(wǎng)模式;
.在數(shù)據(jù)中心制冷設(shè)計方面,采用四冷凍站結(jié)構(gòu),實(shí)現(xiàn)各模塊數(shù)據(jù)中心之間冷凍站的共用,提高了制冷系統(tǒng)的運(yùn)行效率;
.數(shù)據(jù)中心冷凍站管理方面采用DCS控制系統(tǒng),冷機(jī)的控制跟冷泵的控制采用了獨(dú)立控制系統(tǒng),將四個冷凍站進(jìn)行環(huán)狀連接,單體的冷凍站可為任意末端供水,提高了數(shù)據(jù)中心制冷系統(tǒng)的運(yùn)行效率;
.采用數(shù)據(jù)中心獨(dú)特的補(bǔ)水系統(tǒng),通過過濾使水質(zhì)達(dá)到飲用級標(biāo)準(zhǔn);
.在排水系統(tǒng)方面,為管道做全路徑漏水檢測,并將其記錄在XDC控制系統(tǒng),與報警系統(tǒng)互聯(lián),及時發(fā)現(xiàn)問題,為機(jī)房模塊設(shè)置了多環(huán)路冗余排水系統(tǒng)。
四、控制可靠性:
.控制系統(tǒng)分為采集系統(tǒng)和高頻率的采集,傳統(tǒng)的采集系統(tǒng)將所有的數(shù)據(jù)上傳至PLC,統(tǒng)一存儲、查找與管理,高頻率的采集是將重要數(shù)據(jù)著重采集,并將數(shù)據(jù)獨(dú)立存儲,數(shù)據(jù)不再存儲在原來工業(yè)的數(shù)據(jù)庫里,而是存在MYsql的數(shù)據(jù)系統(tǒng)里;
.在配電側(cè)采用全冗余的控制器,并擁有國家認(rèn)證的IC61850標(biāo)準(zhǔn),二次泵上采用獨(dú)立的冗余器,并為數(shù)據(jù)中心做了獨(dú)立的分析系統(tǒng),從整體的配電系統(tǒng)上的儀表、脫口到暖通設(shè)備的傳感器,統(tǒng)一對數(shù)據(jù)中心進(jìn)行了全系統(tǒng)的波形捕捉,所有儀表支持每波63次采集的頻率,收集的數(shù)據(jù)統(tǒng)一存儲近HadOOP里,加強(qiáng)了配電系統(tǒng)數(shù)據(jù)的安全性;
.決策系統(tǒng)基于在整個配電系統(tǒng)之上的,決策系統(tǒng)會基于多個數(shù)據(jù)中心的數(shù)據(jù)分析進(jìn)行決策,將所有數(shù)據(jù)中心控制系統(tǒng)統(tǒng)一管路,實(shí)現(xiàn)了全遠(yuǎn)程的控制;
.其次將數(shù)據(jù)中心所有的系統(tǒng)做到了標(biāo)準(zhǔn)化,每個數(shù)據(jù)中心軟件是恒定的,每當(dāng)總控制系統(tǒng)進(jìn)行軟件升級的時候,對它控制邏輯進(jìn)行升級的時候,會同步升級到每一個數(shù)據(jù)中心的控制系統(tǒng),來保障整體系統(tǒng)的軟件版本始終是統(tǒng)一的。
五、網(wǎng)絡(luò)可靠性:
.在每個數(shù)據(jù)中心都去架設(shè)波分設(shè)備,而且做到了80×100G波分的技術(shù),以完成數(shù)據(jù)中心建設(shè)免費(fèi)的互聯(lián);
.另外通過一些高性能的路由設(shè)備,實(shí)現(xiàn)全網(wǎng)帶寬超過1.5TB的能力。通過國內(nèi)運(yùn)營商,以及國際運(yùn)營商,建立超過20個TB帶寬,來保障整體的電路可靠性。
以上整理,部分演講內(nèi)容有刪減!