第二屆OCP峰會過后不到一周,2011年11月1日,百度、阿里巴巴、騰訊(合稱BAT)三巨頭在英特爾(Intel)的支持下發(fā)起天蝎項目(Project Scorpio)。相隔只有半年的這兩個項目因諸多共性而經(jīng)常被放在一起比較,不過,天蝎項目最初的構(gòu)想遠沒有開放計算項目(Open Compute Project,OCP)那么宏大,而BAT在IT基礎(chǔ)設(shè)施建設(shè)上的成就也不止整機柜服務(wù)器那么簡單。
在具有代表性的“自主”IT基礎(chǔ)設(shè)施建設(shè)上,BAT各有側(cè)重,可以不太嚴謹?shù)恼f:阿里去IOE,騰訊TMDC,百度領(lǐng)舞天蝎。后兩個看似均在OCP覆蓋范圍內(nèi),其實也是三家都在做的事情。
進一步展開前,先建立一個粗略的格局對照組:
百度對Google,搜索,最先確立的一個中美對應(yīng)關(guān)系;
阿里對AWS,電商和公有云;
騰訊對Facebook,社交巨頭。
微軟與金山并非生于互聯(lián)網(wǎng),微軟在社交尚未敗陣之時,兩者完全不是一個量級。如今,至少在中國市場上,金山系的小米手機可以秒殺Windows Phone,而金山云能否追近Windows Azure(全球已更名為Microsoft Azure),還要看未來發(fā)展。
騰訊:自建數(shù)據(jù)中心與TMDC
BAT都有自建數(shù)據(jù)中心,但是美國的互聯(lián)網(wǎng)巨頭們自建數(shù)據(jù)中心更為普遍,最關(guān)鍵的區(qū)別就是——我們百說不厭的“國情不同”。
同樣是起家于社交服務(wù),騰訊的資歷比Facebook老,投身數(shù)據(jù)中心建設(shè)的時間也更早。騰訊2008年就開始建設(shè)位于天津濱海新區(qū)的數(shù)據(jù)中心,2010年1月封頂,12月建成。Facebook的第一個數(shù)據(jù)中心2010年1月才開始建設(shè),卻幾乎在同時完工,建設(shè)進度不可同日而語。
騰訊天津濱海數(shù)據(jù)中心外景,圖中左側(cè)建筑主體為當時尚未啟用的4號樓,中間露出一角的為3號樓
騰訊的第一代數(shù)據(jù)中心從2006年起步,在深圳寶安租的一棟廠房進行改造。2007年啟動的天津濱海數(shù)據(jù)中心發(fā)展為騰訊第二代和第三代(二期)數(shù)據(jù)中心,可承載超過20萬臺服務(wù)器,是目前亞洲最大的數(shù)據(jù)中心之一;屬于二期的3號樓,供電容量60MW(30×2),號稱亞洲單體供電能力最強的數(shù)據(jù)中心,單機柜平均容量8KW,高可到10KW。3號樓能承載10萬臺服務(wù)器,差不多相當于8萬個城市家庭的總用電量。
天津數(shù)據(jù)中心從開始拿地到最后交付,前后差不多用了三年時間。騰訊是第一次建設(shè)這么大規(guī)模的數(shù)據(jù)中心,有經(jīng)驗欠缺和天氣原因(2009年年底,天津遭遇暴雪)的因素,但Facebook也是第一次,卻只用了不到一年的時間。
騰訊天津數(shù)據(jù)中心3號樓外景和內(nèi)部大堂顯示的運營參數(shù),當時投入生產(chǎn)只有半年多(見安全運營天數(shù)),進駐服務(wù)器較少,實時負載才1.3MW左右,PUE也接近1.5。隨著服務(wù)器數(shù)量的增加,這兩個參數(shù)都會向設(shè)計值靠攏
百度在山西陽泉的數(shù)據(jù)中心,建設(shè)周期為四年,一期總建筑面積達12萬平方米,從2012年8月19日奠基開工,到投入使用,也經(jīng)歷了兩年左右的時間;美國Switch公司在拉斯維加斯的SuperNAP 9數(shù)據(jù)中心,由3個分段組成,面積47.1萬平方英尺(近4.4萬平方米),供電能力可達50MVA,預(yù)計建設(shè)工期一年,因為賭城允許24小時施工。
上面這組數(shù)字還算是接近的??傮w而言,美國互聯(lián)網(wǎng)巨頭建設(shè)數(shù)據(jù)中心的進度更快,不得不提“中國特色”。相比美國,我國的數(shù)據(jù)中心建設(shè)主要受三大因素限制:土地、空氣、產(chǎn)業(yè)環(huán)境——簡而言之,就是“環(huán)境”。
首先,美國地廣人稀,可以毫無負擔的采用單層倉儲式大開間的設(shè)計,如Facebook的數(shù)據(jù)中心,單體一層大開間容量就可達到十萬臺服務(wù)器量級。與樓房相比,框架簡單,強度要求不高,不用考慮樓板承重問題,建設(shè)速度快,建好后直接進駐機架、微模塊、集裝箱無壓力,部署速度也快。
2013年8月底,夕陽下的Altoona數(shù)據(jù)中心建設(shè)工地,可以清晰的看到兩層閣樓式結(jié)構(gòu),只在地面層放置服務(wù)器。占地約194英畝(78.5萬平方米),到2013年11月中旬,每天有超過200人工作,累計工時近10萬小時
其次,空氣質(zhì)量好,可以直接采用外部空氣冷卻(自然風冷),像Facebook就是頂棚進風和出風,外部空氣進入后與適當比例的熱通道(hot aisle)回風混合(必要時噴水霧),送入服務(wù)器機架前端所在的數(shù)據(jù)中心冷通道(cold aisle)。100%自然空氣冷卻,沒有空調(diào)水冷那么復(fù)雜的管線,也降低了對數(shù)據(jù)中心建筑的要求,同時提高能效和建設(shè)速度,可謂一舉兩得。
最后,美國的運營商數(shù)量眾多,互聯(lián)網(wǎng)巨頭在網(wǎng)絡(luò)建設(shè)上有很大的自主權(quán),Google甚至在多地推出了光纖接入服務(wù)。因此,在偏遠地區(qū)建設(shè)數(shù)據(jù)中心,網(wǎng)絡(luò)接入不會成為制約因素。
反觀中國,由于全國網(wǎng)絡(luò)建設(shè)的不均衡,BAT等互聯(lián)網(wǎng)巨頭,建設(shè)數(shù)據(jù)中心要首選靠近用戶的地方,通常在人口密集的一二線城市附近(如百度M1數(shù)據(jù)中心在北京市酒仙橋區(qū)域),樓房必須是常態(tài),不敢奢望單層倉儲式大開間。即使是在相對偏遠的地區(qū),如融科智地建于大慶市東部的大慶聯(lián)想科技城云計算數(shù)據(jù)中心,也因為政府對建設(shè)用地容積率的規(guī)定,必須建成三層樓房。受限于地塊容積率、建筑覆蓋率等硬性條件,蓋兩層、三層,甚至五層樓的結(jié)構(gòu),會帶來很多制約。譬如,集裝箱在美國單層倉庫式數(shù)據(jù)中心可以很方便地進出,而在中國卻上不了樓。
GDS位于外高橋科技園區(qū)的上海自貿(mào)區(qū)數(shù)據(jù)中心,阿里與百度均為其客戶。多層建筑,以及由此而來的層高、立柱等限制,都是在前幾章Google和Facebook的數(shù)據(jù)中心照片里很難體會到的
另一個有目共睹的問題就是空氣質(zhì)量,特別是京津地區(qū),近幾年的狀況堪憂。騰訊在天津數(shù)據(jù)中心部分嘗試過空氣自然冷卻,但是空氣中的含硫量過高,腐蝕了許多硬盤的電路板,導(dǎo)致硬盤故障率上升很快,脫硫方案成本又非常高,后來只能關(guān)閉自然冷卻,改回內(nèi)部循環(huán)。因此,空調(diào)和水循環(huán)冷卻系統(tǒng)仍不可少。典型的做法是一層接市電、裝柴油發(fā)電機,以及制冷設(shè)備和復(fù)雜的水循環(huán)管路,二、三層布置服務(wù)器機架等IT設(shè)備及電、冷支持系統(tǒng)(如騰訊天津數(shù)據(jù)中心3號樓)。這樣的話,基建工作復(fù)雜、要求高,IT系統(tǒng)的部署則受限于電梯等中間環(huán)節(jié),總體周期長,PUE(Power Usage Effectiveness,電源使用效率)也無法與Facebook相比。
浪潮為新風制冷數(shù)據(jù)中心設(shè)計的SmartRack高溫耐腐蝕節(jié)點,主板、硬盤、內(nèi)存、電源等部分都有涂覆,可在45度的高溫環(huán)境中正常運行
考慮到中國數(shù)據(jù)中心市場的現(xiàn)狀,BAT在加大自建數(shù)據(jù)中心力度的同時,仍與運營商或第三方數(shù)據(jù)中心服務(wù)提供商保持緊密的合作。百度有陽泉,阿里建張北,兩者還在上海使用萬國數(shù)據(jù)(GDS)的數(shù)據(jù)中心,阿里云與華通云數(shù)據(jù)(華數(shù))的合作也由來已久。據(jù)說騰訊的服務(wù)器分布在全國13個城市的58個數(shù)據(jù)中心(這個數(shù)字應(yīng)該在變化),可以確定的是,騰訊在天津、上海、深圳都有大型數(shù)據(jù)中心,天津濱海為自建,深圳坪山為聯(lián)通按照騰訊的(數(shù)據(jù)中心及微模塊相關(guān))技術(shù)標準和規(guī)范建造,上海青浦則是騰訊與電信合建,建筑面積近5.8萬平方米,由4棟數(shù)據(jù)中心樓、1棟業(yè)務(wù)樓和1座35KV變電站等主要建筑組成,全部建成后可容納10萬臺服務(wù)器。
2015年6月,騰訊在重慶兩江新區(qū)的數(shù)據(jù)中心正式開工建設(shè)。該項目于2013年年底簽約,預(yù)計總投資金額為10億美元,占地面積150畝(10萬平方米),首期建成規(guī)模為10萬臺服務(wù)器,最終將建設(shè)為30萬臺服務(wù)器規(guī)模的大型云計算數(shù)據(jù)中心。重慶數(shù)據(jù)中心是騰訊在中西部地區(qū)建設(shè)的首個大型數(shù)據(jù)中心,也是其全國第四個大型云計算數(shù)據(jù)中心。這些數(shù)據(jù)中心都位于人口密集的一二線城市附近,好處是明顯的,建設(shè)上不利的外部條件也難以規(guī)避,特別是除天津外,均處在炎熱潮濕的南方,對數(shù)據(jù)中心的散熱提出了很大的挑戰(zhàn)。