如今,全球最大的職業(yè)社交網(wǎng)站LinkedIn公司對超大數(shù)據(jù)中心的需求和規(guī)模達(dá)到前所未有的程度,一些社交網(wǎng)絡(luò)公司也正在采取許多相同的方法來構(gòu)建超大規(guī)模數(shù)據(jù)中心基礎(chǔ)設(shè)施,而谷歌、Facebook和微軟公司一直在為此努力。
這些方法包括直接從數(shù)據(jù)中心設(shè)計制造商定制的硬件,軟件和數(shù)據(jù)中心基礎(chǔ)設(shè)施,并大型IT廠商采購硬件,這些IT廠商其中包括惠普、戴爾、思科等公司。
“我們將數(shù)據(jù)中心進(jìn)行了改造,我們?yōu)榇隧椖恳呀?jīng)開展了8個月的工作。”LinkedIn公司全球基礎(chǔ)設(shè)施架構(gòu)和策略首席工程師尤瓦爾·巴沙爾說。
此外據(jù)悉,LinkedIn公司正在申請在波特蘭之外新建一個數(shù)據(jù)中心基礎(chǔ)設(shè)施。LinkedIn公司的目前所在數(shù)據(jù)中心設(shè)施是從Infomart公司租賃的,其數(shù)據(jù)中心設(shè)施采用的定制的電氣和機(jī)械設(shè)計,網(wǎng)絡(luò)交換機(jī)也是定制的。
這是LinkedIn公司第一個設(shè)計的可以使該公司從上萬臺服務(wù)器到10萬臺服務(wù)器上運(yùn)行的數(shù)據(jù)中心。
巴沙爾表示,LinkedIn公司分布在美國加利福尼亞州、德克薩斯州、弗吉尼亞州,以及新加坡的數(shù)據(jù)中心,將逐漸過渡成新的超大規(guī)模數(shù)據(jù)中心基礎(chǔ)設(shè)施。
Infomart公司在俄勒岡州希爾斯伯勒的波特蘭數(shù)據(jù)中心
采用Homebaked100G交換機(jī)和fabric架構(gòu)
數(shù)據(jù)中心改造轉(zhuǎn)型中最重要的問題是重新思考LinkedIn公司數(shù)據(jù)中心的網(wǎng)絡(luò)部署方式。該公司設(shè)計了自己的100千兆的交換機(jī)以及一個向外擴(kuò)展的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)。
該計劃的交換機(jī)與LinkedIn公司現(xiàn)有數(shù)據(jù)中心使用的一樣。如今,該公司采用了一家知名廠商提供的普通交換機(jī)和白盒交換機(jī)的組合設(shè)計。
LinkedIn公司采用了以100G為基準(zhǔn)的網(wǎng)絡(luò)技術(shù),因為該公司最終需要這樣的帶寬(未來標(biāo)準(zhǔn)),而且該技術(shù)可使它獲得10G、25G、50G的傳輸速度,巴沙爾解釋道。
使用psm4光學(xué)接口標(biāo)準(zhǔn),LinkedIn公司工程師將100G的接口分為兩個50G的接口。他們的最新交換技術(shù)與40G光互連解決方案相比,顯著地降低了成本。巴沙爾表示。“這是當(dāng)今高帶寬連接的最具成本效益的解決方案。”他說。
高功率密度的設(shè)計
在這一點上,LinkedIn公司還未開始設(shè)計自己的服務(wù)器,而其他的超大規(guī)模數(shù)據(jù)中心運(yùn)營商都已采用自己設(shè)計的服務(wù)器。然而,該公司確實從其原始設(shè)計制造商購買服務(wù)器,并在菜單上選擇了一些配置進(jìn)行修改。
巴沙爾表示,對于下一代數(shù)據(jù)中心,LinkedIn公司已經(jīng)考慮了其服務(wù)器設(shè)計的規(guī)格,并具有更好的成本效益。
新的fabric架構(gòu)使LinkedIn公司能夠轉(zhuǎn)換到一個高功率密度的數(shù)據(jù)中心的設(shè)計,F(xiàn)acebook和微軟使用了高度分布式的模型,這與低密度的數(shù)據(jù)中心完全不同。
LinkedIn公司俄勒岡的數(shù)據(jù)中心每機(jī)柜將有96個服務(wù)器,這略低于當(dāng)今每柜18KW的功率密度,他說,但該數(shù)據(jù)中心采用的冷卻技術(shù)可以允許其功率密度達(dá)到每架32千瓦。相比之下,F(xiàn)acebook公司的數(shù)據(jù)中心的平均功率密度約為5.5kW,這個數(shù)據(jù)是Facebook公司基礎(chǔ)設(shè)施副總裁杰森·泰勒曾經(jīng)透露的。另一個已經(jīng)走上了高功率密度路線的互聯(lián)網(wǎng)巨頭是eBay公司。
為了對這種高功率密度的數(shù)據(jù)中心設(shè)施進(jìn)行冷卻,LinkedIn公司在每個機(jī)柜采用導(dǎo)熱門,每個機(jī)柜其自身包含的生態(tài)系統(tǒng),這里沒有傳統(tǒng)數(shù)據(jù)中心所采用的冷熱通道技術(shù)。
“一切都采用的是冷通道,”巴沙爾說,“而熱通道被包含在機(jī)架本身之內(nèi)”。
在對服務(wù)器、電源和空間成本進(jìn)行詳細(xì)分析之后,LinkedIn公司決定采用高功率密度的設(shè)計。而高功率密度是LinkedIn公司對數(shù)據(jù)中心進(jìn)行最優(yōu)化的路線,巴沙爾表示。
采用這種設(shè)計的最主要的原因是,該公司采用租用數(shù)據(jù)中心空間,因此其具有空間和功耗的限制,而Facebook或谷歌公司一般都是自己設(shè)計和建造數(shù)據(jù)中心,而LinkedIn公司則沒有這樣的條件,巴沙爾解釋。
開放創(chuàng)新
這也是LinkedIn公司決定不使用開放式計算項目的硬件,因為其并不適合標(biāo)準(zhǔn)的數(shù)據(jù)中心和數(shù)據(jù)中心機(jī)架。
巴沙爾表示,LinkedIn公司目前沒有任何計劃加入Facebook公司主導(dǎo)的開源硬件(OCP)和數(shù)據(jù)中心的設(shè)計工作,而蘋果、微軟、谷歌公司都已經(jīng)成為OCP成員。但LinkedIn公司表示會分享公開支持OCP的理想。
LinkedIn公司將會通過OCP或另一種途徑內(nèi)部公開一些基礎(chǔ)設(shè)施的創(chuàng)新。“我們將分享我們的硬件開發(fā)和軟件開發(fā)的一些成果。”巴沙爾說。