最近Facebook向國外媒體展示了其第一款OpenRack服務(wù)器,據(jù)稱Facebook的數(shù)據(jù)中心裝配有超過十萬臺這種高能源利用率的服務(wù)器。像亞馬遜,谷歌微軟等大型企業(yè),都對低成本高效能的服務(wù)器和數(shù)據(jù)中心十分青睞,并且他們往往不會選擇市面上的IBM、惠普或是戴爾的服務(wù)器。它們會自己設(shè)計研制服務(wù)器,來滿足特殊要求同時又將零部件的數(shù)量降到最低。
Facebook工程師展示雙路服務(wù)器
Facebook的“OpenRack”機(jī)架服務(wù)器,有著標(biāo)準(zhǔn)的機(jī)架式結(jié)構(gòu),有些類似普通的機(jī)架式服務(wù)器,但是又與普通機(jī)架服務(wù)器不完全相同。
它有著獨立的電源模塊,存儲模塊,這就意味著,所有的這些部件都能夠單獨拆卸下來更換,而不用替換整個服務(wù)器。
至于機(jī)架服務(wù)器的存儲陣列,目前最大的設(shè)計突破在于OpenVault,它是一種能降低費用新的磁盤陣列設(shè)計。
FaceMatt Corddry
盡管Facebook的在自主服務(wù)器領(lǐng)域的野心比較大,但是Facebook的服務(wù)器工程師小組現(xiàn)在還是少于40人。FaceMatt Corddry,目前Facebook的硬件工程部門的高級經(jīng)理,此前他在亞馬遜擔(dān)任同樣的職位,F(xiàn)aceMatt說到,我們觀念是保持小型快速的小組,因為大型的團(tuán)隊效率比較慢。每一個典型的項目組的人數(shù)都少于10人,我們喜歡快速反應(yīng),并且小型的團(tuán)隊容易打破常規(guī)建立新的思路。
Facebook的OpenRack服務(wù)器,采用Facebook最新的第三代的2路x86服務(wù)器設(shè)計,此外工程師們已經(jīng)開始了第四代服務(wù)器的設(shè)計。與眾不同的是,F(xiàn)acebook第三代服務(wù)器的主板只包含處理器和PCIE插槽,并沒有以太網(wǎng)卡或是其他接口,而這些這在一般的服務(wù)器主板中都是必需的。
雙路x86服務(wù)器主板
雖然主板上并沒有以太網(wǎng)卡,但是Facebook服務(wù)器另外配置了10GB的以太網(wǎng)卡,此外還有一個硬盤作為引導(dǎo)磁盤。
普通股服務(wù)器主板
據(jù)稱,F(xiàn)acebook的工程師正在努力研制怎樣用更小更快的固態(tài)硬盤來代替現(xiàn)有的硬盤。他們尤其希望將250-500G的硬盤換成128GB的固態(tài)硬盤。這種固態(tài)硬盤目前價格合理而且容量也是足夠。
每一個機(jī)架倉位能夠裝下3個最新的第三代最新的Facebook自行設(shè)計的雙路x86服務(wù)器。
Facebook自行設(shè)計的雙路x86服務(wù)器
對比普通的服務(wù)器,就可以看到,F(xiàn)acebook的最新的第三代服務(wù)器十分的狹長,狹長形的整體有些類似雪橇。一個機(jī)架倉位只能放置一臺普通的2U服務(wù)器,而Facebook自行設(shè)計的第三代服務(wù)器則是能放三臺。
普通服務(wù)器內(nèi)部結(jié)構(gòu)
從上圖普通的2U機(jī)架式服務(wù)器的結(jié)構(gòu)也可以看出,電源,存儲磁盤以及以太網(wǎng)口,都是集成在一起的,而Facebook自行設(shè)計的服務(wù)器則是分成了不同的模塊。
Facebook第二代雙路服務(wù)器就比較接近普通的機(jī)架式服務(wù)器,要比現(xiàn)在的第三代服務(wù)器寬許多,一個機(jī)架倉位也只能容下兩臺服務(wù)器。而且可以看到電源也是就在服務(wù)器同一個倉位。
Facebook第二代雙路服務(wù)器
在最新的第三代服務(wù)器設(shè)計中,電源也單獨分開了,每一個機(jī)架倉位可以放置7個電源模塊,能夠提供12.6kW的電力。
電源
而且最新的第三代服務(wù)器結(jié)構(gòu)設(shè)計更為緊湊。一個倉位能容下三臺這樣的雪橇狀的服務(wù)器。
機(jī)架一覽
從上圖的機(jī)架中的配置可以看到,圖上的最下面一層是三臺雙路x86服務(wù)器,而上面幾層則是專門的存儲磁盤陣列。
OpenVault磁盤陣列組
一個倉位能放置OpenVault磁盤陣列組,圖上顯示有5個OpenVault磁盤陣列組,每一個OpenVault磁盤陣列組都有15個硬盤盤位。>>
每個OpenVault陣列卡都控制著主板的擴(kuò)展槽。在未來,主板將會集成ARM架構(gòu)的控制器來運行特殊的存儲功能。Facebook相信這些應(yīng)用能夠成為ARM系統(tǒng)芯片的首要用途。
OpenVault陣列卡
這些硬盤都是采用活動式卡扣結(jié)構(gòu),都是能輕松的取下硬盤更換。
OpenVault磁盤陣列組盤位
不過相比普通機(jī)架服務(wù)器的硬盤盤位設(shè)計,F(xiàn)acebook的這種將磁盤單獨做成一個模塊的設(shè)計,更換起來還是沒有普通的方便。普通的服務(wù)器不用抽出整個服務(wù)器就能更換硬盤。
普通機(jī)架服務(wù)器硬盤盤位
我們再來看看整個機(jī)柜的背面,每一層的背面都是風(fēng)扇。
機(jī)柜背面整體
從上圖我們可以清楚的發(fā)現(xiàn),F(xiàn)acebook在設(shè)計各個模塊時,所有的風(fēng)扇都設(shè)計在了機(jī)柜的尾部,而普通的機(jī)架服務(wù)則是設(shè)計在了機(jī)柜的中部位置。這種風(fēng)扇設(shè)計,方便了服務(wù)器內(nèi)部與外部的通風(fēng)。而且由于Facebook特殊的狹長型的服務(wù)器設(shè)計,風(fēng)扇與處理器的距離也不會很遠(yuǎn)。
普通機(jī)架服務(wù)器中部風(fēng)扇
普通機(jī)架服務(wù)中,CPU一般是放置中部,因此風(fēng)扇也相應(yīng)的安排在中間的位置。
全文總結(jié):從上面Facebook服務(wù)器與普通機(jī)架服務(wù)器的對比可以看出,F(xiàn)acebook服務(wù)器最大的特征在于將每一個部分都模塊化了,從電源,CPU,再到存儲硬盤,這樣的好處在于其中某個部件損壞,只需更換相應(yīng)的部件就可以,而不用對整個服務(wù)器進(jìn)行檢查。