把舊數(shù)據(jù)“冷凍”起來 Facebook這是在干嗎?

責任編輯:editor004

作者:訾竣喆

2015-11-11 09:34:59

摘自:雷鋒網(wǎng)

當有人提到“可持續(xù)發(fā)展”這個詞語的時候,第一個出現(xiàn)在你腦海里的肯定不會是數(shù)據(jù)中心。而Facebook位于北卡萊羅納的數(shù)據(jù)中心僅通過使用自然風制冷,并提高服務(wù)器硬件的耐熱性能,就打造出了PUE能耗效率值僅為1 07的超級綠色數(shù)據(jù)中心。

當有人提到“可持續(xù)發(fā)展”這個詞語的時候,第一個出現(xiàn)在你腦海里的肯定不會是數(shù)據(jù)中心。而實際上,這些有著龐大的計算機組、網(wǎng)絡(luò)架構(gòu)以及存儲設(shè)備的大樓卻是典型的耗電大戶。原因就在于,為了保障這些設(shè)備正常運轉(zhuǎn),必須要有一個巨型的冷卻系統(tǒng)來保證其一直在低溫狀態(tài)下運行。它們的配電系統(tǒng)會在這一制冷過程中損失近千瓦的電力。并且,為了保障設(shè)備不受突發(fā)狀況導(dǎo)致的停電所影響,這些大廈往往還需要配備有備用電池和柴油發(fā)電機。而很明顯,這兩者并不是什么清潔能源,會嚴重影響周圍的環(huán)境。

許多互聯(lián)網(wǎng)巨頭都在想辦法改善這一狀況——建設(shè)自己的數(shù)據(jù)中心。他們自己搭建自己的硬件系統(tǒng),努力使得他們的數(shù)據(jù)中心更加環(huán)保。這樣做對他們來說最直觀的益處就是能夠降低運營成本,并且運轉(zhuǎn)起來相對也更加的便捷。很明顯,有一些公司在環(huán)保方面下的力度很大,其中一個典型例子就是Facebook。Facebook大量采用自己自家的技術(shù)來搭建綠色環(huán)保的數(shù)據(jù)中心,并且把這種經(jīng)驗開放出來跟大家共享。Facebook最先進的阿爾圖納數(shù)據(jù)中心就采用了由廉價交換機組成的網(wǎng)狀連接交換架構(gòu)來提升性能,F(xiàn)acebook稱之為下一代的數(shù)據(jù)中心——Data Center Fabric。這對于提升數(shù)據(jù)中心的網(wǎng)絡(luò)性能、降低成本以及提高能效起到了非常關(guān)鍵的作用。

所有這一切都開始于8年前,當時Facebook正在著手設(shè)計其位于Prineville的第一個數(shù)據(jù)中心。Facebook自那時開始,就已經(jīng)聘用了專門負責可持續(xù)發(fā)展的董事Bill Weihl,他直接對Facebook的環(huán)保工作負責。在此期間,F(xiàn)acebook已經(jīng)做了很長時間的實驗,來研究如何設(shè)計建立用可持續(xù)能源來供電的綠色數(shù)據(jù)中心。

冷存儲(cold storage)

如今,F(xiàn)acebook的數(shù)據(jù)庫中有數(shù)十億的圖片,而你肯定無法想像為了存儲這些圖片將會消耗掉多少電力。在2013年,F(xiàn)acebook的圖片存儲系統(tǒng)HayStack一共產(chǎn)生了1EB的數(shù)據(jù)流量。(1EB=1024PB;1PB=1024TB;1TB=1024GB)這個數(shù)字是非常驚人的。雖然這些圖片在大多數(shù)情況下在被分享幾周之后就很少再會被查看了,但是Facebook仍然需要保存他們,而且必須要確保即使是在硬盤出現(xiàn)故障的情況下也要保障圖片文件的完整性。

這就意味著Facebook需要在數(shù)據(jù)中心保存大量的數(shù)據(jù),為了保證這一點就需要其提供大量的電力。而Facebook的工程師則巧妙的利用了“負瓦特”,開發(fā)了一個名叫"Cold Storage"的系統(tǒng)。Cold Storage能夠允許Facebook數(shù)據(jù)中心內(nèi)超過一半的磁盤在任何時候關(guān)機,從而實現(xiàn)大幅降低功耗?,F(xiàn)在,F(xiàn)acebook的存儲團隊正在考慮進一步節(jié)約能源,比如將老舊的圖像拷入藍光磁盤內(nèi)。

目前Facebook已經(jīng)在Prineville及 Forest 兩個中心建設(shè)了兩套cold storage系統(tǒng)。cold storage系統(tǒng)的每個服務(wù)器機柜可容納1.92 PB的數(shù)據(jù)。因此,在完全架設(shè)完畢的情況下,每一個數(shù)據(jù)中心可以存儲1EB的數(shù)據(jù)。而且Facebook在設(shè)計時還考慮到了未來。很多系統(tǒng)在規(guī)模擴大或者利用率上升時往往就會出現(xiàn)性能下降的問題,而Facebook的這套系統(tǒng)則從一開始設(shè)計時就考慮到了。Facebook的做法是每次增加容量時,都將軟件對現(xiàn)有數(shù)據(jù)進行再平衡。也就是說將原有數(shù)據(jù)分配到新的硬件上,并釋放之前用過的空間。這個過程并非實時進行,十分適合用于系統(tǒng)的逐步移植。這樣既不影響系統(tǒng)的使用,又能逐步將數(shù)據(jù)遷移到新硬件上。如果把Cold Storage看作一塊大硬盤的話,這種再平衡的做法就可以視為智能硬盤整理程序。

降低耗電是開發(fā)Cold Storage系統(tǒng)的主要目的之一。據(jù)介紹這套系統(tǒng)的耗電極低,僅需消耗傳統(tǒng)數(shù)據(jù)中心 1/6的電量。其主要手段就是以空間換功耗——Facebook的數(shù)據(jù)中心占地面積非常大。但是隨著以后單盤容量的提升,其存儲規(guī)模還可以進一步擴大。同時由于cold storage存放的不是活躍數(shù)據(jù),而是歷史數(shù)據(jù),所以 Facebook可以把冗余電力系統(tǒng)(不間斷電源、柴油發(fā)電機、備用電池等)也拋棄了,從而進一步提升了能效。

為了盡可能降低能耗,Cold Storage 允許服務(wù)器不帶硬盤一起啟動,之后將由軟件來控制其閑時時段。不過這樣就要求Facebook對Open Vault的存儲規(guī)范進行修改。Facebook最大的改動就是——每次只允許為每個托盤上的一塊硬盤供電。為了避免軟件bug錯將所有硬盤都供電,導(dǎo)致數(shù)據(jù)中心保險燒壞,F(xiàn)acebook甚至還專門修改了每一塊硬盤驅(qū)動器的固件。此外,由于不需要每次都給所有硬盤供電了,F(xiàn)acebook還通過一系列的優(yōu)化成功使得機架的存儲密度大大增加,與傳統(tǒng)存儲服務(wù)器相比,其耗電只有后者的 1/4。

提升能源使用效率

在2012年,紐約時報的一篇報道揭露了IT業(yè)數(shù)據(jù)中心效率低下,耗電量驚人的問題。自此之后,降低數(shù)據(jù)中心能耗效率值(PUE)便成了考核數(shù)據(jù)中心的熱門指標之一。(PUE指數(shù)據(jù)中心總耗電量與IT設(shè)備耗電量的比值,這個值越接近1,數(shù)據(jù)中心的能耗效率就越高)。

而Facebook位于北卡萊羅納的數(shù)據(jù)中心僅通過使用自然風制冷,并提高服務(wù)器硬件的耐熱性能,就打造出了PUE能耗效率值僅為1.07的超級綠色數(shù)據(jù)中心。這個數(shù)值也大大超過了Google數(shù)據(jù)中心PUE能耗效率值——1.12。據(jù)介紹,F(xiàn)acebook使用Bin Maker軟件分析天氣數(shù)據(jù),預(yù)測出北卡萊羅納的溫度和濕度,然后通過美國采暖、制冷和空調(diào)工程師協(xié)會(ASHRAE)的數(shù)據(jù)來判斷是否需要使用空調(diào)。

此外,F(xiàn)acebook還根據(jù)其發(fā)布的Open Compute標準開發(fā)出了能耐受更高室內(nèi)溫度和濕度的服務(wù)器硬件,并通過改善傳統(tǒng)數(shù)據(jù)中心電力供應(yīng)鏈來減少在電力轉(zhuǎn)換過程中的能源損失。對傳統(tǒng)服務(wù)器來說,如果一個UPS壞了或者電源部件壞了,整個數(shù)據(jù)中心就癱瘓了,而對Open Compute來說,只是某個部分不能繼續(xù)使用罷了。另外,在維修傳統(tǒng)服務(wù)器時,維修人員必須將整個服務(wù)器拿出來,用工具拆開后才可以修理;而Open Compute則采用了通用電源插座,維修時直接通過滑軌拉出來就可以實現(xiàn)在線維修。為了進一步提高能源使用效率,甚至連數(shù)據(jù)中心樓道里的燈都是只有在人通過的情況下才會亮。Facebook在提高數(shù)據(jù)中心能源使用效率上下的功夫可見一斑。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號