優(yōu)化Hadoop提升數(shù)據(jù)中心30倍性能

責(zé)任編輯:黃心怡

2013-04-12 09:34:24

摘自:賽迪網(wǎng)

在今年的IDF大會(huì)上,英特爾公司高級副總裁兼數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部(DCSG)總經(jīng)理柏安娜針對企業(yè)級應(yīng)用給出了答案。

一直以來英特爾在消費(fèi)級領(lǐng)域都是扮演者領(lǐng)導(dǎo)者,那么其在企業(yè)級應(yīng)用領(lǐng)域有何出色表現(xiàn)?未來數(shù)據(jù)中心能實(shí)現(xiàn)什么樣的價(jià)值呢?

在今年的IDF大會(huì)上,英特爾公司高級副總裁兼數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部(DCSG)總經(jīng)理柏安娜針對企業(yè)級應(yīng)用給出了答案。

數(shù)據(jù)高效管理對系統(tǒng)要求更高

談到數(shù)據(jù)管理,柏安娜表示,從物聯(lián)網(wǎng)一直到數(shù)據(jù)中心,大家都不斷的在討論所謂的大數(shù)據(jù)、海量數(shù)據(jù),而資料管理跟分析過去都是IT部門負(fù)責(zé)的工作,不過現(xiàn)在的情況已經(jīng)不一樣了,數(shù)據(jù)也跟過去不同了。首先是速度方面,現(xiàn)在很多的企業(yè)都是全年不打烊的,消費(fèi)者他們希望能夠得到最快的響應(yīng)速度。

英特爾公司高級副總裁兼數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部(DCSG)總經(jīng)理 柏安娜

第二個(gè)變化就是數(shù)據(jù)的類型,過去是結(jié)構(gòu)化的數(shù)據(jù),可是現(xiàn)在大部分都是非結(jié)構(gòu)化的數(shù)據(jù)。因?yàn)樯缃痪W(wǎng)站上面有很多的信息,有很多的視頻,有很多的微博。有幾十億個(gè)設(shè)備通過互聯(lián)網(wǎng)進(jìn)行互聯(lián),因此創(chuàng)造了很多很多的數(shù)據(jù)。這么多的數(shù)據(jù)也代表傳統(tǒng)的數(shù)據(jù)庫跟傳統(tǒng)的智能管理系統(tǒng)已經(jīng)不復(fù)使用。既然要解決日常生活的問題,首先想到的是交通的問題,每一年中國都會(huì)多出幾百萬輛的新車,中國通車的時(shí)間會(huì)增加55分鐘,上班和下班的時(shí)間一天花在通勤的時(shí)間上面就會(huì)增加2個(gè)小時(shí)。所以,要通過監(jiān)視錄影機(jī)來搜集數(shù)據(jù),包括很多的傳感器來收集數(shù)據(jù),進(jìn)行數(shù)據(jù)分析。讓數(shù)據(jù)中心跟網(wǎng)絡(luò)邊緣能夠進(jìn)行有效的傳輸。比如目前在中國僅僅是一個(gè)城市就有3萬個(gè)所謂的監(jiān)視器,有2萬個(gè)傳感器,可以看到數(shù)據(jù)的量有多大。

博康(BOCOM)是中國最大的一家監(jiān)視器制造商,他們跟英特爾合作的解決方案采用至強(qiáng)E3技術(shù),可以大幅度的減少交通擁堵的情形,也可以提高安全性。假如有必要的話急救人員可以以最快的速度趕到現(xiàn)場。可以看到在短短的300毫秒的時(shí)間就可以完成這些大數(shù)據(jù)的分析工作。

英特爾和Hadoop合作提升30倍性能

Hadoop和開發(fā)源碼的一些解決方案,也可以說對于大數(shù)據(jù)的分析有很大的幫助,這跟英特爾一樣,有越來越多的企業(yè)會(huì)采用Hadoop來管理他們的數(shù)據(jù)。因此,英特爾持續(xù)加強(qiáng)對Hadoop的投資,也希望進(jìn)一步的強(qiáng)化開源社區(qū),能夠有效的利用處理器技術(shù),比如說壓縮。英特爾早期已經(jīng)有了很好的一些成績,在中國有一些客戶幫助部署Hadoop,因此讓他們能夠推出大數(shù)據(jù)的解決方案。比如說中國移動(dòng)、中國聯(lián)通以及其他的一些公司。

據(jù)了解,中國移動(dòng)有很多的呼叫數(shù)據(jù)記錄,假如有一個(gè)客戶要搜尋他的電話號碼,要把他的所有呼叫記錄調(diào)出來,每秒會(huì)增加16萬筆的數(shù)據(jù),因此資料數(shù)據(jù)庫的量非常的龐大。英特爾要看兩個(gè)基架有什么差別,第一個(gè)是至強(qiáng)的解決方案。新的系統(tǒng)有固態(tài)盤,過去是以太網(wǎng)絡(luò),新的基架采用的是英特爾的Hadoop,所以速度快了很多。首先CPU性能提升了2倍,而且固態(tài)盤性能提升了5倍。除此以外,以太網(wǎng)絡(luò)也有10倍的增長?;苓M(jìn)行優(yōu)化以后,大家可以看到不用40秒就可以完成大數(shù)據(jù)的分析工作。只要把重點(diǎn)擺在解決方案上,要有效的處理大數(shù)據(jù),要用最新的CPU,要用最快的以太網(wǎng)絡(luò),同時(shí)結(jié)合固態(tài)盤和Hadoop的系統(tǒng),因此性能提升了30倍以上。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號