英特爾新推出的Intel版Hadoop不但改寫了Hadoop框架的核心功能,強(qiáng)化對(duì)處理器指令集的支持來提高效能,并能使用芯片內(nèi)建加密來保護(hù)數(shù)據(jù),這是英特爾進(jìn)軍Big Data的殺手锏軟件。
繼Cloudera與Hortonworks之后,英特爾在2月27日全球同步宣布推出Intel專屬的Hadoop軟件,包括Hadoop發(fā)行版(Intel Distribution)以及Hadoop管理工具Intel Manager與Intel Active Tuner,這是英特爾從2009年開始投入大數(shù)據(jù)研究以來,首度發(fā)布的大數(shù)據(jù)軟件產(chǎn)品,英特爾將以開源分布式資料分析平臺(tái)Hadoop進(jìn)軍大數(shù)據(jù)市場(chǎng)。
英特爾DCSG亞太區(qū)總經(jīng)理Jason Fedder表示,Hadoop發(fā)行版是以英特爾的硬件(至強(qiáng)處理器)為基礎(chǔ),提供Hadoop用戶更安全、更容易部署、更有效率的數(shù)據(jù)處理平臺(tái),未來,英特爾也會(huì)繼續(xù)投入Hadoop的研發(fā)。
英特爾DCSG亞太區(qū)總監(jiān)Patrick Buddenbaum
英特爾DCSG亞太區(qū)總監(jiān)Patrick Buddenbaum表示,英特爾重新改寫了Hadoop框架,可直接支持Xeon升級(jí)運(yùn)算加密指令集AES-NI,來提高數(shù)據(jù)運(yùn)算速度,還能在數(shù)據(jù)儲(chǔ)存到HBase的過程,用芯片原生的加密功能保護(hù)。
英特爾的策略目標(biāo),是要打造一個(gè)開放的大數(shù)據(jù)市場(chǎng)生態(tài),因此,將會(huì)通過不同行業(yè)伙伴結(jié)盟開拓Hadoop市場(chǎng)。Jason Fedder表示,目前除了OEM代工廠商之外,系統(tǒng)整合商與獨(dú)立軟件開發(fā)商將是直接供企業(yè)部署英特爾版Hadoop的合作伙伴,英特爾則提供教育訓(xùn)練。目前已與20多家軟硬件廠商策略結(jié)盟,包括SAP、思科、SAS、1degreenorth、Revolution Analytics等。
英特爾所推出的Hadoop專屬軟件平臺(tái),主要包括三個(gè)部分,第一是Hadoop平臺(tái)的管理工具,其二則是基于Hadoop框架所做的特殊強(qiáng)化,包括HDFS、MapReduce以及HBase都有重新改寫,同時(shí)并支持SQL查詢指令語(yǔ)言Hive,對(duì)于SQL指令的查詢速度提升了8.5倍。其三,英特爾的Hadoop架構(gòu)中,也納入了其它常用的Hadoop工具,例如:Zookeeper等。
英特爾DCSG亞太區(qū)總監(jiān)Patrick Buddenbaum表示,由于英特爾重新改寫了Hadoop框架,可以直接支持Xeon進(jìn)階運(yùn)算加密指令集AES-NI,來提高數(shù)據(jù)運(yùn)算速度,還能讓數(shù)據(jù)收集、儲(chǔ)存到HBase的過程,可以被芯片原生的加密功能保護(hù),而性能又不會(huì)因?yàn)榧用苁艿接绊憽?/p>
Patrick Buddenbaum表示,采用英特爾Xeon E5-2690處理器、搭配英特爾SSD 520快閃硬盤和10GbE網(wǎng)卡,1TB的數(shù)據(jù)量處理將可縮短到7分鐘。
在此之前,英特爾曾經(jīng)推出HiBench,作為部署Hadoop系統(tǒng)效能調(diào)校的參考指標(biāo)。Patrick Buddenbaum表示,目前英特爾所推出的Hadoop軟件,將以訂閱模式提供商用客戶,在產(chǎn)品正式推出前,包括中國(guó)移動(dòng)、中國(guó)聯(lián)通、Nextbio以及英特爾內(nèi)部都已經(jīng)率先部署。如中國(guó)移動(dòng)部署了133個(gè)Hadoop節(jié)點(diǎn)來處理每個(gè)月30TB的帳務(wù)數(shù)據(jù)。
未來研究鎖定人機(jī)智能及圖形運(yùn)算分析
未來,英特爾將會(huì)持續(xù)投入大數(shù)據(jù)的研究,包括人機(jī)智能及圖形運(yùn)算分析,針對(duì)Hadoop方面,最近才有兩個(gè)新的項(xiàng)目正式啟動(dòng),其中一個(gè)項(xiàng)目名稱是Panthera,將著重在SQL與Hadoop的整合,另一個(gè)項(xiàng)目則是Rhino,將針對(duì)更深的Hadoop應(yīng)用進(jìn)行研究,是2月26日剛啟動(dòng)的項(xiàng)目。
英特爾數(shù)據(jù)中心與嵌入式系統(tǒng)亞太區(qū)產(chǎn)品營(yíng)銷經(jīng)理RK Hiremane表示,Hadoop還不是一個(gè)成熟市場(chǎng),但英特爾特別看好電信業(yè)、金融業(yè)、政府機(jī)關(guān)以及醫(yī)療產(chǎn)業(yè)的發(fā)展?jié)摿?。從?yīng)用的角度來看,具體需求主要會(huì)來自改善客戶或人民的服務(wù)以及新事業(yè)發(fā)展等面向。
英特爾在新加坡發(fā)布專屬的Hadoop軟件時(shí),合作廠商1degreenorth與Revolutio也現(xiàn)身說法。1degreenorth副總裁DR.ZhaoPei指出,當(dāng)企業(yè)開始評(píng)估導(dǎo)入Hadoop系統(tǒng)時(shí),一定會(huì)進(jìn)行全面性的評(píng)估,過去只能選擇Cloudera與Hortonworks,但是現(xiàn)在多了一個(gè)Intel版本,從軟件開發(fā)商的角度來看,在亞太地區(qū),不論Cloudera或Hortonworks并沒有特別投入資源,英特爾則通過系統(tǒng)整合商與獨(dú)立軟件開發(fā)商來提供企業(yè)相關(guān)服務(wù),同時(shí)并提供相關(guān)的技術(shù)咨詢,則是一個(gè)非常重要的競(jìng)爭(zhēng)力。
在臺(tái)灣,英特爾Hadoop架構(gòu)推出之后,備受沖擊的無非是精誠(chéng)Etu,主要是因?yàn)镋tu采預(yù)先整合軟硬件的做法,來優(yōu)化Hadoop平臺(tái)的性能。精誠(chéng)Etu首席顧問陳昭宇表示,Hadoop原本就是x86架構(gòu)的系統(tǒng),而英特爾又是x86的鼻祖,如今又因應(yīng)Hadoop市場(chǎng),提供在英特爾硬件平臺(tái)上部署Hadoop系統(tǒng)的最佳化軟件,在品牌效益上確實(shí)容易爭(zhēng)取到企業(yè)的信賴。
不過,陳昭宇表示,目前Hadoop的應(yīng)用在大中華區(qū)才剛剛開始萌芽,幾乎每一個(gè)客戶都是以項(xiàng)目方式進(jìn)行,英特爾雖然以大廠之姿搶進(jìn)Hadoop市場(chǎng),未來能否在市場(chǎng)脫穎而出,決勝關(guān)鍵在于Hadoop系統(tǒng)的軟件開發(fā)與技術(shù)服務(wù)能力。因?yàn)槟壳捌髽I(yè)并沒有足夠駕馭Hadoop技術(shù)的人才,所以非常仰賴第一線廠商提供Hadoop平臺(tái)上的應(yīng)用開發(fā)與技術(shù)服務(wù)?,F(xiàn)階段,英特爾雖然是通過軟件開發(fā)廠商等布局,不過,這些廠商是否具有相關(guān)技術(shù)能力,并且投入全部心力來開拓市場(chǎng),還需要時(shí)間證明。