大數(shù)據(jù)正如火如荼,是繼云計(jì)算之后的又一熱詞。大數(shù)據(jù)具有前所未有的大量化、快速化和多樣化三大特點(diǎn),這些是許多新技術(shù)背后的驅(qū)動(dòng)力,這些技術(shù)可幫助企業(yè)處理大數(shù)據(jù)帶來(lái)的多種新問(wèn)題。
在諸多的新興解決方案中,Hadoop和MapReduce被視為是兩種大有希望的方法,可高效管理和分析大數(shù)據(jù)。但目前針對(duì)MapReduce應(yīng)用的運(yùn)行時(shí)引擎還無(wú)法提供足夠功能來(lái)滿足企業(yè)希望在生產(chǎn)環(huán)境中部署MapReduce應(yīng)用的實(shí)際需求。
對(duì)企業(yè)IT部門(mén)來(lái)說(shuō),先進(jìn)的運(yùn)行時(shí)引擎應(yīng)該是這樣一種管理工具:它可以在滿足高標(biāo)準(zhǔn)服務(wù)水平協(xié)議(SLA)的同時(shí),支持企業(yè)里的各業(yè)務(wù)部門(mén)。這類(lèi)管理工具應(yīng)該能夠支持混合類(lèi)型的工作負(fù)載,包括MapReduce應(yīng)用及業(yè)務(wù)部門(mén)在共享式網(wǎng)格上智能化提交的其他應(yīng)用。
此外,如今的IT部門(mén)正在經(jīng)歷重大轉(zhuǎn)變。在許多情況下,IT部門(mén)不再只是個(gè)成本中心,相反,它被視作是支持企業(yè)里各業(yè)務(wù)部門(mén)的服務(wù)提供者。預(yù)算有限、工作負(fù)載需求加大,使得IT部門(mén)面臨巨大的壓力,必須進(jìn)一步充分利用現(xiàn)有的基礎(chǔ)架構(gòu),最大限度地提高總的資源利用率。
讓在基礎(chǔ)架構(gòu)方面的投資迅速獲得回報(bào)是IT部門(mén)在做采購(gòu)決策時(shí)最重要的考量因素之一。能充分利用現(xiàn)有的基礎(chǔ)架構(gòu),滿足更高的工作負(fù)載需求,并實(shí)時(shí)動(dòng)態(tài)地滿足需求,進(jìn)一步節(jié)省成本,提高投資回報(bào),無(wú)疑是企業(yè)希望尋找的解決方案。
為了支持MapReduce應(yīng)用等新型應(yīng)用,IT部門(mén)迫切需要一種共享式服務(wù)運(yùn)行時(shí)平臺(tái)以獲得更好的性能、更高的資源利用率、自動(dòng)監(jiān)控和診斷功能,同時(shí)也需要IT基礎(chǔ)架構(gòu)能提供更高級(jí)的應(yīng)用生命周期支持。
何謂共享式服務(wù)模型?
共享式服務(wù)模型是指這樣一種基礎(chǔ)架構(gòu)平臺(tái):它允許多個(gè)應(yīng)用(無(wú)論其類(lèi)型和要求是什么)能夠在共享式基礎(chǔ)架構(gòu)上并行執(zhí)行。共享式服務(wù)模型常常由一種先進(jìn)的應(yīng)用調(diào)度和資源管理引擎來(lái)管理,為它所支持的企業(yè)里的多個(gè)業(yè)務(wù)部門(mén)提供有保障的服務(wù)。
共享式服務(wù)IT模型提供以下幾個(gè)重要好處:
少花錢(qián)多辦事
迅速獲得基礎(chǔ)架構(gòu)方面的投資回報(bào)
提供更好的可管理性
有更好的可擴(kuò)展性和靈活性以支持不斷變化的應(yīng)用需求
利用收費(fèi)政策,讓IT部門(mén)的角色從成本中心轉(zhuǎn)變成盈利中心
現(xiàn)有的Hadoop MapReduce運(yùn)行時(shí)引擎面臨的挑戰(zhàn)
遺憾的是,目前MapReduce運(yùn)行時(shí)引擎的Hadoop實(shí)現(xiàn)無(wú)法提供上述的共享式服務(wù)功能。這歸因于Hadoop作業(yè)跟蹤器(Hadoop JobTracker)的基本架構(gòu)設(shè)計(jì)Hadoop作業(yè)跟蹤器是一個(gè)管理層,在運(yùn)行期間為MapReduce作業(yè)提供必要的服務(wù)。
目前的Hadoop作業(yè)跟蹤器還無(wú)法把作業(yè)調(diào)度邏輯與資源管理邏輯分離開(kāi)來(lái),這直接導(dǎo)致了下列重大缺陷:
缺少企業(yè)級(jí)能力。在任何一個(gè)時(shí)間,只有一個(gè)MapReduce應(yīng)用可以在集群上運(yùn)行。因而,資源變成了靜態(tài)的和用途單一的;而應(yīng)用也是串行執(zhí)行,而不是并行執(zhí)行,導(dǎo)致無(wú)法有效利用的資源、形成煙囪式的IT環(huán)境,限制了可擴(kuò)展性。
作業(yè)跟蹤器成為單一故障點(diǎn)。如果作業(yè)跟蹤器出現(xiàn)故障,所有運(yùn)行中的作業(yè)都將停止。
很顯然,目前Hadoop作業(yè)跟蹤器能力有限,無(wú)法提供IT部門(mén)在生產(chǎn)級(jí)環(huán)境中部署MapReduce應(yīng)用所需的共享式服務(wù)功能。
借助Platform Symphony MapReduce提供共享式服務(wù)
Platform Symphony MapReduce是一種生產(chǎn)級(jí)、分布式的運(yùn)行時(shí)引擎,用于管理規(guī)?;拇髷?shù)據(jù)應(yīng)用。Platform Symphony MapReduce為企業(yè)運(yùn)行大數(shù)據(jù)應(yīng)用提供了下列獨(dú)特好處:
能夠?yàn)镮T部門(mén)帶來(lái)一種共享式服務(wù)平臺(tái)
提高資源利用率,加大基礎(chǔ)架構(gòu)方面的投資回報(bào)
能夠在企業(yè)里實(shí)現(xiàn)完善的服務(wù)水平協(xié)議
提供更高的性能、縮短獲得結(jié)果的時(shí)間
簡(jiǎn)化IT管理,降低管理復(fù)雜IT環(huán)境的總成本
加強(qiáng)IT敏捷性
如何部署共享式服務(wù)模型?
企業(yè)應(yīng)該視不同的業(yè)務(wù)要求使用以下方法部署共享式服務(wù)模型:
1. “煙囪式共享模型”為不同的業(yè)務(wù)部門(mén)提供有保障的資源。IT部門(mén)根據(jù)不同業(yè)務(wù)部門(mén)的特定需求,為它們提供有保障的資源。業(yè)務(wù)部門(mén)向集中式IT部門(mén)請(qǐng)求 一定數(shù)量的資源,專(zhuān)門(mén)供自己使用。然后,那些請(qǐng)求被定義為策略,加入到資源分配方案中。不同業(yè)務(wù)部門(mén)之間不共享資源。集中式IT部門(mén)負(fù)責(zé)管理資源分配、系 統(tǒng)監(jiān)控和故障排除。
2. “代理式共享模型”企業(yè)內(nèi)部跨各職能領(lǐng)域的資源共享。企業(yè)內(nèi)部的不同職能部門(mén)共享一組通用的IT資源,資源共享策略根據(jù)不同業(yè)務(wù)部門(mén)的特定需求來(lái)予以 定義,然后加入到資源分配方案中。不是為某個(gè)業(yè)務(wù)部門(mén)單獨(dú)分配靜態(tài)資源,而是通過(guò)動(dòng)態(tài)共享整個(gè)基礎(chǔ)架構(gòu),從而為用戶(hù)提供有保障的資源。