云計算在克服分析泛濫的作用

責(zé)任編輯:cres

作者:Lakshmi 譯者:HERO

2017-10-30 15:57:08

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

除云定價和固有的計算優(yōu)勢外,云計算提供商還不斷增加數(shù)據(jù)倉庫、數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和分析等服務(wù),這些服務(wù)對于加速向內(nèi)部和外部客戶提供分析都至關(guān)重要。毫無疑問,隨著企業(yè)利用其固有的靈活性,數(shù)據(jù)和計算能力的重心正在越來越多地從傳統(tǒng)的內(nèi)部數(shù)據(jù)中心轉(zhuǎn)移到云端。

作為信息基礎(chǔ)設(shè)施現(xiàn)代化戰(zhàn)略的一部分,企業(yè)應(yīng)該考慮如何更好地利用云計算來分擔(dān)在數(shù)據(jù)中心運行的一些工作負(fù)載。
 
大多數(shù)企業(yè)表示,希望在一年內(nèi)將在云端運行其工作負(fù)載。根據(jù)調(diào)研機(jī)構(gòu)451 Research公司最近進(jìn)行的一項調(diào)查,2018年中期,企業(yè)采用私有云或公共云工作負(fù)載的百分比將從41%提高到60%。在這些調(diào)查對象中,38%的企業(yè)已經(jīng)采用了云端優(yōu)先政策,其中針對所有工作負(fù)載部署優(yōu)先考慮云解決方案。這并不奇怪,這是因為其具有敏捷性,靈活性,可擴(kuò)展性,降低總體擁有成本,以及提供云端數(shù)據(jù)等優(yōu)勢。云定價是云端工作負(fù)載的關(guān)鍵驅(qū)動力。隨著云計算的成本持續(xù)下降,企業(yè)越來越不愿意采用成本高昂的內(nèi)部部署數(shù)據(jù)中心。
 
除云定價和固有的計算優(yōu)勢外,云計算提供商還不斷增加數(shù)據(jù)倉庫、數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和分析等服務(wù),這些服務(wù)對于加速向內(nèi)部和外部客戶提供分析都至關(guān)重要。毫無疑問,隨著企業(yè)利用其固有的靈活性,數(shù)據(jù)和計算能力的重心正在越來越多地從傳統(tǒng)的內(nèi)部數(shù)據(jù)中心轉(zhuǎn)移到云端。
 
為什么數(shù)據(jù)重力(Data gravity)很重要?
 
數(shù)據(jù)重力可以處理移動數(shù)據(jù),并分析更接近的數(shù)據(jù)。而企業(yè)目前采用的替代方案更昂貴,更耗時?,F(xiàn)代分析中所涉及的數(shù)據(jù)量太大,無法依賴需要將大量數(shù)據(jù)從一個系統(tǒng)復(fù)制到另一個系統(tǒng)進(jìn)行處理的復(fù)雜方法。將數(shù)據(jù)移入和移出云端進(jìn)行處理將無法解決這個問題,反而可能會加劇。
 
處理引擎必須是智能的,以便將處理移動到數(shù)據(jù)駐留的位置,并盡量減少跨網(wǎng)絡(luò)的數(shù)據(jù)移動。數(shù)據(jù)無處不在,包括邊緣,靠近邊緣,以及托管數(shù)據(jù)中心。如果需要移動數(shù)據(jù),謹(jǐn)慎地移動只支持分析所需的數(shù)據(jù)子集(例如,從內(nèi)部部署到云,云到云或邊緣到云)。過濾,減少和檢索必要的數(shù)據(jù)可以最大程度地減少數(shù)據(jù)移動,無論數(shù)據(jù)位于何處。
 
數(shù)據(jù)中心對企業(yè)的業(yè)務(wù)來說至關(guān)重要,并且預(yù)計不會很快消失。然而,企業(yè)的工作負(fù)載越來越多地分散和混合。企業(yè)要求采用托管服務(wù)和超大規(guī)模云計算,新的云平臺和網(wǎng)絡(luò)模型,并將其映射到最為優(yōu)化的數(shù)據(jù)中心,這可能是邊緣,接近邊緣和核心位置,甚至是遠(yuǎn)程位置。為存儲、處理、聚合和過濾提供最佳位置的因素應(yīng)包括數(shù)據(jù)的位置,包括但不限于以下內(nèi)容:
 
•性能和延遲要求
 
•訪問數(shù)據(jù)的關(guān)鍵性(例如,考慮遠(yuǎn)程數(shù)據(jù)中心)
 
•可接受的停機(jī)時間(例如,網(wǎng)絡(luò)連接斷開)
 
•帶寬限制(例如,內(nèi)部部署到云端,云端到云端)
 
•安全性,合規(guī)性,治理要求(例如,維護(hù)內(nèi)部數(shù)據(jù)中心敏感數(shù)據(jù)的必要性)
 
在加速分析計劃中,Data gravity對于支持所需的性能和延遲至關(guān)重要。
 
如今存在需要計算重力補(bǔ)充數(shù)據(jù)重力的情況,包括科學(xué),醫(yī)療保健和運輸中的計算密集型用例??梢酝ㄟ^利用適當(dāng)?shù)挠嬎阗Y源(無論數(shù)據(jù)所在的位置,無論是云對象存儲還是內(nèi)部部署)來執(zhí)行數(shù)據(jù)子集(工作集)的計算密集二次分析。能夠在云端中處理可能起源于包含許多PB級的原始數(shù)據(jù)的次要分析目標(biāo)的數(shù)據(jù)子集。
 
在云中構(gòu)建臨時集群可以輕松地支持這些類型的工作負(fù)載,特別是當(dāng)?shù)讓拥膬?nèi)部部署基礎(chǔ)架構(gòu)達(dá)到其最大計算能力時?;蛘撸v留在云存儲中的原始數(shù)據(jù)的目標(biāo)數(shù)據(jù)子集可以在滿足二次分析的計算需求的本地部署的環(huán)境中進(jìn)行處理。優(yōu)化企業(yè)數(shù)據(jù)中心與云端之間的網(wǎng)絡(luò)帶寬是云計算提供商提供的一個選擇,但可能取決于企業(yè)預(yù)算。
 
用于計算密集型用例的另一個解決方案包括提供數(shù)據(jù)緩存的數(shù)據(jù)訪問層和用于數(shù)據(jù)處理的嵌入式MPP內(nèi)存結(jié)構(gòu)。
 
數(shù)據(jù)虛擬化和數(shù)據(jù)重力
 
數(shù)據(jù)虛擬化通過設(shè)計之后支持?jǐn)?shù)據(jù)重力。它為現(xiàn)代分析模式帶來了靈活性、抽象性和統(tǒng)一的安全性。其最佳性能是通過設(shè)計數(shù)據(jù)虛擬化查詢優(yōu)化器來實現(xiàn)的,以優(yōu)化邏輯架構(gòu)中的網(wǎng)絡(luò)流量;最小化的常規(guī)優(yōu)化是不夠的。更重要的是,查詢優(yōu)化器應(yīng)利用內(nèi)存中并行處理來促進(jìn)進(jìn)一步的優(yōu)化。
 
為了達(dá)到最佳性能,數(shù)據(jù)虛擬化平臺必須:
 
•應(yīng)用自動優(yōu)化來最大限度地減少網(wǎng)絡(luò)流量,將盡可能多的處理推送到數(shù)據(jù)源。
 
•在數(shù)據(jù)處理虛擬化層中使用并行內(nèi)存計算,當(dāng)處理不能被推送到數(shù)據(jù)源時,執(zhí)行后處理操作。
 
•通過并行內(nèi)存處理和數(shù)據(jù)緩存功能,滿足需要增加計算潛力的場景需求。
 
作為信息基礎(chǔ)設(shè)施現(xiàn)代化戰(zhàn)略的一部分,企業(yè)應(yīng)該考慮如何最好地利用云端的工作負(fù)載對數(shù)據(jù)中心進(jìn)行補(bǔ)充。企業(yè)的目標(biāo)是滿足各種分析工作負(fù)載的計算需求,同時考慮到法規(guī)和合規(guī)性的要求。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號