迎接大數(shù)據(jù) 數(shù)據(jù)中心所需要做的準備

責任編輯:vivian

2012-08-27 08:54:21

摘自:機房360

到目前為止,你的大數(shù)據(jù)分析和商業(yè)智能項目還在順暢地自行運轉(zhuǎn)。但從長遠來看,通過對現(xiàn)有架構(gòu)進行簡單擴展來保持順暢的數(shù)據(jù)訪問可能不是最好的解決辦法。

到目前為止,你的大數(shù)據(jù)分析和商業(yè)智能項目還在順暢地自行運轉(zhuǎn)。但從長遠來看,通過對現(xiàn)有架構(gòu)進行簡單擴展來保持順暢的數(shù)據(jù)訪問可能不是最好的解決辦法?! ?/p>

未來有哪些可能性需求呢?有跡象表明,每個機構(gòu)都會想要在下列特性中尋求一個獨特的組合:

1.為了維護客戶忠誠度和出于營銷目的,對中型客戶的社交媒體數(shù)據(jù)進行有目標訪問——無需實時數(shù)據(jù);

2.同樣,對于預期銷售而言也是需要的,但實時數(shù)據(jù)將會帶來更大價值;

3.出于安全考慮,當網(wǎng)頁瀏覽者試圖訪問公司數(shù)據(jù)時,有必要對該訪問者的社交媒體數(shù)據(jù)進行少量實時訪問;

4.實時訪問“戰(zhàn)略威脅”數(shù)據(jù),例如,對公司的負面宣傳信息或是給公司造成不良影響的災難信息,通常來講造成的影響較小,但有時波及范圍也很廣。

5.為了進行市場分析對大量大數(shù)據(jù)進行訪問——無需實時數(shù)據(jù);

6.為了開展具體行業(yè)或具體機構(gòu)新產(chǎn)品研發(fā),對大量和超大量社交媒體數(shù)據(jù)進行訪問。這里,同樣不需要實時數(shù)據(jù),但是訪問速度越快效果越好。

上述組合要求決定了通常的數(shù)據(jù)需求量和交付速度,以及在“數(shù)據(jù)潔凈度”和“數(shù)據(jù)及時性”方面的折衷取舍。

我們現(xiàn)在來看看,針對這些個案的最優(yōu)架構(gòu):

1.訪問目標客戶的數(shù)據(jù),你可能需要在每朵云上安裝查詢工具,滿足內(nèi)部數(shù)據(jù)存儲需要,在不至于向競爭對手披露信息前提下對數(shù)據(jù)進行分析。

2.對于目標預期和銷售過程數(shù)據(jù),你可能需要在每朵云上添加本地數(shù)據(jù)庫,方便針對特定目標信息進行快速交付。

3.針對安全掃描,你可能需要在Hadoop旁邊部署能實現(xiàn)告警和單用戶查詢的軟件,并能把結(jié)果信息直接反饋給內(nèi)部管理員。

4.對于“戰(zhàn)略威脅”數(shù)據(jù),你可能需要在每朵云上建立高效,高容量的本地數(shù)據(jù)庫,并且數(shù)據(jù)庫相互間能跨云聯(lián)合進行協(xié)作,可執(zhí)行預分析。如果可能的話,在威脅抵達數(shù)據(jù)中心或單位其它部門前,該消息將直接反饋到系統(tǒng),系統(tǒng)對此自動做出回應。

5.對于市場分析,你可能需要云-本地“緩存”的高性能數(shù)據(jù)庫,能幫助過濾數(shù)據(jù)。這樣的話,可以把數(shù)據(jù)壓縮到數(shù)據(jù)倉庫要求的大小,而且可能的話,還能對數(shù)據(jù)進行預清潔。而現(xiàn)有的像extract,transform,load(ETL)這些工具還無法適應新型數(shù)據(jù)的這些要求。

6.對于研發(fā),你可能需要內(nèi)部且獨立的分析數(shù)據(jù)庫,同時要有允許跨云查詢的數(shù)據(jù)聯(lián)合功能。

假設你需要所有這六項內(nèi)容?那么你要考慮:

數(shù)據(jù)聯(lián)合和跨數(shù)據(jù)庫查詢軟件,諸如CompositeSoftware公司和Denodo公司的產(chǎn)品

高性能和大容量數(shù)據(jù)庫技術(shù),例如內(nèi)存和柱體技術(shù),來自于EMCGreenplum公司,或者SybaseIQ公司的解決方案。

低成本,靈活性的,云適應型查詢/分析工具,例如Birst,或者Tableau.

用于研發(fā)的內(nèi)部網(wǎng)狀架構(gòu)

那么,現(xiàn)在要如何把它與現(xiàn)有架構(gòu)相結(jié)合呢?通常根據(jù)企業(yè)的規(guī)模,解決途徑可劃分為下列兩大陣營:

1.中小型企業(yè)(SMBs)往往沒有數(shù)據(jù)倉庫,即使有,功能也不齊全。那樣的話,在必要的數(shù)據(jù)倉庫性能開始產(chǎn)生之際,能在云上盡量運行的PaaS架構(gòu)是一個好選擇。

2.大型企業(yè)有著大型主機,小型服務器群組,數(shù)據(jù)倉庫,數(shù)據(jù)集市,以及架構(gòu)中現(xiàn)有基礎設施,因此確實要創(chuàng)建一個PaaS架構(gòu)。最好采用像IBM公司這樣的現(xiàn)行供應商提供的方案,把公共云上的PaaS架構(gòu)與現(xiàn)有商業(yè)智能/分析/數(shù)據(jù)倉庫架構(gòu)相結(jié)合。

綜上所述,不要認為,把大量大數(shù)據(jù)從一個云直接吸納到數(shù)據(jù)倉庫是最理想的解決方案。因為當你這么做時,你的競爭對手將會利用他們的IT資源對其顧客進行有針對性的,更深層的靈活分析,并推動他們的品牌深入你的市場。在內(nèi)部分析和云分析功能之間設置防火墻是一回事,不做任何公共駐云分析又是另一回事。簡言之:

要接受:部分分析需在企業(yè)外部進行

要承認:大型而且“不潔凈”數(shù)據(jù)需要分別處理

要同意:為獲得最佳效果,大型數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)需要有獨立而又互相協(xié)作的架構(gòu)。

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號