全面解析大數(shù)據(jù)生命周期 與生活息息相關(guān)

責(zé)任編輯:editor004

2013-11-27 17:52:38

摘自:CBSi中國·PChome

2009年,H1N1流感肆虐全球,由于缺少有效的疫苗,監(jiān)測流感的傳播路徑并預(yù)測未來的感染地域成為對抗這場致命流行病的關(guān)鍵。在傳統(tǒng)的運營模式下,公共衛(wèi)生部門需要一兩周的時間才能獲得新病例的相關(guān)數(shù)據(jù)

2009年,H1N1流感肆虐全球,由于缺少有效的疫苗,監(jiān)測流感的傳播路徑并預(yù)測未來的感染地域成為對抗這場致命流行病的關(guān)鍵。在傳統(tǒng)的運營模式下,公共衛(wèi)生部門需要一兩周的時間才能獲得新病例的相關(guān)數(shù)據(jù),而就在這種分秒必爭的時刻,谷歌通過對相關(guān)數(shù)據(jù)進(jìn)行分析和建模,幫助公共衛(wèi)生機構(gòu)獲得了更有效、及時的疾病傳播指標(biāo)。

值得人們注意的是,在這場對抗流行病的戰(zhàn)役中,所采用的手段已完全繞開醫(yī)療檢測和醫(yī)師診斷--它建立于大數(shù)據(jù)分析的基礎(chǔ)之上。作為近年來炙手可熱的技術(shù)概念之一,大數(shù)據(jù)通過前所未有的方式,對海量數(shù)據(jù)進(jìn)行分析,并獲得深刻的洞見。利用大數(shù)據(jù),全球頂尖的智能信息提供商湯森路透可以經(jīng)濟高效地采集客戶活動信息,追蹤銷售機會;豐田汽車能夠?qū)崿F(xiàn)多渠道與客戶互動,提升消費體驗;Regions 銀行降低了IT成本;日本軟銀集團可以探索客戶的隱藏想法,解釋和預(yù)測客戶行為;美國國家癌癥研究所得以確定基因與癌癥之間的交互關(guān)系,深入了解疾病根源……如此種種,大數(shù)據(jù)正將人們的生活飛速帶入未來世界。

根據(jù)IDC發(fā)布的研究報告,2020年,全球新建和復(fù)制的信息量已經(jīng)超過 40ZB,是2012年的12倍;而中國的數(shù)據(jù)量則會在2020年超過8ZB,比2012年增長22倍??焖倥蛎浀臄?shù)據(jù)量促進(jìn)了大數(shù)據(jù)技術(shù)和服務(wù)市場的繁榮發(fā)展。研究機構(gòu)Wikibon也指出,大數(shù)據(jù)技術(shù)和服務(wù)市場規(guī)模將會從2012年的51億美元增加到2017年的534億美元,未來5年的復(fù)合增長率更是高達(dá)58%。大數(shù)據(jù)的飛速發(fā)展與深化,無疑會為商業(yè)與生活帶來方方面面的改變。

全面解析大數(shù)據(jù)生命周期

談及大數(shù)據(jù),不得不提及經(jīng)典的大數(shù)據(jù)4V,即數(shù)據(jù)體量巨大(Volume)、數(shù)據(jù)類型繁多(Variety)、處理速度快(Velocity)與商業(yè)價值高(Value)。的確如此,能給企業(yè)帶來洞察與價值的大數(shù)據(jù)技術(shù),需要具備快速分析全部類型的海量數(shù)據(jù)的能力。而隨著大數(shù)據(jù)應(yīng)用場景的不斷拓展,數(shù)據(jù)的類型也在由結(jié)構(gòu)化拓展至半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),尤其是來自社交網(wǎng)絡(luò)的碎片信息,正受到企業(yè)極大的關(guān)注。為了得到全面、透徹、完善的市場洞察,大數(shù)據(jù)應(yīng)完全覆蓋傳統(tǒng)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)和快數(shù)據(jù),共同為企業(yè)構(gòu)建全數(shù)據(jù)視圖,提供全面的信息支撐

盡管如今已有諸多大數(shù)據(jù)技術(shù)手段,諸如分布式計算、并行處理、實時計算、數(shù)據(jù)可視化、高級分析以及移動商務(wù)智能,企業(yè)在走向大數(shù)據(jù)時仍然面臨諸多挑戰(zhàn)。如何跨越數(shù)據(jù)"孤島",及時獲得精準(zhǔn)的數(shù)據(jù),進(jìn)而指導(dǎo)企業(yè)做出最佳決策并付諸行動,成為企業(yè)在大數(shù)據(jù)領(lǐng)域亟待解決的問題。任何數(shù)據(jù),都需要經(jīng)過獲取、存儲、處理、分析和利用五大過程,才能最終和業(yè)務(wù)有效關(guān)聯(lián),成為切實指導(dǎo)決策與行動的信息要素。圍繞這五大過程,大數(shù)據(jù)可在全生命周期中為企業(yè)提供支持。

在最初的數(shù)據(jù)獲取和發(fā)掘階段,企業(yè)需要解決的是如何通過數(shù)據(jù)搜索與可視化,更快地解答有關(guān)業(yè)務(wù)的諸多問題;在數(shù)據(jù)分析階段,企業(yè)需要良好的平臺和性能,支撐隨時隨地的實施數(shù)據(jù)分析,監(jiān)測數(shù)據(jù)異常與趨勢,進(jìn)一步得出洞見;在最終的規(guī)劃與預(yù)測層面,企業(yè)則需結(jié)合歷史與統(tǒng)計數(shù)據(jù),搭建預(yù)測模型,最大化預(yù)測的精準(zhǔn)度,在戰(zhàn)略管理以及人財物為決策者提供建議。

多平臺共存 大數(shù)據(jù)由概念轉(zhuǎn)入實踐

提到大數(shù)據(jù)的處理,很多人會首先想到Hadoop。的確,作為被廣泛采用的分布式系統(tǒng)基礎(chǔ)架構(gòu),Hadoop可以實現(xiàn)可靠、高效、可伸縮的數(shù)據(jù)處理。尤其是其開源、初期投入低的特性,加之當(dāng)今的企業(yè)希望以更快的速度獲取更多非結(jié)構(gòu)化數(shù)據(jù),Hadoop乃至NoSQL數(shù)據(jù)庫在短時間內(nèi)都獲得了極大的發(fā)展。在此之前,即便企業(yè)渴望利用大數(shù)據(jù),獲取海量數(shù)據(jù)并進(jìn)行實時分析的高昂成本也令人望而卻步。可以說,Hadoop和NoSQL的出現(xiàn)大大改變了數(shù)據(jù)應(yīng)用的現(xiàn)狀。

然而,企業(yè)已經(jīng)意識到Hadoop并不是大數(shù)據(jù)的代名詞,主流的SQL關(guān)系型數(shù)據(jù)庫正在回歸大數(shù)據(jù)主流世界并在大數(shù)據(jù)處理和分析領(lǐng)域繼續(xù)發(fā)揮重要的作用,極大程度上完善了大數(shù)據(jù)的生態(tài)環(huán)境。由于Hadoop、NoSQL和SQL的共存與融合,大數(shù)據(jù)技術(shù)在成熟度方面將邁入全新的一步。隨著內(nèi)存、移動以及虛擬化技術(shù)的不斷發(fā)展,大數(shù)據(jù)也正在從一個無形的概念逐漸走向落地實踐。在中國,從互聯(lián)網(wǎng)企業(yè),到電信、金融、政府這樣的傳統(tǒng)行業(yè),都已開始采用各種大數(shù)據(jù)分析和服務(wù),幫助企業(yè)聆聽客戶之聲、品牌傳播、市場優(yōu)化、風(fēng)險分析、優(yōu)化決策等方面。

全方位Oracle解決方案 助企業(yè)決勝大數(shù)據(jù)

甲骨文公司堅持全面、開放、集成的產(chǎn)品策略,可以為企業(yè)提供全方位的大數(shù)據(jù)解決方案。Oracle大數(shù)據(jù)機、Oracle Exadata數(shù)據(jù)庫云服務(wù)器、Oracle Exalytics商務(wù)智能云服務(wù)器以及Oracle Endeca Information Discovery,依托于ERP/CRM等關(guān)鍵企業(yè)管理系統(tǒng)的商務(wù)智能軟件一起組成了甲骨文最廣泛、高度集成化產(chǎn)品組合,為企業(yè)提供了一個端到端的大數(shù)據(jù)解決方案。它可滿足企業(yè)對大數(shù)據(jù)治理的所有需求,幫助客戶進(jìn)一步提升數(shù)據(jù)處理效率、簡化管理并洞察數(shù)據(jù)的內(nèi)在本質(zhì),從而最大限度地挖掘數(shù)據(jù)的商業(yè)價值。

Oracle大數(shù)據(jù)機是一款集成設(shè)計的系統(tǒng),旨在簡化大數(shù)據(jù)項目的實施與管理,降低企業(yè)大數(shù)據(jù)獲取與組織的復(fù)雜性。近期,Oracle大數(shù)據(jù)機新增強了面向Hadoop的企業(yè)級安全功能,可以幫助企業(yè)保護數(shù)據(jù)安全、迅速把握具有戰(zhàn)略意義的業(yè)務(wù)動向。藉此,通過Oracle統(tǒng)一信息架構(gòu),客戶可以輕松經(jīng)濟地整合Hadoop和NoSQL平臺與數(shù)據(jù)倉庫和商務(wù)分析解決方案,以最大限度地利用大數(shù)據(jù)的價值。日前新推出的Oracle大數(shù)據(jù)機X4-2與Oracle大數(shù)據(jù)連接器和Oracle Exadata數(shù)據(jù)庫云服務(wù)器組成了面向大數(shù)據(jù)的集成平臺,幫助企業(yè)輕松實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的融合。

Oracle 大數(shù)據(jù)連接器是一套內(nèi)置軟件,旨在實現(xiàn) Apache Hadoop與Oracle數(shù)據(jù)庫、Oracle數(shù)據(jù)集成器以及Oracle R 分區(qū)之間的集成。增強的Oracle大數(shù)據(jù)連接器,提升了數(shù)據(jù)集成功能,可以更大地支持SQL語言從Oracle數(shù)據(jù)庫直接訪問Hadoop上的數(shù)據(jù),并能更透明地訪問來自R分區(qū)的Hadoop。

Oracle Exadata數(shù)據(jù)庫云服務(wù)器提供了高效數(shù)據(jù)存儲和計算能力,并且配備了超大容量的內(nèi)存和快速Flash,配合特有的軟硬優(yōu)化技術(shù),從而可以對大數(shù)據(jù)進(jìn)行高效的數(shù)據(jù)加工、分析和挖掘。憑借其最快的數(shù)據(jù)倉庫和OLTP,Oracle Exadata可使數(shù)據(jù)的加載和查詢時間加快10倍,存儲容量節(jié)省10倍 ,功率降低80% ,占用空間大大減少,并能通過整合降低數(shù)據(jù)中心成本。

Oracle Exalytics商務(wù)智能云服務(wù)器采用業(yè)界標(biāo)準(zhǔn)硬件、市場領(lǐng)先的商務(wù)智能軟件和內(nèi)存數(shù)據(jù)庫技術(shù)而開發(fā),可以通過超高帶寬的infiniband網(wǎng)絡(luò)從Oracle Exadata上加載和讀取數(shù)據(jù)。它是全球首款專門為提供高性能分析、建模、發(fā)現(xiàn)和規(guī)劃而設(shè)計的集成系統(tǒng),能夠以快捷的速度、智能性和簡化性幫助企業(yè)應(yīng)對各種挑戰(zhàn)。此外, Oracle Endeca Information Discover針對 Oracle Exalytics進(jìn)行了優(yōu)化和認(rèn)證,可以快速、直觀地分析任意來源組合產(chǎn)生的數(shù)據(jù)。

Oracle Endeca Information Discovery 是一個企業(yè)信息探索利器,用于對多維多變的數(shù)據(jù)進(jìn)行高級、直觀的探索和關(guān)聯(lián)分析。信息從不同的源系統(tǒng)加載,存儲在可動態(tài)支持變化數(shù)據(jù)的分面數(shù)據(jù)模型中。這些集成、豐富的數(shù)據(jù)可通過交互式和可配置的應(yīng)用程序進(jìn)行搜索、挖掘和分析。Oracle Endeca Information Discovery 采用迭代式"隨需建模"方法,不僅能讓 IT 從繁重的傳統(tǒng)數(shù)據(jù)建模工作中解脫出來,同時還能滿足業(yè)務(wù)用戶廣泛的探索和分析需求,讓業(yè)務(wù)人員對大數(shù)據(jù)的興趣直接通過信息探索轉(zhuǎn)變?yōu)闃I(yè)務(wù)價值。

Oracle事件處理是Oracle SOA套件的一部分,用于構(gòu)建應(yīng)用的完整解決方案,以便實時篩選、關(guān)聯(lián)和處理各個事件,從而通過真正實時的智能來驅(qū)動下游應(yīng)用、面向服務(wù)的架構(gòu)和事件驅(qū)動的架構(gòu)。

Oracle實時決策是一種高度可擴展的服務(wù)導(dǎo)向型決策管理平臺,可實現(xiàn)決策優(yōu)化。它利用實時和歷史數(shù)據(jù)、業(yè)務(wù)規(guī)則、預(yù)測模型、自動化以及自助學(xué)習(xí)技術(shù),提供隨時間推移不斷調(diào)整的實時決策。其決策服務(wù)可嵌入到企業(yè)內(nèi)部的交易應(yīng)用中,以優(yōu)化重復(fù)發(fā)生的運營決策成效。

R語言:在分析大數(shù)據(jù)時,企業(yè)需要訪問所有數(shù)據(jù),使用R語言進(jìn)行統(tǒng)計分析,但通過便攜機進(jìn)行分析速度較慢且不安全。甲骨文提供的Oracle R Enterprise實現(xiàn)了R開源統(tǒng)計環(huán)境與Oracle Database11g的集成, 為進(jìn)行更進(jìn)一步的數(shù)據(jù)分析提供了一個企業(yè)就緒的、深度集成的環(huán)境。

卓越性能贏得客戶高度認(rèn)可

憑借全面、軟硬一體化、高性能和高性價比的突出特點,目前,Oracle大數(shù)據(jù)解決方案已獲得眾多企業(yè)用戶的支持,前文所提及的湯森路透、豐田汽車、Regions 銀行、美國國家癌癥研究所等等,都通過部署Oracle大數(shù)據(jù)解決方案,簡化了IT架構(gòu),達(dá)成了更好的業(yè)務(wù)目標(biāo)。

由美國國家癌癥研究所(NCI)資助的Frederick國家圖書館,借助Oracle大數(shù)據(jù)機及其Apache Hadoop(CDH)Cloudera分區(qū),實現(xiàn)了 2000萬生物樣本間進(jìn)行17000個基因與五大癌癥亞型的關(guān)系對照檢索,從而贏得了2012 年政府大數(shù)據(jù)解決方案獎。

全球知名的汽車工業(yè)公司豐田汽車通過采用Oracle 大數(shù)據(jù)機、Oracle大數(shù)據(jù)連接器和Oracle Endeca Information Discover等產(chǎn)品,能夠更好的利用下一代車輛遙測技術(shù)預(yù)測組件故障,并發(fā)現(xiàn)組件故障之間的相互關(guān)聯(lián)。同時它借助社交媒體、市場調(diào)查和與經(jīng)銷商的互動,進(jìn)一步提升了客戶好感度,改善了用戶體驗。

如何正確的利用數(shù)據(jù)對于湯森路透這樣的智能信息提供商來講顯得至關(guān)重要。通過Oracle大數(shù)據(jù)解決方案,湯森路透能夠更加經(jīng)濟的采集所有客戶活動的信息,并以5000萬個事件/秒的攝取率,測試進(jìn)入大數(shù)據(jù)機和Oracle NoSQL數(shù)據(jù)庫的數(shù)據(jù),同時向Oracle Exadata饋送數(shù)據(jù),以方便客戶進(jìn)行盈利和分段分析。Oracle大數(shù)據(jù)解決方案的部署幫助湯森路透實現(xiàn)了最大限度地增加交叉銷售的機會,并降低運維成本和系統(tǒng)復(fù)雜性。

甲骨文公司副總裁及大中華區(qū)技術(shù)總經(jīng)理喻思成表示:"大數(shù)據(jù)已經(jīng)和云計算、社交化、移動化一起,深入人們生活的方方面面,也成為現(xiàn)階段驅(qū)動企業(yè)IT模式變革的重要因素。Oracle大數(shù)據(jù)解決方案可以橫跨IT架構(gòu)的所有層面,與其他產(chǎn)品進(jìn)行創(chuàng)新集成,能給企業(yè)提供卓越的可靠性、可擴展性和可管理性,幫助企業(yè)在未來的競爭中立于不敗之地。"

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號