蛻變中的大數(shù)據(jù)分析平臺與應(yīng)用實務(wù)

責(zé)任編輯:editor005

2015-04-08 11:42:57

摘自:中國大數(shù)據(jù)

大數(shù)據(jù)的分析應(yīng)用與傳統(tǒng)的關(guān)聯(lián)式數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)分析相較,超大量的半結(jié)構(gòu)化 非結(jié)構(gòu)化數(shù)據(jù)的儲存及分析,很容易造成其效能瓶頸。至于新一代企業(yè)儲存架構(gòu)平臺該采用何種儲存技術(shù),融合式數(shù)據(jù)儲存、云端儲存及水平擴充式儲存相當(dāng)值得關(guān)注。

大數(shù)據(jù)雖然是一座寶山,但并非有數(shù)據(jù),就能產(chǎn)生價值。大同世界科技業(yè)務(wù)營運中心技術(shù)工程處處長張文祥指出,大數(shù)據(jù)的分析與應(yīng)用,必須透過很多生態(tài)系統(tǒng)搭配組合,才能產(chǎn)生用戶所需要的資訊。

事實上,國際顧問研究機構(gòu)Gartner在2015年所提出的十大策略性技術(shù)與趨勢,其中「無所不在隱于無形進階數(shù)據(jù)分析高居第四名,就可看出大數(shù)據(jù)分析的重要性。

任何新創(chuàng)技術(shù)的成熟度都非一蹴可及,而是要經(jīng)歷科技誕生的促動期、過高期望的尖峰期、泡沬化的谷底期、穩(wěn)健成長的光明期及實質(zhì)生產(chǎn)的高峰期,許多新創(chuàng)技術(shù)在促動期就可能失敗,尖峰期則是發(fā)展的臨界點,如果能夠熬過谷底期,才能步入光明期及高峰期,而數(shù)據(jù)分析技術(shù),目前正是已經(jīng)步入谷底期及光明期的臨界點。

要掌握大數(shù)據(jù)分析的發(fā)展趨勢,首先要先了解大數(shù)據(jù)的核心,也就是「數(shù)據(jù)」的本質(zhì),如那些數(shù)據(jù)有助于解決特定的問題;如何、多久及何處取得數(shù)據(jù);數(shù)據(jù)保存的型態(tài)及時間;數(shù)據(jù)要如何萃取;數(shù)據(jù)要如何藉由視覺化圖表或整合式數(shù)據(jù)予以呈現(xiàn)等。

了解何謂「數(shù)據(jù)」后,接下來就得了解大數(shù)據(jù)的叁大特性,思考其應(yīng)用特性。包括數(shù)據(jù)量的規(guī)模(Volume):通常是以TB、PB等級的數(shù)據(jù)量為基本單位;數(shù)據(jù)異動的速度(Velocity):數(shù)據(jù)的時效性一旦錯過,可能就不具任何價值,在金融交易領(lǐng)域尤其明顯;多樣性(Variety):數(shù)據(jù)可能有各種型式,包括文字、影音、圖像、網(wǎng)頁、串流。

大數(shù)據(jù)的分析應(yīng)用與傳統(tǒng)的關(guān)聯(lián)式數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)分析相較,超大量的半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的儲存及分析,很容易造成其效能瓶頸。但若能根據(jù)數(shù)據(jù)特性,建構(gòu)使用合適的數(shù)據(jù)分析平臺及分析工具,將能以最佳的性價比提供最具深度的數(shù)據(jù)分析,以洞悉資訊發(fā)揮其最大的價值。

大數(shù)據(jù)時代之所以到來,其與物聯(lián)網(wǎng)及云端運算的推波助瀾有相當(dāng)密切的關(guān)系。引述Gartner的數(shù)據(jù)指出,不包含PC、平板及智慧型手機在內(nèi)的物聯(lián)網(wǎng)裝置用戶數(shù),將于2020年成長至260億臺,物聯(lián)網(wǎng)產(chǎn)品與服務(wù)供應(yīng)商將創(chuàng)造逾3,000億美元的邊際收益,且絕大部分在服務(wù)領(lǐng)域,其各類終端市場的銷售業(yè)績,將為全球帶來1.9兆美元的經(jīng)濟附加價值。

結(jié)合云端運算無遠(yuǎn)弗界、隨取隨用的服務(wù)特性以及搭配大數(shù)據(jù)的探勘、分析與整合技術(shù),讓業(yè)者得以大規(guī)模蒐集、傳遞、儲存及分析數(shù)據(jù),以延伸更多深入應(yīng)用,進而迅速擴大物聯(lián)網(wǎng)的規(guī)模及應(yīng)用。但在此同時,其也間接深化推動云端運算與大數(shù)據(jù)分析的應(yīng)用發(fā)展,3者共生共榮,缺一不可。

根據(jù)國外針對大數(shù)據(jù)解決方案所形成的生態(tài)系統(tǒng)的分析結(jié)果觀察,單單在數(shù)據(jù)架構(gòu)平臺 、分析管理工具、跨數(shù)據(jù)平臺/分析工具、數(shù)據(jù)應(yīng)用軟件、數(shù)據(jù)來源、開放技術(shù)等幾大類,就至少超過350家相關(guān)業(yè)者。

正由于大數(shù)據(jù)扮演如此重要角色,因此如何針對應(yīng)用資訊服務(wù)并掌握其中核心技術(shù),對于企業(yè)而言,將會是改變未來的關(guān)鍵力量。

新一代企業(yè)數(shù)據(jù)中心必須在兼具成本優(yōu)勢,且快速滿足對RPO與RTO需求的前提下,能充分因應(yīng)云端服務(wù)伴隨而來的大數(shù)據(jù)成長挑戰(zhàn)??剂繑?shù)據(jù)應(yīng)用于不同情境下,成長量、效能、服務(wù)等級及成本效益需求各有不同,其實很難用單一架構(gòu)來滿足所有的數(shù)據(jù)儲存的需求。因此采用混合式數(shù)據(jù)儲存(Hybrid Storage)將會是其中的關(guān)鍵應(yīng)用。

至于新一代企業(yè)儲存架構(gòu)平臺該采用何種儲存技術(shù),融合式數(shù)據(jù)儲存、云端儲存及水平擴充式儲存相當(dāng)值得關(guān)注。

它們的共同點是藉由無遠(yuǎn)弗屆的網(wǎng)路力量,打破數(shù)據(jù)處理與儲存的樊籬,采用分散式架構(gòu),支援上千個節(jié)點及Petabyte等級的數(shù)據(jù)量,并可搭配開放塬始碼軟件框架,不但擁有儲存與處理大量數(shù)據(jù)的能力,還可藉由平行分散檔案的處理,得到快速的回應(yīng),充分滿足大量數(shù)據(jù)分散式儲存與分析應(yīng)用之需求。

其實傳統(tǒng)儲存系統(tǒng)、融合儲存、云端儲存及水平擴充儲存各有擅長,企業(yè)若能善用混合數(shù)據(jù)儲存技術(shù)及平臺特性,透過軟件定義架構(gòu) ,消弭不同應(yīng)用平臺間的差異,將可提升快速回應(yīng)與增加數(shù)據(jù)中心彈性,大幅縮小部署時間,并可藉由ITaaS及隨選服務(wù),將可大幅提升使用彈性,成為企業(yè)可靠的數(shù)據(jù)儲存平臺。

企業(yè)若能針對商業(yè)智慧應(yīng)用,善用前述技術(shù)建立新一代數(shù)據(jù)中心分析平臺,就能打通大數(shù)據(jù)分析的任督二脈,輕松駕馭大數(shù)據(jù)分析,細(xì)致打造高效率企業(yè)數(shù)據(jù)中心數(shù)據(jù)平臺。

原文鏈接:http://www.thebigdata.cn/YeJieDongTai/13944.html

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號