以開放的平臺(tái)構(gòu)建大數(shù)據(jù)生態(tài)圈

責(zé)任編輯:editor003

2012-12-11 14:15:57

摘自:至頂網(wǎng)

在實(shí)現(xiàn)大數(shù)據(jù)處理的過程中,基于英特爾至強(qiáng)處理器的平臺(tái)具備開放式、易優(yōu)化、靈活易擴(kuò)展等特點(diǎn),是實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的出色載體。

數(shù)據(jù)無疑是當(dāng)前最受關(guān)注的技術(shù)話題,它也與我們每個(gè)人都息息相關(guān)。隨著互聯(lián)網(wǎng)的快速發(fā)展,我們每個(gè)人以及社會(huì)應(yīng)用產(chǎn)生的數(shù)據(jù)已經(jīng)開始爆發(fā),比如社交、交互式應(yīng)用帶來了大量的網(wǎng)絡(luò)數(shù)據(jù),這種非結(jié)構(gòu)化數(shù)據(jù)充斥在我們周圍,包括網(wǎng)絡(luò)日志、電話記錄、醫(yī)療記錄、傳感器和監(jiān)控?cái)?shù)據(jù)等,各種來源的數(shù)據(jù)種類豐富,規(guī)模龐大。

以中國互聯(lián)網(wǎng)行業(yè)為例,龐大的網(wǎng)民每時(shí)每刻都在產(chǎn)生大數(shù)據(jù),大數(shù)據(jù)對(duì)中國的影響也愈發(fā)明顯,從中國互聯(lián)網(wǎng)絡(luò)信息中心公布的最新數(shù)據(jù)來看,中國網(wǎng)民的數(shù)量已經(jīng)超過5億,作為世界上人口最多的國家,中國產(chǎn)生的數(shù)據(jù)量可想而知。但很多時(shí)候,除了堆砌在存儲(chǔ)系統(tǒng)中,大數(shù)據(jù)往往也蘊(yùn)藏著巨大的商業(yè)價(jià)值,這一點(diǎn),一些互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)挖掘以及商業(yè)智能化應(yīng)用都已經(jīng)初露端倪,也讓更多的企業(yè)看到了大數(shù)據(jù)中潛藏的巨大機(jī)會(huì)。

不僅僅是互聯(lián)網(wǎng)行業(yè),放眼全行業(yè),可以利用大數(shù)據(jù)的機(jī)會(huì)更多,比如電信運(yùn)營商利用大數(shù)據(jù)技術(shù)對(duì)用戶的行為習(xí)慣進(jìn)行分析,就能更有針對(duì)性地制訂市場營銷計(jì)劃或開發(fā)出更多全新的商業(yè)模式和服務(wù);金融行業(yè)能借該技術(shù)更快速地分析在金融機(jī)構(gòu)之間交換的營銷與交易數(shù)據(jù),以確保交易的安全可靠和防欺詐;智能城市及物聯(lián)網(wǎng)領(lǐng)域則可借大數(shù)據(jù)技術(shù)更快實(shí)現(xiàn)智能交通監(jiān)控、智能公共安全、氣象和污染變化的智能監(jiān)控及預(yù)測等應(yīng)用。

一方面,大數(shù)據(jù)的爆發(fā)帶來了巨大的機(jī)遇,另一方面,從繁雜的大數(shù)據(jù)中挖掘有效信息也將是巨大的挑戰(zhàn),因?yàn)殚L期以來,企業(yè)中存儲(chǔ)和處理的通常都是結(jié)構(gòu)化數(shù)據(jù),對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的處理,此時(shí)傳統(tǒng)的硬件設(shè)備已經(jīng)開始顯得捉襟見肘,無法滿足這種龐雜數(shù)據(jù)帶來的應(yīng)用需求。

大數(shù)據(jù)對(duì)IT解決方案提出更高要求

所謂大數(shù)據(jù),首先是數(shù)據(jù)量很大,已經(jīng)從TB級(jí)躍升至PB級(jí);其次區(qū)別于傳統(tǒng)的數(shù)據(jù)結(jié)構(gòu)和類型,數(shù)據(jù)結(jié)構(gòu)和類型更加復(fù)雜,超過80%都是非結(jié)構(gòu)化數(shù)據(jù),比如網(wǎng)上的流媒體數(shù)據(jù)、物聯(lián)網(wǎng)中RFID感應(yīng)數(shù)據(jù)以及社交網(wǎng)絡(luò)上產(chǎn)生的各種數(shù)據(jù)等。隨著非結(jié)構(gòu)化數(shù)據(jù)持續(xù)不斷地增加,并且需要長時(shí)間存儲(chǔ),非熱點(diǎn)數(shù)據(jù)也會(huì)被隨機(jī)訪問,這種情況與傳統(tǒng)的、基于關(guān)系型數(shù)據(jù)庫的核心數(shù)據(jù)存儲(chǔ)方式有顯著的差異。這種差異使得傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理解決方案無法勝任大數(shù)據(jù)時(shí)代的分析、管理和挖掘工作。

此外,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫以及數(shù)據(jù)分析軟件處理的結(jié)構(gòu)化數(shù)據(jù)通常是GB級(jí)別的,很難適應(yīng)大數(shù)據(jù)時(shí)代TB、PB級(jí)復(fù)雜數(shù)據(jù)類型的檢索分析。同時(shí),因?yàn)閿?shù)據(jù)每時(shí)每刻都在快速增長,傳統(tǒng)解決方案也無法適應(yīng)這種近乎無限的擴(kuò)張性。為了適應(yīng)大數(shù)據(jù)時(shí)代的到來,企業(yè)需要硬件、技術(shù)、應(yīng)用等各個(gè)層面做好準(zhǔn)備,才能滿足大數(shù)據(jù)收集、存儲(chǔ)、管理和分析的要求。

那么,大數(shù)據(jù)時(shí)代下IT解決方案應(yīng)該具備怎樣的要求呢?首先必須支持?jǐn)?shù)量龐大的用戶和數(shù)據(jù)生產(chǎn)者,能夠從企業(yè)及社區(qū)網(wǎng)絡(luò)、移動(dòng)智能終端、傳感器及物聯(lián)網(wǎng)、定位及地理信息設(shè)備中獲得大量的非結(jié)構(gòu)化數(shù)據(jù),包括視頻、語音、圖片、文字等,并對(duì)這些海量復(fù)雜數(shù)據(jù)進(jìn)行分析和挖掘,從而獲得真正有價(jià)值的數(shù)據(jù)用于后續(xù)的經(jīng)營。這種應(yīng)用模式,要求大數(shù)據(jù)時(shí)代的IT解決方案具備可變的數(shù)據(jù)接口和高效的數(shù)據(jù)導(dǎo)入、管理、分析、統(tǒng)計(jì)技術(shù),在數(shù)據(jù)規(guī)模上能夠支持PB級(jí)別的數(shù)據(jù),在數(shù)據(jù)類型上支持非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù),速度上支持每秒萬次級(jí)查詢,擁有更高的系統(tǒng)可靠性以及更高的統(tǒng)計(jì)分析效率。

除了同時(shí)支持大規(guī)模非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù),更快速、靈活及穩(wěn)定的檢索分析,低成本的存儲(chǔ)和管理能力也必不可少,這無疑對(duì)計(jì)算能力、數(shù)據(jù)處理能力和管理能力提出了非常高的要求。在應(yīng)對(duì)大數(shù)據(jù)處理難題面前,硬件和軟件都將發(fā)揮自身的價(jià)值,因?yàn)橐獙?shí)現(xiàn)大數(shù)據(jù)的高效挖掘和分析,除了高性能、可靠的硬件平臺(tái),軟件層面的優(yōu)化支持也必不可少。目前已經(jīng)有不少廠商在努力圍繞大數(shù)據(jù)開發(fā)整合解決方案,英特爾就是其中之一。

從開放平臺(tái)到大數(shù)據(jù)生態(tài)圈

從目前企業(yè)計(jì)算領(lǐng)域來看,英特爾架構(gòu)是承載和實(shí)現(xiàn)大數(shù)據(jù)的理想平臺(tái),英特爾架構(gòu)廣泛的普及率可以為企業(yè)提供更高的一致性。英特爾至強(qiáng)處理器擁有更高的計(jì)算性能和內(nèi)存數(shù)據(jù)處理能力,以及其為核心服務(wù)器和存儲(chǔ)系統(tǒng)提供開放式的擴(kuò)展性,非常適合應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。

在實(shí)現(xiàn)大數(shù)據(jù)處理的過程中,基于英特爾至強(qiáng)處理器的平臺(tái)具備開放式、易優(yōu)化、靈活易擴(kuò)展等特點(diǎn),是實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的出色載體。對(duì)于數(shù)據(jù)分析來說,英特爾的雙路至強(qiáng)處理器已經(jīng)通過實(shí)踐驗(yàn)證了自身在計(jì)算能力的領(lǐng)先性,并為基礎(chǔ)的主流服務(wù)器和存儲(chǔ)系統(tǒng)提供無可比擬的擴(kuò)展性。對(duì)于商業(yè)智能來說,基于英特爾至強(qiáng)處理器的多路平臺(tái)則具備高性能、高能效、靈活擴(kuò)展以及高性價(jià)比等優(yōu)勢。

除了基礎(chǔ)硬件平臺(tái)領(lǐng)域,英特爾還具有Hadoop這種分布式運(yùn)算架構(gòu)的軟件方案,也將對(duì)大數(shù)據(jù)的處理提供更高的效能。我們知道,Hadoop對(duì)海量數(shù)據(jù)處理的支持,可以讓用戶不再依賴價(jià)格高昂的大型專有設(shè)備,而是利用較高性價(jià)比的x86服務(wù)器來搭配并行計(jì)算架構(gòu),從而以更加經(jīng)濟(jì)的方式完成龐大的計(jì)算任務(wù)。

英特爾Hadoop發(fā)行版軟件方案通過優(yōu)化底層算法,可實(shí)現(xiàn)更高的應(yīng)用效率和更均衡的計(jì)算存儲(chǔ)分布;加上與英特爾硬件技術(shù)相結(jié)合,可以提供更高的平臺(tái)性能。同時(shí),還能提供跨數(shù)據(jù)中心的HBase數(shù)據(jù)庫虛擬大表功能,并實(shí)現(xiàn)HBase數(shù)據(jù)庫復(fù)制和備份功能,在功能方面也更適應(yīng)大數(shù)據(jù)時(shí)代管理分析的需要。這一切,都為收集數(shù)據(jù)、分析數(shù)據(jù)、優(yōu)化數(shù)據(jù)、利用數(shù)據(jù)提供了堅(jiān)實(shí)的基礎(chǔ),相對(duì)來說,就攻克大數(shù)據(jù)這一IT難題,英特爾已經(jīng)形成了完整的大數(shù)據(jù)存儲(chǔ)和管理平臺(tái)。

隨著大數(shù)據(jù)技術(shù)、應(yīng)用和市場發(fā)展的逐步深入,關(guān)于英特爾在大數(shù)據(jù)領(lǐng)域扮演的角色,英特爾軟件與服務(wù)事業(yè)部中國區(qū)總經(jīng)理何京翔曾這樣說過:“一方面英特爾提供高效的計(jì)算芯片、存儲(chǔ)、IO、網(wǎng)絡(luò)技術(shù),以加速大數(shù)據(jù)價(jià)值挖掘與提高決策反應(yīng),同時(shí)提供最優(yōu)的軟件和工具,以推動(dòng)大數(shù)據(jù)應(yīng)用部署與創(chuàng)新;另一方面,英特爾將促進(jìn)大數(shù)據(jù)生態(tài)系統(tǒng)建設(shè),與廣泛的合作伙伴合作,并且進(jìn)一步持續(xù)投資大數(shù)據(jù)解決方案的研究與服務(wù)。”

作為上游的芯片廠商,英特爾深知大數(shù)據(jù)時(shí)代唯有合作方能共贏的道理。在PC產(chǎn)業(yè)中,英特爾具備多年的生態(tài)系統(tǒng)構(gòu)建經(jīng)驗(yàn),并以實(shí)際的市場表現(xiàn)證明了這一點(diǎn)。在產(chǎn)業(yè)鏈中,英特爾深入到 OEM廠商、ISV、SI甚至用戶身邊去,將產(chǎn)業(yè)鏈上的每一節(jié)點(diǎn)都緊緊扣在生態(tài)系統(tǒng)周圍,目前,這個(gè)生態(tài)系統(tǒng)正呈現(xiàn)出蓬勃發(fā)展的態(tài)勢。

憑借自身在大數(shù)據(jù)分析方面的領(lǐng)先地位,英特爾還致力于幫助企業(yè)用戶或機(jī)構(gòu)更好地了解自身,以及如何利用大數(shù)據(jù)分析來更快速地制定決策和解決復(fù)雜問題。英特爾分布式分析愿景就提供了一種創(chuàng)新途徑,來幫助企業(yè)從無處不在的數(shù)據(jù)中獲得出色價(jià)值。

在與各行業(yè)組織、生態(tài)系統(tǒng)的合作上,英特爾也十分活躍,并與合作伙伴來共同挖掘?qū)Υ髷?shù)據(jù)分析的需求與潛力。在電信、石油、交通、醫(yī)療以及制造業(yè)大數(shù)據(jù)特征明顯的行業(yè),英特爾也將其生態(tài)系統(tǒng)上每一節(jié)點(diǎn)的力量發(fā)揮到極致。

很多人知道英特爾已經(jīng)成立了軟件部門,這個(gè)部門將與英特爾研究院、數(shù)據(jù)中心部門一起合作,來共同研發(fā)大數(shù)據(jù)平臺(tái)和工具。在未來,除了繼續(xù)提供現(xiàn)有產(chǎn)品來支撐大數(shù)據(jù)IT基礎(chǔ)設(shè)施,英特爾還將針對(duì)大數(shù)據(jù)整體應(yīng)用架構(gòu)進(jìn)行創(chuàng)新規(guī)劃,通過自身和合作伙伴的努力來共同把握時(shí)代機(jī)遇,深挖大數(shù)據(jù)價(jià)值,推動(dòng)整個(gè)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展,打造更加完善的大數(shù)據(jù)生態(tài)圈。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)