《企業(yè)網(wǎng)D1Net》2月12日訊

大數(shù)據(jù)概念，自誕生以來，就吸引業(yè)界的目光，然而在關(guān)注的同時(shí)，業(yè)界對大數(shù)據(jù)的概念、應(yīng)用以及技術(shù)就存在一定爭議。究竟什么是大數(shù)據(jù)?有哪些大數(shù)據(jù)技術(shù)?大數(shù)據(jù)的未來是怎樣的?每個(gè)人都有自己的理解。

大數(shù)據(jù)從互聯(lián)網(wǎng)邁向企業(yè)級

 “大數(shù)據(jù)”的概念是在十多年前伴隨著互聯(lián)網(wǎng)的迅猛發(fā)展而誕生的。雖然它由互聯(lián)網(wǎng)而生，其應(yīng)用卻早已不限于互聯(lián)網(wǎng)行業(yè)。簡單地說，“大數(shù)據(jù)”就是超越傳統(tǒng)數(shù)據(jù)處理軟件(如關(guān)系型數(shù)據(jù)庫)處理能力的超大規(guī)模的數(shù)據(jù)集，大數(shù)據(jù)技術(shù)可以及時(shí)地、在應(yīng)用所需求的時(shí)間內(nèi)實(shí)現(xiàn)有效信息的獲取、組織、管理和處理。

最為關(guān)鍵的是，大數(shù)據(jù)技術(shù)代表著對數(shù)據(jù)資源的思維方式的轉(zhuǎn)變——我們從哪里獲取數(shù)據(jù)，如何分析數(shù)據(jù)，以及如何從分析結(jié)果中實(shí)現(xiàn)盈利。近幾年來，大數(shù)據(jù)技術(shù)的變革主要集中在從傳統(tǒng)數(shù)據(jù)源之中以及之外尋求新的價(jià)值點(diǎn)。

大數(shù)據(jù)技術(shù)的發(fā)展存在三個(gè)方面的挑戰(zhàn)：數(shù)據(jù)量、處理速度和數(shù)據(jù)多樣性。目前IT行業(yè)的大數(shù)據(jù)技術(shù)主要致力于解決前兩個(gè)方面的問題。如果從另一個(gè)角度來看，在商業(yè)實(shí)踐中, 這兩方面的挑戰(zhàn)可以歸為兩類典型的大數(shù)據(jù)問題--計(jì)算密集型(computing intensive ，比如天氣預(yù)報(bào))和數(shù)據(jù)密集型(data intensive，比如互聯(lián)網(wǎng)數(shù)據(jù)分析)。常用的用于解決這兩類問題的技術(shù)有：Hadoop、MapReduce、Big Table/HBase、Hive、SAP HANA、Dremel、Storm和Spark等。

隨著近年半導(dǎo)體技術(shù)和應(yīng)用的飛速發(fā)展，得益于硬件價(jià)格的不斷降低，大數(shù)據(jù)技術(shù)發(fā)展的重點(diǎn)正在從網(wǎng)格批處理計(jì)算處理方式，轉(zhuǎn)向內(nèi)存中(in-memory)實(shí)時(shí)流數(shù)據(jù)計(jì)算的處理方式。

近來流行的Storm、Kafka和SAP HANA都是這一類的大數(shù)據(jù)處理技術(shù)。隨著實(shí)時(shí)流數(shù)據(jù)分析和實(shí)時(shí)決策技術(shù)的成熟，大數(shù)據(jù)應(yīng)用得以迅速從互聯(lián)網(wǎng)領(lǐng)域延伸到提供企業(yè)級的大數(shù)據(jù)解決方案，例如提供金融服務(wù)和智能商業(yè)信息。

大數(shù)據(jù)人才短缺面臨挑戰(zhàn)

隨著大數(shù)據(jù)技術(shù)從概念走向成熟, 商業(yè)智能的決策響應(yīng)時(shí)間將成為許多公司成功與否的關(guān)鍵。數(shù)據(jù)分析進(jìn)行的越快，商業(yè)決策就越有潛在價(jià)值。許多企業(yè)已經(jīng)通過從大數(shù)據(jù)的批處理到實(shí)時(shí)流數(shù)據(jù)處理的轉(zhuǎn)變獲得了競爭優(yōu)勢。大數(shù)據(jù)解決方案在企業(yè)數(shù)據(jù)快速分析方面的貢獻(xiàn)有目共睹，更快速高效的數(shù)據(jù)分析有助于企業(yè)獲取更有價(jià)值的信息，繼而實(shí)現(xiàn)關(guān)鍵的商業(yè)決策。

同時(shí)，企業(yè)在享受大數(shù)據(jù)便利的同時(shí)也面臨著相關(guān)人才短缺的挑戰(zhàn)。一份麥肯錫公司的研究報(bào)告表明，預(yù)計(jì)至2018年，僅美國就將有14-19萬名擁有大數(shù)據(jù)深度分析能力的人才缺口，同時(shí)還需要150萬位可以通過大數(shù)據(jù)分析做出有效決策的經(jīng)理人和分析師。

D1Net評論：

前路漫漫，大數(shù)據(jù)雖然已經(jīng)走上企業(yè)級發(fā)展之路，但是未來的發(fā)展究竟能否一帆風(fēng)順，現(xiàn)在還尚未可知，從大數(shù)據(jù)目前的發(fā)展?fàn)顩r來看，大數(shù)據(jù)人才的供給缺口亟需補(bǔ)充，否則，對大數(shù)據(jù)企業(yè)級的長遠(yuǎn)發(fā)展也是十分不利的。