2014中國大數(shù)據(jù)行業(yè)大調(diào)查:人才仍然是個大問題

責(zé)任編輯:editor004

2014-12-09 11:26:24

摘自:36大數(shù)據(jù)

在眾多的開發(fā)語言中,大數(shù)據(jù)平臺開發(fā)者們尤為青睞Java,占到了總比例的65%, 遠(yuǎn)遠(yuǎn)超過其他開發(fā)語言。

大數(shù)據(jù)

 公司使用大數(shù)據(jù)的基本情況

時至今日,無論你是來自互聯(lián)網(wǎng)行業(yè)、通信行業(yè),還是金融行業(yè)、服務(wù)業(yè)或是零售業(yè),相信都不會對大數(shù)據(jù)感到陌生。據(jù)調(diào)查報告顯示,32.5%的公司正在搭建大數(shù)據(jù)平臺,處于測試階段;29.5%的公司已經(jīng)在生產(chǎn)環(huán)境實踐大數(shù)據(jù),并有成功的用例/產(chǎn)品;24.5%的公司已經(jīng)做了足夠的了解,開發(fā)準(zhǔn)備就緒;基本不了解的只占3000+用戶的13.5%。

大數(shù)據(jù)

  現(xiàn)有公司大數(shù)據(jù)的使用情況

其中,大家對大數(shù)據(jù)平臺提出的的主要需求有:36.5%是進(jìn)行海量數(shù)據(jù)的離線處理,比如大數(shù)據(jù)BI;23.2%是為了大量數(shù)據(jù)的實時處理,比如在線交互式分析;40.3%的公司的大數(shù)據(jù)平臺則同時負(fù)責(zé)這兩種業(yè)務(wù)。

大數(shù)據(jù)

  大數(shù)據(jù)平臺主要負(fù)責(zé)的業(yè)務(wù)

傳統(tǒng)觀念下,大數(shù)據(jù)往往是大型互聯(lián)網(wǎng)公司的玩物。然而,通過本次調(diào)查,我們卻發(fā)現(xiàn)在那些對大數(shù)據(jù)平臺有需求的公司中,研發(fā)團隊規(guī)模遠(yuǎn)沒有我們想象的大,29.11%的研發(fā)團隊僅有1-10人,次居第二的10-50人的規(guī)模占到了25.77%,兩種規(guī)模的研發(fā)團隊就超過了一半。可見,當(dāng)下大數(shù)據(jù)的需求已不止步于大型公司。

大數(shù)據(jù)

  研發(fā)團隊規(guī)模

從傳統(tǒng)架構(gòu)到大數(shù)據(jù)時代應(yīng)用程序架構(gòu)的轉(zhuǎn)變往往都會遇到一些問題和挑戰(zhàn)。在對計算框架門檻調(diào)查中,非專業(yè)人士難于入手這一難題的比例達(dá)到了46.5%,這對企業(yè)人才的培訓(xùn)提出了迫切的要求。

大數(shù)據(jù)

  當(dāng)下計算框架使用過程中存在的問題

打造大數(shù)據(jù)平臺需要企業(yè)克服諸多問題和挑戰(zhàn),尤其是安全性和可靠性方面。

大數(shù)據(jù)

  大數(shù)據(jù)平臺打造的主要挑戰(zhàn)

大數(shù)據(jù)技術(shù)現(xiàn)狀

大數(shù)據(jù)技術(shù)在開發(fā)者或從業(yè)人員的應(yīng)用中逐步走向成熟,這些成熟的技術(shù)在開發(fā)人員的探索中得到了初步的穩(wěn)定發(fā)展,公司的使用便是對這些技術(shù)的肯定。包括開發(fā)語言,數(shù)據(jù)分析語言、數(shù)據(jù)庫等在內(nèi)的大數(shù)據(jù)工具,究竟哪個更適合自己的業(yè)務(wù),相信開發(fā)者們都有自己的評判標(biāo)準(zhǔn)。

在眾多的開發(fā)語言中,大數(shù)據(jù)平臺開發(fā)者們尤為青睞Java,占到了總比例的65%, 遠(yuǎn)遠(yuǎn)超過其他開發(fā)語言。值得一提的是,Hadoop本身就由Java實現(xiàn)的。

大數(shù)據(jù)

  大數(shù)據(jù)開發(fā)語言

在大數(shù)據(jù)分析語言中,SQL的使用比例達(dá)到了64%,是R語言使用者人數(shù)的2倍之多。我們從中不難看出SQL-on-XXX項目的前景;同時從R的支持率上,也看到了更多非技術(shù)人員,比如數(shù)據(jù)分析師對低門檻分析類語言的需求。

大數(shù)據(jù)

  大數(shù)據(jù)分析通常用的語言

在大數(shù)據(jù)存儲上,HBase則以67.55%的比例位居榜首,遠(yuǎn)超其他數(shù)據(jù)倉庫,當(dāng)然這點與Hadoop原生支持是分不開的。

大數(shù)據(jù)

  大數(shù)據(jù)存儲中適合的數(shù)據(jù)庫

對存儲在HBase或Cassandra這樣NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢,Solr、Elasticsearch、Splunk等主流的搜索引擎差距并不大。

大數(shù)據(jù)

  對存儲在NOSQL數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行復(fù)雜查詢,比較合適的工具

大數(shù)據(jù)未來發(fā)展

誠如上文所說,許多對大數(shù)據(jù)有需求的公司并不一定具備強大的研發(fā)團隊,在大數(shù)據(jù)處理過程中往往遭遇眾多挑戰(zhàn)。那么,在面臨這些挑戰(zhàn)時,開發(fā)者最迫切需要的是什么?

為了解決公司中的實際問題,39.28%的人希望擁有更犀利和通用的計算框架;37.88%的人希望能擁有更好的數(shù)據(jù)挖掘算法;21.59%的人則對保障性更高的運維有了更多的期盼。

大數(shù)據(jù)

  為了解決公司的實際問題,最希望擁有的新技術(shù)

良好的大數(shù)據(jù)計算平臺能夠有效地支撐企業(yè)的海量數(shù)據(jù),對于下一代通用大數(shù)據(jù)技術(shù)平臺,Spark和Hadoop是公司的主要選擇。同時,我們也看到了新貴Spark的發(fā)展前景,對比老將Hadoop,差距也僅有3.7%。

大數(shù)據(jù)

  人們看好的下一代通用大數(shù)據(jù)計算平臺

現(xiàn)有公司中,大數(shù)據(jù)平臺已包含的部件位居前三的主要是SQL數(shù)據(jù)庫(90.3%)、NoSQL數(shù)據(jù)庫(50.7%)和HDFS(47.2%),在此基礎(chǔ)上,公司計劃添加的部件主要包含SQL數(shù)據(jù)庫(57.2%)、Spark(41.5%)和NoSQL數(shù)據(jù)庫(26.9%)。從各公司已有大數(shù)據(jù)部件和計劃添加的部件可以看出,SQL數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫在公司的大數(shù)據(jù)平臺中發(fā)揮了重要的作用,得到了各公司的青睞。

大數(shù)據(jù)

  現(xiàn)有大數(shù)據(jù)平臺已包含的部件

大數(shù)據(jù)

  現(xiàn)有大數(shù)據(jù)平臺計劃添加的部件

為了獲取更高的收益,企業(yè)在前期需要進(jìn)行有效地成本投入,對大數(shù)據(jù)平臺的投資,公司更加不會吝嗇,其中被調(diào)查的人群中,45.7%的人所在企業(yè)有追加投資大數(shù)據(jù)平臺的打算,同時,公司也期望能夠通過多種途徑完善大數(shù)據(jù)平臺,主要的完善途徑包括基于開源平臺自主研發(fā)、購買成熟的解決方案,使用公有云。

大數(shù)據(jù)

  企業(yè)期望完善大數(shù)據(jù)平臺的途徑

使用公有云也是企業(yè)期望完善大數(shù)據(jù)平臺的有效途徑之一,在選擇公有云平臺方面,企業(yè)也面臨著很大的傾向性,45.26%的人將阿里云作為首選。

大數(shù)據(jù)

  公有云平臺的選擇

大數(shù)據(jù)技術(shù)培訓(xùn)

技術(shù)培訓(xùn)能夠?qū)﹂_發(fā)者起到一定的指導(dǎo)作用,使得聽眾可以系統(tǒng)全面的把握新技術(shù)的知識脈絡(luò),了解技術(shù)的發(fā)展趨勢。在此次調(diào)查活動中,69.4%的被調(diào)查者表示從未參加過大數(shù)據(jù)平臺構(gòu)建的技術(shù)培訓(xùn)。對于技術(shù)培訓(xùn)的形式,49%的人希望是線上培訓(xùn),收費,成系列型的大數(shù)據(jù)解決方案,專攻一個方向,解決實際問題;37%的被調(diào)查者還是希望免費進(jìn)行技術(shù)培訓(xùn),即使不成系列,無論是線上線下,能聽一節(jié)是一節(jié)。雖然收費在一定程度上影響了開發(fā)者對大數(shù)據(jù)技術(shù)培訓(xùn)的熱情,但是能夠切實解決實際問題,得到技術(shù)和能力的提升,仍是相關(guān)技術(shù)人員追求的培訓(xùn)目標(biāo)。

大數(shù)據(jù)

  更適合的技術(shù)培訓(xùn)形式

那么,對開發(fā)者來說,大家特別期望從技術(shù)培訓(xùn)中獲取的知識又會是什么?

大數(shù)據(jù)

  大數(shù)據(jù)領(lǐng)域,迫切學(xué)習(xí)或參加培訓(xùn)的新技術(shù)

寫在最后

根據(jù)本次調(diào)查,我們不難發(fā)現(xiàn),大數(shù)據(jù)仍然只在少數(shù)公司的生產(chǎn)環(huán)境投入使用,造成這個情況的原因主要有兩個:首先,當(dāng)下的大數(shù)據(jù)計算框架在使用上仍然存在很高的門檻;其次,受限于公司研發(fā)團隊的實力。在大數(shù)據(jù)平臺打造上,大部分機構(gòu)都期望通過自主研發(fā)來完成這個過程,同時也期望獲得更符合使用習(xí)慣的計算框架,比如SQL。同時,在自主研發(fā)和購買解決方案添加大數(shù)據(jù)屬性之外,很多機構(gòu)將注意力集中到云計算,其中國內(nèi)云供應(yīng)商阿里云45.26%的得票率更是值得欣慰。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號