新興產(chǎn)業(yè)的出現(xiàn)和發(fā)展有兩種基本模式。一種是需求導(dǎo)向型,實(shí)際應(yīng)用中出現(xiàn)了明顯的痛點(diǎn),必須要解決,不然就有人一直痛。另一種是技術(shù)導(dǎo)向型,革命性的技術(shù)先出現(xiàn),慢慢地新技術(shù)擴(kuò)大了用戶的想象空間,進(jìn)而激發(fā)出新的需求。大數(shù)據(jù)從概念提出到今天形成一個完整的產(chǎn)業(yè),基本上屬于第二種模式。
Hadoop生態(tài)系統(tǒng)下的技術(shù)(包括 pig,hive,spark,storm,hbase等)是目前大數(shù)據(jù)業(yè)界中事實(shí)上的標(biāo)準(zhǔn)。但在hadoop從互聯(lián)網(wǎng)產(chǎn)業(yè)走出之前,大數(shù)據(jù)本身還不能稱之為一個“產(chǎn)業(yè)”,因?yàn)樗鼪]有形成足夠大的規(guī)模。所以大數(shù)據(jù)并不是指數(shù)據(jù)量有多大,是GB,TB還是PB,這其實(shí)沒有關(guān)系。真正意義上的大數(shù)據(jù)是指 hadoop體系技術(shù)從互聯(lián)網(wǎng)行業(yè)被引入到其它行業(yè),進(jìn)而得到快速、廣泛、多維度、多層次的大量普及應(yīng)用。大數(shù)據(jù)之大,在于應(yīng)用規(guī)模的大,而不是數(shù)據(jù)量的大?,F(xiàn)在大數(shù)據(jù)的應(yīng)用已經(jīng)遠(yuǎn)遠(yuǎn)超越了互聯(lián)網(wǎng)行業(yè),包括公安、智慧城市、醫(yī)療、交通、教育、通信、游戲、服裝、地產(chǎn)、旅游、保險(xiǎn)、銀行、證券、食品安全、海事、零售、氣象等等--世界正快速進(jìn)入全面數(shù)據(jù)服務(wù)的時(shí)代!
大數(shù)據(jù)產(chǎn)業(yè)發(fā)展最快的一個是美國,另一個就是中國。有關(guān)中國大數(shù)據(jù)市場容量的預(yù)測和估算有很多版本,激進(jìn)者估計(jì)千億市場的,悲觀的認(rèn)為國內(nèi)大數(shù)據(jù)市場剛剛萌芽。判斷一個行業(yè)發(fā)展趨勢最好的工具現(xiàn)在就是求職招聘網(wǎng)站。我們將通過大數(shù)據(jù)相關(guān)職位空缺數(shù),來判斷國內(nèi)大概有多少個企業(yè)客戶在實(shí)施大數(shù)據(jù)項(xiàng)目。我們以51job為例做些調(diào)查分析。分析的方法非常簡單,統(tǒng)計(jì)大數(shù)據(jù)相關(guān)職位的招聘情況。以下數(shù)據(jù)截止到2015年4月27日,來源于51job,地域覆蓋北上廣深杭。
分別選取了比較熱門的一些招聘職位:數(shù)據(jù)分析師、hadoop、數(shù)據(jù)挖掘、大數(shù)據(jù)開發(fā)工程師,企業(yè)招聘情況如下:
合計(jì)為2861個,對結(jié)果進(jìn)行一些修正:
(1)因?yàn)槁毼幻Q,或者沒覆蓋到的其他大數(shù)據(jù)技術(shù)職位,乘以系數(shù):1.2
(2)因?yàn)?1job的限制,僅僅統(tǒng)計(jì)了5個城市,乘以系數(shù)1.3
(3)可能沒在51job上發(fā)布的職位: 乘以系數(shù)1.1
這樣修正后,國內(nèi)大數(shù)據(jù)職位空缺數(shù)4909。根據(jù)這個數(shù)字,我們來推算客戶數(shù):
(4)考慮同一家公司可能同時(shí)有1-3個大數(shù)據(jù)相關(guān)職位發(fā)布,乘以系數(shù):0.8
(5)假設(shè)在實(shí)施大數(shù)據(jù)項(xiàng)目的客戶有五分之一的有招聘需求,乘以系數(shù):5.0
最終結(jié)果:19636。
也就是說,截止2015年4月27日,國內(nèi)有大概19636個大數(shù)據(jù)項(xiàng)目在進(jìn)行。假設(shè)平均一個項(xiàng)目規(guī)模為50萬(比較保守的估計(jì)),則國內(nèi)大數(shù)據(jù)項(xiàng)目的規(guī)模合計(jì)為98億人民幣。考慮現(xiàn)在才是2015年第二季度,2015全年大數(shù)據(jù)項(xiàng)目規(guī)??隙ǔ^100億人民幣。數(shù)據(jù)服務(wù)有限公司)