共享+結(jié)合 大數(shù)據(jù)時(shí)代幾個(gè)關(guān)鍵問(wèn)題剖析

責(zé)任編輯:editor006

作者:楊璐

2016-09-07 17:45:00

摘自:it168網(wǎng)站

大數(shù)據(jù)時(shí)代來(lái)臨,每個(gè)公司都應(yīng)該重視起數(shù)據(jù)部門。由于缺乏嚴(yán)格規(guī)范的數(shù)據(jù)相關(guān)法規(guī),從事此項(xiàng)工作人員擔(dān)心政務(wù)數(shù)據(jù)共享會(huì)引起信息安全問(wèn)題,擔(dān)心數(shù)據(jù)泄密失控

大數(shù)據(jù)時(shí)代來(lái)臨,每個(gè)公司都應(yīng)該重視起數(shù)據(jù)部門。以前搜集數(shù)據(jù)沒(méi)有足夠的時(shí)間、能力、資源,因而無(wú)法獲得更多的支撐。因?yàn)閿?shù)據(jù)量不夠。當(dāng)我們有了更多的數(shù)據(jù),我們看到的東西發(fā)生實(shí)質(zhì)的變化,我們以前從來(lái)沒(méi)有看到過(guò)這種情形。足夠的數(shù)據(jù),讓我們更好的理解彼此,達(dá)到歷史絕無(wú)僅有的水平。

共享+結(jié)合 大數(shù)據(jù)時(shí)代幾個(gè)關(guān)鍵問(wèn)題剖析

  大數(shù)據(jù)的核心在于共享

大數(shù)據(jù)之父舍恩伯格說(shuō)“大數(shù)據(jù)的核心要義在于共享。”

我們的各級(jí)政府、公共機(jī)構(gòu)匯集了存量大、質(zhì)量好、增長(zhǎng)速度快、與社會(huì)公眾關(guān)系密切的海量數(shù)據(jù)資源。除了部分分享自用和信息公開(kāi)外,大部分沒(méi)有充分發(fā)揮數(shù)據(jù)源作為“生產(chǎn)要素、無(wú)形資產(chǎn)和社會(huì)財(cái)富”應(yīng)有的作用。究其原因,主要表現(xiàn)在三個(gè)方面:

第一,不愿共享開(kāi)放。這是一個(gè)認(rèn)識(shí)問(wèn)題,政府部門和公共機(jī)構(gòu)未意識(shí)到共享開(kāi)放價(jià)值。另一方面利益分配的問(wèn)題,有的政府部門和公共機(jī)構(gòu)把自己掌握和獲取的數(shù)據(jù)當(dāng)做權(quán)力和利益,更甚的作為私有財(cái)產(chǎn)不愿共享。這造成不同機(jī)構(gòu)之間甚至部門之間都難以實(shí)現(xiàn)數(shù)據(jù)共享。另外,相關(guān)法律法規(guī)、制度標(biāo)準(zhǔn)相對(duì)落后,沒(méi)有形成管理體系。

第二,不敢共享開(kāi)放。由于缺乏嚴(yán)格規(guī)范的數(shù)據(jù)相關(guān)法規(guī),從事此項(xiàng)工作人員擔(dān)心政務(wù)數(shù)據(jù)共享會(huì)引起信息安全問(wèn)題,擔(dān)心數(shù)據(jù)泄密失控,對(duì)開(kāi)放有恐懼。

第三,不會(huì)共享開(kāi)放。這是一個(gè)專業(yè)化工作。數(shù)據(jù)封閉、信息孤島等系列問(wèn)題均是共享開(kāi)放不當(dāng)引起。相反,不該共享開(kāi)放卻為之會(huì)帶來(lái)更大的損失,甚至威脅到國(guó)家安全。

目前,持觀望態(tài)度為主流。大數(shù)據(jù)的發(fā)展如何真正步入實(shí)踐,落地操作成為一大問(wèn)題。

數(shù)據(jù)專家對(duì)大數(shù)據(jù)時(shí)代解析

筆者采訪了搜狐視頻大數(shù)據(jù)高級(jí)工程師李修鵬。專家解析:大數(shù)據(jù)時(shí)代的到來(lái),對(duì)應(yīng)“dirve data”類的數(shù)據(jù)技術(shù)和應(yīng)用,無(wú)意是注入了血液和激素,如推薦系統(tǒng)、人工智能、機(jī)器學(xué)習(xí)等,簡(jiǎn)單來(lái)說(shuō)大數(shù)據(jù)是一個(gè)把鑰匙,開(kāi)啟的更多基于大數(shù)據(jù)為基礎(chǔ),通過(guò)機(jī)器學(xué)習(xí)、大規(guī)模分布式計(jì)算等手段,構(gòu)建的數(shù)據(jù)挖掘和人工智能類的應(yīng)用組成的“智能”時(shí)代的到來(lái)。

大數(shù)據(jù)時(shí)代的到來(lái)首先我們要構(gòu)建好的大數(shù)據(jù)存儲(chǔ),簡(jiǎn)單來(lái)說(shuō)就是分布式數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)架構(gòu)的搭建和數(shù)據(jù)存儲(chǔ)建模,

滿足大數(shù)據(jù)時(shí)代帶來(lái)的“智能”時(shí)代需求的數(shù)據(jù)倉(cāng)庫(kù)日顯重要,如何建立好的數(shù)據(jù)部門,其實(shí)是每個(gè)公司都應(yīng)該重視的問(wèn)題。聊到數(shù)據(jù)倉(cāng)庫(kù),簡(jiǎn)單說(shuō)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)到互聯(lián)網(wǎng)中基于日志的大數(shù)據(jù)處理倉(cāng)庫(kù)的轉(zhuǎn)變。數(shù)據(jù)倉(cāng)庫(kù)發(fā)展兩個(gè)重要的人物Bill Inmon提出集中式架構(gòu)和Ralph Kimball提出的總線架構(gòu),到目前大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展和經(jīng)驗(yàn)總結(jié),提出的的五層模型(ODS、DWD、DWB/DWS、DM、ST),其中也是源于數(shù)據(jù)倉(cāng)庫(kù)的需求從支持戰(zhàn)略決策到需要支持戰(zhàn)術(shù)決策的轉(zhuǎn)變,支持更多的“智能”應(yīng)用。

在很多公司在有大數(shù)據(jù)“鑰匙”之后 ,都會(huì)不斷投入圍繞大數(shù)據(jù)的大規(guī)模分布式機(jī)器學(xué)習(xí)構(gòu)建的“智能”化應(yīng)用開(kāi)發(fā)中,不斷去嘗試開(kāi)啟的未來(lái)更加廣闊的天地,這樣也帶來(lái)了關(guān)于計(jì)算和機(jī)器學(xué)習(xí)等方面的技術(shù)的進(jìn)步,如分布式計(jì)算、實(shí)時(shí)流式計(jì)算、深度學(xué)習(xí)等計(jì)算,同樣也促使這技術(shù)人員的技能轉(zhuǎn)變和市場(chǎng)上人才和需求的供需不平衡。

迫在眉睫:如今的大數(shù)據(jù)需要哪種人才?

(1)大數(shù)據(jù)系統(tǒng)研發(fā)工程師

這一專業(yè)人才負(fù)責(zé)大數(shù)據(jù)系統(tǒng)研發(fā),包括大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)模型構(gòu)建、大數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)庫(kù)構(gòu)設(shè)、優(yōu)化數(shù)據(jù)庫(kù)構(gòu)架、解決數(shù)據(jù)庫(kù)中心設(shè)計(jì)等,同時(shí),還要負(fù)責(zé)數(shù)據(jù)集群的日常運(yùn)作和系統(tǒng)的監(jiān)測(cè)等,這一類人才是任何構(gòu)設(shè)大數(shù)據(jù)系統(tǒng)的機(jī)構(gòu)都必須的。

(2)大數(shù)據(jù)應(yīng)用開(kāi)發(fā)工程師

此類人才負(fù)責(zé)搭建大數(shù)據(jù)應(yīng)用平臺(tái)以及開(kāi)發(fā)分析應(yīng)用程序,他們必須熟悉工具或算法、編程、優(yōu)化以及部署不同的MapReduce,他們研發(fā)各種基于大數(shù)據(jù)技術(shù)的應(yīng)用程序及行業(yè)解決方案。其中,ETL開(kāi)發(fā)者是很搶手的人才,他們所做的是從不同的源頭抽取數(shù)據(jù),轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)以滿足企業(yè)的需要,將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉(cāng)庫(kù),成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ),為提取各類型的需要數(shù)據(jù)創(chuàng)造條件。

(3)大數(shù)據(jù)分析師

此類人才主要從事數(shù)據(jù)挖掘工作,運(yùn)用算法來(lái)解決和分析問(wèn)題,讓數(shù)據(jù)顯露出真相,同時(shí),他們還推動(dòng)數(shù)據(jù)解決方案的不斷更新。隨著數(shù)據(jù)集規(guī)模不斷增大,企業(yè)對(duì)Hadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長(zhǎng),具備Hadoop框架經(jīng)驗(yàn)的技術(shù)人員是最搶手的大數(shù)據(jù)人才,他們所從事的是熱門的分析師工作。

(4)數(shù)據(jù)可視化工程師

此類人才負(fù)責(zé)在收集到的高質(zhì)量數(shù)據(jù)中,利用圖形化的工具及手段的應(yīng)用,清楚地揭示數(shù)據(jù)中的復(fù)雜信息,幫助用戶更好地進(jìn)行大數(shù)據(jù)應(yīng)用開(kāi)發(fā),如果能使用新型數(shù)據(jù)可視化工具如Spotifre,Qlikview和Tableau,那么,就成為很受歡迎的人才。

(5)數(shù)據(jù)安全研發(fā)人才

此類人才主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲(chǔ)、數(shù)據(jù)安全管理工作,并對(duì)網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施,而對(duì)于數(shù)據(jù)安全方面的具體技術(shù)的人才就更需要了,如果數(shù)據(jù)安全技術(shù),同時(shí)又具有較強(qiáng)的管理經(jīng)驗(yàn),能有效地保證大數(shù)據(jù)構(gòu)設(shè)和應(yīng)用單位的數(shù)據(jù)安全,那就是搶手的人才

(6)數(shù)據(jù)科學(xué)研究人才

數(shù)據(jù)科學(xué)研究是一個(gè)全新的工作,夠?qū)挝?、企業(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為有用的商業(yè)價(jià)值,隨著大數(shù)據(jù)時(shí)代的到來(lái),越來(lái)越多的工作、事務(wù)直接涉及或針對(duì)數(shù)據(jù),這就需要有數(shù)據(jù)科學(xué)方面的研究專家來(lái)進(jìn)行研究,通過(guò)研究,他們能將數(shù)據(jù)分析結(jié)果解釋給IT部門和業(yè)務(wù)部門管理者聽(tīng),數(shù)據(jù)科學(xué)專家是聯(lián)通海量數(shù)據(jù)和管理者之間的橋梁,需要有數(shù)據(jù)專業(yè)、分析師能力和管理者的知識(shí),這也是搶手的人才。

總結(jié):

凡事有利弊。打開(kāi)窗,收獲的不只新鮮空氣,還有蒼蠅和蚊蟲。大數(shù)據(jù)開(kāi)啟了一個(gè)大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時(shí)代,它給技術(shù)和商業(yè)帶來(lái)了巨大的變化。在大數(shù)據(jù)時(shí)代背景下,如何從大數(shù)據(jù)中采集出有用的信息已經(jīng)是大數(shù)據(jù)發(fā)展的關(guān)鍵因素之一。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)