與其他一些相關(guān)工程職位一樣,數(shù)據(jù)科學(xué)家的影響力與互聯(lián)網(wǎng)同進同退。數(shù)據(jù)工程師和數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家攜手共同完成這幅“大數(shù)據(jù)時代”巨作。
三者之間的定義又是如何區(qū)分的呢?
數(shù)據(jù)科學(xué)家是什么樣一個存在呢?
通常情況下,數(shù)據(jù)科學(xué)家有數(shù)學(xué)或物理方面的高等學(xué)位。有博士學(xué)位的情況并不少見,碩士學(xué)位僅是一個前提條件。數(shù)據(jù)科學(xué)家精通統(tǒng)計建模以及如何構(gòu)建與定制高級數(shù)學(xué)算法。這既在他們專業(yè)范圍內(nèi),也是他們所擅長的地方。我聽到過有人這樣形容一個數(shù)據(jù)科學(xué)家“軟件工程技能牛過多數(shù)人的酷炫統(tǒng)計學(xué)家”。
我結(jié)合加工的說:所謂數(shù)據(jù)科學(xué)家,是指運用統(tǒng)計分析、機器學(xué)習(xí)、分布式處理等技術(shù),從大量數(shù)據(jù)中提取出對業(yè)務(wù)有意義的信息,以易懂的形式傳達(dá)給決策者,并創(chuàng)造出新的數(shù)據(jù)運用服務(wù)的人才。
數(shù)據(jù)工程師如何定義呢?
數(shù)據(jù)工程師一般被定義成“深刻理解統(tǒng)計學(xué)科的明星軟件工程師”。如果你正為一個商業(yè)問題煩惱,那么你需要一個數(shù)據(jù)工程師。這些伙計就是那些能提供可建模數(shù)據(jù)所需平臺的人。他們的核心價值在于他們借由清晰數(shù)據(jù)創(chuàng)建數(shù)據(jù)管道的能力。
數(shù)據(jù)工程師對演算法有相當(dāng)好的理解。因此,數(shù)據(jù)工程師理應(yīng)能運行基本數(shù)據(jù)模型。商業(yè)需求的高端化催生了演算高度復(fù)雜化的需求。很多時候,這些需求超過了數(shù)據(jù)工程師掌握知識范圍,這個時候你就需要打電話尋求數(shù)據(jù)科學(xué)家的幫助。
數(shù)據(jù)分析師如何理解呢?
數(shù)據(jù)分析師能洞悉一個方程式的商業(yè)意義。他們知道如何提出正確的問題,非常善于數(shù)據(jù)分析,數(shù)據(jù)可視化和數(shù)據(jù)呈現(xiàn)。不管是給另一個數(shù)據(jù)分析師還是C級執(zhí)行做演講,數(shù)據(jù)分析師都是數(shù)據(jù)提取,模式識別以及從大量數(shù)據(jù)中洞察問題方面的能手。
如果你或者你的公司正考慮順應(yīng)這股大數(shù)據(jù)浪潮的發(fā)展,你應(yīng)該從明確你想利用大數(shù)據(jù)解決所面臨的商業(yè)問題處下手。接著找出你真正的需求:是數(shù)據(jù)采集,檢索,倉儲還是數(shù)據(jù)分析?然后編寫相應(yīng)的職位描述并做好準(zhǔn)備。
從事這三者都要具備哪些技能呢?
數(shù)據(jù)科學(xué)家所需的技能如下:
計算機科學(xué)
一般來說,數(shù)據(jù)科學(xué)家大多要求具備編程、計算機科學(xué)相關(guān)的專業(yè)背景。簡單來說,就是對處理大數(shù)據(jù)所必需的Hadoop、Mahout等大規(guī)模并行處理技術(shù)與機器學(xué)習(xí)相關(guān)的技能。
數(shù)學(xué)、統(tǒng)計、數(shù)據(jù)挖掘等
除了數(shù)學(xué)、統(tǒng)計方面的素養(yǎng)之外,還需要具備使用SPSS、SAS等主流統(tǒng)計分析軟件的技能。其中,面向統(tǒng)計分析的開源編程語言及其運行環(huán)境“R”最近備受矚目。R的強項不僅在于其包含了豐富的統(tǒng)計分析庫,而且具備將結(jié)果進行可視化的高品質(zhì)圖表生成功能,并可以通過簡單的命令來運行。
數(shù)據(jù)可視化(Visualization)
信息的質(zhì)量很大程度上依賴于其表達(dá)方式。對數(shù)字羅列所組成的數(shù)據(jù)中所包含的意義進行分析,開發(fā)Web原型,使用外部API將圖表、地圖、Dashboard等其他服務(wù)統(tǒng)一起來,從而使分析結(jié)果可視化,這是對于數(shù)據(jù)科學(xué)家來說十分重要的技能之一。
數(shù)據(jù)工程師需具備的技能
數(shù)學(xué)及統(tǒng)計學(xué)相關(guān)的背景
對于大多數(shù)互聯(lián)網(wǎng)大公司來說,對于數(shù)據(jù)工程師的要求都是希望是統(tǒng)計學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷,只有具備一定的理論知識,才能理解模型、復(fù)用模型甚至創(chuàng)新模型,來解決實際問題。
計算機編碼能力
實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素,因為許多數(shù)據(jù)的價值來自于挖掘的過程,你必須親自動手才能發(fā)現(xiàn)金子的價值。
對特定應(yīng)用領(lǐng)域或行業(yè)的知識
數(shù)據(jù)工程師這個角色很重要的一點是,不能脫離市場,因為大數(shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來才能產(chǎn)生價值。所以,在某個或多個垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對行業(yè)的認(rèn)知,對于之后成為數(shù)據(jù)工程師有很大幫助,因此這也是應(yīng)聘這個崗位時較有說服力的加分項。
數(shù)據(jù)分析具備的技能
懂業(yè)務(wù)
從事數(shù)據(jù)分析工作的前提就會需要懂業(yè)務(wù),即熟悉行業(yè)知識、公司業(yè)務(wù)及流程,最好有自己獨到的見解,若脫離行業(yè)認(rèn)知和公司業(yè)務(wù)背景,分析的結(jié)果只會是脫了線的風(fēng)箏,沒有太大的使用價值。
懂管理
一方面是搭建數(shù)據(jù)分析框架的要求,比如確定分析思路就需要用到營銷、管理等理論知識來指導(dǎo),如果不熟悉管理理論,就很難搭建數(shù)據(jù)分析的框架,后續(xù)的數(shù)據(jù)分析也很難進行。另一方面的作用是針對數(shù)據(jù)分析結(jié)論提出有指導(dǎo)意義的分析建議。
懂分析
指掌握數(shù)據(jù)分析基本原理與一些有效的數(shù)據(jù)分析方法,并能靈活運用到實踐工作中,以便有效的開展數(shù)據(jù)分析?;镜姆治龇椒ㄓ校簩Ρ确治龇ā⒎纸M分析法、交叉分析法、結(jié)構(gòu)分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關(guān)聯(lián)分析法等。高級的分析方法有:相關(guān)分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應(yīng)分析法、時間序列等。
懂工具
指掌握數(shù)據(jù)分析相關(guān)的常用工具。數(shù)據(jù)分析方法是理論,而數(shù)據(jù)分析工具就是實現(xiàn)數(shù)據(jù)分析方法理論的工具,面對越來越龐大的數(shù)據(jù),我們不能依靠計算器進行分析,必須依靠強大的數(shù)據(jù)分析工具幫我們完成數(shù)據(jù)分析工作。
懂設(shè)計
懂設(shè)計是指運用圖表有效表達(dá)數(shù)據(jù)分析師的分析觀點,使分析結(jié)果一目了然。圖表的設(shè)計是門大學(xué)問,如圖形的選擇、版式的設(shè)計、顏色的搭配等等,都需要掌握一定的設(shè)計原則。