對于非專業(yè)人士來說，數(shù)據(jù)科學(xué)家，數(shù)據(jù)分析師和數(shù)據(jù)工程師的角色可能并沒有什么不同。但實(shí)際上，這三種職位是完全不同的。數(shù)據(jù)工程師這一頭銜是在數(shù)據(jù)科學(xué)領(lǐng)域新興發(fā)展起來的。

過去，數(shù)據(jù)工程師的角色往往是由商業(yè)智能開發(fā)人員來擔(dān)任的，但是隨著數(shù)據(jù)的不斷龐大以及復(fù)雜性的不斷增加，其工作量已經(jīng)遠(yuǎn)遠(yuǎn)超過了一個簡單開發(fā)人員能夠負(fù)荷的了。

什么是數(shù)據(jù)工程師?

雖然數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師也在從事數(shù)據(jù)挖掘和洞察收集方面的工作，但是數(shù)據(jù)工程師是從事更基礎(chǔ)的工作。面臨過度簡化的風(fēng)險(xiǎn)，數(shù)據(jù)工程師要收集、開發(fā)和構(gòu)建數(shù)據(jù)科學(xué)家和分析師所要分析的數(shù)據(jù)和基礎(chǔ)設(shè)施。

數(shù)據(jù)工程師首先要是個軟件工程師，要設(shè)計(jì)和維護(hù)系統(tǒng)，收集和整合不同來源的數(shù)據(jù)，創(chuàng)建有意義的數(shù)據(jù)集。數(shù)據(jù)工程師雖然不涉及到機(jī)器學(xué)習(xí)或者其它分析任務(wù)的開發(fā)，但是它們負(fù)責(zé)讓這些實(shí)現(xiàn)的查詢功能，并確保數(shù)據(jù)收集的完整和準(zhǔn)確。簡而言之，數(shù)據(jù)工程師就是負(fù)責(zé)計(jì)算和其他分析發(fā)生的基礎(chǔ)系統(tǒng)的方方面面。

通常，數(shù)據(jù)工程師都有工程、計(jì)算機(jī)科學(xué)或軟件開發(fā)的背景，具備數(shù)據(jù)庫開發(fā)和管理、工程實(shí)踐的知識。大多數(shù)都在高等院校獲得了學(xué)位，并且有實(shí)際工作經(jīng)驗(yàn)。一般來說，軟件工程師需要具備以下能力，包括但不限于數(shù)據(jù)庫管理(特別是數(shù)據(jù)清理和確保準(zhǔn)確的數(shù)據(jù)集)、擴(kuò)展、建立容錯數(shù)據(jù)管道，系統(tǒng)監(jiān)控和錯誤管理。

數(shù)據(jù)工程師為什么如此重要?

數(shù)據(jù)科學(xué)被各界人士和媒體反復(fù)定義為未來最重要的行業(yè)之一， “哈佛商業(yè)評論”還曾經(jīng)將數(shù)據(jù)科學(xué)稱為“21世紀(jì)最性感的工作”。但是這些陳述講的通常是數(shù)據(jù)分析，或者從數(shù)據(jù)中獲得可行的實(shí)際過程。

例如，我們經(jīng)常會聽到零售商分析客戶的購買模式，也許我們從未向商家透露過我們已經(jīng)有小孩了，但是我們卻在推送中收到了尿片優(yōu)惠券。

而如果沒有數(shù)據(jù)工程師，那么大部分分析都是不可能實(shí)現(xiàn)的。因?yàn)槭褂弥胺椒▌?chuàng)建的數(shù)據(jù)太多了，所以保持相關(guān)性是很重要的。數(shù)據(jù)工程是大數(shù)據(jù)新世界的基礎(chǔ)部分，不僅增加了收集的數(shù)據(jù)量，而且確保了數(shù)據(jù)的清晰一致和高質(zhì)量。雖然數(shù)據(jù)科學(xué)的努力有時(shí)并不可見，但是如果沒有這個過程，企業(yè)是無法從數(shù)據(jù)的收集和分析中獲得可靠結(jié)果。

沒有數(shù)據(jù)工程師的世界?不可能

面對數(shù)據(jù)收集使用日益增長的監(jiān)管要求，數(shù)據(jù)工程師也是維護(hù)合規(guī)性的重要組成部分。從工程角度展示數(shù)據(jù)流程，用戶可以更完全地遵守審核員請求并準(zhǔn)確提供必要的信息。

大數(shù)據(jù)世界日益復(fù)雜的意義在于，獲得洞察力不僅需要一套基本的算法，而且還需要對分析原理的基本了解。分級角色確保了流程的各個方面的準(zhǔn)確和適當(dāng)?shù)墓芾?，發(fā)揮各個學(xué)科的優(yōu)勢和能力。數(shù)據(jù)工程師將繼續(xù)成為這一過程的重要組成部分，開發(fā)和實(shí)施將形成數(shù)據(jù)驅(qū)動型未來的新技術(shù)。