最近《福布斯》發(fā)表了一篇關(guān)于對2018“人工智能、大數(shù)據(jù)和分析”10大預(yù)測的文章中指出,數(shù)據(jù)工程師即將取代數(shù)據(jù)科學(xué)家的角色,成為炙手可熱的新一代職位。Gil Press寫道,Indeed.com上有13%的崗位是關(guān)于數(shù)據(jù)工程師的,而數(shù)據(jù)科學(xué)家所占的比例還不到1%。
有趣的是,筆者在LinkedIn上查到如亞馬遜和Facebook這樣的領(lǐng)先數(shù)據(jù)驅(qū)動公司發(fā)布的數(shù)據(jù)工程師職位描述。具備數(shù)據(jù)抽取、轉(zhuǎn)換、加載(ETL)流程和數(shù)據(jù)管道建設(shè)專業(yè)知識的全面了解,豐富的數(shù)據(jù)倉庫技能,是理想數(shù)據(jù)工程師的必備和基本素質(zhì)。
什么是數(shù)據(jù)工程師?
如果建筑工程涉及到建筑、道路和軌道等物理基礎(chǔ)設(shè)施的設(shè)計、規(guī)劃、建設(shè)和管理,數(shù)據(jù)工程也要應(yīng)用同樣復(fù)雜的數(shù)據(jù)。
數(shù)據(jù)工程師計劃、設(shè)計、構(gòu)建和維護(hù)一個可靠的體系架構(gòu),以確保穩(wěn)定的清潔和結(jié)構(gòu)化數(shù)據(jù)流,以便進(jìn)行進(jìn)一步分析,并適用于生產(chǎn)環(huán)境。
數(shù)據(jù)工程之所以越來越引人注目,是因為企業(yè)被大量非結(jié)構(gòu)化的有價值的商業(yè)信息數(shù)據(jù)所淹沒了。
隨著數(shù)據(jù)科學(xué)家和公民數(shù)據(jù)科學(xué)的統(tǒng)計和編程能力開始激增,管理和維護(hù)大量的數(shù)據(jù)成了他們共同的痛點(diǎn)。分析和構(gòu)建模型的數(shù)據(jù)科學(xué)家,近80%的時間都花費(fèi)在查找和清理數(shù)據(jù)。
數(shù)據(jù)工程師通過了解企業(yè)所需的數(shù)據(jù)、識別相關(guān)的新數(shù)據(jù)源、提取可用的格式數(shù)據(jù),確保數(shù)據(jù)不出錯并將數(shù)據(jù)加載到數(shù)據(jù)科學(xué)家和分析師的工作中,從而實現(xiàn)對數(shù)據(jù)的救援計劃。
數(shù)據(jù)工程師必備工具集
數(shù)據(jù)工程師的工作內(nèi)容常常與數(shù)據(jù)架構(gòu)師、數(shù)據(jù)庫管理員和軟件工程師的工作重疊,這意味著他們需要預(yù)先熟悉這些工作的內(nèi)容。數(shù)據(jù)架構(gòu)師或管理員只局限于數(shù)據(jù)基礎(chǔ)架構(gòu)的規(guī)劃和維護(hù)的位置上,但從起源到最終分析展覽的過程中,數(shù)據(jù)工程師都要參與在內(nèi)。
因此,數(shù)據(jù)工程師的技能包括:
* 精通R或Python編程
* 強(qiáng)大的SQL技能
* 基于Hadoop的技術(shù),如MapReduce、Hive和Pig
* ETL和數(shù)據(jù)倉庫專業(yè)知識
除上述以外,數(shù)據(jù)工程師還應(yīng)為傳統(tǒng)的ETL過程提供新的重新配置選項。在并行處理方法之后,為復(fù)制數(shù)據(jù)構(gòu)建數(shù)據(jù)管道,將其轉(zhuǎn)移到存儲解決方案上,重新格式化和加入數(shù)據(jù)。
隨著多條數(shù)據(jù)流水線開始出現(xiàn),Airflow和Luigi等開源工作流管理工具可用于創(chuàng)建和監(jiān)控數(shù)據(jù)流水線。因此,對這些工具的了解又是一個優(yōu)勢。數(shù)據(jù)工程師也可以使用機(jī)器學(xué)習(xí)來自動化數(shù)據(jù)管道流程。
數(shù)據(jù)準(zhǔn)備 —— 主要標(biāo)準(zhǔn)
數(shù)據(jù)的清潔度和質(zhì)量越好,建模的效果越好,這就是從訓(xùn)練模型中得出的見解。
Urthecast的數(shù)據(jù)工程師David Bianco解釋說,數(shù)據(jù)工程師的最終目標(biāo)是向需要的人提供干凈、可用的數(shù)據(jù)。這種收集、清理、處理和整合數(shù)據(jù)的方法被稱為數(shù)據(jù)準(zhǔn)備或數(shù)據(jù)處理。
數(shù)據(jù)分析中的兩個主要數(shù)據(jù)問題。
小(無)或大數(shù)據(jù)問題:數(shù)據(jù)工程師應(yīng)該在公司內(nèi)外尋找新的數(shù)據(jù)來源。沒有足夠的數(shù)據(jù)來源,分析師和數(shù)據(jù)科學(xué)家會很難建立培訓(xùn)模式。相反,大數(shù)據(jù)集也可能很難處理,而且“垃圾進(jìn),垃圾出”是數(shù)據(jù)科學(xué)中一個殘酷的現(xiàn)實。
雜亂的數(shù)據(jù)問題:一旦確定了數(shù)據(jù)源,就需要對元數(shù)據(jù)進(jìn)行編目和組織,定義數(shù)據(jù)提取方法。Airbnb的數(shù)據(jù)工程師Maxime Beauchemin把數(shù)據(jù)工程師稱為數(shù)據(jù)倉庫的“圖書管理員”,他們把凌亂的數(shù)據(jù)梳理好。相互沖突的術(shù)語和不一致的數(shù)據(jù)會使整個流程變得拖沓。
盡管大多數(shù)數(shù)據(jù)看起來微不足道,但提煉和清洗后的數(shù)據(jù)卻能產(chǎn)生大價值。
為數(shù)據(jù)工程師減輕數(shù)據(jù)準(zhǔn)備壓力
數(shù)據(jù)準(zhǔn)備工作可能很乏味,但是如果正確使用了自動化和工具,將會節(jié)省不少時間。在R / Python編程方面的專業(yè)知識,有助于簡化他們在自動化方面的工作。
數(shù)據(jù)冠層正在以前所未有的速度擴(kuò)張,越來越有趣也越來越混亂。數(shù)據(jù)工程師的職責(zé)就是清理混亂的數(shù)據(jù)生態(tài)系統(tǒng),為所有人提供一個健康的數(shù)據(jù)集。