隨著大數(shù)據(jù)工具數(shù)量的增長(zhǎng)和計(jì)算能力的飛躍,數(shù)據(jù)科學(xué)家越來(lái)越多地發(fā)現(xiàn),如果他們想從自己的模型中獲得最佳性能,那就必須考慮所使用的數(shù)據(jù)管道。
數(shù)據(jù)科學(xué)工具的功能通常圍繞著預(yù)測(cè)建模,機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化。但這些工具還應(yīng)該包括后端數(shù)據(jù)管道技術(shù),因?yàn)檫@有助于加快分析的速度。
更強(qiáng)的計(jì)算能力
數(shù)據(jù)科學(xué)家們通常喜歡把后端技術(shù)扔給工程師來(lái)處理。當(dāng)你的主要關(guān)注點(diǎn)是提高模型的預(yù)測(cè)精度或發(fā)現(xiàn)一個(gè)數(shù)據(jù)集中的未知相關(guān)性時(shí),文件系統(tǒng)和資源管理工具通常情況下并不十分友好。
但隨著大數(shù)據(jù)工具數(shù)量的增長(zhǎng)和計(jì)算能力的飛躍,數(shù)據(jù)科學(xué)家越來(lái)越多地發(fā)現(xiàn),如果他們想從自己的模型中獲得最佳性能,那就必須考慮所使用的數(shù)據(jù)管道。
“有了更強(qiáng)的計(jì)算能力,我們可以進(jìn)行多次回歸操作,這很讓人興奮,”Brendan Herger,銀行和金融服務(wù)公司Capital One的數(shù)據(jù)科學(xué)家表示。“這的確有助于快速發(fā)展,因?yàn)槟阌辛烁嗟目捎觅Y源,讓一切變得容易。”
位于McLean, Va.的Capital One公司支持各種各樣的工具,但Herger表示,大部分的分析工作是通過(guò)Hadoop分布式文件系統(tǒng)和與其對(duì)應(yīng)的YARN資源管理器完成的。在Hadoop平臺(tái)之上,他使用H2O.ai提供的機(jī)器學(xué)習(xí)軟件做了很多建模。其他數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師使用不同的前端數(shù)據(jù)科學(xué)工具,例如GraphLab,Apache Zeppelin和Tableau。據(jù)Herger所述,一個(gè)強(qiáng)大、靈活的后端系統(tǒng)可以支持大數(shù)據(jù)集的快速訪問(wèn),無(wú)視前端工具的差異性。
不需要進(jìn)行數(shù)據(jù)采樣
Herger說(shuō),這種后臺(tái)計(jì)算能力讓他能夠?qū)ν暾臄?shù)據(jù)集進(jìn)行分析,不再需要進(jìn)行數(shù)據(jù)采樣。他認(rèn)為是否取樣這個(gè)問(wèn)題“幾乎類似于一個(gè)宗教問(wèn)題,”分析完整的數(shù)據(jù)集有幾個(gè)很大的好處。首先它保留了完整的數(shù)據(jù),包括所有可能存在的信號(hào)。當(dāng)數(shù)據(jù)被劃分成多個(gè)樣本時(shí),信號(hào)可能會(huì)丟失或變得并不那么明顯。
“不進(jìn)行采樣,這樣對(duì)數(shù)據(jù)科學(xué)家來(lái)說(shuō)是非常有意義的”Herger 說(shuō)。“計(jì)算能力的提升,讓人們得以在整個(gè)數(shù)據(jù)集上運(yùn)行分析,這樣的分析將越來(lái)越普遍”。
對(duì)于San Francisco Macys.com 公司的高級(jí)分析主任Daqing Zhao來(lái)說(shuō),擁有強(qiáng)大的數(shù)據(jù)架構(gòu),為他的團(tuán)隊(duì)帶來(lái)的主要好處就是速度。“我們希望進(jìn)行快速原型開發(fā),”本月在Boston舉行的TDWI Accelerate會(huì)議上,Daqing Zhao說(shuō)道。
趙的團(tuán)隊(duì)負(fù)責(zé)優(yōu)化Macys.com網(wǎng)站,該網(wǎng)站是Macy ‘ s Inc的零售門戶。優(yōu)化工作范圍很廣,例如設(shè)計(jì)變更,進(jìn)行A / B測(cè)試,構(gòu)建產(chǎn)品推薦引擎,為每個(gè)客戶提供個(gè)性化的推薦等。他的團(tuán)隊(duì)使用的主要大數(shù)據(jù)工具是以Hadoop和Spark系統(tǒng)為基礎(chǔ)構(gòu)建的,它支持一系列分析工具,既包括SAS Institute和IBM提供的商業(yè)化分析工具,也包括一些開源工具,像H2O,R和Mahout等。
數(shù)據(jù)沙盒有助于數(shù)據(jù)分析
Zhao 要求Macys.com的數(shù)據(jù)工程團(tuán)隊(duì)在公司數(shù)據(jù)倉(cāng)庫(kù)中為他的團(tuán)隊(duì)構(gòu)建數(shù)據(jù)沙盒。這允許他團(tuán)隊(duì)中的數(shù)據(jù)科學(xué)家以一種實(shí)際相關(guān)性來(lái)轉(zhuǎn)換或連接數(shù)據(jù),而不需要在數(shù)據(jù)記錄級(jí)別進(jìn)行任何數(shù)據(jù)變更。
對(duì)于所有這些工具,Zhao表示,H2O在進(jìn)行預(yù)測(cè)建模尤其有用。他第一次意識(shí)這一點(diǎn)是在最近的一次演示某個(gè)軟件的會(huì)議上。他說(shuō),在11秒內(nèi),工具在一個(gè)有著一億行數(shù)據(jù)的數(shù)據(jù)集上執(zhí)行一次邏輯回歸。重要的是,這些工具能夠與公司的后端數(shù)據(jù)基礎(chǔ)設(shè)施完美集成,這使得它更具有吸引力。
Zhao說(shuō),他現(xiàn)在沉迷于那些數(shù)據(jù)科學(xué)家可用的開源數(shù)據(jù)工具。除了其對(duì)于大數(shù)據(jù)強(qiáng)大處理能力,這些工具的背后還有著廣受歡迎的大型社區(qū)支持,這使得它更容易找到相關(guān)問(wèn)題的答案。集成開源工具和數(shù)據(jù)基礎(chǔ)設(shè)施通常會(huì)存在一定的問(wèn)題,因?yàn)樵诔霈F(xiàn)問(wèn)題時(shí),并沒(méi)有專業(yè)的技術(shù)支持來(lái)幫你解決。但此類工具的日益普及逐漸削弱了這個(gè)問(wèn)題產(chǎn)生的影響。
“因?yàn)殚_源軟件的逐漸流行,你可以使用谷歌或在論壇里找到答案,”Zhao說(shuō)。“以前你遇到開源軟件的問(wèn)題,可能會(huì)感到孤立無(wú)援,現(xiàn)在不會(huì)這樣了。”
從數(shù)據(jù)管理中解放出來(lái)
當(dāng)數(shù)據(jù)科學(xué)家在后端系統(tǒng)上運(yùn)行一些任務(wù)時(shí),他將會(huì)花費(fèi)更少的時(shí)間在數(shù)據(jù)管理上。
Colin Borys遇到的情況大致如此,Colin是Riot Games Inc.公司的數(shù)據(jù)科學(xué)家,該公司就是大名鼎鼎的對(duì)戰(zhàn)游戲LOL的開發(fā)商。在6月舊金山舉行2016 Spark Summit峰會(huì)的一次演講中,Borys表示,他的團(tuán)隊(duì)會(huì)監(jiān)控網(wǎng)絡(luò)流量,以試圖發(fā)現(xiàn)是否有玩家正在遭遇網(wǎng)絡(luò)擁堵,是否可以通過(guò)網(wǎng)絡(luò)疏導(dǎo)來(lái)提高網(wǎng)絡(luò)連通性。數(shù)據(jù)科學(xué)團(tuán)隊(duì)還開發(fā)了一個(gè)推薦引擎,建議玩家選擇不同的服務(wù)器來(lái)均衡網(wǎng)絡(luò)負(fù)載。
在之前,大部分工作是基于Hive上運(yùn)行的臨時(shí)查詢,但Borysr認(rèn)為這種方法并不高效,不具有較好的可伸縮性。Riot Games隨后引入了Spark技術(shù),部分原因是它想讓數(shù)據(jù)科學(xué)家在Hadoop數(shù)據(jù)上執(zhí)行SQL查詢,對(duì)于SQL,他們已經(jīng)非常熟悉。這家位于Los Angeles的公司開始使用Databricks提供的云Spark平臺(tái),這樣不需要有專門的人來(lái)花時(shí)間管理集群。
在引進(jìn)的Spark之前,Borys說(shuō),數(shù)據(jù)科學(xué)家會(huì)花費(fèi)大量的時(shí)間在準(zhǔn)備數(shù)據(jù)上?,F(xiàn)在他們可以利用這些時(shí)間來(lái)完成實(shí)際的數(shù)據(jù)分析。
“我們想要解放分析師,”他說(shuō)道。“使用Spark,進(jìn)行數(shù)據(jù)分析容易的多,它也讓分析變得更為有效。”