什么是DataOps?
DataOps(數(shù)據(jù)操作)是一門新興學(xué)科，將DevOps團隊與數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家角色結(jié)合在一起，提供一些工具、流程和組織結(jié)構(gòu)服務(wù)于以數(shù)據(jù)為中心的企業(yè)。
“DevOps的發(fā)展已經(jīng)成為現(xiàn)代趨勢，但越來越多的人將某些數(shù)據(jù)科學(xué)功能添加到系統(tǒng)和發(fā)展中，因此，您的DevOps團隊中需要有數(shù)據(jù)思維的人才。”MapR Technologies公司首席應(yīng)用程序設(shè)計師特德·鄧寧(Ted Dunning)，他也是《機器學(xué)習(xí)物流：現(xiàn)實中的模型管理(Machine Learning Logistics: Model Management in the Real World)》一書的合著作者，他說道。
DataOps的原則
和DevOps一樣，DataOps方法也從敏捷方法中獲得了啟發(fā)。DataOps方法很重視持續(xù)交付分析見解，其主要目的是滿足客戶需求。
DataOps團隊重視分析工作。他們通過所提供的見解來衡量數(shù)據(jù)分析工作的性能。DataOps團隊會接受變化，并始終努力來了解不斷變化的客戶需求。
DataOps團隊是多個團隊。他們圍繞多個目標(biāo)進行自我組織，努力減少“英雄主義”，以有利于團隊和流程的可持續(xù)性和可擴展性。
DataOps團隊自始至終來精心安排數(shù)據(jù)、工具、代碼和環(huán)境?？芍貜?fù)的結(jié)果是至關(guān)重要的。DataOps團隊傾向于將分析管道視為類似于精益生產(chǎn)線。
DataOps適用于哪些地方
鄧寧說，當(dāng)今的企業(yè)越來越多地將機器學(xué)習(xí)技術(shù)應(yīng)用到大量的產(chǎn)品和服務(wù)中，而DataOps是一種適合于來支持機器學(xué)習(xí)技術(shù)端到端需求的方法。
“例如，這種方式使得數(shù)據(jù)科學(xué)家更有可能獲得軟件工程的支持，以便在部署期間提交模型進行操作時能提供所需的東西，”鄧寧和MapR公司首席技術(shù)專家(及合著作者)艾倫·弗里德曼(Ellen Friedman)共同寫道。
他們補充道：“DataOps方法不僅限于機器學(xué)習(xí)。這種組織方式對于任何面向數(shù)據(jù)的工作都很有用，可以更輕松地利用所構(gòu)建的全局?jǐn)?shù)據(jù)結(jié)構(gòu)的優(yōu)勢。”
他們還指出DataOps非常適用于微服務(wù)架構(gòu)。
DataOps的實際使用
鄧寧和弗里德曼表示，當(dāng)企業(yè)采用這些新興的數(shù)據(jù)技術(shù)時，企業(yè)必須改進他們的方法來提高處理大規(guī)模數(shù)據(jù)的能力，并能夠?qū)嶋H發(fā)生的事件進行應(yīng)對。
他們寫道：“傳統(tǒng)上，孤立的角色被證明過于僵化和遲緩，很難適應(yīng)正在經(jīng)歷數(shù)字化轉(zhuǎn)型的大數(shù)據(jù)組織。這就是DataOps工作方式有所作為之處。”
DevOps方法匯集了軟件開發(fā)和運營方面的專家，使開發(fā)工作與業(yè)務(wù)目標(biāo)更加一致，縮短開發(fā)周期并提高部署效率。它更強調(diào)具有一個跨職能團隊，跨越“各個技能領(lǐng)域”如運營、軟件工程、架構(gòu)和規(guī)劃以及產(chǎn)品管理等。DataOps將數(shù)據(jù)科學(xué)和數(shù)據(jù)工程角色增加進來，并組合在一起，為了增加開發(fā)人員、運營專業(yè)人員和數(shù)據(jù)專家之間的協(xié)作和溝通。
鄧寧強調(diào)說，實現(xiàn)DataOps所承諾的一致性是需要將數(shù)據(jù)科學(xué)家納入到DataOps團隊中。
鄧寧說：“我認(rèn)為這里要做的最重要的事情就是不要堅持在傳統(tǒng)象牙塔組織里那樣的做法，即讓數(shù)據(jù)科學(xué)家與開發(fā)團隊相脫離。您可以采取的最重要的一步就是將數(shù)據(jù)科學(xué)家真正地納入DevOps團隊，當(dāng)數(shù)據(jù)科學(xué)家與團隊同吃同住，聽到同樣的抱怨時，他們自然會使工作保持一致。”
他補充說：“別把一件事情分離開來。他們需要傾聽來自一線的評論，推薦相同的解決方案，進行相同的分類處理。所以數(shù)據(jù)科學(xué)家的加入是關(guān)鍵的一步。”
但是，鄧寧還指出，數(shù)據(jù)科學(xué)家不一定始終包含在DataOps團隊中。
鄧寧說：“通常情況下，數(shù)據(jù)科學(xué)家在一段時間內(nèi)加入到團隊中。他們的能力和識別力開始削弱，然后團隊中的某個人會承擔(dān)數(shù)據(jù)工程師的角色，這是一名低成本的數(shù)據(jù)科學(xué)家。實際上，數(shù)據(jù)科學(xué)家加入團隊一段時間后會離開，這是一個流動的狀態(tài)。”
如何組建一個DataOps團隊
組建DataOps團隊并不一定意味著您必須聘請新的專家。弗里德曼指出，許多企業(yè)已經(jīng)在現(xiàn)有的DevOps團隊中擁有DataOps團隊的核心人員。下一步是確定需要進行數(shù)據(jù)密集型開發(fā)的項目和選定具有數(shù)據(jù)培訓(xùn)背景的人員。這個人甚至有可能是一名數(shù)據(jù)工程師，而并非是全面的數(shù)據(jù)科學(xué)家。
弗里德曼說：“如果你需要這些擁有不同技能的人才，并要將他們組合在一起來完成這個共同的目標(biāo)，這并不意味著你必須雇用一大堆人來擔(dān)任這些工作角色。通常你只需要雇傭那些有關(guān)鍵技能的人員，進行重新組合，以了解關(guān)鍵角色是什么。”
她說，重要的工作是改善具有不同技能成員之間的合作，以提高效率，并且更好地利用成員的時間和專業(yè)知識。
鄧寧和弗里德曼在書中寫道：“在大型項目中，某個特定的DataOps角色可能由多個人擔(dān)任，但也有一些人會擔(dān)任多個角色，這也很普遍。數(shù)據(jù)操作和軟件工程技能可能會有角色重疊，具有軟件工程經(jīng)驗的團隊成員也許可勝任數(shù)據(jù)工程師的工作。通常數(shù)據(jù)科學(xué)家具有數(shù)據(jù)工程技能，但是很少見到數(shù)據(jù)科學(xué)和數(shù)據(jù)操作之間的角色重疊。”
鄧寧和弗里德曼說，DataOps團隊擁有一個共同目標(biāo)也是非常關(guān)鍵的，該目標(biāo)就是他們所支持的服務(wù)的數(shù)據(jù)驅(qū)動需求。
鄧寧說：“有了工程團隊和優(yōu)秀的工程師，你需要做的就是設(shè)定好目標(biāo)。一旦有了一個共同的目標(biāo)，就可以解決問題了，那么團隊?wèi)?yīng)經(jīng)常組織在一起解決這些問題。當(dāng)不同的人看到問題的不同方面時，困難就會出現(xiàn)。數(shù)據(jù)操作人員會擔(dān)心在一段時間內(nèi)你獲得的答案是否具有可靠性，而數(shù)據(jù)科學(xué)人員往往把注意力集中在答案的準(zhǔn)確性上。此時已經(jīng)存在一些分歧，但如果他們希望解決同樣的問題，那么他們就愿意就如何解決這一問題進行妥協(xié)，我認(rèn)為這是一個很容易建立起來的群體結(jié)構(gòu)。”
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號