面對(duì)20億行代碼,Google如何管理?

責(zé)任編輯:editor006

作者:思睿

2015-09-17 16:13:45

摘自:雷鋒網(wǎng)

這并不意味著 Google 要讓機(jī)器人編寫代碼,但它們確實(shí)可以生成很多運(yùn)行軟件所需的數(shù)據(jù)和配置文件。兩家巨頭正在開發(fā)一個(gè)開源的版本控制系統(tǒng),任何人都可以用它來(lái)處理大規(guī)模代碼。

面對(duì)“Google 這家公司有多大?”這種問題,你可能會(huì)用收入、股票價(jià)格、客戶數(shù)量或者是形而上學(xué)的影響力來(lái)回答這個(gè)問題。但是,這還不是全部。Google 作為全球最大的互聯(lián)網(wǎng)公司,我們當(dāng)然可以用“互聯(lián)網(wǎng)思維”來(lái)思考這個(gè)問題,比如用代碼數(shù)量來(lái)衡量它。

來(lái)自于 Google 的 Rachel Potvin,在周一舉辦的硅谷工程會(huì)議上給了我們一個(gè)可以參考的答案。她表示,運(yùn)行所有 Google 互聯(lián)網(wǎng)服務(wù)的軟件,包括了 Google 搜索、Gmail、Google地圖等,大約有20億行代碼。相比之下,從20世紀(jì)80年代就開始開發(fā)的 Windows 操作系統(tǒng)——有史以來(lái)為單一計(jì)算機(jī)所開發(fā)的最復(fù)雜的軟件工具之一,只有5000萬(wàn)行代碼。

所以簡(jiǎn)單一刀切的話,建立 Google 相當(dāng)于建40個(gè) Windows 系統(tǒng)。

當(dāng)然,5000萬(wàn)行代碼驅(qū)動(dòng)的僅僅是 Windows 系統(tǒng)本身,而20億行代碼則是 Google 的全部。Google 的業(yè)務(wù)覆蓋范圍及其廣,包含了搜索、地圖、文檔、社交、日歷、郵件、視頻,以及其他互聯(lián)網(wǎng)服務(wù),所有20億行代碼都存放在代碼資源庫(kù)中,提供給全部2.5萬(wàn)名 Google 工程師調(diào)用。在公司內(nèi)部,Google 對(duì)待它的代碼就像對(duì)待一個(gè)巨大的操作系統(tǒng)。Potvin 表示:“雖然不能證明這一點(diǎn),但我認(rèn)為這是全球最大的單一信息庫(kù)。”

Google 是一個(gè)極端例子,但它展示了如今的軟件在互聯(lián)網(wǎng)時(shí)代有多復(fù)雜,以及我們?nèi)绾胃淖兪褂玫木幋a工具和理念,以適應(yīng)這種復(fù)雜性。Google 的巨大資源庫(kù)僅適用于內(nèi)部程序員,但在某種程度上,它已經(jīng)類似于Github——一個(gè)向所有公眾開放的源代碼庫(kù),工程師可以通過互聯(lián)網(wǎng)共享代碼。我們正在走向一個(gè)需要經(jīng)常大規(guī)模合作代碼的世界,也只有這樣才能跟上現(xiàn)代互聯(lián)網(wǎng)服務(wù)的發(fā)展。

GitHub 就表示:“Google 擁有2.5萬(wàn)名工程師,他們可以與內(nèi)部擁有各種不同技能的人分享代碼。但是小公司可以使用 GitHub 和開源,得到同樣的優(yōu)勢(shì)。”

另一方面,建立并運(yùn)行一個(gè)20億行代碼的龐大系統(tǒng),并不簡(jiǎn)單。Lambert 表示:“這是一項(xiàng)技術(shù)挑戰(zhàn),也是一個(gè)巨大壯舉,數(shù)字相當(dāng)驚人。”

GitHub 可以讓程序員輕松共享代碼和協(xié)作,它涵蓋了數(shù)以百萬(wàn)計(jì)的項(xiàng)目,但沒有直接容納軟件項(xiàng)目。Google 則更進(jìn)了一步,將很多項(xiàng)目合并成一個(gè)。鑒于涉及許多工程師以及同時(shí)應(yīng)付如此多代碼的難度,能做到這一點(diǎn)十分地瘋狂。

Piper

Google 為了同時(shí)應(yīng)付所有代碼,已經(jīng)建立了自己的“版本控制系統(tǒng)”:Piper。它在整個(gè)龐大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施上運(yùn)行,系統(tǒng)覆蓋了10個(gè)不同的 Google 數(shù)據(jù)中心。

這一系統(tǒng)不僅將所有20億行代碼都存放在單一的系統(tǒng)內(nèi),并提供給公司內(nèi)部工程師調(diào)用,更給工程師提供了更多自由,可以使用及合并橫跨無(wú)數(shù)項(xiàng)目的代碼。Potvin 表示:“當(dāng)你開始一個(gè)新項(xiàng)目,Google 已經(jīng)提供了有豐富資源的圖書館,幾乎一切事情都已經(jīng)幫你完成。更重要的是,工程師可以在所有 Google 服務(wù)中進(jìn)行代碼變更和立即部署。更新一件事,就能夠更新一切。”

當(dāng)然使用這個(gè)系統(tǒng)也有限制。Potvin 表示,某些高度機(jī)密的代碼,如PageRank 搜索算法,被存儲(chǔ)在一個(gè)單獨(dú)的資源庫(kù)中,只提供給特定員工。而且,由于Android 和 Chrome兩個(gè)操作系統(tǒng)與那些在線服務(wù)有非常大的區(qū)別,Google 會(huì)將它們的代碼存儲(chǔ)在單獨(dú)的版本控制系統(tǒng)中。但在大多數(shù)情況下,Google 代碼都是一個(gè)整體。

機(jī)器程序員

Lambert 指出,構(gòu)建和運(yùn)行這樣的一個(gè)系統(tǒng),不僅需要知道如何做到這種事,還需要龐大的計(jì)算能力。Piper 每天需要處理大約85TB的數(shù)據(jù)(即85000GB),Google 的 2.5萬(wàn)名工程師每天會(huì)對(duì)資源庫(kù)做出45000次提交(修改)。

與此同時(shí),Piper 還必須能刪去人類程序員所產(chǎn)生的大量冗余。它必須確保代碼準(zhǔn)確無(wú)誤,程序員不會(huì)相互干涉,要能從資源庫(kù)中刪除錯(cuò)誤和未使用的代碼。而正是存在這一切困難,Piper不得不接手一些人類的工作?,F(xiàn)在,Google 已經(jīng)從之前的一個(gè)版本控制系統(tǒng)Perforce,切換到了 Piper,讓機(jī)器來(lái)完成一部分工作。

這并不意味著 Google 要讓機(jī)器人編寫代碼,但它們確實(shí)可以生成很多運(yùn)行軟件所需的數(shù)據(jù)和配置文件。程序員和機(jī)器人需要協(xié)調(diào)一致,維護(hù)代碼健康?,F(xiàn)在已經(jīng)不只有人類在維護(hù)代碼了。

讓所有人受惠的 “Piper”

其他公司能否受益于同類系統(tǒng)呢?當(dāng)然能,而且也確實(shí)有公司這樣做了。Facebook的主應(yīng)用有2000萬(wàn)行以上代碼,公司把整個(gè)事情作為一個(gè)單獨(dú)的項(xiàng)目。還有一些公司以較小規(guī)模在做同樣的事情,而當(dāng)這些公司不斷接近 Google 或 Facebook 的規(guī)模,也會(huì)做同樣的事。但Google 和 Facebook 都在探索能夠改變每個(gè)人的方法。

兩家巨頭正在開發(fā)一個(gè)開源的版本控制系統(tǒng),任何人都可以用它來(lái)處理大規(guī)模代碼。它基于現(xiàn)有系統(tǒng)Mercurial,Google正試圖擴(kuò)展 Mercurial 資源庫(kù),達(dá)到Google的規(guī)模。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)