Dropbox公司的Go語言探索之路

責任編輯:editor004

作者:Quinn Slack

2017-07-25 11:25:49

摘自:INFOQ

其指導原則與要求包括: 構建高可靠性系統(tǒng);構建安全系統(tǒng);將可靠性與安全性納入初始設計;可靠性需要達到 99 9999999999% (12個9);

Tammy援引Rob Pike于2012年撰寫的《谷歌Go語言:專為軟件工程服務設計的編程語言》中的說法,解釋了Go語言為何能夠在Dropbox公司當中發(fā)揮重要作用:

“Go語言高效、可擴展且極具生產能力。一部分程序員樂于加以運用,但也有一些人認為其難以理解甚至非常無聊。在這篇文章中,我們將解釋為什么這些立場本身并不矛盾。Go語言旨在幫助谷歌公司解決其在軟件開發(fā)方面面臨的各類問題,這意味著其盡管不能算是一種突破性的研究型語言,但仍然成為大型軟件工程項目當中的出色工具。” — Rob Pike, 2012

Dropbox公司擁有龐大的業(yè)務規(guī)模:

超過5億名用戶;20萬商業(yè)客戶;500 PB用戶數(shù)據(jù);數(shù)據(jù)EB GO存儲系統(tǒng)。

正因為如此,Dropbox公司對自身系統(tǒng)、語言以及工程師提出了極高要求。其指導原則與要求包括:

構建高可靠性系統(tǒng);構建安全系統(tǒng);將可靠性與安全性納入初始設計;可靠性需要達到 99.9999999999% (12個9);可用性需要達到 99.99%。

Dropbox公司對Go語言的應用

目前,Dropbox公司的大部分基礎設施以Go語言編寫而成,具體包括:

Go服務器庫擁有150名貢獻者(來自總計500名工程師);Dropbox公司內超過15個團隊負責構建及運行Go服務;Dropbox公司內部擁有130萬行Go代碼;

另有一部分關鍵性系統(tǒng)亦由Go語言編寫而成:

RAT: 限速與限流工具。HAT: memcached的替代方案。AFS: 一套用于替代全局Zookeeper的文件系統(tǒng)。Edgestore: 分布式數(shù)據(jù)庫。Bolt: 用于消息收發(fā)。DBmanager: 用于對Dropbox內超過6000套數(shù)據(jù)庫進行自動化管理與監(jiān)控。“Jetstream”、“Telescope” 、分塊路由以及更多……

其中相當一部分都繼承自原本的非Go系統(tǒng)。

Dropbox公司當初為何選擇使用Go?

Tammy亦分享了Dropbox公司一步步增加Go語言使用量的軼聞趣事。

Hack技術周成就Go速率限制器原型設計

在某一年的Hack技術周之前,Dropbox的工程師們計劃針對各項服務分別進行限速與限流。因此,一位工程師決定在接下來的Hack技術周內構建一項通用服務以實現(xiàn)上述目標——而RAT也就此誕生。

RAT的初始原型設計在4天之內即構建完成,并在第5天發(fā)布了演示。短短幾周之后,RAT的大名在公司內部迅速擴散。另一位Dropbox工程師通過電子郵件與Tammy團隊取得了聯(lián)系,希望了解其如何在Python項目當中使用RAT。整個整合進程進展順利,RAT的采用率不斷提高,實用性也快速增強。目前,Dropbox公司內已經有多個團隊在使用RAT。

DBmanager

Dropbox公司擁有超過6000套數(shù)據(jù)庫,這樣的大型系統(tǒng)自然需要自動化管理與監(jiān)控措施與之配合。事實上,這些數(shù)據(jù)庫隨時隨地都在進行復制、故障轉移以及通過副本進行主體升級等等。

為了管理這一切,Dropbox公司的一名工程師開發(fā)出DBmanager——這是一套Web UI,能夠幫助管理員快速查看全部6000多套數(shù)據(jù)庫中發(fā)生的狀況。另外,其還能夠將狀態(tài)信息發(fā)布至其它系統(tǒng)。

Dropbox公司中的Go版本升級之路

在數(shù)百名工程師的配合下,Dropbox公司小心翼翼地協(xié)調著Go語言各主要版本的升級工作。不過Tammy并沒有提到任何由升級帶來的問題,這表明整個過程應該相當順利!

下面來看一些有趣的事實:

Dropbox 公司最近剛剛完成生產服務當中由Go 1.5到1.6版本的升級;為了追蹤升級流程,工作人員創(chuàng)建了一份簡單的Dropbox Paper文檔,同時要求每位服務。

持有者報告進度并在必要時申請幫助。

Dropbox 公司決定在1.6版本遷移完成之后(包括各非生產服務),跳過Go 1.7并直接升級至1.8版本。

Dropbox公司如何引導新晉工程師們使用Go語言

每一位Dropbox工程師都需要經歷同樣嚴格的Go語言培訓流程,具體包括:

閱讀基礎設施拓撲資料、Go語言風格指南以及Protobuf風格指南。嚴格但友好的代碼審查。利用Go語言構建一款娛樂性質的應用程序(一套應用商店)。學習利用Bazel構建并測試Go代碼。

經驗豐富的工程師大約需要一周時間以完成上述培訓。

Go語言為Dropbox公司帶來哪些收益?又存在哪些不足?

總體而言,Dropbox公司的Go應用之路非常成功。

易于在Go語言環(huán)境下進行生產。易于在Go語言環(huán)境下編寫并消費服務。(人們也熱衷于此?。〨o語言標準庫非常出色。調試工具(總體上)運作良好。

其中的關鍵在于,Dropbox公司并沒有費力將Go編寫成的服務重寫為其它語言版本,這表明人們對其相當滿意。(有趣的是,Tammy表示Dropbox公司也在部分使用Rust,但其并不屬于Go的替代品。)

Dropbox公司在使用Go語言時遇到哪些困難?

Tammy證實稱,Go語言最大的問題在于處理競態(tài)條件。

數(shù)據(jù)競態(tài)類bug給調試、查詢與修復等工作帶來挑戰(zhàn)。一部分Dropbox工程師特別擅長處理Go語言的查詢機制,而另一部分工程師則選擇發(fā)揮自己的專長。Go數(shù)據(jù)競態(tài)檢測器有時候不起作用。確定這種不起作用的情況非常重要。必須以審慎的態(tài)度設計需要對數(shù)據(jù)進行并發(fā)訪問的Go程序。

Dropbox公司重視工程師對于可靠性及持久性的關注度,因此他們亦應當有能力解決上述問題(事實上,這種并發(fā)處理問題在任何語言環(huán)境下都相當困難)。

查看原文鏈接:https://about.sourcegraph.com/go/go-reliability-and-durability-at-dropbox-tammy-butow

鏈接已復制,快去分享吧

企業(yè)網(wǎng)版權所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號