攜程今日上演了“天地大沖撞”的災(zāi)難劇情。來(lái)自攜程官方的最新消息是:“攜程app已經(jīng)恢復(fù),官網(wǎng)產(chǎn)品正在逐步恢復(fù)中。”
今天(5月28日)上午11點(diǎn)左右,攜程旅行網(wǎng)官方網(wǎng)站突然陷入癱瘓,登陸顯示404錯(cuò)誤。
稍后,攜程官微發(fā)消息稱“今天上午11時(shí)09分,攜程的部分服務(wù)器遭到不明攻擊,導(dǎo)致官方網(wǎng)站及APP暫時(shí)無(wú)法正常使用,目前正在緊急恢復(fù)。”
根據(jù)筆者獲得的信息:攜程系統(tǒng)昨日便已出現(xiàn)問(wèn)題,技術(shù)部門(mén)未能及時(shí)解決,今清晨5時(shí)許,客戶訂票無(wú)法正常出票。在中午到來(lái)前,內(nèi)網(wǎng)、外網(wǎng) 、App陸續(xù)癱瘓。
微博用戶 @尜尜DJ ,實(shí)際身份為華住酒店集團(tuán)的產(chǎn)品經(jīng)理在微博上發(fā)布了“還原攜程網(wǎng)宕掉事情原委”的信息:
烏云網(wǎng)發(fā)布了攜程服務(wù)器的一個(gè)漏洞,估計(jì)攜程技術(shù)人員就開(kāi)始各種修復(fù)。然后在中午部署上線的時(shí)候,某技術(shù)人員由于人為操作失誤不知道刪了一個(gè)什么根目錄文件于是乎導(dǎo)致靈異事件發(fā)生,線上數(shù)據(jù)全部被刪,再次發(fā)布依舊被刪。。?!,F(xiàn)在我好想知道這個(gè)技術(shù)人員是誰(shuí)啊~會(huì)火
雖然該用戶稱此微博僅為小道消息和腦補(bǔ),但是她聯(lián)系過(guò)攜程上班的朋友,對(duì)方表示線上發(fā)布一直有問(wèn)題,一發(fā)布就被刪。
這一消息中,“靈異事件”說(shuō)明其信息不夠充分,“發(fā)布依舊被刪”則與筆者從各渠道獲得的信息近似。
其實(shí)自今年1月起,烏云平臺(tái)就已經(jīng)曝光了超過(guò)十次攜程的漏洞,包括撞庫(kù)、官方郵件劫持、內(nèi)部員工郵箱歷史信息泄露、信息泄露,但攜程的回應(yīng)大多是“無(wú)影響廠商忽略”。
烏云網(wǎng)官微對(duì)上述微博的回復(fù),基本匯總了下午輿論場(chǎng)中對(duì)該事件的推測(cè)與傳言:
“攜程業(yè)務(wù)故障引發(fā)了各版本的‘真相’在互聯(lián)網(wǎng)瘋傳,什么物理刪庫(kù)、離職員工報(bào)復(fù)、管理員感情糾葛甚至連烏云君也被拉下水了……從11點(diǎn)到目前仍未解決問(wèn)題也說(shuō)明這是其自身甚至國(guó)內(nèi)互聯(lián)網(wǎng)都沒(méi)遭遇過(guò)的重大事故。”
與最先傳聞數(shù)據(jù)庫(kù)被物理刪除的消息不同,根據(jù)筆者接觸到的匿名信源透露:數(shù)據(jù)庫(kù)并未丟失。問(wèn)題可能發(fā)生在代碼上,所有節(jié)點(diǎn)上業(yè)務(wù)代碼均被刪除,并且發(fā)布日志消失,備份也被清除。
機(jī)制和災(zāi)難應(yīng)對(duì)反思
根據(jù)筆者的從業(yè)經(jīng)驗(yàn)來(lái)看,大型互聯(lián)網(wǎng)公司保護(hù)數(shù)據(jù)安全的機(jī)制健全,技術(shù)也非常成熟。此次攜程問(wèn)題嚴(yán)重,需要從整個(gè)機(jī)制和災(zāi)難應(yīng)對(duì)過(guò)程中反思:
1、企業(yè)為了信息安全,數(shù)據(jù)庫(kù)均會(huì)異地備份
首先采用動(dòng)態(tài)備份記錄最新形態(tài),還要做靜態(tài)的異地備份。出錯(cuò)時(shí)可以進(jìn)行恢復(fù),另外還要做至少2個(gè)“死備份”,防止備份丟失、損壞或者被篡改。關(guān)鍵數(shù)據(jù)一般都會(huì)進(jìn)行同城和異地的實(shí)時(shí)備份,可以保證業(yè)務(wù)實(shí)時(shí)切換。一般公司還會(huì)制定災(zāi)難恢復(fù)計(jì)劃并定期進(jìn)行測(cè)試,確保各個(gè)恢復(fù)程序。
此次攜程恢復(fù)時(shí)間之長(zhǎng),就說(shuō)明問(wèn)題不只出現(xiàn)在數(shù)據(jù)庫(kù)方面。攜程技術(shù)部門(mén)的初始工作是在每個(gè)節(jié)點(diǎn)重新部署業(yè)務(wù)代碼,結(jié)果發(fā)現(xiàn)無(wú)法部署,推斷原因可能是服務(wù)器被攻擊,導(dǎo)致發(fā)布通道關(guān)閉,甚至?xí)腥藛T層面的嚴(yán)重問(wèn)題。
2、對(duì)員工的安全審查:
為了信息安全,員工在入職時(shí)進(jìn)行背景調(diào)查,在離職時(shí)第一時(shí)間關(guān)閉權(quán)限賬戶。數(shù)據(jù)庫(kù)權(quán)限對(duì)大公司來(lái)說(shuō)會(huì)有負(fù)責(zé)權(quán)限級(jí)別管理,分為管理員、大管理員、超級(jí)管理員,會(huì)設(shè)置層級(jí)限制。涉及到刪除操作,會(huì)有操作日志,記錄是哪個(gè)賬戶執(zhí)行的。而重要數(shù)據(jù)的刪除會(huì)有嚴(yán)格的審核制度。
由于較長(zhǎng)的一段時(shí)間內(nèi)無(wú)法部署代碼,從業(yè)者普遍推測(cè):可能是掌握root權(quán)限的(現(xiàn)在或者以前的)運(yùn)維人員寫(xiě)了刪除腳本。有未經(jīng)證實(shí)的傳聞?wù)f,攜程的內(nèi)部檢查中發(fā)現(xiàn)已離職的具有7級(jí)權(quán)限的開(kāi)發(fā)總監(jiān)留下了后門(mén)。
3、數(shù)據(jù)存儲(chǔ)采用加密而非明文。
加密的方式主要是MD5,加密之后就算黑客侵犯隱私信息也沒(méi)什么用,因?yàn)橹荒艿玫絹y碼。
雖然上次攜程的隱私信息泄漏的安全事故中,人們發(fā)現(xiàn)攜程使用明文儲(chǔ)存。但這一次攜程遭遇完全刪除,則顯然是完全惡意的。
4、web程序和DB服務(wù)器分開(kāi),服務(wù)器群組有防火墻隔離,界面和數(shù)據(jù)庫(kù)相互隔離
此次攜程的安全問(wèn)題已超過(guò)這個(gè)范疇。
至于知乎上的這個(gè)問(wèn)答,只能當(dāng)作段子來(lái)消遣一下:
宕機(jī)會(huì)損失多少?
先看組歷史上互聯(lián)網(wǎng)公司發(fā)生過(guò)的宕機(jī),導(dǎo)致?lián)p失的數(shù)據(jù):
5分鐘,谷歌,損失55萬(wàn)美元
30分鐘,亞馬遜,損失近200萬(wàn)美元
9小時(shí),網(wǎng)易,損失估算超1500萬(wàn)元
近12小時(shí),蘋(píng)果,損失2640萬(wàn)美元
按照攜程一季度財(cái)報(bào)公布的數(shù)據(jù),攜程宕機(jī)的損失為平均每小時(shí)106.48萬(wàn)美元,損失的用戶數(shù)和品牌形象......就難以用貨幣單位來(lái)統(tǒng)計(jì)了。