十年鏈家網(wǎng),S3終回歸
“現(xiàn)在,鏈家網(wǎng)存儲(chǔ)服務(wù)承載的總文件數(shù)量已達(dá)8270萬+,房屋實(shí)堪圖占66%,其他圖片占15%,音視頻占13%,文件備份占4%,其他類型數(shù)據(jù)占2%,總存儲(chǔ)容量43TB。”2016 AWS北京峰會(huì)上,鏈家網(wǎng)平臺(tái)服務(wù)架構(gòu)師呂毅分享了最新的存儲(chǔ)服務(wù)相關(guān)數(shù)據(jù)。不過時(shí)至今日,這些數(shù)據(jù)或許又會(huì)有變化了。
事實(shí)上,早在2007年,鏈家在線(鏈家網(wǎng)前身)、HERP系統(tǒng)就已上線運(yùn)營,到2008年“樓盤字典”項(xiàng)目啟動(dòng),2012年提出“真房源”,SE(Sales Effectiveness)、TE(Transaction Effectiveness)系統(tǒng)上線,“掌上鏈家”App發(fā)布,近六年時(shí)間,鏈家網(wǎng)存儲(chǔ)架構(gòu)采用的一直是傳統(tǒng)文件系統(tǒng)。
隨著業(yè)務(wù)線不斷擴(kuò)展,數(shù)據(jù)量不斷增長,傳統(tǒng)架構(gòu)中存儲(chǔ)服務(wù)的瓶頸日益凸顯。2014年,更名的鏈家網(wǎng)明確了大力發(fā)展2C業(yè)務(wù)、著手自研究SE、TE系統(tǒng)的業(yè)務(wù)思路。其間,存儲(chǔ)架構(gòu)經(jīng)歷了從傳統(tǒng)文件系統(tǒng)到輕量級(jí)開源分布式文件系統(tǒng)FastDFS的變遷。再后來,鏈家網(wǎng)又選用了開源分布式文件系統(tǒng)Ceph,直到2016年,SE、TE合并為Link系統(tǒng),“樓盤字典”積累了7000萬房產(chǎn)信息,更多的UGC、PGC內(nèi)容產(chǎn)生,AWS S3終擔(dān)重任。
鏈家網(wǎng)存儲(chǔ)架構(gòu)變遷
十年鏈家網(wǎng),S3終回歸。巧合的是,2015年,鏈家網(wǎng)開始啟用AWS時(shí),S3也已十歲了。呂毅表示,在大家熟悉的AWS S3能力之外,鏈家網(wǎng)對(duì)S3服務(wù)進(jìn)行包裝后實(shí)現(xiàn)了更多的能力:采用Huge Bucket統(tǒng)一管理公司內(nèi)部Bucket、使用數(shù)據(jù)庫存儲(chǔ)文件Meta信息供檢索、非常劃算的冷數(shù)據(jù)存儲(chǔ)、代理S3服務(wù)讓用戶可在S3能力上封裝公司通用邏輯……AWS S3為用戶提供了足夠抽象的能力,方便企業(yè)、個(gè)人基于S3通用能力之上進(jìn)行改造與包裝,這些方面也都是鏈家網(wǎng)選擇AWS的重要原因。
選擇S3的N個(gè)理由
開源商用領(lǐng)域,Ceph一直是分布式文件系統(tǒng)的熱門選項(xiàng)。然而,并不是所有人都有時(shí)間和精力玩兒轉(zhuǎn)Ceph,尤其是在競爭激烈,業(yè)務(wù)瞬息變化的房地產(chǎn)市場,時(shí)間窗口是橫亙?cè)谒惺袌鲂袨橹黧w面前的一座大山。
時(shí)不我待,千言萬語一個(gè)字:“快”!呂毅坦言,鏈家網(wǎng)在使用Ceph的過程中遇到了容量、運(yùn)維、數(shù)據(jù)備份等方面的問題,各種因素疊加,反而推高了綜合成本,因此下定決心改造系統(tǒng)。
容量不夠、運(yùn)維成本高、數(shù)據(jù)備份堪憂……使用Ceph過程中遇到的問題恰恰是S3用戶不需操心的事,容量規(guī)劃、存儲(chǔ)管理、數(shù)據(jù)備份,S3統(tǒng)統(tǒng)能輕松搞定,更無需硬件維護(hù)。此外,S3具備高達(dá)11個(gè)9的持久性,可讓長期數(shù)據(jù)留存“高枕無憂”。
鏈家網(wǎng)基于AWS S3的存儲(chǔ)架構(gòu)
存儲(chǔ)架構(gòu)改造過程中,不可避免地會(huì)遇到這樣那樣的問題。呂毅表示,以鏈家網(wǎng)自身的實(shí)踐經(jīng)驗(yàn)看,數(shù)據(jù)存量與增量問題、業(yè)務(wù)方遷移成本是兩個(gè)主要問題,相信這也是很多用戶面臨的共性問題。恰好在這些方面,AWS都能提供高均衡度的解決方案。“2015年底,鏈家網(wǎng)剛開始采用AWS服務(wù)時(shí),EC2和ELB只承擔(dān)了外網(wǎng)20%的負(fù)載,本地?cái)?shù)據(jù)中心和云通過AWS Direct Connect連接。現(xiàn)在,主備中心已經(jīng)對(duì)調(diào)了位置,云端已承載了近80%的外網(wǎng)負(fù)載,并引入S3和數(shù)據(jù)倉庫服務(wù)Redshift,高效、可靠、安全地整理數(shù)據(jù)資料。”呂毅表示。
下一個(gè)十年,鏈家網(wǎng)又將經(jīng)歷怎樣的變革之旅?搭上了云快車,未來充滿想象和期待。