十年鏈家網(wǎng)，S3終回歸

“現(xiàn)在，鏈家網(wǎng)存儲(chǔ)服務(wù)承載的總文件數(shù)量已達(dá)8270萬+，房屋實(shí)堪圖占66%，其他圖片占15%，音視頻占13%，文件備份占4%，其他類型數(shù)據(jù)占2%，總存儲(chǔ)容量43TB。”2016 AWS北京峰會(huì)上，鏈家網(wǎng)平臺(tái)服務(wù)架構(gòu)師呂毅分享了最新的存儲(chǔ)服務(wù)相關(guān)數(shù)據(jù)。不過時(shí)至今日，這些數(shù)據(jù)或許又會(huì)有變化了。

事實(shí)上，早在2007年，鏈家在線(鏈家網(wǎng)前身)、HERP系統(tǒng)就已上線運(yùn)營，到2008年“樓盤字典”項(xiàng)目啟動(dòng)，2012年提出“真房源”，SE(Sales Effectiveness)、TE(Transaction Effectiveness)系統(tǒng)上線，“掌上鏈家”App發(fā)布，近六年時(shí)間，鏈家網(wǎng)存儲(chǔ)架構(gòu)采用的一直是傳統(tǒng)文件系統(tǒng)。

隨著業(yè)務(wù)線不斷擴(kuò)展，數(shù)據(jù)量不斷增長，傳統(tǒng)架構(gòu)中存儲(chǔ)服務(wù)的瓶頸日益凸顯。2014年，更名的鏈家網(wǎng)明確了大力發(fā)展2C業(yè)務(wù)、著手自研究SE、TE系統(tǒng)的業(yè)務(wù)思路。其間，存儲(chǔ)架構(gòu)經(jīng)歷了從傳統(tǒng)文件系統(tǒng)到輕量級(jí)開源分布式文件系統(tǒng)FastDFS的變遷。再后來，鏈家網(wǎng)又選用了開源分布式文件系統(tǒng)Ceph，直到2016年，SE、TE合并為Link系統(tǒng)，“樓盤字典”積累了7000萬房產(chǎn)信息，更多的UGC、PGC內(nèi)容產(chǎn)生，AWS S3終擔(dān)重任。

鏈家網(wǎng)存儲(chǔ)架構(gòu)變遷

十年鏈家網(wǎng)，S3終回歸。巧合的是，2015年，鏈家網(wǎng)開始啟用AWS時(shí)，S3也已十歲了。呂毅表示，在大家熟悉的AWS S3能力之外，鏈家網(wǎng)對(duì)S3服務(wù)進(jìn)行包裝后實(shí)現(xiàn)了更多的能力：采用Huge Bucket統(tǒng)一管理公司內(nèi)部Bucket、使用數(shù)據(jù)庫存儲(chǔ)文件Meta信息供檢索、非常劃算的冷數(shù)據(jù)存儲(chǔ)、代理S3服務(wù)讓用戶可在S3能力上封裝公司通用邏輯……AWS S3為用戶提供了足夠抽象的能力，方便企業(yè)、個(gè)人基于S3通用能力之上進(jìn)行改造與包裝，這些方面也都是鏈家網(wǎng)選擇AWS的重要原因。

選擇S3的N個(gè)理由

開源商用領(lǐng)域，Ceph一直是分布式文件系統(tǒng)的熱門選項(xiàng)。然而，并不是所有人都有時(shí)間和精力玩兒轉(zhuǎn)Ceph，尤其是在競爭激烈，業(yè)務(wù)瞬息變化的房地產(chǎn)市場，時(shí)間窗口是橫亙?cè)谒惺袌鲂袨橹黧w面前的一座大山。

時(shí)不我待，千言萬語一個(gè)字：“快”!呂毅坦言，鏈家網(wǎng)在使用Ceph的過程中遇到了容量、運(yùn)維、數(shù)據(jù)備份等方面的問題，各種因素疊加，反而推高了綜合成本，因此下定決心改造系統(tǒng)。

容量不夠、運(yùn)維成本高、數(shù)據(jù)備份堪憂……使用Ceph過程中遇到的問題恰恰是S3用戶不需操心的事，容量規(guī)劃、存儲(chǔ)管理、數(shù)據(jù)備份，S3統(tǒng)統(tǒng)能輕松搞定，更無需硬件維護(hù)。此外，S3具備高達(dá)11個(gè)9的持久性，可讓長期數(shù)據(jù)留存“高枕無憂”。

鏈家網(wǎng)基于AWS S3的存儲(chǔ)架構(gòu)

存儲(chǔ)架構(gòu)改造過程中，不可避免地會(huì)遇到這樣那樣的問題。呂毅表示，以鏈家網(wǎng)自身的實(shí)踐經(jīng)驗(yàn)看，數(shù)據(jù)存量與增量問題、業(yè)務(wù)方遷移成本是兩個(gè)主要問題，相信這也是很多用戶面臨的共性問題。恰好在這些方面，AWS都能提供高均衡度的解決方案。“2015年底，鏈家網(wǎng)剛開始采用AWS服務(wù)時(shí)，EC2和ELB只承擔(dān)了外網(wǎng)20%的負(fù)載，本地?cái)?shù)據(jù)中心和云通過AWS Direct Connect連接。現(xiàn)在，主備中心已經(jīng)對(duì)調(diào)了位置，云端已承載了近80%的外網(wǎng)負(fù)載，并引入S3和數(shù)據(jù)倉庫服務(wù)Redshift，高效、可靠、安全地整理數(shù)據(jù)資料。”呂毅表示。

下一個(gè)十年，鏈家網(wǎng)又將經(jīng)歷怎樣的變革之旅?搭上了云快車，未來充滿想象和期待。