大規(guī)模數(shù)據(jù)備份保護(hù)現(xiàn)狀

從多備份目前10萬多用戶中發(fā)掘的大型客戶看，業(yè)務(wù)規(guī)模稍微大一點(diǎn)，日志，DB歸檔，在線編輯，生產(chǎn)加工產(chǎn)生的數(shù)據(jù)，設(shè)計(jì)類文檔，及日常運(yùn)營的累積的數(shù)據(jù)等就輕松超過TB級。而對于TB級數(shù)據(jù)，有幾種場景定義和區(qū)別：

單個節(jié)點(diǎn)的數(shù)據(jù)量上TB級

總量上TB級，但分布在多個節(jié)點(diǎn)

總量上TB，但單個文件量上百GB

總量上TB, 文件數(shù)規(guī)模很大，上萬千，甚至過億

總量上TB，類型不一樣，有的是DB備份后的壓縮文件，有的是圖片，有的是文檔類

TB級數(shù)據(jù)是用戶產(chǎn)生，從用戶中來，到用戶中去，比如視頻，圖片等UGC內(nèi)容，對于這類冷的數(shù)據(jù)，逐步也需要進(jìn)行歸檔冷備起來

對于目前以上6種情況，我們了解到，絕大部分企業(yè)，并沒有做比較系統(tǒng)的保護(hù)，或者說做了系統(tǒng)的保護(hù)，但都是在本地環(huán)境做的，一旦遇到人為原因，軟件缺陷，或者存儲故障等，數(shù)據(jù)丟失的風(fēng)險相當(dāng)大； 有相當(dāng)能力的，自己做了異地或自己做云存儲備份方案，但在靈活，系統(tǒng)化的，擴(kuò)展性，成本方面并沒有優(yōu)勢，畢竟對企業(yè)來說這不是核心運(yùn)營的業(yè)務(wù)。

目前市面上的一些現(xiàn)有解決方案的特點(diǎn)：

策略一般就是全量+增量結(jié)合，選用專用的存儲設(shè)備，接上高速的光纖通道，配上專用的系統(tǒng)維護(hù)人員，這類方案在本地有足夠的優(yōu)勢，備份和恢復(fù)快，但缺點(diǎn)也是相當(dāng)?shù)拿黠@，而且從設(shè)計(jì)理念上來看，以下的幾個點(diǎn)基本只有廠家自己革命才能解決：

第1：復(fù)雜，配置、部署以及使用操作維護(hù)都需要專業(yè)的管理人員，基本上在互聯(lián)網(wǎng)企業(yè)看，即使是做完B/C/D輪的，甚至IPO后的企業(yè)，出得起錢，也是不會考慮如此方案。

第2：升級擴(kuò)展復(fù)雜，預(yù)先估計(jì)容量，后續(xù)擴(kuò)展起來相當(dāng)麻煩，必須的改變存儲策略，或重新離線做數(shù)據(jù)遷移分布。如果初始購買的存儲擴(kuò)展有限，后期還不能很好的升級擴(kuò)展。

第3：3-5年左右的生命周期，也就是說，數(shù)據(jù)經(jīng)過幾年后，改造升級，購買新的方案是必須的，這樣當(dāng)數(shù)據(jù)上到百TB級別，整個工程實(shí)施也是相當(dāng)復(fù)雜了。

第4：難于對接互聯(lián)網(wǎng)+的思路轉(zhuǎn)換， 由于是離線的備份存儲方案，如果和業(yè)務(wù)系統(tǒng)對接，實(shí)際上基本上就是不太可能，尤其是目前不少企業(yè)開始加強(qiáng)互聯(lián)網(wǎng)+的運(yùn)營思路的調(diào)整，數(shù)據(jù)不斷會和外部系統(tǒng)進(jìn)行交換或?qū)印?/p>

第5：貴，特別的貴，如果對原始TB級數(shù)據(jù)做專業(yè)備份保護(hù)，投入得數(shù)十萬，具體到不同的行業(yè)，性能和保護(hù)窗口參數(shù)稍微提升，投入立即上升到百萬級。

當(dāng)然如果對于非常有資源和有足夠多的預(yù)算，這一切都看起來都不是問題；而事實(shí)上，這類用戶還是只有在相當(dāng)土豪的機(jī)構(gòu)和企業(yè)里面才有，就連銀行都無法徹底按照嚴(yán)謹(jǐn)?shù)膶?shí)施和維護(hù)方案落實(shí)，才會出現(xiàn)接二連三的銀行機(jī)房燒毀數(shù)據(jù)丟失，或者宕機(jī)幾十個小時的情況。

終歸原因，對于關(guān)鍵的業(yè)務(wù)系統(tǒng)的備份保護(hù)，不緊緊是上了一套專業(yè)的方案，或者做了異地災(zāi)備，事情就可以完美解決；更重要的是，還得有操作簡單，容易驗(yàn)證，應(yīng)急性強(qiáng)的方案。

解決思路

多備份從2013年成立以來，一直以互聯(lián)網(wǎng)的簡單、親民的服務(wù)化思路演化，目前服務(wù)過的客戶，包括GB級的到TB級，涉及到關(guān)鍵運(yùn)營業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，也包含企業(yè)日常運(yùn)營產(chǎn)生的文檔資料存儲備份保護(hù)等。經(jīng)過上PB級的數(shù)據(jù)訓(xùn)練，多備份從第1代全云的架構(gòu)方案，到目前迭代的到最新的第2代基于混合云架構(gòu)的保護(hù)方案。

第2代方案設(shè)計(jì)的目標(biāo)主要面向TB級數(shù)據(jù)保護(hù)需求，徹底切分TB級數(shù)據(jù)6個構(gòu)成面，并主要分解為如下幾個點(diǎn)：

最大化降低備份存儲空間，數(shù)倍降低企業(yè)TCO投入

簡化使用門檻，包括配置流程，以及保護(hù)策略

數(shù)據(jù)備份和恢復(fù)的速度要在基于云的架構(gòu)下，足夠的快

按需在線擴(kuò)展，永不停機(jī)，足夠可靠

支持?jǐn)?shù)據(jù)按需流動，真正意義讓數(shù)據(jù)在必要的時候，能動起來

僅由客戶全程加密掌控數(shù)據(jù)，充分保護(hù)數(shù)據(jù)隱私

基于以上6個設(shè)計(jì)目標(biāo)，我們從幾個方面來剖析多備份是如何做到的

以云為核心，外網(wǎng)IT存儲設(shè)施混合的本地+云的混合設(shè)計(jì)模型

　　首先，多備份整體架構(gòu)，圍繞云來設(shè)計(jì)，充分利用云的幾個特點(diǎn)

按需擴(kuò)展，對客戶，對多備份自身服務(wù)的投入按需增加

可靠，云的計(jì)算和存儲分布特點(diǎn)，使得系統(tǒng)在計(jì)算和存儲都具備傳統(tǒng)結(jié)構(gòu)不具備的數(shù)倍的可靠性

安全，基礎(chǔ)云服務(wù)商自身在安全方面不計(jì)成本，比起自己構(gòu)建IT設(shè)施，來得更加專業(yè)

擴(kuò)展，開放性更好，使得構(gòu)建的服務(wù)，更容易外部系統(tǒng)對接

目前在具體的基礎(chǔ)實(shí)施平臺中，重點(diǎn)包括阿里云，騰訊云，AWS，金山云，微軟AZURE，移動云，七牛，百度云等平臺，這些都是全球或國內(nèi)知名的大型云平臺。

其次，為了更好融合企業(yè)IT場景，以及一些合規(guī)規(guī)定，多備份在第1代云的基礎(chǔ)上，增加了外圍對接，支持?jǐn)?shù)據(jù)備份存儲在本地環(huán)境的存儲設(shè)施，如NAS, SAN 或者節(jié)點(diǎn)的另外的磁盤分區(qū)等，這樣一來有3個好處：

數(shù)據(jù)可以在本地存儲一份，特別是熱一點(diǎn)的數(shù)據(jù)， 其他數(shù)據(jù)可以部分或者全部上云進(jìn)行備份保護(hù)起來

常規(guī)的備份和恢復(fù)任務(wù)的會第1時間在本地環(huán)境完成，數(shù)據(jù)會在本地完成后，最快的時間同步上云

一些政企合規(guī)的數(shù)據(jù)可以保存在內(nèi)部，其他的非敏感類的數(shù)據(jù)可以加密上云。

數(shù)據(jù)發(fā)現(xiàn)，傳輸，存儲等全部采用全增量+時間點(diǎn)版本映射結(jié)構(gòu)設(shè)計(jì)

具備時間刻度特性的，本地和云兩級全增量索引

為了實(shí)現(xiàn)更低的存儲開銷，更快的備份和恢復(fù)速度，多備份從索引的設(shè)計(jì)，數(shù)據(jù)版本組織策略上都采用全增量模型，并且支持任意時間點(diǎn)的版本和索引的映射，這樣就為任一時間點(diǎn)的數(shù)據(jù)恢復(fù)或下載等提供了可行支持。

索引是構(gòu)成整個系統(tǒng)的關(guān)鍵，數(shù)據(jù)的變化，無論從本地往云，還是從云往本地，都以來索引來快速找到對應(yīng)的數(shù)據(jù)塊。而傳統(tǒng)的方案里面，索引也存在。多備份的特點(diǎn)在于，結(jié)合了云以后，索引全部采用分區(qū)分段構(gòu)建云索引中心的擴(kuò)展模型，在量級，動態(tài)遷移是傳統(tǒng)的方案無法比較的。理論上，客戶越多，數(shù)據(jù)越大，邊際效應(yīng)就越好，給客戶回饋的成本優(yōu)勢就更越明顯。

在這里，本地的索引用來快速支持?jǐn)?shù)據(jù)的變化檢查，云端的索引用于本地失效后的變化檢測，以及在線數(shù)據(jù)服務(wù)接口的支持。

在每一次的數(shù)據(jù)備份時刻，都會記錄相應(yīng)的數(shù)據(jù)映射關(guān)系，這樣可以滿足任意時間點(diǎn)的數(shù)據(jù)恢復(fù)和使用檢索需求。

按照目前的設(shè)計(jì)，在本地可以支持2TB的數(shù)據(jù)索引關(guān)系，支持的數(shù)據(jù)量可以到達(dá)PB級，文檔(含數(shù)據(jù)庫備份壓縮備份歸檔數(shù)據(jù)文件)數(shù)量可以到達(dá)十億級別規(guī)模。而在云上集中的存儲規(guī)模理論上受限于云平臺本身的存儲容量，幸運(yùn)的是，即使在這一刻，多備份也可以正常運(yùn)行，原因在于，多備份底層已經(jīng)支持多個云的分布或聚合。

本地+云兩級全增量策略保護(hù)模型，更快，更省的本性

多備份在數(shù)據(jù)策略化組織這里全部采用增量模型，與傳統(tǒng)的定期全量+增量模型在存儲空間和效率方面有著顯著的區(qū)別。一般原始數(shù)據(jù)在500GB規(guī)模的，按照通常的服務(wù)溝通模型下來，3個月下來也得有10TB級規(guī)模了，如果采用傳統(tǒng)的方案，成本將到達(dá)百萬級投入規(guī)模。

多備份依托于云存儲的冗余分布特性，在時間和空間分布的可靠性方面已經(jīng)遠(yuǎn)遠(yuǎn)大于本地存儲。正因?yàn)槿绱?，多備份的增量備份存儲策略機(jī)制在保持最小的數(shù)據(jù)開銷規(guī)模下，每次的備份效率都出奇的高，同樣，按照時間點(diǎn)任意恢復(fù)數(shù)據(jù)的時候速度也相當(dāng)快。

同樣，由于其邊掃描邊備份，實(shí)時增量檢測，塊級存儲的增量特性，以及壓縮策略智能化，單個幾百GB規(guī)模的文件，文本和圖片視頻，還是在數(shù)量眾多的千萬級規(guī)模下都可以勝任。

基于云的兩級增量模型最大的好處就是在TB級數(shù)據(jù)規(guī)模下，具備超低投入，甚至低至傳統(tǒng)方案的1/10 TCO，高速度；同樣，具備時間刻度恢復(fù)的特點(diǎn)、

端到端AES256加密機(jī)制，與Cloud 5分塊算術(shù)冗余分布機(jī)制，讓數(shù)據(jù)足夠的安全與可靠

在多備份的整個體系設(shè)計(jì)中，安全是從端到后臺，整體設(shè)計(jì)全程考慮，不打折扣，嚴(yán)格從機(jī)制上保證數(shù)據(jù)上云的機(jī)密性。

數(shù)據(jù)從客戶端接入數(shù)據(jù)后，立即進(jìn)行AES256加密，加密后的數(shù)據(jù)分布在云存儲中，而加密用的密鑰則是在安裝過程中，由客戶端產(chǎn)生并有客戶自己保存下來。對于特別要求可靠的數(shù)據(jù)，Cloud 5技術(shù)可以在保持2倍的成本投入下，進(jìn)一步在多個不同種類的云存儲，或者單個云的多個存儲中心之間提高備份數(shù)據(jù)可靠性，幾乎就是永不丟失。

圍繞80%的場景設(shè)計(jì), 安裝設(shè)置與維護(hù)盡可能快和簡單

多備份在具體的部署方案上，分成控制中心和客戶端設(shè)計(jì)，當(dāng)然還有無安裝模型。目前無論是控制中心，還是客戶端都采用80/20場景適應(yīng)的原則來考慮，在具體使用流程和參數(shù)布局上，全面改變傳統(tǒng)的幾百個令人發(fā)暈的參數(shù)配置方案。所有的標(biāo)準(zhǔn)化操作考慮80%的場景覆蓋，除了頻率，內(nèi)容設(shè)置，速度限制，必要的鏈接參數(shù)外，其他都不在多備份主流程中。這樣在具體的功能組合，流程模板顯示，操作菜單，以及按鈕都可以保持非常簡單的流程和交互設(shè)計(jì)。

作者介紹：

聯(lián)合創(chuàng)始人& CTO - 陳元強(qiáng) 曾就職于寶德、騰訊、盛大(旅游)、宜搜、4399，歷任經(jīng)理、總監(jiān)等核心研發(fā)崗位。主導(dǎo)過國家級IT安全系統(tǒng)研發(fā)和實(shí)施；負(fù)責(zé)家庭戰(zhàn)略項(xiàng)目的產(chǎn)品研發(fā)管理工作，主導(dǎo)QQ空間大數(shù)據(jù)分析和騰訊網(wǎng)分布式流量分析平臺的研發(fā)。在海量用戶、數(shù)據(jù)安全、網(wǎng)絡(luò)通訊和大數(shù)據(jù)挖掘等應(yīng)用領(lǐng)域方面具有豐富的經(jīng)驗(yàn)。