項(xiàng)目背景
檔案承載著國(guó)家發(fā)展的歷史,蘊(yùn)含著中華五千年?duì)N爛文化的底蘊(yùn),它翔實(shí)地記錄著人們創(chuàng)造歷史的曲折歷程和奮戰(zhàn)足跡,是彌足珍貴的“中國(guó)記憶”。
如何收集各類檔案信息資源,不斷豐富和完善“中國(guó)記憶”,更好的分享和利用“中國(guó)記憶”,使檔案資源真正發(fā)揮其自身價(jià)值,是檔案管理部門亟待解決的問(wèn)題。
為此,國(guó)家檔案局檔案科學(xué)技術(shù)研究所啟動(dòng)了“國(guó)家開放檔案信息資源管理與共享利用綜合系統(tǒng)建設(shè)項(xiàng)目”,通過(guò)構(gòu)筑國(guó)家開放檔案信息資源管理與共享利用綜合平臺(tái),最大限度的與各級(jí)檔案館及社會(huì)公眾共享資源,方便其通過(guò)平臺(tái)便捷的獲取各類信息資源。
項(xiàng)目需求
1、搭建檔案云服務(wù)平臺(tái)。建成國(guó)家開放檔案信息資源管理與共享利用綜合系統(tǒng),整合全國(guó)50個(gè)國(guó)家綜合檔案館的開放檔案信息資源,目錄及原文數(shù)據(jù)達(dá)100萬(wàn)條,并建立部分熱點(diǎn)檔案專題庫(kù)。
2、建設(shè)一個(gè)全國(guó)中心,建設(shè)6個(gè)分中心、與中央云中心的系統(tǒng)進(jìn)行集成。實(shí)現(xiàn)分布式檔案信息資源存儲(chǔ)利用,以滿足海量檔案數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分發(fā)、數(shù)據(jù)備份的需求。
3、全面開放檔案系統(tǒng)、實(shí)現(xiàn)全文檢索等多種檢索功能、提供檔案檢索使用統(tǒng)計(jì)分析等各類分析報(bào)表、實(shí)現(xiàn)信息資源自動(dòng)采集與數(shù)據(jù)挖掘分析。
4、提供全國(guó)分布式系統(tǒng)的統(tǒng)一管理和監(jiān)控系統(tǒng)、能夠自動(dòng)分發(fā)、部署、升級(jí)、審計(jì)、維護(hù)、授權(quán)等一站式管理。
5、安全性要求
系統(tǒng)實(shí)現(xiàn)7*24小時(shí)的連續(xù)運(yùn)行
年平均年故障時(shí)間小于1天,數(shù)據(jù)庫(kù)平均恢復(fù)時(shí)間小于1小時(shí);
系統(tǒng)故障實(shí)時(shí)提示并且系統(tǒng)平均恢復(fù)時(shí)間小于4小時(shí)。
賽思信安智慧檔案大數(shù)據(jù)解決方案
針對(duì)國(guó)家檔案館的需求,以賽思分布式數(shù)據(jù)倉(cāng)庫(kù)(iDiller)為核心、結(jié)合賽思海量非結(jié)構(gòu)化數(shù)據(jù)庫(kù)、賽思大數(shù)據(jù)集成引擎、賽思大數(shù)據(jù)運(yùn)維管理引擎等產(chǎn)品,共同形成國(guó)家檔案館的解決方案。整體網(wǎng)絡(luò)部署效果如下圖所示:
該項(xiàng)目中,共包含一個(gè)中央云中心集群和六個(gè)地方分中心集群在內(nèi)的七個(gè)分布式數(shù)據(jù)存儲(chǔ)子集群,不同數(shù)據(jù)中心間的數(shù)據(jù)可以跨數(shù)據(jù)中心流動(dòng)??梢灾С?jǐn)?shù)據(jù)存儲(chǔ)、讀取、各種形式的檢索、基于任務(wù)的分析、分布式數(shù)據(jù)安全保護(hù)策略、在線容量擴(kuò)展、數(shù)據(jù)訪問(wèn)控制以及對(duì)于數(shù)據(jù)平臺(tái)監(jiān)控管理、日志審計(jì)管理等核心業(yè)務(wù)實(shí)現(xiàn)的底層基礎(chǔ)系統(tǒng)支撐。
跨數(shù)據(jù)中心管理子模塊解決異地?cái)?shù)據(jù)中心的副本管理。包括跨數(shù)據(jù)中心數(shù)據(jù)實(shí)時(shí)同步和數(shù)據(jù)不一致性自恢復(fù)機(jī)制??鐢?shù)據(jù)中心系統(tǒng)的設(shè)計(jì)目的同樣是從保證數(shù)據(jù)的安全性為出發(fā)點(diǎn),以杜絕數(shù)據(jù)丟失的可能性??鐢?shù)據(jù)中心系統(tǒng)的技術(shù)基礎(chǔ)集合了數(shù)據(jù)庫(kù)操作,信息通知機(jī)制及HTTP數(shù)據(jù)傳輸方式三大技術(shù)要點(diǎn)。
用戶對(duì)于整體系統(tǒng)的監(jiān)控是另外一個(gè)重點(diǎn),本系統(tǒng)使用了賽思分布式存儲(chǔ)管理監(jiān)控系統(tǒng),監(jiān)控系統(tǒng)不僅可以實(shí)現(xiàn)對(duì)于自身訪問(wèn)用戶的權(quán)限控制,同時(shí)也實(shí)現(xiàn)了分布式存儲(chǔ)子系統(tǒng)對(duì)于集群中各節(jié)點(diǎn)的CPU、磁盤、內(nèi)存等相關(guān)重要硬件資源的使用情況的數(shù)據(jù)采集功能,為系統(tǒng)維護(hù)人員,供管理人員與運(yùn)維人員的工作提供了依據(jù)與便利。同時(shí)支持的日志審計(jì)管理功能則是供管理員日常查閱及后期追溯之用。
系統(tǒng)使用到的賽思產(chǎn)品有:
iDriller 賽思分布式數(shù)據(jù)倉(cāng)庫(kù)
iHyperDB 賽思海量非結(jié)構(gòu)化數(shù)據(jù)庫(kù)
iSwapper 賽思大數(shù)據(jù)集成引擎
iManager 賽思大數(shù)據(jù)運(yùn)維管理引擎
用戶效益:
實(shí)現(xiàn)了對(duì)檔案信息的智能檢索。檔案系統(tǒng)借助賽思信安大數(shù)據(jù)解決方案,不僅擴(kuò)充了對(duì)檔案信息的多類型、高效率、跨信息源的智能檢索功能
實(shí)現(xiàn)了檔案資源跨地區(qū)共享和數(shù)據(jù)的全面整合。本系統(tǒng)實(shí)現(xiàn)了分布在全國(guó)各個(gè)檔案館的數(shù)據(jù)統(tǒng)一整合,形成了檔案館的一體化管理,極大地提升了信息的分享能力和充分發(fā)揮了檔案資料的使用效率,充分滿足各級(jí)檔案業(yè)務(wù)人員數(shù)據(jù)實(shí)時(shí)交互的共享需求。
建設(shè)了分析預(yù)測(cè)平臺(tái)、實(shí)現(xiàn)了檔案關(guān)聯(lián)分析、提升用戶的應(yīng)用能力。實(shí)現(xiàn)復(fù)雜預(yù)測(cè)及決策分析,助力檔案業(yè)務(wù)應(yīng)用能力提升。對(duì)業(yè)務(wù)分析系統(tǒng)提供多種統(tǒng)計(jì)功能,包括分組、排序以及聚合等,以及海量結(jié)構(gòu)化和非結(jié)構(gòu)化檔案數(shù)據(jù)的分布式存儲(chǔ)與集中管理。
提高了數(shù)據(jù)的安全性。建立了全國(guó)的統(tǒng)一用戶管理機(jī)制,設(shè)定了權(quán)限控制機(jī)制,設(shè)立了設(shè)計(jì)機(jī)制,確保任何時(shí)候都清楚誰(shuí)在看,誰(shuí)看過(guò),誰(shuí)能看的規(guī)范。同時(shí)系統(tǒng)設(shè)立了多中心機(jī)制,多中心之間數(shù)據(jù)互備,數(shù)據(jù)多副本保存,數(shù)據(jù)異地容災(zāi),避免了單點(diǎn)故障和單城市故障,提高了數(shù)據(jù)的安全性。
案例總結(jié):
基于對(duì)項(xiàng)目需求的深刻理解及在大數(shù)據(jù)領(lǐng)域自主研發(fā)的多年積累,北京賽思信安技術(shù)有限公司憑借在分布式存儲(chǔ)系統(tǒng)、跨數(shù)據(jù)中心管理、云備份管理、數(shù)據(jù)庫(kù)資源設(shè)計(jì)等技術(shù)方面的雄厚實(shí)力,以及在分享與利用方面的諸多創(chuàng)新理念,賽思信安自主研發(fā)的大數(shù)據(jù)管理平臺(tái)(Scistor dataFusion)在眾多競(jìng)爭(zhēng)產(chǎn)品中脫穎而出,成功的應(yīng)用于該系統(tǒng)建設(shè)。
本系統(tǒng)實(shí)現(xiàn)了全文檢索、結(jié)構(gòu)化數(shù)據(jù)和文本數(shù)據(jù)一體化檢索,分布式存儲(chǔ)與集中管理等基礎(chǔ)服務(wù)功能,進(jìn)一步完善檔案管理的標(biāo)準(zhǔn)體系的建設(shè),同時(shí)探索為經(jīng)濟(jì)欠發(fā)達(dá)或技術(shù)力量薄弱地區(qū)檔案館建設(shè)檔案信息綜合管理系統(tǒng)提供了良好的借鑒經(jīng)驗(yàn)。賽思信安智慧檔案大數(shù)據(jù)解決方案讓檔案服務(wù)民生的能力更強(qiáng)大,讓“中國(guó)記憶”最大限度的發(fā)揮自身價(jià)值,方便人民大眾對(duì)檔案信息的查找、分享與利用,從而為全社會(huì)提供不受時(shí)間、空間限制的社會(huì)化、集約化、專業(yè)化的開放檔案信息資源共享服務(wù)。