論"大數(shù)據(jù)"時(shí)代下的海量數(shù)據(jù)存儲(chǔ)技術(shù)

責(zé)任編輯:editor007

作者:解洪國(guó)

2017-02-21 20:24:31

摘自:安防知識(shí)網(wǎng)

高清、長(zhǎng)周期呈現(xiàn)海量存儲(chǔ)需求

高清、長(zhǎng)周期呈現(xiàn)海量存儲(chǔ)需求

高清已經(jīng)在安防行業(yè)全面鋪開(kāi)應(yīng)用。除了帶給用戶能夠看得更清的良好視覺(jué)感受外,對(duì)存儲(chǔ)容量的需求亦成幾何式增長(zhǎng)。例如: 前端IPC有130W到500W像素,碼流也從有2Mbps到8Mbps,而一個(gè)130W像素,8Mbps碼流的前端,錄像一個(gè)月就需要2531.3GB,數(shù)據(jù)量不可小覷。

存儲(chǔ)周期方面,現(xiàn)在也有了政府的有力推動(dòng)。如《中華人民共和國(guó)反恐怖主義法》規(guī)定采集的視頻圖像數(shù)據(jù)保存周期不得少于90天;最高人民法院與國(guó)家檔案局聯(lián)合發(fā)布的《關(guān)于人民法院訴訟檔案保管期限的規(guī)定》更是規(guī)定:將法院訴訟檔案的保管期限分為永久、長(zhǎng)期、短期三種,根據(jù)人民法院訴訟檔案的特點(diǎn),凡屬本院審判活動(dòng)形成的需要長(zhǎng)遠(yuǎn)利用的訴訟檔案,劃為永久保管。凡屬在相當(dāng)長(zhǎng)的時(shí)期內(nèi)需要查考使用的訴訟檔案,劃為長(zhǎng)期保管,保管時(shí)間為60年。凡屬在相對(duì)較短的時(shí)期內(nèi)需要查考利用的訴訟檔案,劃為短期保管,保管時(shí)間為30年,可以想象,數(shù)據(jù)量非常之大。

對(duì)當(dāng)前整個(gè)安防市場(chǎng)來(lái)講,特別是大公安、大交通、樓宇、司法監(jiān)所、金融、文教衛(wèi)、能源項(xiàng)目等行業(yè)迅猛發(fā)展,甲方客戶的需求及大集成商的存儲(chǔ)解決方案越來(lái)越傾向集中化。需要保存的數(shù)據(jù)也成線性增長(zhǎng).應(yīng)對(duì)如此巨大的數(shù)據(jù)量,數(shù)據(jù)存儲(chǔ)及客戶數(shù)據(jù)快速有效查詢就變得至關(guān)重要。某公司一直緊跟行業(yè)發(fā)展方向,致力于推出更符合用戶需求與行業(yè)需求的監(jiān)控/數(shù)據(jù)中心解決方案,

現(xiàn)有的安防存儲(chǔ)模式

1. DVR/NVR前端本地存儲(chǔ)

此種模式,一般應(yīng)用于實(shí)施較早項(xiàng)目,使用的是DVR/NVR前端本地存儲(chǔ),隨著大數(shù)據(jù)時(shí)代的來(lái)臨,采用了比較直接的方法,在DVR/NVR直接連接擴(kuò)展柜來(lái)實(shí)現(xiàn)容量的擴(kuò)容。原來(lái)系統(tǒng)及原數(shù)據(jù)保持不變。此種模式由于采用DVR/NVR存儲(chǔ)容量相對(duì)較小,況且DVR/NVR性能較低,信息孤島現(xiàn)象嚴(yán)重,無(wú)法滿足大數(shù)據(jù)需求。

2. 集中存儲(chǔ)模式

客戶數(shù)據(jù)采用磁盤(pán)陣列模式??梢圆捎迷诖鎯?chǔ)節(jié)點(diǎn)后直接增加擴(kuò)展柜的模式,隨著集群的推出也可以通過(guò)增加存儲(chǔ)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)容量增加。相對(duì)于DVR/NVR模式,容量大大提升,并實(shí)現(xiàn)了數(shù)據(jù)的集中存儲(chǔ),同時(shí)支持存儲(chǔ)節(jié)點(diǎn)間的故障的自動(dòng)業(yè)務(wù)接管,最大程度上實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)的完整性。但是隨著大數(shù)據(jù)的來(lái)臨,后續(xù)項(xiàng)目擴(kuò)容時(shí),需要人為配置設(shè)備的負(fù)載均衡。一臺(tái)存儲(chǔ)故障后導(dǎo)致設(shè)備存儲(chǔ)的數(shù)據(jù)部分中斷或者接管設(shè)備壓力較大,另外考慮到網(wǎng)絡(luò)延時(shí),可能導(dǎo)致存儲(chǔ)數(shù)據(jù)不完整,數(shù)據(jù)獲取需要人為指定設(shè)備數(shù)據(jù)獲取,管理成本較高等。為了設(shè)備的負(fù)載均衡,空間的虛擬化設(shè)備易維護(hù)的問(wèn)題,云存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。

3. 云存儲(chǔ)模式

隨著云存儲(chǔ)技術(shù)普及.目前市面大體分為通用云存儲(chǔ)(文件云集群NAS )和視頻云存儲(chǔ)。

通用云存儲(chǔ)

通過(guò)軟件運(yùn)用集群技術(shù)、虛擬化技術(shù)、分布式存儲(chǔ)技術(shù)將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備集合起來(lái)協(xié)同工作,共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能。

通用云存儲(chǔ)較傳統(tǒng)集中基本設(shè)備形態(tài)不變,故主要部件為:存儲(chǔ)服務(wù)器(元數(shù)據(jù)服務(wù)器)+磁盤(pán)陣列。

 

\

 

通用云存儲(chǔ)中許多都是通過(guò)優(yōu)化改造傳統(tǒng)IPSAN/NAS存儲(chǔ)而演化而來(lái),其通過(guò)實(shí)現(xiàn)服務(wù)器和存儲(chǔ)設(shè)備集群化管理,存儲(chǔ)資源虛擬化,達(dá)到分布式數(shù)據(jù)存儲(chǔ),因其內(nèi)部數(shù)據(jù)處理以結(jié)構(gòu)化數(shù)據(jù)為主。

工作模式:前端攝像機(jī)視頻數(shù)據(jù)流經(jīng)流媒體服務(wù)器轉(zhuǎn)發(fā)到存儲(chǔ)管理服務(wù)器集群,最后在寫(xiě)入指定的磁盤(pán)陣列。視頻數(shù)據(jù)需經(jīng)過(guò)流媒體服務(wù)器轉(zhuǎn)發(fā)進(jìn)入存儲(chǔ)服務(wù)器,一定流媒體故障,系統(tǒng)業(yè)務(wù)中斷,數(shù)據(jù)存在丟失風(fēng)險(xiǎn)。

通用云存儲(chǔ)可以實(shí)現(xiàn)存儲(chǔ)資源虛擬化,但虛擬化能力有限。通用云存儲(chǔ)以結(jié)構(gòu)化的文件系統(tǒng)存儲(chǔ)非結(jié)構(gòu)化視頻圖片數(shù)據(jù),視頻存儲(chǔ)效率低。

基于以上幾點(diǎn),通用云存儲(chǔ)產(chǎn)品當(dāng)前都是面向全行業(yè)項(xiàng)目支持,主要作為一款存儲(chǔ)方案,即不對(duì)安防視頻應(yīng)用做應(yīng)用支撐.不太適合做安防視頻整體的解決方案。

安防專(zhuān)用的視頻云存儲(chǔ)

基于云架構(gòu)進(jìn)行開(kāi)發(fā),融合了集群應(yīng)用、負(fù)載均衡、虛擬化、云結(jié)構(gòu)化、離散存儲(chǔ)等技術(shù),將網(wǎng)絡(luò)中各種不同類(lèi)型的存儲(chǔ)設(shè)備,通過(guò)專(zhuān)業(yè)應(yīng)用軟件集合起來(lái)協(xié)同工作,共同對(duì)外提供視頻、圖片數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)服務(wù)。

視頻云存儲(chǔ)基本組成單元: 云存儲(chǔ)管理服務(wù)器、云存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)、云存儲(chǔ)軟件。

 

\

 

視頻監(jiān)控平臺(tái)根據(jù)業(yè)務(wù)需求為各前端攝像機(jī)下發(fā)錄像計(jì)劃,視頻云存儲(chǔ)系統(tǒng)根據(jù)當(dāng)前系統(tǒng)內(nèi)的業(yè)務(wù)負(fù)載情況分配具體的存儲(chǔ)空間,前端攝像機(jī)推送視頻數(shù)據(jù)流直寫(xiě)到分配的存儲(chǔ)設(shè)備上。視頻云存儲(chǔ)數(shù)據(jù)傳輸協(xié)議支持主流的流媒體協(xié)議(如RTSP/ONVIF/PSIA等)和GB/T28181規(guī)范;支持平臺(tái)直接調(diào)取,架構(gòu)簡(jiǎn)化而開(kāi)放,空間自我管理,可獨(dú)立組網(wǎng)。

對(duì)于通用云存儲(chǔ),視頻云存儲(chǔ)優(yōu)勢(shì)如下

相在大型視頻監(jiān)控項(xiàng)目中,視頻云存儲(chǔ)在視頻/圖片存儲(chǔ)效率優(yōu)于通用云存儲(chǔ)。

在項(xiàng)目預(yù)算中,視頻云存儲(chǔ)較通用云存儲(chǔ)能節(jié)省部分服務(wù)器投入,有成本優(yōu)勢(shì)。

視頻云存儲(chǔ)是專(zhuān)門(mén)針對(duì)視頻安防行業(yè)的高效安全穩(wěn)定的后端存儲(chǔ)解決方案,所以可以支撐大量的視頻功能應(yīng)用,這個(gè)也是通用云存儲(chǔ)所不具備的。

視頻云存儲(chǔ)特點(diǎn)如下:

1) 高效靈活的空間管理

對(duì)存儲(chǔ)資源進(jìn)行虛擬化整合,提高用戶管理效率;

支持存儲(chǔ)資源的在線擴(kuò)展,實(shí)現(xiàn)容量與性能的線性增長(zhǎng);

虛擬空間可靈活調(diào)整,不但能擴(kuò)大,同樣能縮小;后續(xù)產(chǎn)品只需要增加存儲(chǔ)節(jié)點(diǎn)就能完成容量升級(jí)

2) 海量數(shù)據(jù)的快速檢索

采用一體化索引設(shè)計(jì),大大提高了查找速度;

深化視頻、圖片的應(yīng)用設(shè)計(jì),支持I幀信息快速讀取;

3) 持續(xù)可靠的數(shù)據(jù)服務(wù)

提供7X24小時(shí)不間斷高效可持續(xù)的數(shù)據(jù)服務(wù),充分保護(hù)數(shù)據(jù)安全和可靠性;

采用全集群化設(shè)計(jì),性能全面提升,設(shè)備壓力負(fù)載均衡,單/多點(diǎn)故障,錄像業(yè)務(wù)不中斷;

數(shù)據(jù)存儲(chǔ)采用離散存儲(chǔ)算法,提供系統(tǒng)級(jí)高效、穩(wěn)定存取服務(wù);

4) 高可擴(kuò)展的應(yīng)用支撐

系統(tǒng)的高性能設(shè)計(jì),能夠并發(fā)服務(wù)以滿足視頻數(shù)據(jù)的高速讀取需求。

采用流式數(shù)據(jù)結(jié)構(gòu),面向視頻、圖片數(shù)據(jù)而設(shè)計(jì),滿足視頻數(shù)據(jù)的持續(xù)寫(xiě)入;

深入開(kāi)發(fā)視頻錄像的專(zhuān)業(yè)化應(yīng)用設(shè)計(jì),優(yōu)化了應(yīng)用的服務(wù)質(zhì)量;

5) 開(kāi)放透明的兼容系統(tǒng)

統(tǒng)一開(kāi)放的應(yīng)用功能接口,由上層業(yè)務(wù)平臺(tái)直接調(diào)用;

數(shù)據(jù)存儲(chǔ)采用離散存儲(chǔ)算法,提供系統(tǒng)級(jí)高效、穩(wěn)定存取服務(wù);

6) 高可擴(kuò)展的應(yīng)用支撐

系統(tǒng)的高性能設(shè)計(jì),能夠并發(fā)服務(wù)以滿足視頻數(shù)據(jù)的高速讀取需求。

采用流式數(shù)據(jù)結(jié)構(gòu),面向視頻、圖片數(shù)據(jù)而設(shè)計(jì),滿足視頻數(shù)據(jù)的持續(xù)寫(xiě)入;

深入開(kāi)發(fā)視頻錄像的專(zhuān)業(yè)化應(yīng)用設(shè)計(jì),優(yōu)化了應(yīng)用的服務(wù)質(zhì)量;

7) 開(kāi)放透明的兼容系統(tǒng)

統(tǒng)一開(kāi)放的應(yīng)用功能接口,由上層業(yè)務(wù)平臺(tái)直接調(diào)用;

采用的是標(biāo)準(zhǔn)設(shè)備兼容模式,支持標(biāo)準(zhǔn)IP SAN、FC SAN存儲(chǔ)設(shè)備的接入;

目前需要存儲(chǔ)容量不斷增加,客戶要求數(shù)據(jù)存儲(chǔ)周期越來(lái)越長(zhǎng),帶庫(kù)和云存儲(chǔ)融合方案慢慢呈現(xiàn)在客戶面前。

4.視頻云+帶庫(kù)

長(zhǎng)周期數(shù)據(jù)云存儲(chǔ)+帶庫(kù)方案:致力于解決重要數(shù)據(jù)的歸檔備份,數(shù)據(jù)快速提取。存儲(chǔ)組成緩存存儲(chǔ)系統(tǒng),提供足夠的存儲(chǔ)空間滿足熱數(shù)據(jù)及備份數(shù)據(jù)的容量需求,結(jié)合專(zhuān)業(yè)的備份軟件和磁帶庫(kù)實(shí)現(xiàn)數(shù)據(jù)的在線和離線備份云存儲(chǔ)系統(tǒng)統(tǒng)一管理冷熱數(shù)據(jù)存儲(chǔ)及狀態(tài)切換,提供對(duì)熱數(shù)據(jù)的轉(zhuǎn)碼、壓縮等豐富的功能應(yīng)用。同時(shí)完全繼承傳統(tǒng)云存儲(chǔ)虛擬化資源分配、離散存儲(chǔ)、在線擴(kuò)容、集群容災(zāi),兼容第三方存儲(chǔ)等云存儲(chǔ)特性

方案中所有存儲(chǔ)設(shè)備均可設(shè)計(jì)為冗余連接,在滿足用戶存儲(chǔ)需求的同時(shí),兼顧整個(gè)系統(tǒng)的存儲(chǔ)性能和安全性。

系統(tǒng)功能簡(jiǎn)介;

業(yè)務(wù)層面

支持實(shí)時(shí)視頻流、視頻文件、圖片、普通文件混合存儲(chǔ);支持對(duì)數(shù)據(jù)自定義歸檔存儲(chǔ),同時(shí)保存熱數(shù)據(jù)及歸檔數(shù)據(jù);將客戶經(jīng)常使用的視頻圖片及文件存入熱數(shù)據(jù)存儲(chǔ)資源池;把客戶訪問(wèn)頻率不高的視頻視頻文件、圖片、普通文件且需要長(zhǎng)周期存儲(chǔ)的數(shù)據(jù)存入冷數(shù)據(jù)存儲(chǔ)資源池.冷熱數(shù)據(jù)資料可以通過(guò)管理軟件實(shí)現(xiàn)數(shù)據(jù)遷移.數(shù)據(jù)歸檔和遷移時(shí)可以按照文件時(shí)間、文件大小、各級(jí)存儲(chǔ)的位置、文件的歷史版本、存根信息等進(jìn)行策略定制,實(shí)現(xiàn)基于策略的數(shù)據(jù)歸檔和遷移

數(shù)據(jù)高可靠性保障系統(tǒng)

帶庫(kù)方案是基于目前穩(wěn)定的存儲(chǔ)系統(tǒng)架構(gòu),采用成熟穩(wěn)定的硬件,可以保障系統(tǒng)長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。系統(tǒng)的管理軟件具有報(bào)警措施,控制軟件發(fā)現(xiàn)軟硬件異常時(shí),通過(guò)多種方式進(jìn)行報(bào)警。管理軟件包括快照和克隆的功能,可以使所管理的數(shù)據(jù)回滾到原來(lái)某一時(shí)刻的狀態(tài),防止用戶錯(cuò)誤操作帶來(lái)的數(shù)據(jù)丟失。同時(shí)通過(guò)存儲(chǔ)管理軟件實(shí)現(xiàn)備份功能。

高安全數(shù)據(jù)存儲(chǔ)

系統(tǒng)通過(guò)用戶名、密碼、IP地址認(rèn)證等認(rèn)證方式,保證數(shù)據(jù)空間訪問(wèn)權(quán)限的控制,保障數(shù)據(jù)不會(huì)被其他人惡意竊取或破壞。

方案中,根據(jù)客戶需求可以設(shè)定不同的登錄權(quán)限和讀寫(xiě)操作權(quán)限,實(shí)現(xiàn)數(shù)據(jù)的安全性

存儲(chǔ)設(shè)備內(nèi)嵌WORM歸檔模塊,它是針對(duì)檔案類(lèi)存儲(chǔ)提供的基于硬盤(pán)的寫(xiě)一次,讀多次的存儲(chǔ)產(chǎn)品??梢杂行Х乐龟P(guān)鍵文件數(shù)據(jù)被篡改。

高擴(kuò)展的帶庫(kù)存儲(chǔ)

整個(gè)系統(tǒng)的存儲(chǔ)容量可以在不影響業(yè)務(wù)運(yùn)行的情況下隨需采購(gòu)磁帶擴(kuò)展。存儲(chǔ)的性能也可以動(dòng)態(tài)線性增加,通過(guò)增加驅(qū)動(dòng)器的方式,拓寬整個(gè)系統(tǒng)的處理性能。

系統(tǒng)易擴(kuò)展為遠(yuǎn)程容災(zāi)存儲(chǔ)系統(tǒng)。系統(tǒng)是基于存儲(chǔ)和備份軟件結(jié)合,易于實(shí)現(xiàn)遠(yuǎn)程的數(shù)據(jù)傳輸;為以后擴(kuò)展到其他地區(qū),結(jié)合為一體的容災(zāi)存儲(chǔ)系統(tǒng)建立好的基礎(chǔ)條件。

科學(xué)有效的備份實(shí)現(xiàn)

日常需要備份的主要業(yè)務(wù)數(shù)據(jù),可以用文件同步和文件備份功能實(shí)現(xiàn)。設(shè)定合理的備份策略, 盡可能利用非業(yè)務(wù)時(shí)間進(jìn)行文件同步和備份,避免增加對(duì)應(yīng)用局域網(wǎng)的負(fù)載壓力。

采用專(zhuān)業(yè)的文件集中備份功和數(shù)據(jù)庫(kù)備份功能實(shí)現(xiàn)。不干擾用戶的局域網(wǎng)正常業(yè)務(wù),達(dá)到LAN FREE效果。

較低的保存環(huán)境要求

磁帶是可移動(dòng)介質(zhì),可以異地離線保存,運(yùn)輸方便,可以根據(jù)用戶需求在不同存放地點(diǎn)之間搬運(yùn),這對(duì)數(shù)據(jù)的安全來(lái)說(shuō)是非常有利的,適合數(shù)據(jù)交換。離線磁帶不會(huì)受機(jī)械振動(dòng)、電力變化等因素帶來(lái)對(duì)壽命的影響,對(duì)存放條件要求簡(jiǎn)單。

通常情況下,性價(jià)比和高可用仍是企業(yè)或者個(gè)人選擇存儲(chǔ)系統(tǒng)最優(yōu)先考慮的兩大因素,此外存儲(chǔ)的易于部署和管理以及磁盤(pán)和閃存的緊密整合也是企業(yè)用戶評(píng)估存儲(chǔ)的重要考慮因素.隨著大數(shù)據(jù)時(shí)代的來(lái)臨,企業(yè)會(huì)根據(jù)自身需求和預(yù)算來(lái)挑選適合自己的企業(yè)的解決方案。

整體來(lái)說(shuō),目前云存儲(chǔ)發(fā)展最為迅猛, 以其遙遙領(lǐng)先的優(yōu)勢(shì)獨(dú)占鰲頭,必然會(huì)是未來(lái)大數(shù)據(jù)應(yīng)用的重點(diǎn)組成部分,同時(shí)數(shù)據(jù)分層、融合以及智能也將逐漸普及應(yīng)用,可以說(shuō),安防行業(yè)為了迎接大數(shù)據(jù)來(lái)臨,已經(jīng)做好了充足的準(zhǔn)備。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)