云存儲(chǔ),正帶動(dòng)一場安防存儲(chǔ)方式的革命

責(zé)任編輯:editor006

作者:周宇杰

2016-03-21 16:00:42

摘自:新浪地產(chǎn)

云存儲(chǔ),早已不是一個(gè)新鮮的詞。隨著存儲(chǔ)陣列數(shù)量的增加,高清視頻碼流的增大,讀寫業(yè)務(wù)的增多,IPSAN存儲(chǔ)系統(tǒng)的非功能性問題也逐步暴露出來,主要有如下4點(diǎn):

云存儲(chǔ),早已不是一個(gè)新鮮的詞。隨著平安城市等大型安防項(xiàng)目數(shù)量的日益增多,規(guī)模的日益龐大,云存儲(chǔ)迅速從一個(gè)概念詞匯,蛻變成一個(gè)又一個(gè)成熟的產(chǎn)品。環(huán)顧四周,業(yè)內(nèi)主流安防廠商都已把云存儲(chǔ)作為公司的重點(diǎn)產(chǎn)品,作為未來大型監(jiān)控項(xiàng)目中的存儲(chǔ)解決之道。

我們?yōu)槭裁葱枰拼鎯?chǔ)?

近年來,在網(wǎng)絡(luò)化,高清化浪潮的席卷下,NVR存儲(chǔ),NAS存儲(chǔ),SAN存儲(chǔ)成為當(dāng)前安防視頻監(jiān)控行業(yè)的主流視頻存儲(chǔ)方案。其中,對于大中型視頻監(jiān)控系統(tǒng)而言,以iSCSI存儲(chǔ)為主的SAN存儲(chǔ)方案因技術(shù)成熟、存儲(chǔ)效率高、部署靈活成為長期的熱門選擇。

然而,SAN存儲(chǔ)終究到了瓶頸:D1、CIP早已是昨日黃花,720P、1080P已是市場主流,4K,甚至8K一躍成為新秀;單純圖像存儲(chǔ)已是過去式,各類視頻分析技術(shù)帶來的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),都在存儲(chǔ)系統(tǒng)上叫囂著一席之地。視頻監(jiān)控大聯(lián)網(wǎng)、高清甚至超清化、智能分析的聯(lián)合推動(dòng),促使視頻監(jiān)控系統(tǒng)的監(jiān)控點(diǎn)數(shù)越來越多、視頻碼流越來越大,存儲(chǔ)時(shí)間則要求保持不變甚至更長。相較于數(shù)字標(biāo)清時(shí)代,一個(gè)視頻監(jiān)控系統(tǒng)要求上千TB的存儲(chǔ)空間已不再是個(gè)例,容量的最佳單位從“TB”變?yōu)榱?ldquo;PB”。

存儲(chǔ)容量要達(dá)到PB,用傳統(tǒng)方法也可以實(shí)現(xiàn),這就出現(xiàn)了通過部署更多的視頻存儲(chǔ)服務(wù)器(或模塊)、視頻轉(zhuǎn)發(fā)服務(wù)器(或模塊),獲取更多流媒體數(shù)據(jù)存儲(chǔ)和轉(zhuǎn)發(fā)能力,從而實(shí)現(xiàn)系統(tǒng)業(yè)務(wù)容量擴(kuò)展,IPSAN存儲(chǔ)空間也伴隨服務(wù)器(或模塊)數(shù)量的擴(kuò)展而不斷增加的方法??梢哉f,IPSAN的擴(kuò)容能力主要受制于存儲(chǔ)業(yè)務(wù)服務(wù)器(或模塊),從理論上來講,只要存儲(chǔ)業(yè)務(wù)服務(wù)器(或模塊)數(shù)目足夠多、能力足夠大,IPSAN存儲(chǔ)總能隨之?dāng)U展。

因此,從業(yè)務(wù)能力上看,IPSAN存儲(chǔ)似乎能夠滿足大中型視頻監(jiān)控系統(tǒng)對存儲(chǔ)增長的需求。然而,隨著存儲(chǔ)陣列數(shù)量的增加,高清視頻碼流的增大,讀寫業(yè)務(wù)的增多,IPSAN存儲(chǔ)系統(tǒng)的非功能性問題也逐步暴露出來,主要有如下4點(diǎn):

1、存儲(chǔ)設(shè)備的管理和維護(hù)越來越困難

在IPSAN存儲(chǔ)系統(tǒng)中,存儲(chǔ)設(shè)備之間相互獨(dú)立,運(yùn)維人員需要針對單臺(tái)設(shè)備進(jìn)行維護(hù)和管理。同時(shí),由于其中的硬盤屬于消耗品,長時(shí)間的高碼率并發(fā)讀寫,硬盤故障率也逐步升高。為保證錄像不被損壞丟失,必須對設(shè)備進(jìn)行密切的狀態(tài)監(jiān)控并隨時(shí)更換損壞的硬盤。面對幾十臺(tái)規(guī)模的存儲(chǔ)設(shè)備,維護(hù)起來已經(jīng)相當(dāng)不容易,如果數(shù)量達(dá)到上百臺(tái),維護(hù)的工作量就不是一件簡單的事情了。

2、數(shù)據(jù)存儲(chǔ)的可靠性越來越難保證

IPSAN存儲(chǔ)設(shè)備對數(shù)據(jù)的保護(hù)依賴于本機(jī)磁盤組的Raid技術(shù)。業(yè)界一般采用Raid5,能允許1塊硬盤損壞,但如果同時(shí)有2塊硬盤損壞,這個(gè)Raid組的數(shù)據(jù)就會(huì)丟失。所以,如果出現(xiàn)硬盤損壞,需要盡快更換硬盤進(jìn)行Raid重構(gòu),恢復(fù)數(shù)據(jù)。而在數(shù)據(jù)重構(gòu)期間,如果再出現(xiàn)一塊硬盤損壞,數(shù)據(jù)就會(huì)丟失,因此Raid重構(gòu)時(shí)間越短越好。然而,Raid重構(gòu)的時(shí)間跟硬盤容量有關(guān)系,以3T磁盤為例,按照在線修復(fù)的模式,磁盤的平均寫入速度在50MB/s左右,此時(shí)Raid5修復(fù)的時(shí)間長達(dá)16個(gè)小時(shí),實(shí)際應(yīng)用中,一般都在20個(gè)小時(shí)左右。隨著當(dāng)前的硬盤容量越來越大,3T硬盤已經(jīng)成為主流,4T也已經(jīng)普及,一些地方甚至用上了6T硬盤,這必將導(dǎo)致Raid的修復(fù)時(shí)間窗口越來越大,在這個(gè)窗口內(nèi),第二塊盤損壞的概率也越來越大,再考慮到長時(shí)間高碼率并發(fā)讀寫導(dǎo)致的硬盤故障率上升,存儲(chǔ)設(shè)備數(shù)目龐大導(dǎo)致的維護(hù)響應(yīng)時(shí)間延長,視頻數(shù)據(jù)的可靠性越來越難以保證。

3、數(shù)據(jù)傳輸能力逐漸出現(xiàn)瓶頸

IPSAN方案中,單個(gè)監(jiān)控點(diǎn)的視頻錄像一般都存儲(chǔ)在一臺(tái)陣列設(shè)備上。隨著視頻監(jiān)控系統(tǒng)規(guī)模的擴(kuò)大,各類用戶增多,在加上視頻碼流的逐步提升以及上層圖像綜合應(yīng)用的不斷豐富,系統(tǒng)對于單臺(tái)磁陣的吞吐能力也提出了更高的要求,特別是在應(yīng)急聯(lián)合作戰(zhàn)的情況下,并發(fā)的視頻錄像調(diào)取、回放和實(shí)時(shí)調(diào)度的監(jiān)控路數(shù)都快速增加,大量的業(yè)務(wù)可能都會(huì)集中到某一臺(tái)存儲(chǔ)設(shè)備上,面對這些日益增長的隨機(jī)并發(fā)訪問,單臺(tái)設(shè)備的性能成為瓶頸。

4、數(shù)據(jù)共享能力不能滿足業(yè)務(wù)需求

在目前大中型的IPSAN存儲(chǔ)方案中,IPSAN設(shè)備雖然很多,但是彼此孤立,各自提供獨(dú)立的存儲(chǔ)空間給不同業(yè)務(wù)模塊使用,其中的數(shù)據(jù)只能由掛載該存儲(chǔ)空間的業(yè)務(wù)服務(wù)讀寫,其他非掛載該陣列設(shè)備的圖像綜合業(yè)務(wù)系統(tǒng)則很難直接訪問到該存儲(chǔ)空間中的特定數(shù)據(jù),即使能通過網(wǎng)絡(luò)文件方式訪問,對于數(shù)目如此龐大的存儲(chǔ)陣列,也需要業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)目龐大路徑加載。因此,IPSAN的數(shù)據(jù)共享能力很差,從而也影響到了圖像綜合業(yè)務(wù)的發(fā)展。

上述的問題在IPSAN存儲(chǔ)系統(tǒng)不是很龐大的情況下,表現(xiàn)的并不明顯,然而隨著監(jiān)控系統(tǒng)規(guī)模的逐步擴(kuò)大,存儲(chǔ)數(shù)量的不斷增加,大中型視頻監(jiān)控系統(tǒng)不得不面對這些問題并探尋新的存儲(chǔ)系統(tǒng)和解決方案。

安防云存儲(chǔ)的誕生

相較于上面所說的IPSAN無限擴(kuò)容帶來的不足,云存儲(chǔ)的優(yōu)勢是顯而易見的:

①服務(wù)性質(zhì)更強(qiáng)

云存儲(chǔ)系統(tǒng)由多臺(tái)云存儲(chǔ)設(shè)備構(gòu)成,但是提供統(tǒng)一的虛擬存儲(chǔ)空間,用戶和業(yè)務(wù)系統(tǒng)在使用云存儲(chǔ)時(shí)只感知空間,不感知節(jié)點(diǎn),不用關(guān)心存儲(chǔ)空間由哪些存設(shè)備構(gòu)成,這些設(shè)備放在何處。這使得用戶與應(yīng)用提供者,無需為繁瑣的細(xì)節(jié)而煩惱,能夠更加專注于自己的業(yè)務(wù);對于租用云服務(wù)的用戶、應(yīng)用開發(fā)尚而言,更是直接省去了自建存儲(chǔ)系統(tǒng)的費(fèi)用與設(shè)備維護(hù)成本。

②維護(hù)更簡單

選擇自建私有云模式的用戶也不用臺(tái)擔(dān)心,云存儲(chǔ)提供集群化管理模式,用戶只需要登錄到云存儲(chǔ)系統(tǒng)的一個(gè)IP地址,就可以看到所有的存儲(chǔ)設(shè)備狀態(tài)、相應(yīng)的磁盤狀態(tài)以及整體存儲(chǔ)空間的使用情況。系統(tǒng)還會(huì)針對不同的異常和故障問題及時(shí)的給出告警通知和日志記錄,大大簡化了管理員對存儲(chǔ)系統(tǒng)的維護(hù)和管理工作。

③使用更安全

云存儲(chǔ)系統(tǒng)采用基于糾刪碼的分布式離散存儲(chǔ)策略,需要存儲(chǔ)的數(shù)據(jù)信息都被條帶化、離散化,直接拆分成多個(gè)數(shù)據(jù)塊,然后計(jì)算冗余校驗(yàn)數(shù)據(jù)塊,再分散存儲(chǔ)到不同的云存儲(chǔ)設(shè)備中,數(shù)據(jù)的分散程度和冗余程度可以通過系統(tǒng)進(jìn)行靈活設(shè)置。通過糾刪碼的冗余校驗(yàn)機(jī)制,系統(tǒng)提供數(shù)據(jù)高可靠性保護(hù),可以允許系統(tǒng)壞多塊硬盤,甚至多個(gè)存儲(chǔ)設(shè)備節(jié)點(diǎn)而不會(huì)造成數(shù)據(jù)丟失,或者只影響和丟失很小部分的數(shù)據(jù),其他數(shù)據(jù)的讀取不受影響,寫入則完全不受影響。此外,由于采用系統(tǒng)級離散存儲(chǔ),多個(gè)存儲(chǔ)節(jié)點(diǎn)中都有相應(yīng)的數(shù)據(jù)塊和校驗(yàn)塊,在硬盤損壞后恢復(fù)硬盤數(shù)據(jù)時(shí)由多個(gè)存儲(chǔ)節(jié)點(diǎn)在空閑的空間內(nèi)同時(shí)進(jìn)行重構(gòu),要比傳統(tǒng)的基于磁盤的Raid快得多,重構(gòu)速度可以達(dá)到1個(gè)小時(shí)以內(nèi)。

④讀取、輸入更流暢

云存儲(chǔ)系統(tǒng)采用糾刪碼離散存儲(chǔ)策略,任何一段視頻都被拆分成多個(gè)數(shù)據(jù)塊分散并同時(shí)存儲(chǔ)到多個(gè)存儲(chǔ)節(jié)點(diǎn)中,因此,對該段視頻的讀取都由多臺(tái)存儲(chǔ)設(shè)備同時(shí)提供服務(wù),避免了通過單臺(tái)設(shè)備讀取而造成的性能瓶頸。

⑤動(dòng)態(tài)伸縮,擴(kuò)容更方便

傳統(tǒng)存儲(chǔ),業(yè)務(wù)系統(tǒng)直接跟每一臺(tái)存儲(chǔ)設(shè)備打交道,每擴(kuò)容一次,都要識(shí)別和掛載新的存儲(chǔ)設(shè)備,并進(jìn)行原有數(shù)據(jù)的遷移,從而導(dǎo)致業(yè)務(wù)長時(shí)間中斷。而云存儲(chǔ)采用存儲(chǔ)虛擬化技術(shù),業(yè)務(wù)系統(tǒng)只感知整體容量的變化,不關(guān)心具體設(shè)備,并且擴(kuò)容后原有數(shù)據(jù)會(huì)在新的存儲(chǔ)空間中自動(dòng)重組和均衡,業(yè)務(wù)不受任何影響。

⑥數(shù)據(jù)共享無障礙

傳統(tǒng)存儲(chǔ)接口封閉,一個(gè)存儲(chǔ)系統(tǒng)只對接一套業(yè)務(wù),視頻監(jiān)控、智能分析、圖像偵查等每個(gè)業(yè)務(wù)都要建立自己的存儲(chǔ)系統(tǒng),互相之間數(shù)據(jù)共享效率十分低下。而云存儲(chǔ)提供統(tǒng)一的存儲(chǔ)空間、命名空間,不同的業(yè)務(wù)系統(tǒng),對存儲(chǔ)系統(tǒng)的訪問是一致的,這些數(shù)據(jù)在權(quán)限控制下都可以通過統(tǒng)一的命名路徑直接進(jìn)行讀取,從而提升了不同業(yè)務(wù)系統(tǒng)間數(shù)據(jù)信息的共享能力。

上面說過,目前安防主流廠商均已推出自己的云存儲(chǔ)系統(tǒng),而科達(dá)的“天際“云存儲(chǔ),在具備以上所有云存儲(chǔ)優(yōu)勢的同時(shí),還有幾點(diǎn)獨(dú)特之處:

① 支持BBU電池。天際云存儲(chǔ)在每個(gè)存儲(chǔ)節(jié)點(diǎn)都配備了BBU電池,當(dāng)某個(gè)存儲(chǔ)節(jié)點(diǎn)發(fā)生異常斷電時(shí),存儲(chǔ)節(jié)點(diǎn)會(huì)及時(shí)保存緩存中的數(shù)據(jù)到磁盤,確保數(shù)據(jù)不會(huì)丟失,并同時(shí)向控制節(jié)點(diǎn)發(fā)送告警通知,由控制節(jié)點(diǎn)操作,“屏蔽”該存儲(chǔ)節(jié)點(diǎn),將設(shè)備斷電時(shí)期的業(yè)務(wù)遷移至其他存儲(chǔ)節(jié)點(diǎn),從而避免數(shù)據(jù)丟失。

② 支持仲裁模式,極端容錯(cuò)。天際云存儲(chǔ)支持仲裁模式,當(dāng)所有控制節(jié)點(diǎn)(元數(shù)據(jù)節(jié)點(diǎn))全部異常時(shí),啟動(dòng)仲裁模式,視頻存儲(chǔ)的業(yè)務(wù)不會(huì)中斷,數(shù)據(jù)不會(huì)丟失;當(dāng)控制節(jié)點(diǎn)恢復(fù)后,存儲(chǔ)節(jié)點(diǎn)會(huì)自動(dòng)同步異常期間數(shù)據(jù)信息至控制節(jié)點(diǎn),恢復(fù)整個(gè)系統(tǒng)。

③ 存儲(chǔ)內(nèi)容更多樣。與一般安防云存儲(chǔ)只支持視頻和圖片存儲(chǔ)不同,天際云存儲(chǔ)不僅可存放視頻、圖片數(shù)據(jù),還可以存放多種類型的一般的文件數(shù)據(jù)。

④更加標(biāo)準(zhǔn)、開放。天際云存儲(chǔ)具備多種開放的、標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)訪問接口:支持NFS、S3、FTP等通用接口及基于SDK的專業(yè)服務(wù)接口,同時(shí)還支持HDFS接口服務(wù),可與業(yè)界的云平臺(tái)大數(shù)據(jù)系統(tǒng)進(jìn)行對接。

云存儲(chǔ)技術(shù)未來的發(fā)展方向

上面全是講的云存儲(chǔ)的優(yōu)勢,且不少安防廠商也有了自己的云存儲(chǔ)應(yīng)用案例,如科達(dá)天際云存儲(chǔ)在柳州平安城市中的應(yīng)用等等,但目前云存儲(chǔ)技術(shù)還遠(yuǎn)非“完美”,仍有很多地方需要繼續(xù)完善。

① 提高可靠性與安全性。

為滿足可靠性、安全性的要求,需要云存儲(chǔ)系統(tǒng)提供更為可靠、安全的數(shù)據(jù)保護(hù)能力和訪問控制機(jī)制,特別是對于互聯(lián)網(wǎng)應(yīng)用的情況,必須能夠保證用戶的數(shù)據(jù)安全性,提供多層面的數(shù)據(jù)服務(wù)保證。

此外,由于大規(guī)模數(shù)據(jù)存儲(chǔ)對硬盤的讀寫能力要求較高,而硬盤恰恰是存儲(chǔ)系統(tǒng)中最易損壞的設(shè)備。因此,云存儲(chǔ)系統(tǒng)對硬盤的優(yōu)化讀寫以及容錯(cuò)機(jī)制,還可以進(jìn)一步優(yōu)化,充分利用硬盤的最新技術(shù)在提升數(shù)據(jù)可靠性和讀寫性能的同時(shí),降低硬盤損壞率,減少硬盤損壞對數(shù)據(jù)和系統(tǒng)的影響。

② 數(shù)據(jù)與計(jì)算的進(jìn)一步結(jié)合

云存儲(chǔ)作為一個(gè)龐大的數(shù)據(jù)存儲(chǔ)中心,一般都由很多存儲(chǔ)節(jié)點(diǎn)組成,如果這些節(jié)點(diǎn)能夠同時(shí)具備便捷計(jì)算的能力,直接在數(shù)據(jù)存儲(chǔ)的節(jié)點(diǎn)上完成數(shù)據(jù)分析工作,那么計(jì)算的過程將不需要通過前端網(wǎng)絡(luò)實(shí)現(xiàn)過多的數(shù)據(jù)存取調(diào)度業(yè)務(wù),從而降低業(yè)務(wù)網(wǎng)絡(luò)運(yùn)輸?shù)膲毫?,也提升了總體數(shù)據(jù)分析的速度。

③ 更高效的數(shù)據(jù)冗余

目前,很多云存儲(chǔ)系統(tǒng),特別是互聯(lián)網(wǎng)上的云存儲(chǔ)系統(tǒng),都傾向于采用多副本方式實(shí)現(xiàn)數(shù)據(jù)冗余,提升數(shù)據(jù)的可靠性,但這必然會(huì)帶來存儲(chǔ)空間使用率低下的問題;而針對大規(guī)模視頻監(jiān)控系統(tǒng)的安防云存儲(chǔ)來說,副本方式幾乎是不能接受的,建設(shè)成本太高,性價(jià)比太低。因此,必須采用更為先進(jìn)的技術(shù),在降低數(shù)據(jù)冗余度的同時(shí),能同時(shí)提高數(shù)據(jù)的可靠性,糾刪碼是其中一類技術(shù),相信以后還會(huì)有更新的技術(shù)。

④ 高效異地容災(zāi)技術(shù)

異地容災(zāi)技術(shù)目前還主要針對計(jì)算機(jī)業(yè)務(wù)系統(tǒng),和輕量級的數(shù)據(jù)存儲(chǔ)(如銀行數(shù)據(jù)庫等),而像安防監(jiān)控那樣海量的數(shù)據(jù)存儲(chǔ)系統(tǒng),真正的數(shù)據(jù)異地容災(zāi)還無法很好的實(shí)現(xiàn),其主要的原因是安防存儲(chǔ)的數(shù)據(jù)流量太大,數(shù)據(jù)存儲(chǔ)的體量也太大,傳統(tǒng)異地容災(zāi)技術(shù)成本太高。因此,我們需要更新的技術(shù),來實(shí)現(xiàn)此類海量安防視頻數(shù)據(jù)的異地容災(zāi)機(jī)制,提高系統(tǒng)整體的可靠性。

⑤ 可針對特定專業(yè)用戶的專業(yè)化數(shù)據(jù)存儲(chǔ)服務(wù)定制能力

目前,針對通用市場的互聯(lián)網(wǎng)云存儲(chǔ)仍以單一的存儲(chǔ)服務(wù)為主,不管是互聯(lián)網(wǎng)云存儲(chǔ)或是安防云存儲(chǔ),在專業(yè)化定制服務(wù)方面仍需加強(qiáng),讓存儲(chǔ)系統(tǒng)與用戶的各項(xiàng)業(yè)務(wù)結(jié)合更緊密,比如針對特定業(yè)務(wù)的數(shù)據(jù)存儲(chǔ)管理優(yōu)化,提升特定業(yè)務(wù)數(shù)據(jù)存儲(chǔ)和調(diào)閱的效率;對存儲(chǔ)內(nèi)容提供更豐富的信息描述,以及數(shù)據(jù)標(biāo)簽等,充分發(fā)揮云存儲(chǔ)自身的特性的同時(shí)提升專業(yè)服務(wù)能力。

講了這么多,以云存儲(chǔ)與當(dāng)下談得火熱的“大數(shù)據(jù)”、“物聯(lián)網(wǎng)”之間的關(guān)系結(jié)尾:當(dāng)視頻圖像信息都集中存儲(chǔ)在統(tǒng)一的云存儲(chǔ)系統(tǒng)中時(shí),對圖像信息的調(diào)取、融合與聯(lián)合分析會(huì)更全面、更快速,對信息的綜合處理能力會(huì)更強(qiáng),大數(shù)據(jù)云平臺(tái)的效用才能得到淋漓盡致地發(fā)揮。直接反應(yīng)在公安實(shí)際操作中就是,圖像信息的檢索、視頻摘要分析、信息綜合分析判斷等操作速度會(huì)更快,應(yīng)用于綜合分析的信息會(huì)更多,最終得到的分析結(jié)論也就越準(zhǔn)確。

總之一句話,云存儲(chǔ),正在帶動(dòng)一場安防存儲(chǔ)方式的革命。

熱文推薦

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號