近年來,隨著海量視頻信息的快速增長,傳統(tǒng)的安防技術(shù)越來越難以滿足部分行業(yè)在傳輸、存儲(chǔ)及大數(shù)據(jù)計(jì)算分析上的需要,或者說很難以更低的成本、更靈活的擴(kuò)展性、更健壯更可靠更安全的系統(tǒng)架構(gòu)來滿足這些需要。因此,云計(jì)算的概念這兩年開始越來越多的滲透到安防領(lǐng)域。其中,云存儲(chǔ)取得的突破性應(yīng)用尤為引人注目。本文將主要就云存儲(chǔ)在安防領(lǐng)域的應(yīng)用展開分析。
網(wǎng)絡(luò)化技術(shù)的普及,使得視頻資源的聯(lián)網(wǎng)共享成為很多行業(yè)日益迫切的需求,現(xiàn)有分散的視頻資源正在朝著大集中的方向推進(jìn);平安城市、智能交通等大行業(yè)市場(chǎng)通過點(diǎn)、線、面的密集覆蓋,每時(shí)每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長的視頻數(shù)據(jù)在帶來海量視頻存儲(chǔ)需求的同時(shí),也對(duì)當(dāng)前的視頻存儲(chǔ)技術(shù)提出了一系列新的挑戰(zhàn):如何實(shí)現(xiàn)存儲(chǔ)容量的平滑擴(kuò)展?如何有效的降低由此帶來的存儲(chǔ)成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數(shù)據(jù)?如何解決越來越龐大的系統(tǒng)給維護(hù)管理帶來的困擾?
答案就在云存儲(chǔ)。
云存儲(chǔ)的定義
云存儲(chǔ)是在云計(jì)算概念上衍生和發(fā)展出來的一種技術(shù)或服務(wù)。將網(wǎng)絡(luò)中各類存儲(chǔ)設(shè)備匯集在云計(jì)算系統(tǒng)當(dāng)中,通過云計(jì)算的概念組織起來協(xié)同工作,對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問的功能以及與存儲(chǔ)相關(guān)的增值應(yīng)用,即稱為云存儲(chǔ)。
云存儲(chǔ)和云計(jì)算都是云架構(gòu)的技術(shù)實(shí)現(xiàn),任何應(yīng)用都需要一個(gè)計(jì)算模型、一個(gè)存儲(chǔ)模型和一個(gè)通信模型。云計(jì)算中,為了實(shí)現(xiàn)資源的彈性利用以及給用戶造成資源無限的假象,必須實(shí)現(xiàn)資源的復(fù)用。云存儲(chǔ)也是一樣,它通過虛擬化和精簡(jiǎn)配置技術(shù),讓資源的效益最大化。
與傳統(tǒng)的存儲(chǔ)設(shè)備相比,云存儲(chǔ)不僅僅是一個(gè)硬件,而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心,通過應(yīng)用軟件來對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。
云存儲(chǔ)對(duì)外提供的是與存儲(chǔ)相關(guān)的服務(wù)。云存儲(chǔ)可以提供類似于磁盤陣列的裸空間服務(wù),也可以提供基于存儲(chǔ)的特定服務(wù)。
云存儲(chǔ)的系統(tǒng)架構(gòu)
要了解云存儲(chǔ)的系統(tǒng)架構(gòu),需要先了解其應(yīng)用架構(gòu)。我們以平安城市為例來看云存儲(chǔ)的應(yīng)用架構(gòu)。在平安城市中,云存儲(chǔ)可為多個(gè)系統(tǒng)提供存儲(chǔ)服務(wù),包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個(gè)案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲(chǔ)。
從應(yīng)用架構(gòu)上看,云存儲(chǔ)系統(tǒng)與傳統(tǒng)分布式存儲(chǔ)系統(tǒng)差異并不明顯,其更本質(zhì)的區(qū)別其實(shí)體現(xiàn)在內(nèi)部軟件架構(gòu)上。
云存儲(chǔ)系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng),以大量的服務(wù)器和存儲(chǔ)設(shè)備為基礎(chǔ),構(gòu)建一個(gè)大規(guī)模存儲(chǔ)集群,提供上百PB的存儲(chǔ)容量,并能夠在線進(jìn)行容量的擴(kuò)充,由此搭建的大容量存儲(chǔ)系統(tǒng)整體成本遠(yuǎn)低于傳統(tǒng)存儲(chǔ)架構(gòu),并且具有良好的可擴(kuò)充性和靈活性。
云存儲(chǔ)系統(tǒng)通過元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)分離的非對(duì)稱式架構(gòu),通過負(fù)載均衡和數(shù)據(jù)并發(fā)訪問策略,在普通硬件條件下獲得高達(dá)數(shù)十Gbps的傳輸速率以及上百PB級(jí)的存儲(chǔ)容量,并可根據(jù)用戶應(yīng)用發(fā)展的趨勢(shì),適時(shí)按需進(jìn)行在線動(dòng)態(tài)擴(kuò)展。與單機(jī)的文件系統(tǒng)不同,分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來管理,而是存放在一個(gè)服務(wù)器集群上,由集群中的服務(wù)器,各盡其責(zé),通力合作,提供整個(gè)文件系統(tǒng)的服務(wù)。
云存儲(chǔ)系統(tǒng)內(nèi)置了基于對(duì)象數(shù)據(jù)管理策略,能夠保證在系統(tǒng)局部發(fā)生故障時(shí)數(shù)據(jù)的安全性和可靠性,徹底消除存儲(chǔ)系統(tǒng)中的單點(diǎn)故障,結(jié)合自動(dòng)故障探測(cè)和快速故障恢復(fù)技術(shù),確保用戶的應(yīng)用持續(xù)穩(wěn)定地運(yùn)行,同時(shí)減少部署和管理的難度。
更直觀的理解,云存儲(chǔ)系統(tǒng)本身也是構(gòu)建在通用磁盤陣列之上的,它通過通過操作系統(tǒng)的API管理磁盤上的數(shù)據(jù),只不過這樣一個(gè)系統(tǒng)在邏輯上可以分為元數(shù)據(jù)節(jié)點(diǎn)(控制節(jié)點(diǎn))、數(shù)據(jù)節(jié)點(diǎn)(存儲(chǔ)節(jié)點(diǎn))、管理節(jié)點(diǎn)以及客戶端四個(gè)部分,這四個(gè)部分分別對(duì)應(yīng)了上面提到的云存儲(chǔ)的4層結(jié)構(gòu)模型:
1)元數(shù)據(jù)節(jié)點(diǎn)(控制節(jié)點(diǎn))
元數(shù)據(jù)節(jié)點(diǎn)即控制節(jié)點(diǎn),用于記錄所存儲(chǔ)的文件的各種屬性,相當(dāng)于整個(gè)文件系統(tǒng)的大腦,管理各個(gè)數(shù)據(jù)節(jié)點(diǎn),收集數(shù)據(jù)節(jié)點(diǎn)信息,了解所有數(shù)據(jù)節(jié)點(diǎn)的現(xiàn)狀,然后給它們分配任務(wù),協(xié)調(diào)指示各數(shù)據(jù)節(jié)點(diǎn)為系統(tǒng)服務(wù);
2)數(shù)據(jù)節(jié)點(diǎn)(存儲(chǔ)節(jié)點(diǎn))
數(shù)據(jù)節(jié)點(diǎn)即存儲(chǔ)節(jié)點(diǎn),用于管理磁盤和卷和存儲(chǔ)用戶的文件數(shù)據(jù),是整個(gè)存儲(chǔ)系統(tǒng)的存儲(chǔ)資源提供者,它同時(shí)還負(fù)責(zé)集群構(gòu)建,包括節(jié)點(diǎn)管理和數(shù)據(jù)分片,并承擔(dān)數(shù)據(jù)冗余保護(hù)和對(duì)數(shù)據(jù)訪問的負(fù)載均衡;
3)管理節(jié)點(diǎn)
管理節(jié)點(diǎn)統(tǒng)一管理云存儲(chǔ)系統(tǒng)中的集群節(jié)點(diǎn)、文件、日志、告警、網(wǎng)關(guān)等,同時(shí)提供日志管理、性能監(jiān)控、配置管理、故障管理等能力,方便系統(tǒng)管理維護(hù)人員管理云存儲(chǔ)系統(tǒng);
4)客戶端
客戶端在一個(gè)獨(dú)立的進(jìn)程中提供服務(wù),為用戶提供文件讀寫、目錄操作等APIs,當(dāng)用戶需要使用分布式文件系統(tǒng)進(jìn)行文件讀寫的時(shí)候,將客戶端安裝至需使用系統(tǒng)的服務(wù)器,即可使用系統(tǒng)提供的服務(wù)。
在科達(dá)云存儲(chǔ)系統(tǒng)中采用三臺(tái)元數(shù)據(jù)節(jié)點(diǎn),起到對(duì)元數(shù)據(jù)的重要保護(hù)(冗余)和負(fù)載均衡的作用(提升系統(tǒng)性能)。數(shù)據(jù)節(jié)點(diǎn)定期向元數(shù)據(jù)節(jié)點(diǎn)匯報(bào)其狀況,等待并處理命令,實(shí)現(xiàn)數(shù)據(jù)高效、安全讀寫。在系統(tǒng)中,數(shù)據(jù)切片的大小可以調(diào)整,以滿足不同客戶對(duì)數(shù)據(jù)文件存儲(chǔ)策略的設(shè)定要求,同時(shí)采用完全鏡像副本保護(hù)數(shù)據(jù)文件。
云存儲(chǔ)與傳統(tǒng)存儲(chǔ)系統(tǒng)的對(duì)比優(yōu)勢(shì)
與傳統(tǒng)存儲(chǔ)相比,云存儲(chǔ)具備以下幾個(gè)方面的顯著優(yōu)勢(shì):
1)存儲(chǔ)容量的彈性擴(kuò)展
傳統(tǒng)存儲(chǔ)設(shè)備最大容量有限,當(dāng)達(dá)到一定擴(kuò)展能力就很難再擴(kuò)展,同時(shí)存儲(chǔ)性能、安全性、可靠性和經(jīng)濟(jì)性都大大降低。云存儲(chǔ)能夠通過集群很容易獲得PB級(jí)存儲(chǔ)容量,存儲(chǔ)擴(kuò)展沒有限制,可隨時(shí)隨地在線增加存儲(chǔ)節(jié)點(diǎn)來滿足存儲(chǔ)容量需求,并且能夠做到“增加存儲(chǔ)節(jié)點(diǎn),數(shù)據(jù)自動(dòng)重組,減少存儲(chǔ)節(jié)點(diǎn),數(shù)據(jù)自動(dòng)恢復(fù)”的彈性和可伸縮性。
2)高并發(fā)讀寫性能
傳統(tǒng)存儲(chǔ)設(shè)備的并發(fā)讀寫性能容易受到NAS機(jī)頭、CPU或控制器的能力限制,而云存儲(chǔ)系統(tǒng)采用控制與數(shù)據(jù)分離的架構(gòu),脫離了單臺(tái)設(shè)備的能力束縛,整個(gè)系統(tǒng)的性能主要受網(wǎng)絡(luò)吞吐能力的限制。云存儲(chǔ)技術(shù)可將存儲(chǔ)節(jié)點(diǎn)的帶寬聚合,隨著存儲(chǔ)節(jié)點(diǎn)的增加可以實(shí)現(xiàn)帶寬的線性增長,理論上帶寬是無限的。同時(shí)在云存儲(chǔ)系統(tǒng)中數(shù)據(jù)文件是拆分成數(shù)據(jù)塊進(jìn)行條帶化存儲(chǔ)在多臺(tái)物理存儲(chǔ)節(jié)點(diǎn)上的,能夠最快速的并發(fā)訪問數(shù)據(jù)。另外云存儲(chǔ)中數(shù)據(jù)存儲(chǔ)是采用多副本策略存儲(chǔ)的,可以實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)的負(fù)載均衡訪問。
3)可維護(hù)性
云存儲(chǔ)系統(tǒng)采用數(shù)據(jù)冗余存儲(chǔ)機(jī)制,硬盤或存儲(chǔ)節(jié)點(diǎn)損壞時(shí),其余節(jié)點(diǎn)可自動(dòng)重組,數(shù)據(jù)不丟失,系統(tǒng)運(yùn)行不受影響。這一點(diǎn)大大提升了海量存儲(chǔ)節(jié)點(diǎn)的可維護(hù)性。當(dāng)前來看,最直觀、最能夠體現(xiàn)云存儲(chǔ)優(yōu)勢(shì)的就是可維護(hù)性。以科達(dá)云存儲(chǔ)系統(tǒng)為例:傳統(tǒng)的存儲(chǔ)設(shè)備,通常用RAID方式進(jìn)行冗余備份,當(dāng)有硬盤損壞時(shí),RAID重構(gòu)時(shí)間通常要十幾個(gè)小時(shí),這期間如果再有硬盤壞掉,數(shù)據(jù)就無法恢復(fù)了,所以維護(hù)人員需要在第一時(shí)間趕到現(xiàn)場(chǎng)更換硬盤,7×24小時(shí)待命;科達(dá)云存儲(chǔ)采用分布式文件系統(tǒng),數(shù)據(jù)的存儲(chǔ)和備份不再依賴單臺(tái)設(shè)備的能力,有硬盤壞掉時(shí),其余的硬盤將自動(dòng)進(jìn)行重構(gòu),恢復(fù)受損的數(shù)據(jù),這只需要十幾分鐘的時(shí)間,維護(hù)人員只需要定期檢查硬盤的損壞情況,并更換新硬盤即可,維護(hù)非常簡(jiǎn)單。
4)安全性、可靠性
傳統(tǒng)存儲(chǔ)設(shè)備提供的是一個(gè)透明的存儲(chǔ)空間,原始數(shù)據(jù)直接存在存儲(chǔ)設(shè)備上的,數(shù)據(jù)可以直接訪問和使用,并不具有信息安全和私密性。云存儲(chǔ)中的數(shù)據(jù)傳輸是加密的,首先用戶并不知道數(shù)據(jù)存在哪個(gè)物理硬盤上,而且數(shù)據(jù)在存儲(chǔ)設(shè)備上是按文件塊存儲(chǔ)的無法直接進(jìn)行訪問。用戶存儲(chǔ)的數(shù)據(jù)只有自己有權(quán)限進(jìn)行訪問和管理,系統(tǒng)管理員也無法讀取。
5)資源共享性
傳統(tǒng)存儲(chǔ)設(shè)備一般是以單一形式工作,無法做到多臺(tái)設(shè)備之間的容量和帶寬聚合。而云存儲(chǔ)集群文件系統(tǒng),不受限于硬件存儲(chǔ)節(jié)點(diǎn)的數(shù)量,可靈活的進(jìn)行統(tǒng)一管理和共享。云存儲(chǔ)可以把一個(gè)存儲(chǔ)池共享給多個(gè)用戶進(jìn)行訪問,傳統(tǒng)存儲(chǔ)受限于容量和帶寬的性能是無法做到的。云存儲(chǔ)提供全局統(tǒng)一命名空間,提供示準(zhǔn)的文件訪問接口,支持主流的文件傳輸協(xié)議,同時(shí)支持API接口可于應(yīng)用程序更完美的結(jié)合,實(shí)現(xiàn)最佳訪問效率。
6)總擁有成本低
云存儲(chǔ)系統(tǒng)采用高性價(jià)比的以太網(wǎng)絡(luò)和存儲(chǔ)節(jié)點(diǎn)構(gòu)成,比傳統(tǒng)的中高端存儲(chǔ)設(shè)備具有更好的性價(jià)比優(yōu)勢(shì)。云存儲(chǔ)擴(kuò)容相對(duì)比較靈活,可根據(jù)業(yè)務(wù)隨時(shí)隨地的進(jìn)行彈性擴(kuò)展,用戶不需要在前期一次性購入,需要時(shí)可在線進(jìn)行性能和容量的擴(kuò)展,從而能夠保護(hù)用戶的前期投資。更重要的是,云存儲(chǔ)通過前面提到的可維護(hù)性,可以在管理維護(hù)上大大節(jié)省用戶的總擁有成本(TCO)。
結(jié)束語
視頻圖像的存儲(chǔ)特點(diǎn)是對(duì)實(shí)時(shí)的存取性能要求較高,而云存儲(chǔ)的系統(tǒng)架構(gòu)決定了它能夠以較低的總擁有成本很好的滿足海量高清或標(biāo)清視頻的并發(fā)寫入、讀取,并能實(shí)現(xiàn)快速配置和即插即用。
因此,雖然短期來看,云存儲(chǔ)的需求當(dāng)前主要還將集中在平安城市、智能交通等大行業(yè)市場(chǎng)以及基于公有云架構(gòu)的民用市場(chǎng),但相信未來隨著網(wǎng)絡(luò)化更全面普及和海量視頻共享需求的更快速增長,其應(yīng)用前景將更加廣闊。