網(wǎng)絡(luò)化技術(shù)的普及,使得視頻資源的聯(lián)網(wǎng)共享成為很多行業(yè)日益迫切的需求,現(xiàn)有分散的視頻資源正在朝著大集中的方向推進(jìn);平安城市、智能交通等大行業(yè)市場(chǎng)通過點(diǎn)、線、面的密集覆蓋,每時(shí)每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長的視頻數(shù)據(jù)在帶來海量視頻存儲(chǔ)需求的同時(shí),也對(duì)當(dāng)前的視頻存儲(chǔ)技術(shù)提出了一系列新的挑戰(zhàn):如何實(shí)現(xiàn)存儲(chǔ)容量的平滑擴(kuò)展?如何有效的降低由此帶來的存儲(chǔ)成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數(shù)據(jù)?如何解決越來越龐大的系統(tǒng)給維護(hù)管理帶來的困擾?
一、云存儲(chǔ)的定義
2014-2019年廣東物聯(lián)網(wǎng)云計(jì)算行業(yè)趨勢(shì)分析及投2014-2018年云計(jì)算行業(yè)招商計(jì)劃書2014年版云計(jì)算項(xiàng)目融資商業(yè)計(jì)劃書2014-2018年中國云計(jì)算第三方軟件行業(yè)市場(chǎng)深度2014-2018 年中國政府云計(jì)算行業(yè)市場(chǎng)深度調(diào)研及2014-2018年中國云計(jì)算行業(yè)市場(chǎng)競(jìng)爭(zhēng)格局分析與2014-2018中國云計(jì)算產(chǎn)業(yè)園區(qū)行業(yè)競(jìng)爭(zhēng)格局分析 2014-2018年中國云計(jì)算行業(yè)市場(chǎng)深度調(diào)研與發(fā)展 云存儲(chǔ)是在云計(jì)算概念上衍生和發(fā)展出來的一種技術(shù)或服務(wù)。將網(wǎng)絡(luò)中各類存儲(chǔ)設(shè)備匯集在云計(jì)算系統(tǒng)當(dāng)中,通過云計(jì)算的概念組織起來協(xié)同工作,對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問的功能以及與存儲(chǔ)相關(guān)的增值應(yīng)用,即稱為云存儲(chǔ)。
云存儲(chǔ)和云計(jì)算都是云架構(gòu)的技術(shù)實(shí)現(xiàn),任何應(yīng)用都需要一個(gè)計(jì)算模型、一個(gè)存儲(chǔ)模型和一個(gè)通信模型。云計(jì)算中,為了實(shí)現(xiàn)資源的彈性利用以及給用戶造成資源無限的假象,必須實(shí)現(xiàn)資源的復(fù)用。云存儲(chǔ)也是一樣,它通過虛擬化和精簡(jiǎn)配置技術(shù),讓資源的效益最大化。
與傳統(tǒng)的存儲(chǔ)設(shè)備相比,云存儲(chǔ)不僅僅是一個(gè)硬件,而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心,通過應(yīng)用軟件來對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。
云存儲(chǔ)對(duì)外提供的是與存儲(chǔ)相關(guān)的服務(wù)。云存儲(chǔ)可以提供類似于磁盤陣列的裸空間服務(wù),也可以提供基于存儲(chǔ)的特定服務(wù)。
二、云存儲(chǔ)的系統(tǒng)架構(gòu)
要了解云存儲(chǔ)的系統(tǒng)架構(gòu),需要先了解其應(yīng)用架構(gòu)。我們以平安城市為例來看云存儲(chǔ)的應(yīng)用架構(gòu)。在平安城市中,云存儲(chǔ)可為多個(gè)系統(tǒng)提供存儲(chǔ)服務(wù),包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個(gè)案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲(chǔ)。
從應(yīng)用架構(gòu)上看,云存儲(chǔ)系統(tǒng)與傳統(tǒng)分布式存儲(chǔ)系統(tǒng)差異并不明顯,其更本質(zhì)的區(qū)別其實(shí)體現(xiàn)在內(nèi)部軟件架構(gòu)上。
云存儲(chǔ)系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng),以大量的服務(wù)器和存儲(chǔ)設(shè)備為基礎(chǔ),構(gòu)建一個(gè)大規(guī)模存儲(chǔ)集群,提供上百PB的存儲(chǔ)容量,并能夠在線進(jìn)行容量的擴(kuò)充,由此搭建的大容量存儲(chǔ)系統(tǒng)整體成本遠(yuǎn)低于傳統(tǒng)存儲(chǔ)架構(gòu),并且具有良好的可擴(kuò)充性和靈活性。
云存儲(chǔ)系統(tǒng)通過元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)分離的非對(duì)稱式架構(gòu),通過負(fù)載均衡和數(shù)據(jù)并發(fā)訪問策略,在普通硬件條件下獲得高達(dá)數(shù)十Gbps的傳輸速率以及上百PB級(jí)的存儲(chǔ)容量,并可根據(jù)用戶應(yīng)用發(fā)展的趨勢(shì),適時(shí)按需進(jìn)行在線動(dòng)態(tài)擴(kuò)展。與單機(jī)的文件系統(tǒng)不同,分布式文件系統(tǒng)不是將這些數(shù)據(jù)放在一塊磁盤上由上層操作系統(tǒng)來管理,而是存放在一個(gè)服務(wù)器集群上,由集群中的服務(wù)器,各盡其責(zé),通力合作,提供整個(gè)文件系統(tǒng)的服務(wù)。
云存儲(chǔ)系統(tǒng)內(nèi)置了基于對(duì)象數(shù)據(jù)管理策略,能夠保證在系統(tǒng)局部發(fā)生故障時(shí)數(shù)據(jù)的安全性和可靠性,徹底消除存儲(chǔ)系統(tǒng)中的單點(diǎn)故障,結(jié)合自動(dòng)故障探測(cè)和快速故障恢復(fù)技術(shù),確保用戶的應(yīng)用持續(xù)穩(wěn)定地運(yùn)行,同時(shí)減少部署和管理的難度。
更直觀的理解,云存儲(chǔ)系統(tǒng)本身也是構(gòu)建在通用磁盤陣列之上的,它通過通過操作系統(tǒng)的API管理磁盤上的數(shù)據(jù),只不過這樣一個(gè)系統(tǒng)在邏輯上可以分為元數(shù)據(jù)節(jié)點(diǎn)(控制節(jié)點(diǎn))、數(shù)據(jù)節(jié)點(diǎn)(存儲(chǔ)節(jié)點(diǎn))、管理節(jié)點(diǎn)以及客戶端四個(gè)部分,這四個(gè)部分分別對(duì)應(yīng)了上面提到的云存儲(chǔ)的4層結(jié)構(gòu)模型:
(一)元數(shù)據(jù)節(jié)點(diǎn)(控制節(jié)點(diǎn))
元數(shù)據(jù)節(jié)點(diǎn)即控制節(jié)點(diǎn),用于記錄所存儲(chǔ)的文件的各種屬性,相當(dāng)于整個(gè)文件系統(tǒng)的大腦,管理各個(gè)數(shù)據(jù)節(jié)點(diǎn),收集數(shù)據(jù)節(jié)點(diǎn)信息,了解所有數(shù)據(jù)節(jié)點(diǎn)的現(xiàn)狀,然后給它們分配任務(wù),協(xié)調(diào)指示各數(shù)據(jù)節(jié)點(diǎn)為系統(tǒng)服務(wù);
(二)數(shù)據(jù)節(jié)點(diǎn)(存儲(chǔ)節(jié)點(diǎn))
數(shù)據(jù)節(jié)點(diǎn)即存儲(chǔ)節(jié)點(diǎn),用于管理磁盤和卷和存儲(chǔ)用戶的文件數(shù)據(jù),是整個(gè)存儲(chǔ)系統(tǒng)的存儲(chǔ)資源提供者,它同時(shí)還負(fù)責(zé)集群構(gòu)建,包括節(jié)點(diǎn)管理和數(shù)據(jù)分片,并承擔(dān)數(shù)據(jù)冗余保護(hù)和對(duì)數(shù)據(jù)訪問的負(fù)載均衡;
(三)管理節(jié)點(diǎn)
管理節(jié)點(diǎn)統(tǒng)一管理云存儲(chǔ)系統(tǒng)中的集群節(jié)點(diǎn)、文件、日志、告警、網(wǎng)關(guān)等,同時(shí)提供日志管理、性能監(jiān)控、配置管理、故障管理等能力,方便系統(tǒng)管理維護(hù)人員管理云存儲(chǔ)系統(tǒng);
(四)客戶端
客戶端在一個(gè)獨(dú)立的進(jìn)程中提供服務(wù),為用戶提供文件讀寫、目錄操作等APIs,當(dāng)用戶需要使用分布式文件系統(tǒng)進(jìn)行文件讀寫的時(shí)候,將客戶端安裝至需使用系統(tǒng)的服務(wù)器,即可使用系統(tǒng)提供的服務(wù)。