高清監(jiān)控的浪潮正向人類社會席卷而來。高清晰度圖像對傳統(tǒng)視頻監(jiān)控系統(tǒng)產(chǎn)生了巨大的沖擊,采集、傳輸、存儲與計算的數(shù)據(jù)量都出現(xiàn)了爆炸似的增長。其中,存儲作為視頻監(jiān)控必不可少的組成部分,在平安城市建設如火如荼的當今受到了前所未有的重視。
縱觀全球安防企業(yè),在前端攝像機、編解碼技術、大屏顯示技術等方面都有很多特色和技術突破,但是這些廠商無一例外的幾乎都不擁有視頻存儲設備的研發(fā)和定制能力。而擁有存儲設備研發(fā)與定制能力的大型IT企業(yè)卻鮮有進入安防行業(yè),僅是以提供標準產(chǎn)品設備的方式參與其中。所以,在行業(yè)內(nèi)一直沒有出現(xiàn)針對視頻監(jiān)控業(yè)務特性來設計的專業(yè)存儲產(chǎn)品。
針對不同的行業(yè),在通用產(chǎn)品的基礎上設計出有行業(yè)特性的產(chǎn)品,是行業(yè)需求的必然導向,也是所有企業(yè)能夠維持持續(xù)發(fā)展的必經(jīng)之路。隨著IT存儲技術的發(fā)展,在不同的標準數(shù)據(jù)存儲中添加行業(yè)屬性,是大勢所趨。
從2006年開始,華為技術一直在對安防行業(yè)進行研究。一邊積累專業(yè)的行業(yè)人才資源,一邊積累行業(yè)專用的技術能力。在2013年中國國際安防博覽會上,以SafeVideo與云節(jié)點技術為代表的新一代視頻監(jiān)控一體化設備VCN3000一炮打響,吸引了大量的客戶、媒體以及友商。
華為視頻監(jiān)控一體化云平臺VCN3000專門針對安防行業(yè)的用戶業(yè)務設計,全面保障用戶業(yè)務連續(xù)性、數(shù)據(jù)可靠性、并行計算高性能,并最大限度為用戶節(jié)省投入。
業(yè)務連續(xù)性
視頻監(jiān)控云節(jié)點與傳統(tǒng)數(shù)據(jù)存儲最大的區(qū)別就是業(yè)務連續(xù)性。我們通過兩個簡單的例子來體現(xiàn)它們之間的區(qū)別。
如果數(shù)據(jù)發(fā)生了故障,儲戶的業(yè)務是必須中止的。直到數(shù)據(jù)完全正確無誤的被恢復后,儲戶才能操作賬戶進行存取操作。日常生活中,我們經(jīng)常見到左圖中的“暫停辦理業(yè)務”的告示牌。其中一種情況就是系統(tǒng)數(shù)據(jù)可能出現(xiàn)了錯誤。當然,銀行是一個比較極端的應用,其數(shù)據(jù)通常會保存幾份。因為數(shù)據(jù)的可靠性和完整性的重要級別是第一的,用戶的業(yè)務是可以中斷的。這就是在存儲領域中的“標準數(shù)據(jù)存儲”。
應用場景二:在家看電影
試想一下我們正在家里的家庭影院中觀看一部好萊塢大片,突然間電影畫面花了一下或者卡了一下,我們是把播放器關掉不看了還是繼續(xù)觀看呢?相信所有人都會做出同樣的決定,容忍那一段錯誤,繼續(xù)觀看。
這是一個典型的不同于銀行場景中標準數(shù)據(jù)存儲的的應用場景。華為以存儲廠商的視角對視頻監(jiān)控行業(yè)進行了長達6年的研究,發(fā)現(xiàn)傳統(tǒng)方案中,因為幾塊硬盤的故障損壞就使整個視頻監(jiān)控系統(tǒng)停止工作,這是完全不符合客戶使用場景的。針對這類保持業(yè)務連續(xù)性為第一重要級別,數(shù)據(jù)可以容忍少量錯誤的場景,華為推出了擁有視頻監(jiān)控業(yè)務特性的“應用云節(jié)點”。當然,保障業(yè)務連續(xù)性僅僅是華為視頻監(jiān)控應用云節(jié)點的特點之一,后面將會詳細闡述幾大特點。
通過調研總結發(fā)現(xiàn),在視頻監(jiān)控的應用場景中,客戶可以容忍少許的圖像數(shù)據(jù)丟失,但是監(jiān)控的業(yè)務必須可以繼續(xù)進行。希望未損壞的磁盤至少還可以讀取數(shù)據(jù),在保障業(yè)務連續(xù)性的同時還盡可能保證數(shù)據(jù)的完整性。
于是華為針對這種現(xiàn)象對RAID算法進行了一些定制和改造。其結果表現(xiàn)為同一個RAID組內(nèi),無論多少塊硬盤故障,只要還剩余一塊無故障硬盤,那么其上面的視頻仍可提供讀取服務。用戶的體驗是一段正在播放的視頻,突然卡一下,時間向后跳了一下(遇到故障硬盤)。
目前華為將這種技術稱為SafeVideo技術,在全線視頻監(jiān)控專用存儲中已經(jīng)應用。視頻監(jiān)控的業(yè)務不但不會因為多塊硬盤發(fā)生故障而導致系統(tǒng)暫停,還最大限度的的保護了用戶的數(shù)據(jù)資源。大量的使用者,特別是公安用戶反饋,此技術的誕生,說明了華為公司是真正第一家為安防行業(yè)定制標準IT設備的廠商。
SafeVideo技術并未就此停下腳步,當維護人員將新的硬盤替換上線后,無需做任何配置,RAID組將會自動重新組建并上線工作。
數(shù)據(jù)可靠性
雖然在研調需求的時候,發(fā)現(xiàn)客戶的需求是“業(yè)務連續(xù)性為第一重要級別,數(shù)據(jù)可以容忍少量錯誤”,但是華為并未將“可容忍少量錯誤”作為滿足于現(xiàn)狀的理由,而是利用在ICT技術上多年的積累,盡最大可能保護用戶的數(shù)據(jù)安全以及數(shù)據(jù)的完整性。前面講到的SafeVideo技術也是向著這個目標出發(fā),從而設計出了“RAID組內(nèi)多塊磁盤故障后,RAID組不失效,還能提供讀取服務”的特性,盡可能的減少了數(shù)據(jù)的損失。
從文章前面的內(nèi)容可以了解到,標準數(shù)據(jù)存儲(IPSAN或NAS)和視頻監(jiān)控行業(yè)應用存儲的區(qū)別,是由于承載的業(yè)務應用不同而產(chǎn)生的。在理論上,一個標準的數(shù)據(jù)存儲的實現(xiàn)是將數(shù)據(jù)切片并且復制多份后按照一定均衡算法存儲在多個存儲節(jié)點中。從左圖可以看到,一種色塊代表一個文件的切片,它們隨機的部署在不同硬件節(jié)點的不同硬盤上。
華為設計了 “就近存儲”的解決方案。一個派出所或者分局職能轄區(qū)內(nèi)所有的攝像機圖像均“就近”存儲在本地的云中。而單路攝像機的圖像則盡可能的“就近”存儲在一個云節(jié)點內(nèi)的一個RAID組里面。
并提出了“視頻監(jiān)控應用云節(jié)點”的理念,高可靠性是其核心特性。首先,將視頻監(jiān)控業(yè)務中所有能抽象出來的特性都內(nèi)嵌到云節(jié)點中;
然后,所有應用云節(jié)點設備完全對等部署,無差異。經(jīng)過虛擬化后,所有的應用云節(jié)點會虛擬化為一臺巨大的應用云節(jié)點設備。并且云節(jié)點在系統(tǒng)內(nèi)嵌了應用,部署了一個小型的數(shù)據(jù)庫。每臺應用云節(jié)點都知道自己肚子里面裝的數(shù)據(jù)是什么。不管身邊的誰故障倒下了,自己的那片小天地不會倒下。
并行計算高性能
目前在平安城市的建設中,客戶遇到的最大的困擾就是:破案效率低下。這個痛點的其中一個重要原因就是搜索定位的效率低下。在前面的小節(jié)中已經(jīng)提到,傳統(tǒng)方案中會部署數(shù)據(jù)庫服務器,即使是標準數(shù)據(jù)存儲也會要部署MDS元數(shù)據(jù)服務器。各大方案廠家都會在數(shù)據(jù)庫服務器中保存視頻數(shù)據(jù)的索引,如基于圖像幀的索引或者基于時間的索引,無外乎是這兩種方式。
然而隨著數(shù)據(jù)量的增加,搜索查詢性能會越來越慢。數(shù)據(jù)庫就是這個瓶頸。
我們用國內(nèi)某平安城市的實際案例舉例。26,000個25幀網(wǎng)絡攝像機存儲1個月時間,如果按照標準的幀索引來計算的話,記錄數(shù)量會達到1萬6848億條記錄。如果放在SQL SERVER這種大型關系型數(shù)據(jù)庫里面,執(zhí)行搜索命令定位到其中1條,實驗室里面的數(shù)據(jù)是耗時1小時50分鐘。當然,經(jīng)過大量的優(yōu)化后,定位時間還是保持在30分鐘以上。
這個性能數(shù)據(jù)帶來的影響是非??膳碌?。一個真實的案例,在某大型城市里發(fā)生了一起汽車肇事的案件。幸運的是,案件發(fā)生后馬上接到了報警。公安在城市治安卡口里面搜索汽車牌照號碼,半個小時過去了,結果還沒有反饋出來。這次事故在公安體系里面都知道。
當華為公司了解到這個客戶的痛點以后,進行了細致的分析,最后推出了基于視頻監(jiān)控應用云節(jié)點架構的“分布式并行搜索”特性。
在數(shù)據(jù)寫入的時候,視頻監(jiān)控應用云節(jié)點保存了一份分布式索引,這是一個基于秒偏移技術的視頻索引專用散列算法。這個算法也是為安防行業(yè)中視頻監(jiān)控的應用特別設計的。在一臺云節(jié)點設備內(nèi)部,定位到某一幀在磁盤上的位置僅僅需要不到10個微秒。1000000微秒才等于1秒。右圖是互聯(lián)網(wǎng)可以經(jīng)??吹降囊粡垐D片,子彈穿過蘋果的瞬間,照相機快門的曝光時間為3微秒??梢姡瑧迷乒?jié)點內(nèi)的視頻幀地址定位速度在人體所能感受到的時間刻度上來說,是瞬間。
對于一個大規(guī)模的平安城市來說,視頻云節(jié)點的搜索模型不會隨著平安城市的擴容、存儲時間延長等導致數(shù)據(jù)量的增加而變慢。當然,僅搜索速度快也不能完全解決破案效率的問題。還需要如智能分析、視頻摘要、案件歸檔、串并案分析等多種手段配合才能使客戶使用視頻監(jiān)控系統(tǒng)的效率得到提升。
低TCO(總體擁有成本)設計
這是視頻云節(jié)點的設計理念示意圖。我們可以看到左側有大量的各種各樣的應用服務器和磁盤陣列。從現(xiàn)在開始,都不再需要了,單臺視頻云節(jié)點設備內(nèi)部就可以提供完整的應用服務。一眼看過去就能看到它節(jié)省了大量的服務器。對成本的描述一定要通過數(shù)字才夠直觀,這個帳很好算。我們不要這么復雜,舉一個簡單點的全集中存儲的例子。
這里只是簡單計算了節(jié)省服務器所帶來的CAPEX建設成本,當一個項目建成時還有漫長的OPEX運維成本需要計算。例如,節(jié)省了服務器的發(fā)熱,就節(jié)省了空調的制冷;節(jié)省了機柜空間,使空調制冷集中,效率更高等等。在大量的項目案例中,統(tǒng)計發(fā)現(xiàn),采用華為視頻監(jiān)控云節(jié)點方案將為客戶節(jié)省運維成本30%以上。
本文從可靠性、性能與成本這三個方面闡述了視頻監(jiān)控技術的發(fā)展趨勢,同時,所有通用的標準IT技術必須為專業(yè)行業(yè)特性進行定制,才能設計出更符合行業(yè)客戶需求的產(chǎn)品。后續(xù)在安防行業(yè)中,華為將會深耕細挖行業(yè)特性和需求,用最低的總體擁有成本帶給客戶最好的用戶體驗。