面對大數據，視頻監(jiān)控行業(yè)面臨哪些難題?我們如何應用云計算、大數據相關技術來獲取數據背后隱含的信息?未來的挑戰(zhàn)和前景如何?我將從以上幾方面發(fā)表個人觀...

面對大數據，視頻監(jiān)控行業(yè)面臨哪些難題?我們如何應用云計算、大數據相關技術來獲取數據背后隱含的信息?未來的挑戰(zhàn)和前景如何?我將從以上幾方面發(fā)表個人觀點，意在拋磚引玉、引發(fā)業(yè)界同仁在產業(yè)發(fā)展的進一步思考和討論。

1.視頻監(jiān)控存儲及智能分析系統(tǒng)中的難題

根據IDC預測，全球在2010年已正式進入ZB時代，全球數據量大約每兩年翻一番，意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。爆炸式增長的數據，正推動人類進入大數據的時代。

大數據包括社交媒體、移動設備、科學計算和城市中部署的各類傳感器信息，其中視頻是構成數據體量最大的組成部分。據IMS Research統(tǒng)計，2011年全球攝像頭的出貨量達到2646萬臺，預計到2015年攝像頭出貨量達5454萬臺。一天產生的視頻監(jiān)控數據超過1500PB,而累計歷史數據將更為龐大，在視頻監(jiān)控大聯網、高清化推動下，視頻監(jiān)控業(yè)務將面臨海量非結構化數據存儲、數據共享、數據安全及數據利用四大難題。

(1)海量非結構化數據存儲

安防行業(yè)的大數據目前主要來源于智慧城市和智能交通等大型安防項目。例如，2011年全球兩天的數據就高達1.8ZB，相當于文明起始到21世紀初全部的數據總和;2013年中國某一線城市一個季度產生的數據總量也在200PB。當前，智慧城市建設已成為地方政府推進城鎮(zhèn)化發(fā)展的重要途徑，而隨著智慧城市的發(fā)展，對高清攝像機和智能化監(jiān)控設備的需求會持續(xù)增長，智能交通行業(yè)將成為十二五政府投資的重點領域，這將使未來幾年視頻監(jiān)控行業(yè)仍保持高景氣度。此外隨著智能家居、民用安防的普及，更多的用戶會通過移動設備監(jiān)看視頻，于此同時會有更多的移動互聯數據產生。2012年全國就擁有3.88億移動互聯網用戶，預計2015年互聯設備將達到150億，2020年互聯設備將達到2000億。數據10倍速的增長，在帶來巨大機遇的同時，也帶來了很大的挑戰(zhàn)。

按照IT產業(yè)的法則：在滿足客戶需求的前提之下，往往技術成本越低，其生命力往往越強。由于數據量的急速擴大，以及隨之而來的大規(guī)模計算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重。如何在滿足需求的前提下，刪除重復數據、降低硬件成本投資將成為海量非結構化數據存儲的一個難題。

(2)數據共享

大數據需要通過快速的采集、發(fā)現和分析，從大量化、多類別的數據中提取價值。安防大數據時代最顯著的特征就是海量和非結構化數據共享，用以提高數據處理能力。比如天網工程和智能交通就是最具代表性的案例，天網工程一般分為省市縣鄉(xiāng)鎮(zhèn)等多級架構，智能交通圖像也分布在前端卡口、區(qū)節(jié)點、市省國家級中心中，海量數據存儲在不同節(jié)點、不同設備中，這給傳統(tǒng)的數據管理和使用機制帶來了極大的挑戰(zhàn)。

與科學計算、互聯網相比，視頻監(jiān)控的大數據處理難度尤大，首先，視頻錄像是更原始的非文本非結構化的數據，必須經過復雜繁重的分析處理才能提取出文本結構化的數據進行下一步處理;其次視頻錄像相對其它形式數據的容量要大幾個數量級，對傳輸、存儲和計算的帶寬要求大。因此我們說數據高效共享是第二大難題。

(3)數據安全

平安城市、智慧城市的建設促使安防云存儲技術的應用，智慧城市一大要求就是將視頻存儲數據相互之間進行聯動、共享，例如在犯罪追蹤時，公安、交通、民用行業(yè)等多范圍的存儲數據能夠共享，而這種共享具備了云存儲的特性;傳統(tǒng)的存儲技術無法滿足社會發(fā)展需求，云存儲的在安防領域的應用成為必然。

安防視頻監(jiān)控數據具有私密性高、保密性強的特點，不僅是事后追查的依據、而且更是后續(xù)數據分析挖掘的基礎。因此我們說數據安全一方面是指不受到外界數據的入侵和非法獲取、另一方面是指龐大系統(tǒng)的魯棒性、體系容錯機制，確保硬件軟件發(fā)生故障時，數據仍然可以恢復、得以保存。面對海量數據的存儲、共享，硬件和軟件設備承載了極大的風險，因此我們如何構建大型、海量視頻監(jiān)控存儲系統(tǒng)、數據分析系統(tǒng)以及容錯冗余機制是第三大難題。

(4)數據利用

攝像頭7X24小時工作，如實記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信息是無效。數據的有效性分為兩個方面，一方面有效信息可能只分布在一個較短的時間段內，按照數學統(tǒng)計的說法，信息是呈現冪律分布的，也稱為信息的密度，往往越高密度的信息對客戶價值越大;另一方面是指深層次挖掘龐大的海量數據，關聯得出有效信息。

視頻監(jiān)控業(yè)務網絡化、大聯網后，網絡內的設備越來越多，利用閑置的計算資源，實現資源的最大化利用，關乎運算的效率。在視頻監(jiān)控領域，往往視頻分析的效率決定價值，更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數據量的增加，哪怕對TB級別的數據進行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，巨量數據的效率優(yōu)化，并行計算也許是解決問題的辦法。

二.云計算及大數據對視頻監(jiān)控帶來的變化

大數據概念最早出現在20世紀60年代初，隨著互聯網的快速建設和信息技術的迅猛發(fā)展，到20世紀90年代中后期，數據中心的建設規(guī)模和服務器數量每年都以驚人的速度增長。隨著信息中心、服務中心、數據中心等各類業(yè)務應用及數據量的不斷增長，數據倉庫、數據挖掘、聯機分析等技術發(fā)展，數據存儲容量的需求也成正比的增長。

天地偉業(yè)認為云計算、云存儲和大數據將對視頻監(jiān)控行業(yè)帶來存儲架構、虛擬化、安全和高效處理四個方面的變化。

首先，大數據呈現出的典型特征是4個V：規(guī)模(volume)、速度(velocity)、類型多(variety)、價值密度低(veracity)。大數據的特征對存儲容量的總體擁有量需求激增，海量存儲模式也從傳統(tǒng)的集中存儲式架構發(fā)展到分布式存儲架構，這種分布式架構，在多副本、網絡RAID技術、快照技術驅動下，實現海量存儲的高可靠、大并發(fā)能力，推進了存儲從設備供應模式到服務模式的升級和轉變。

其次，虛擬化技術在存儲服務能力建設上將繼續(xù)不斷發(fā)展，升級模式從SCALE-UP向SCALE-OUT模式發(fā)展，為無處不在的存儲資源的調度與管理、存儲資源的在線擴容升級、數據持續(xù)保護、存儲服務不間斷等實現有力的支撐。虛擬化，一方面大大簡化應用環(huán)節(jié)，節(jié)省客戶建設成本，同時提供更強的存儲和共享功能;另一方面解決了存儲空間的浪費，可以自動重新分配數據，提高了存儲空間的利用率，同時具備負載均衡、故障冗余功能。

再次，安全方面實時計算和存儲，對存儲設備性能、存儲網絡性能、存儲資源配置簡化性要求越來越高。在復雜的存儲服務中，基于虛擬化所構建的混合存儲系統(tǒng)，系統(tǒng)的自動分層存儲能力尤為重要。伴隨閃存的成本不斷降低的市場，市場上也有基于全閃存陣列產品的出現，基于虛擬化下的存儲資源自動化分層，實現數據分層存儲，并遷移的策略，對大數據實時性、安全性更加不可或缺。

最后，面對結構化數據、非結構化數據、半結構化等元數據的處理機制，云存儲管理可以實現自動化和智能化，所有的存儲資源被整合到一起，客戶看到的是單一存儲空間，提高了存儲效率;云存儲能夠實現規(guī)模效應和彈性擴展，降低運營成本，避免資源浪費。受限于安防視頻監(jiān)控自身業(yè)務的特點，監(jiān)控云存儲和現有互聯網云計算模型會有區(qū)別，如安防用戶傾向于視頻信息存儲在本地、政府視頻監(jiān)控應用比較敏感、視頻信息的隱私問題、視頻監(jiān)控對網絡帶寬消耗較大等問題。海量數據存儲的檢索、目錄服務、去重化都將在以大數據牽動的存儲應用中，給存儲產業(yè)帶來新的發(fā)展機遇。

三.應用及推廣過程中的挑戰(zhàn)

云計算和大數據在應用和推廣過程中仍然會面臨一系列技術難關的攻克和體系的建立。比如視頻監(jiān)控行業(yè)中最為關注的：

視頻濃縮檢索技術，主要是利用圖像處理(包括視頻濃縮、摘要、復原等)、模式識別、海量數據分類存儲以及搜索等技術，對海量的存儲錄像等原始信息進行分析和挖掘，對于目標特征、目標行為、目標間關聯關系這三大類信息內容，形成各種分類的特征信息庫、元數據和索引等，并提供統(tǒng)一接口供外部應用進行搜索，以期通過有限的線索，達到案件快速關聯和定位。

視頻圖像信息庫建設，目前應用比較廣泛的是卡口和電警的應用。由于車牌識別技術的日趨成熟，通過車牌、車牌顏色、車身、車身顏色、車輛類型等特征識別，把車輛圖片、車輛信息、車主信息、盜搶車輛庫等結合起來，可以有效的進行車輛的查找、布控和案件線索搜索。

海量數據的處理、分析、檢索和視頻智能分析技術，把海量的視頻數據進行濃縮、提取特征摘要、減少了存儲空間。如1小時的視頻錄像，通過特征值方式的視頻濃縮，可以把錄像壓縮到10分鐘左右。同時，視頻圖像信息庫有別于傳統(tǒng)的關系數據庫模型，針對結構化，半結構化和非結構化數據，通過數據的多個副本分布式保存方式，可以有效節(jié)約存儲空間，關鍵數據的二次備份，使系統(tǒng)架構更加穩(wěn)定和可擴展，并且提供安全的負載均衡和容錯機制。

四.前景展望

云計算和大數據應用未來勢必對安防行業(yè)有深刻的改變和影響。尤其在智慧城市行業(yè)和交通行業(yè)。交通方面海量數據處理需求，智能交通管理系統(tǒng)可以在海量數據、惡劣網絡環(huán)境和復雜業(yè)務處理情況下，實現大量圖片、車輛數據、視頻數據的時時網絡傳輸和快速持久化存儲，同時對任意站點的圖像進行顯示，對任意站點的視頻進行流暢播放、實時進行比對報警，快速進行多條件檢索，并且將各類多媒體數據和車輛數據合二為一。系統(tǒng)實現對目前的城市道路交通中異常行為的智能識別和自動報警等，從而減輕了交管監(jiān)控人員的工作負擔，提高了監(jiān)測的準確度，使得交通管理工作更高效。實時交通狀況分析可通過視頻實時分析道路交通流量，然后綜合分析統(tǒng)計出全城市的交通狀況;套**可通過視頻進行車牌識別，按照一定的規(guī)則(如最近時間內一定距離以外)在全城市中檢索相同車牌的汽車。

智慧城市方面公安部門可以利用相關技術進行犯罪嫌疑人追查，可通過輸入嫌疑人照片進行人臉特征識別并在所有視頻中尋找該人臉;犯罪嫌疑車輛追查可輸入嫌疑車的照片或顏色車型等相關特征在所有視頻中尋找;人車物的軌跡分析即在所有視頻中按照特征查找指定的人車物并繪制其時空軌跡;車輛的首次入城分析等等。

結語

高清化、網絡化和智能化的安防行業(yè)在新的紀元中，雖然會面臨這樣那樣的問題，但是我相信隨著云計算和大數據應用技術的成熟和完善，行業(yè)勢必會更快速的發(fā)展。云時代的到來已為我們指明了方向，云計算和大數據技術就像是打開未知世界之門的鑰匙，讓我們可以更加經濟的進行系統(tǒng)建設，更加高效的進行數據分析，更加有力的推動社會的進步和發(fā)展。