大數(shù)據(jù)平臺(tái)讓視頻更智能

責(zé)任編輯:editor006

作者:劉年超

2015-02-03 17:21:12

摘自:中國(guó)計(jì)算機(jī)報(bào)

智慧城市的管理中,視頻監(jiān)控發(fā)揮著越來越重要的作用。而大數(shù)據(jù)技術(shù)可以重構(gòu)傳統(tǒng)視頻數(shù)據(jù)處理的架構(gòu),讓人們可以更快速、更智能地分析和應(yīng)用視頻監(jiān)控的大數(shù)據(jù)。

智慧城市的管理中,視頻監(jiān)控發(fā)揮著越來越重要的作用。隨著視頻監(jiān)控?cái)?shù)據(jù)量的飛速增長(zhǎng),工作人員在用傳統(tǒng)方式對(duì)視頻進(jìn)行分析和檢索的時(shí)候遇到了很大的挑戰(zhàn)。而大數(shù)據(jù)技術(shù)可以重構(gòu)傳統(tǒng)視頻數(shù)據(jù)處理的架構(gòu),讓人們可以更快速、更智能地分析和應(yīng)用視頻監(jiān)控的大數(shù)據(jù)。

我國(guó)智慧城市戰(zhàn)略已經(jīng)實(shí)施了多年,全面提升了城市的管理和服務(wù)能力。而從數(shù)據(jù)上來看,市民感受城市最直接的變化就是攝像頭密集度越來越高。而且,很多城市都已經(jīng)開始實(shí)施“天眼工程”,為的就是實(shí)現(xiàn)對(duì)城市全方位無死角的監(jiān)控。密集分布的攝像頭網(wǎng)絡(luò)組成了城市的公共安全視頻監(jiān)控系統(tǒng),也提升了一個(gè)城市治安、交通、消防、市政、城管等各部門的整體管理和服務(wù)水平。

海量視頻數(shù)據(jù)帶來的挑戰(zhàn)

隨著視頻監(jiān)控?cái)?shù)據(jù)量的快速增長(zhǎng),以及攝像頭高清化、超高清化的趨勢(shì)加強(qiáng),視頻監(jiān)控?cái)?shù)據(jù)規(guī)模將以更快的指數(shù)級(jí)別增長(zhǎng)。以一個(gè)部署了1萬個(gè)攝像頭的中等城市為例,假定每個(gè)攝像頭每秒壓縮視頻數(shù)據(jù)量為1Mb(比特),則一天共產(chǎn)生108TB的視頻錄像,一個(gè)月共產(chǎn)生約3PB的視頻錄像。

現(xiàn)在,新的問題出來了,攝像頭7×24小時(shí)地錄制視頻,讓每個(gè)城市都產(chǎn)生了大量的視頻監(jiān)控文件。但是,當(dāng)公安部門或交通部門希望快速搜索某時(shí)間或某些特征的視頻段時(shí),這個(gè)看似簡(jiǎn)單的想法,操作起來卻猶如大海撈針。

與通常的結(jié)構(gòu)化數(shù)據(jù)不同,視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主,必須經(jīng)過復(fù)雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行下一步處理。這些都給傳統(tǒng)視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的管理方式、數(shù)據(jù)分析,以及視頻監(jiān)控?cái)?shù)據(jù)的傳輸、存儲(chǔ)和計(jì)算帶寬等帶來了極大的挑戰(zhàn)。

挑戰(zhàn)一:數(shù)據(jù)量的急劇擴(kuò)大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則:在滿足客戶需求的前提之下,往往技術(shù)成本越低,其生命力越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大,以及隨之而來的大規(guī)模計(jì)算的需求越來越多,一味采用高配硬件,使得硬件投資成為客戶不可承受之重,客戶越來越希望在滿足需求的前提下,用中低端的 硬件來替換高配硬件。

挑戰(zhàn)二:海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7×24小時(shí)地工作如實(shí)記錄鏡頭覆蓋范圍內(nèi)所發(fā)生的一切。但是,大部分視頻監(jiān)控信息是無效的,有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi),按照數(shù)學(xué)統(tǒng)計(jì)的說法,信息是呈現(xiàn)冪律分布的,也稱之為信息的密度,往往越高密度的信息對(duì)客戶價(jià)值越大。

挑戰(zhàn)三:資源利用和效率之間的矛盾。隨著視頻監(jiān)控?cái)?shù)據(jù)量的增加,哪怕對(duì)TB級(jí)別的數(shù)據(jù)進(jìn)行視頻內(nèi)容的數(shù)據(jù)分析和檢索,采用傳統(tǒng)方式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算,這遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索,不能依賴于傳統(tǒng)的手段,視頻智能分析必須尋找新的突破。

因此,想要從如此海量的視頻監(jiān)控文件檢索到所需的視頻信息,必須借助特殊的技術(shù)幫忙。

改造傳統(tǒng)數(shù)據(jù)處理架構(gòu)

大數(shù)據(jù)理念和開源生態(tài)系統(tǒng)Hadoop的誕生,激活了各行業(yè)的思路。IT領(lǐng)域開始采用基于Hadoop的大數(shù)據(jù)技術(shù)框架對(duì)視頻文件進(jìn)行存儲(chǔ)和計(jì)算,使得城市各部門的工作人員可以實(shí)現(xiàn)對(duì)視頻的快速檢索和智能分析。

視頻監(jiān)控的大數(shù)據(jù)平臺(tái)一般以分布式集群的方式進(jìn)行建設(shè)。分布式集群能夠?qū)?shù)據(jù)處理進(jìn)行負(fù)載均衡,同時(shí),也便于未來一段時(shí)間進(jìn)行擴(kuò)展。而擴(kuò)展的過程也無需重新部署系統(tǒng),只需增加集群節(jié)點(diǎn)即可提升大數(shù)據(jù)平臺(tái)的整體性能。

視頻監(jiān)控的大數(shù)據(jù)平臺(tái)采用分布式計(jì)算,同時(shí)結(jié)合內(nèi)存加速、負(fù)載均衡、本地處理,以提供高效的數(shù)據(jù)分析和挖掘能力。視頻監(jiān)控大數(shù)據(jù)處理過程中的存儲(chǔ)則采用了分布式存儲(chǔ)方式,以提高讀寫速度和擴(kuò)大存儲(chǔ)容量。在數(shù)據(jù)存儲(chǔ)方面,大數(shù)據(jù)平臺(tái)需要考慮以下3個(gè)方面:一是哪些數(shù)據(jù)需要保存到大數(shù)據(jù)平臺(tái)上;二是如何對(duì)原有系統(tǒng)進(jìn)行改造,原有系統(tǒng)中已存在的數(shù)據(jù)該如何處理;三是如何保證數(shù)據(jù)的可靠性。

實(shí)踐證明,基于大數(shù)據(jù)框架改造的傳統(tǒng)視頻處理系統(tǒng)架構(gòu)能煥發(fā)出新的活力。首先,架構(gòu)更加靈活,伸縮彈性更大。一些城市的中大型項(xiàng)目,由于起點(diǎn)的差異,缺乏視頻監(jiān)控架構(gòu)的頂層設(shè)計(jì),為后期的擴(kuò)容升級(jí)增大了難度。在建設(shè)初期,IT規(guī)劃者如果能引入基于大數(shù)據(jù)的架構(gòu),就會(huì)為未來的擴(kuò)張打開通路。

其次,可以以廉價(jià)通用的硬件產(chǎn)品應(yīng)對(duì)視頻監(jiān)控?cái)?shù)據(jù)的爆發(fā)性增長(zhǎng)。在面向大數(shù)據(jù)的架構(gòu)中,IT規(guī)劃者后期可以根據(jù)視頻監(jiān)控業(yè)務(wù)的部署需要,設(shè)立多個(gè)HDFS(Hadoop分布式文件系統(tǒng))集群,采集的流數(shù)據(jù)會(huì)被劃分成段,并分布于各個(gè)數(shù)據(jù)節(jié)點(diǎn)上。更為重要的是,這些數(shù)據(jù)節(jié)點(diǎn)可以采用廉價(jià)通用型的硬件,由軟件技術(shù)保證其高可靠性。這種方式避免采用傳統(tǒng)高端硬件模式,大大降低了大數(shù)據(jù)平臺(tái)的后續(xù)運(yùn)維成本。

最后,可以通過高速并行計(jì)算實(shí)現(xiàn)智能分析和數(shù)據(jù)挖掘。對(duì)于城市管理者來說,面對(duì)海量的視頻監(jiān)控?cái)?shù)據(jù),傳統(tǒng)人工和串行的數(shù)據(jù)篩選方式已不能滿足搜索和分析要求。基于大數(shù)據(jù)的架構(gòu)就是將海量數(shù)據(jù)分解為較小的更易訪問的批量數(shù)據(jù),在多臺(tái)服務(wù)器上并行分析處理,從而大大加快視頻數(shù)據(jù)的處理進(jìn)程。

  視頻大數(shù)據(jù)的智能應(yīng)用

以2012年在南京發(fā)生的“1·6”搶劫案為例,在案件偵破過程中,南京警方從全市1萬多個(gè)攝像頭共提取了近2000TB的視頻數(shù)據(jù),為了處理這些視頻,調(diào)動(dòng) 1500多名公安干警查閱搜索視頻線索,共耗時(shí)一個(gè)多月的時(shí)間。很顯然,通過人工查看模式,一段視頻往往需要數(shù)倍于視頻時(shí)間才能審看完,因此需要大量工作人員連續(xù)加班進(jìn)行視頻的審查,就不足為奇。

即便如此,人海戰(zhàn)術(shù)仍然會(huì)影響公安部門破案的進(jìn)度和效率,而且也使得工作人員把過多的精力耗費(fèi)在查找視頻線索上來。如果這時(shí)候,有一個(gè)視頻監(jiān)控的大數(shù)據(jù)平臺(tái)就可以在短時(shí)間內(nèi)對(duì)視頻中運(yùn)動(dòng)的物體進(jìn)行檢索和排除,從而大大提高公安部門的辦案效率。

時(shí)至今日,視頻監(jiān)控的大數(shù)據(jù)平臺(tái)已經(jīng)被成熟地應(yīng)用于智能交通,可以輕松監(jiān)控?cái)z像覆蓋范圍內(nèi)的所有車輛的行駛狀態(tài)、運(yùn)行軌跡,快速分析出其是否違章。2015年1月8日上午,在寧連高速上,一輛白色轎車飛速行駛,車內(nèi)儀表盤上的時(shí)速指針已接近200公里/小時(shí)。

與此同時(shí),南京市高速七大隊(duì)指揮室內(nèi),執(zhí)勤的交警正在通過大屏幕監(jiān)控著過往的車輛。當(dāng)這輛白色轎車飛馳而過時(shí),路邊的測(cè)速設(shè)備捕捉到這輛車的時(shí)速已達(dá)到180公里/小時(shí)。交警利用監(jiān)控探頭鎖定了這輛車,當(dāng)車接近收費(fèi)站時(shí),司機(jī)將車停了下來,繞到車尾將號(hào)牌上一個(gè)藍(lán)色東西撕下,隨后繼續(xù)往收費(fèi)站駛?cè)ァ?/p>

幾分鐘后,當(dāng)這輛白車進(jìn)入了收費(fèi)站時(shí),早已在此等候的交警立即上前將車攔截。當(dāng)交警遞上了車輛超速照片,司機(jī)指著車牌剛想狡辯,交警又遞上另一張這位司機(jī)正在撕號(hào)牌貼的照片。頓時(shí),這位司機(jī)啞口無言,乖乖認(rèn)罰。

據(jù)了解,南京市交管部門全面升級(jí)警務(wù)系統(tǒng),啟用視頻巡查機(jī)制,利用現(xiàn)代化的高科技手段,將交通管理搬上網(wǎng)絡(luò)視頻大數(shù)據(jù)平臺(tái),利用布控在全城的道路監(jiān)控系統(tǒng),實(shí)現(xiàn)日常事務(wù)的智慧化管理。

同時(shí),在智能交通領(lǐng)域,視頻監(jiān)控的大數(shù)據(jù)平臺(tái)還可以落地很多以前無法實(shí)現(xiàn)的操作。例如,實(shí)時(shí)交通狀況分析,通過視頻實(shí)時(shí)分析道路交通流量,然后綜合分析統(tǒng)計(jì)出全城市的交通狀況;汽車套牌的行為,通過視頻進(jìn)行車牌識(shí)別,按照一定的規(guī)則在全城檢索相同車牌的汽車;犯罪嫌疑車輛追查,輸入嫌疑車的照片或顏色車型等相關(guān)特征在所有視頻中尋找;犯罪嫌疑人追查,通過輸入嫌疑人照片進(jìn)行人臉特征識(shí)別并在所有視頻中尋找該人臉;人車物的軌跡分析,在所有視頻中按照特征查找指定的人車物并繪制其時(shí)空軌跡等。

顯然,視頻監(jiān)控的大數(shù)據(jù)框架是一種革命性的技術(shù),特別在實(shí)時(shí)智能分析和數(shù)據(jù)挖掘方面,讓視頻監(jiān)控從人工抽檢進(jìn)步到高效事前預(yù)警和事后分析,實(shí)現(xiàn)智能化的信息分析和預(yù)測(cè),為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來深刻的變革。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)