視頻大數(shù)據(jù)技術(shù)在智慧城市中的應(yīng)用

責(zé)任編輯:一三

2014-05-06 14:58:18

摘自:《國家智慧城市》

現(xiàn)代社會(huì)的信息量正以飛快的速度增長,這些信息里又積累著大量的數(shù)據(jù)。預(yù)計(jì)到2025年,每年產(chǎn)生的數(shù)據(jù)信息將會(huì)有超過1/3的內(nèi)容駐留在云平臺(tái)中或借助云平臺(tái)處理。

現(xiàn)代社會(huì)的信息量正以飛快的速度增長,這些信息里又積累著大量的數(shù)據(jù)。預(yù)計(jì)到2025年,每年產(chǎn)生的數(shù)據(jù)信息將會(huì)有超過1/3的內(nèi)容駐留在云平臺(tái)中或借助云平臺(tái)處理。我們需要對(duì)這些數(shù)據(jù)進(jìn)行分析和處理,以獲取更多有價(jià)值的信息。在未來的“智慧城市”中,會(huì)有越來越大的結(jié)構(gòu)化以及非結(jié)構(gòu)化的數(shù)據(jù)。那么我們?nèi)绾胃咝У卮鎯?chǔ)和管理這些數(shù)據(jù),如何分析這些數(shù)據(jù)呢?答案是,我們需要強(qiáng)有力的大數(shù)據(jù)處理系統(tǒng)進(jìn)行支撐。

作為目前最火熱的詞匯之一,大數(shù)據(jù)在各個(gè)領(lǐng)域都已有了較為成熟的應(yīng)用。在視頻監(jiān)控領(lǐng)域,大數(shù)據(jù)時(shí)代正悄悄來臨。在城市安全、交通管理中將部署大量的視頻監(jiān)控設(shè)備,這些視頻監(jiān)控設(shè)備將產(chǎn)生大量的視頻及其相關(guān)的數(shù)據(jù),如交通卡口數(shù)據(jù)達(dá)到十億條甚至更大級(jí)別,人臉庫數(shù)據(jù)量達(dá)到千萬條甚至更大級(jí)別。針對(duì)如此大級(jí)別的數(shù)據(jù)量,當(dāng)前系統(tǒng)會(huì)逐漸暴露出數(shù)據(jù)檢索速度越來越慢;數(shù)據(jù)統(tǒng)計(jì)、分析效率越來越低等問題,這些問題都需要一個(gè)成熟的技術(shù)來解決。

隨著“智慧城市”中城市安全、智慧交通等的迅速發(fā)展,城市中非結(jié)構(gòu)化的數(shù)據(jù)量越來越大。視頻大數(shù)據(jù)技術(shù)側(cè)重幫助各類客戶從日趨海量的非結(jié)構(gòu)化視頻數(shù)據(jù)中快速發(fā)掘高價(jià)值的信息,協(xié)助客戶提升其決策的效率和精準(zhǔn)度。因此,視頻大數(shù)據(jù)的處理好壞成了客戶關(guān)注的焦點(diǎn),視頻大數(shù)據(jù)的處理技術(shù)也成了廠家能力的體現(xiàn)。針對(duì)“智慧城市”建設(shè)中大量視頻數(shù)據(jù)的快速檢索、統(tǒng)計(jì)分析的需求,??低暤纫曨l領(lǐng)域的領(lǐng)軍企業(yè)已有了成熟的視頻大數(shù)據(jù)的解決方案,目前已應(yīng)用多個(gè)“智慧城市”的建設(shè)中。

一、 視頻大數(shù)據(jù)平臺(tái)技術(shù)

針對(duì)結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量特別大的場景,大數(shù)據(jù)平臺(tái)作為應(yīng)用平臺(tái)的支撐平臺(tái),提供海量數(shù)據(jù)的高效處理能力。通過大數(shù)據(jù)平臺(tái),應(yīng)用能夠?qū)@些數(shù)據(jù)進(jìn)行高效地存儲(chǔ)、檢索(秒級(jí))、分析和統(tǒng)計(jì),切實(shí)地提高效率,提升用戶體驗(yàn)度。

視頻大數(shù)據(jù)平臺(tái)一般以分布式集群的方式進(jìn)行建設(shè),集群能夠?qū)?shù)據(jù)處理進(jìn)行負(fù)載均衡,同時(shí),集群能夠方便地進(jìn)行擴(kuò)展,能夠通過增加集群節(jié)點(diǎn)來提升平臺(tái)整體性能。數(shù)據(jù)存儲(chǔ)需要考慮以下幾個(gè)方面:一、哪些數(shù)據(jù)需要保存到視頻大數(shù)據(jù)平臺(tái);二、如果對(duì)原有系統(tǒng)進(jìn)行改造,原有系統(tǒng)中已存在的那些數(shù)據(jù)該如何處理;三、如何保證數(shù)據(jù)的可靠性。視頻大數(shù)據(jù)平臺(tái)采用分布式計(jì)算,同時(shí)結(jié)合內(nèi)存加速、負(fù)載均衡、本地處理,提供高效的數(shù)據(jù)計(jì)算能力。

視頻大數(shù)據(jù)處理系統(tǒng),在應(yīng)對(duì)視頻大數(shù)據(jù)處理中的存儲(chǔ)問題,采用了分布式存儲(chǔ)方式,提高了讀寫速度,并擴(kuò)大了存儲(chǔ)容量;在應(yīng)對(duì)視頻大數(shù)據(jù)處理中的計(jì)算問題,采用分布式計(jì)算系統(tǒng),提高了數(shù)據(jù)分析和挖掘能力。視頻大數(shù)據(jù)處理系統(tǒng)總體架構(gòu)如下圖所示,包括資源層、平臺(tái)層、應(yīng)用層三個(gè)層次。

圖1. 視頻大數(shù)據(jù)處理系統(tǒng)總體架構(gòu)

資源層:包括IT基礎(chǔ)資源、數(shù)據(jù)資源、視頻資源等。能夠產(chǎn)生、存儲(chǔ)、處理海量數(shù)據(jù)的資源如過車數(shù)據(jù)、人臉數(shù)據(jù)、案事件數(shù)據(jù)等。

平臺(tái)層:即視頻大數(shù)據(jù)平臺(tái),包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)遷移、集群管理等功能,同時(shí)為上層應(yīng)用提供接口。視頻大數(shù)據(jù)平臺(tái)地位類似于數(shù)據(jù)庫,但是它比數(shù)據(jù)庫的處理能力要強(qiáng)大很多,可以對(duì)海量數(shù)據(jù)進(jìn)行處理。

應(yīng)用層:基于視頻大數(shù)據(jù)平臺(tái)提供的高效數(shù)據(jù)處理服務(wù),行業(yè)應(yīng)用平臺(tái)(公安、交通、司法、能源、教育等)能夠?yàn)橛脩籼峁┖A繑?shù)據(jù)的高效存儲(chǔ)、檢索、分析和統(tǒng)計(jì)等功能。

二、視頻大數(shù)據(jù)技術(shù)在智慧交通中的應(yīng)用

在智慧交通的道路交通應(yīng)用中,卡口過車數(shù)據(jù)呈爆炸式增長。對(duì)于一個(gè)城市,每個(gè)卡口每天會(huì)經(jīng)過成千上萬輛車,假設(shè)一個(gè)城市有1000個(gè)卡口,每個(gè)卡口每天平均過車記錄數(shù)為10000次,需要對(duì)一年內(nèi)的數(shù)據(jù)進(jìn)行處理,則過車記錄總數(shù)為36.5億。當(dāng)卡口過車數(shù)據(jù)規(guī)模達(dá)到十億級(jí)別甚至更大后,當(dāng)前系統(tǒng)的運(yùn)行速度越來越慢,過車信息檢索、研判和分析的耗時(shí)越來越長,用戶體驗(yàn)越來越差。使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫解決方案會(huì)使效率大大降低,或者在保證效率的情況下,會(huì)使軟件、硬件投入成本大大增加,如采用小型機(jī)等。針對(duì)此類場景,可采用大數(shù)據(jù)技術(shù),數(shù)據(jù)量特別大的過車數(shù)據(jù)由視頻大數(shù)據(jù)平臺(tái)來處理,視頻大數(shù)據(jù)平臺(tái)可提供足夠大的內(nèi)存和本地存儲(chǔ),同時(shí),采用分布式計(jì)算,各節(jié)點(diǎn)并行進(jìn)行計(jì)算,極大地提高數(shù)據(jù)處理的能力。視頻大數(shù)據(jù)平臺(tái)具有系統(tǒng)可靠、數(shù)據(jù)安全、數(shù)據(jù)處理能力高效、投入成本低、擴(kuò)展能力強(qiáng)等特點(diǎn)。

交通卡口大數(shù)據(jù)應(yīng)用設(shè)計(jì)如下圖所示:

圖2. 交通卡口大數(shù)據(jù)應(yīng)用示意圖

交通卡口大數(shù)據(jù)應(yīng)用的不同之處在于后端子系統(tǒng)的設(shè)計(jì)。傳統(tǒng)方案中,只有一個(gè)智慧交通平臺(tái);而大數(shù)據(jù)方案中,智慧交通平臺(tái)之下多了一個(gè)視頻大數(shù)據(jù)平臺(tái),海量的過車數(shù)據(jù)存儲(chǔ)于視頻大數(shù)據(jù)平臺(tái)中,大數(shù)據(jù)平臺(tái)為上層平臺(tái)提供海量數(shù)據(jù)的高效處理服務(wù)。以10億條數(shù)據(jù)為例,在檢索、研判和統(tǒng)計(jì)分析等應(yīng)用中傳統(tǒng)方案檢索時(shí)間是分鐘級(jí),采用大數(shù)據(jù)技術(shù)檢索時(shí)間可以達(dá)到秒級(jí)。基于視頻大數(shù)據(jù)平臺(tái),智慧交通平臺(tái)實(shí)現(xiàn)了高效的檢索、分析、統(tǒng)計(jì)等功能,能夠?yàn)橛脩籼峁└玫姆?wù)。以下是目前可實(shí)現(xiàn)應(yīng)用功能主要功能:

1) 快速檢索

能夠根據(jù)精確條件/模糊條件快速查詢出過車數(shù)據(jù)記錄。大數(shù)據(jù)方案可以從數(shù)十億條數(shù)據(jù)中快速篩選出目標(biāo)過車記錄,提高交通管理部門的執(zhí)勤效率。

2) 研判分析

研判分析包括頻度研判、特定時(shí)間段車輛研判、初次入城、行車軌跡、跟車研判等應(yīng)用。大數(shù)據(jù)方案可以迅速及時(shí)的發(fā)現(xiàn)事件信息,提高交通管理部門的快速響應(yīng)能力。

3) 統(tǒng)計(jì)分析

統(tǒng)計(jì)分析包括車流量統(tǒng)計(jì)、車流量對(duì)比、車輛違法統(tǒng)計(jì)、特定時(shí)段車流量、行車軌跡統(tǒng)計(jì)等應(yīng)用。大數(shù)據(jù)方案可以實(shí)現(xiàn)更大范圍的交通流量數(shù)據(jù)統(tǒng)計(jì),可以更加全面完整的反應(yīng)一個(gè)城市的交通狀況,為交通管理部門決策提供數(shù)據(jù)支撐。

三、視頻大數(shù)據(jù)技術(shù)在智慧安全中的應(yīng)用

在智慧安全的案件偵緝等應(yīng)用中,經(jīng)常需要進(jìn)行人員信息的查詢,人員信息庫中的一個(gè)重要組成部分是人臉庫,人臉庫包括人員的基本信息、頭像圖片以及根據(jù)頭像建模而得的人臉特征向量。其中案件偵緝中一個(gè)重要的應(yīng)用是人臉檢索,即從視頻圖像中提取人帶人臉的特征向量跟人臉庫中的數(shù)據(jù)進(jìn)行比對(duì),查詢出來此人的基本信息。當(dāng)人臉庫數(shù)量達(dá)到1000萬級(jí)別甚至更大后,目前人臉檢索方式會(huì)出現(xiàn)瓶頸。因?yàn)樵谌四樀臋z索過程中需要檢索整個(gè)人臉庫,需要將整個(gè)人臉庫導(dǎo)入到內(nèi)存中以提高檢索效率,對(duì)服務(wù)器內(nèi)存要求高,而當(dāng)前大多人臉檢索方案不支持集群架構(gòu),只能增加單服務(wù)器的內(nèi)存以滿足需求,容易出現(xiàn)瓶頸。針對(duì)此類場景,可采用人臉檢索的大數(shù)據(jù)解決方案,人臉庫保存于視頻大數(shù)據(jù)平臺(tái)中,視頻大數(shù)據(jù)平臺(tái)采用集群架構(gòu),并且可平滑擴(kuò)展,可以提供足夠大的內(nèi)存,同時(shí),采用分布式計(jì)算,各節(jié)點(diǎn)并行進(jìn)行計(jì)算,極大地提高數(shù)據(jù)處理的能力。

人臉檢索大數(shù)據(jù)應(yīng)用設(shè)計(jì)如下圖所示:

圖3. 人臉檢索大數(shù)據(jù)方案示意圖

人臉檢索大數(shù)據(jù)應(yīng)用的不同之處在于后端子系統(tǒng)中加入了視頻大數(shù)據(jù)平臺(tái)。智慧安全應(yīng)用平臺(tái)為用戶提供人臉檢索功能;視頻大數(shù)據(jù)平臺(tái)存儲(chǔ)人臉庫數(shù)據(jù),進(jìn)行高效的人臉分析比對(duì),為應(yīng)用平臺(tái)提供人臉檢索服務(wù)。以1000萬條數(shù)據(jù)為例。如果傳統(tǒng)的方式數(shù)據(jù)庫需要管理員進(jìn)行手動(dòng)的分庫分表操作,隨著數(shù)據(jù)的增長維護(hù)工作量會(huì)越來越大,同時(shí)也很難保證系統(tǒng)的正常運(yùn)行;采用視頻大數(shù)據(jù)技術(shù)可以輕松的做到系統(tǒng)的橫向擴(kuò)展,保證系統(tǒng)高效的運(yùn)行?;谝曨l大數(shù)據(jù)平臺(tái),智慧安全應(yīng)用平臺(tái)能夠?yàn)橛脩籼峁┛焖俚娜四槞z索功能。

四、總結(jié)展望

視頻大數(shù)據(jù)技術(shù)能夠解決當(dāng)前系統(tǒng)處理海量視頻及相關(guān)數(shù)據(jù)能力不足的問題,幫助客戶從海量的視頻數(shù)據(jù)中快速挖掘高價(jià)值的信息,協(xié)助客戶提升其決策的效率和精準(zhǔn)度??梢灶A(yù)見在未來的“智慧城市”建設(shè)中,視頻的數(shù)據(jù)量會(huì)爆炸性增長,對(duì)海量視頻數(shù)據(jù)處理系統(tǒng)的要求會(huì)越來越高,對(duì)視頻數(shù)據(jù)挖掘的能力要求越來越強(qiáng),視頻大數(shù)據(jù)平臺(tái)將引入越來越多的機(jī)器學(xué)習(xí)、圖算法等尖端技術(shù)來提高整個(gè)系統(tǒng)的智能化水平。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)