智能視頻分析發(fā)展?fàn)顩r及產(chǎn)品特點(diǎn)
近年來(lái),在“平安城市”工程、技術(shù)和成本的改善,以及奧運(yùn)會(huì)、世博會(huì)、亞運(yùn)會(huì)等項(xiàng)目的推動(dòng)下,中國(guó)視頻監(jiān)控市場(chǎng)得以快速發(fā)展,網(wǎng)絡(luò)化、個(gè)人化和智能化將是中國(guó)視頻監(jiān)控市場(chǎng)重要的發(fā)展趨勢(shì),這也說(shuō)明智能視頻監(jiān)控已經(jīng)發(fā)展到了不可替代的階段。作為未來(lái)監(jiān)控發(fā)展方向的智能視頻分析技術(shù)(即IntelligentVideoSurveillance,簡(jiǎn)稱IVS,行業(yè)稱之為第四代視頻監(jiān)控技術(shù)),是視頻監(jiān)控技術(shù)一個(gè)里程碑式的創(chuàng)新,也是視頻監(jiān)控領(lǐng)域最前沿的應(yīng)用模式之一。目前,國(guó)外市場(chǎng)正大量涌出新生的智能視頻監(jiān)控系統(tǒng),而中國(guó)也慢慢出現(xiàn)了各類智能視頻監(jiān)控品牌,掀開了中國(guó)智能視頻監(jiān)控發(fā)展的熱潮。
智能視頻分析產(chǎn)品從實(shí)現(xiàn)方式上主要?jiǎng)澐譃閮煞N類型:一種是基于硬件的,主要放置在前端,與模擬攝像機(jī)一起使用,也可以使用提供智能分析模塊的芯片,與前端的攝像機(jī)做成一體化產(chǎn)品,直接傳送報(bào)警事件、經(jīng)過(guò)疊加和處理后的智能視頻圖像;另一種是純軟件的,基于PCX86平臺(tái),大都是在Windows/Linux操作系統(tǒng)下開發(fā),應(yīng)用于后端平臺(tái)管理系統(tǒng)中。
視頻診斷算法的特點(diǎn)及應(yīng)用
隨著平安城市工程在全國(guó)范圍內(nèi)的迅速推進(jìn),視頻監(jiān)控系統(tǒng)的基礎(chǔ)建設(shè)已經(jīng)初具規(guī)模。視頻監(jiān)控系統(tǒng)的規(guī)模迅速擴(kuò)大,攝像頭的數(shù)量也達(dá)到了幾萬(wàn)個(gè),甚至幾十萬(wàn)個(gè)之多。這么多攝像頭的日常維護(hù)是一項(xiàng)非常艱巨任務(wù),因而視頻診斷應(yīng)運(yùn)而生,擔(dān)負(fù)起了大量攝像機(jī)的自動(dòng)檢測(cè)和診斷的工作。視頻診斷可以對(duì)視頻圖像出現(xiàn)的噪聲(對(duì)圖像起干擾作用的亮度分布稱為圖像噪聲)、雪花、模糊、偏色、亮度失衡、惡意遮擋、非正常抖動(dòng)以及云臺(tái)控制故障做出準(zhǔn)確判斷并發(fā)出報(bào)警信息。在視頻監(jiān)控?cái)z像頭日益增多的今天,視頻診斷的應(yīng)用有利于幫助用戶快速掌控前端設(shè)備運(yùn)行情況,輕松維護(hù)大型的視頻監(jiān)控系統(tǒng)。下面對(duì)視頻診斷所包含的主要內(nèi)容的原理、功能和應(yīng)用逐一進(jìn)行介紹。
1、清晰度檢測(cè)
自動(dòng)檢測(cè)視頻中由于聚焦不當(dāng)、鏡頭損壞或異物遮蔽引起的視野主體部分的圖像模糊;自動(dòng)檢測(cè)鏡頭對(duì)準(zhǔn)無(wú)意義物體的情況。該功能對(duì)實(shí)時(shí)視頻的畫面清晰程度和信息含量做出評(píng)價(jià),從而及時(shí)發(fā)現(xiàn)故障(如偶然的異物遮擋、人為的遮蔽等)。“驟變”作為此功能在周界防范技術(shù)領(lǐng)域的應(yīng)用延伸,目前已普遍得到認(rèn)可。
2、視頻噪聲檢測(cè)
自動(dòng)檢測(cè)視頻圖像中圖像模糊、扭曲、雪花或滾屏等噪聲現(xiàn)象,主要的監(jiān)測(cè)對(duì)象是由于線路老化、傳輸故障、接觸不良或受到電磁干擾而在視頻畫面上出現(xiàn)的點(diǎn)狀、刺狀、帶狀的干擾。在視頻質(zhì)量診斷系統(tǒng)中,呈帶狀、網(wǎng)狀帶有周期性的干擾一般交由“雪花”檢測(cè)項(xiàng)監(jiān)測(cè),而點(diǎn)狀、刺狀的隨機(jī)干擾則由“噪聲”檢測(cè)項(xiàng)監(jiān)測(cè),從而提高診斷的準(zhǔn)確性(圖1)。
圖1 噪聲干擾畫面
3、銳度檢測(cè)
檢測(cè)由于聚焦不當(dāng)、鏡頭損壞或灰塵引起的視野主體部分的圖像模糊,或者鏡頭對(duì)準(zhǔn)無(wú)意義物體(白墻等)的情況。其檢測(cè)原理(如圖2、3所示)。
圖2 銳度檢測(cè)原理示意圖 圖3 為銳度異常時(shí)的抓拍畫面
4、亮度異常檢測(cè)
自動(dòng)檢測(cè)視頻中由于攝像頭故障、增益控制紊亂、照明條件異?;蛉藶閻阂庹趽醯仍蛞鸬漠嬅孢^(guò)暗、過(guò)亮或黑屏現(xiàn)象。該功能將對(duì)視頻的明暗程度進(jìn)行診斷,由于可在不同時(shí)段改變?cè)\斷計(jì)劃和監(jiān)測(cè)閾值,在晝夜都能發(fā)揮作用(如圖4所示)。
圖4 亮度檢測(cè)畫面
[page]
5、偏色檢測(cè)
自動(dòng)檢測(cè)由于線路接觸不良、外部干擾、AWB失效或攝像頭故障等原因造成的畫面偏色現(xiàn)象,主要包括全屏單一偏色或多種顏色混雜的帶狀偏色。該功能對(duì)視頻的顏色信息進(jìn)行分析,其特點(diǎn)是當(dāng)視頻中出現(xiàn)豐富色彩時(shí),能夠區(qū)分它們是由自然場(chǎng)景帶來(lái)的,還是由于攝像頭自身故障產(chǎn)生的(如圖5所示)。
圖5 圖像偏色畫面
6、PTZ(云臺(tái))控制功能診斷
自動(dòng)檢測(cè)前端云臺(tái)和鏡頭是否能夠按用戶指令正確運(yùn)動(dòng),如有無(wú)左轉(zhuǎn)失靈、上下倒序等故障。該功能能夠自動(dòng)對(duì)PTZ的各指令進(jìn)行測(cè)試,使管理人員準(zhǔn)確及時(shí)地把握系統(tǒng)內(nèi)PTZ的運(yùn)行情況。不過(guò),此功能需要系統(tǒng)擁有控制前端PTZ的權(quán)限。
7、視頻凍結(jié)檢測(cè)
自動(dòng)檢測(cè)由于視頻傳輸調(diào)度系統(tǒng)故障引起的視頻畫面凍結(jié)現(xiàn)象,可避免錯(cuò)失真實(shí)的現(xiàn)場(chǎng)視頻圖像。
8、視頻抖動(dòng)檢測(cè)
檢測(cè)因攝像頭長(zhǎng)期在室外工作,固定支架松動(dòng)造成的圖像受到嚴(yán)重干擾,畫面抖動(dòng)的情況(如圖6所示)。
圖6 畫面抖動(dòng)檢測(cè)
9、人為遮擋畫面
檢測(cè)因攝像頭長(zhǎng)期在室外工作引起的灰塵遮擋的情況,檢測(cè)人為惡意遮擋或圖像被替換的情況可以進(jìn)行報(bào)警(圖7)。
圖7 人為遮擋診斷畫面
10、視頻缺失檢測(cè)
自動(dòng)檢測(cè)因前端云臺(tái)、攝像機(jī)工作異常、損壞、遭人為惡意破壞,或是視頻傳輸環(huán)節(jié)故障而引起的間發(fā)性或持續(xù)性的視頻缺失現(xiàn)象(當(dāng)視頻丟失時(shí),一般采取人工補(bǔ)假圖的方法來(lái)處理,如圖8所示)。
圖8 視頻丟失畫面
智能分析算法特點(diǎn)及應(yīng)用
視頻分析方法主要有背景模型法和時(shí)間差分法兩類。背景模型法是利用當(dāng)前圖象和背景圖象的差分(SAD)來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域,可以提供比較完整的運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù),精確度和靈敏度比較高,具有良好的性能表現(xiàn)。背景的建模和自適應(yīng)是背景模型法的關(guān)鍵,一般在系統(tǒng)設(shè)置時(shí)期設(shè)置系統(tǒng)自適應(yīng)學(xué)習(xí)時(shí)間來(lái)建模,根據(jù)背景實(shí)際“熱鬧程度”選取3~5分鐘的學(xué)習(xí)時(shí)間。系統(tǒng)建模完成后,隨著時(shí)間的變化,背景會(huì)有相應(yīng)的改變,而系統(tǒng)具有“背景維護(hù)”能力,可以將一些后來(lái)融入背景的圖象,如云等自動(dòng)加為背景。時(shí)間差分法就是高級(jí)的VMD,又稱相鄰幀差法,即利用視頻圖像特征,從連續(xù)得到的視頻流中提取所需要的動(dòng)態(tài)目標(biāo)信息。時(shí)間差分法的實(shí)質(zhì)是將相鄰幀圖像相減來(lái)提取前景目標(biāo)的移動(dòng)信息。此方法不能完全提取所有相關(guān)特征像素點(diǎn),只檢測(cè)出目標(biāo)的邊緣,在其提取的運(yùn)動(dòng)實(shí)體內(nèi)部可能出現(xiàn)空洞。
視頻分析的過(guò)程(背景模型法)是:首先,系統(tǒng)進(jìn)行背景學(xué)習(xí),學(xué)習(xí)時(shí)間因背景熱鬧程度不同而有所不同,期間系統(tǒng)自動(dòng)建立背景模型;之后,系統(tǒng)進(jìn)入“分析”狀態(tài),如果前景出現(xiàn)移動(dòng)物體,且處在設(shè)置的范圍區(qū)域內(nèi)、大小滿足設(shè)置,系統(tǒng)將會(huì)對(duì)該目標(biāo)進(jìn)行提取和跟蹤,并根據(jù)預(yù)設(shè)的算法(入侵、遺留、盜竊等)觸發(fā)報(bào)警(期間如果背景中出現(xiàn)雨雪、中云、波浪、搖擺的柳樹等物體,或發(fā)生攝像機(jī)抖動(dòng)的情況,系統(tǒng)將啟動(dòng)預(yù)處理功能來(lái)加以過(guò)濾)。在觸發(fā)報(bào)警之前,系統(tǒng)能夠進(jìn)行目標(biāo)識(shí)別,即將提取的目標(biāo)與已經(jīng)建立的模型進(jìn)行比對(duì),并選擇最佳的匹配。
該智能分析算法主要由核心基本智能分析算法模塊和特殊應(yīng)用領(lǐng)域的智能分析算法構(gòu)成。核心基本智能分析算法模塊共有7種,分別為區(qū)域入侵監(jiān)測(cè)、絆線檢測(cè)、遺失檢測(cè)、遺留檢測(cè)、方向檢測(cè)、徘徊檢測(cè)、人群流量統(tǒng)計(jì)(計(jì)數(shù))。這些智能應(yīng)用可以不受行業(yè)和領(lǐng)域的限制,在任意項(xiàng)目上通用。特殊應(yīng)用領(lǐng)域的智能分析算法則以插件的方式,針對(duì)不用行業(yè)領(lǐng)域定制開發(fā),并采用組合的方式,以便靈活應(yīng)對(duì)不同項(xiàng)目的需求。這些特殊應(yīng)用領(lǐng)域的智能分析算法共有8種,分別為對(duì)象識(shí)別(人、車輛和物區(qū)分)與軌跡識(shí)別、PTZ動(dòng)態(tài)跟蹤、人臉識(shí)別、車牌識(shí)別、圖像增強(qiáng)(水霧、雨霧、煙霧、沙塵或干擾過(guò)濾)、圖像穩(wěn)像(防震動(dòng)、抖動(dòng)、晃動(dòng))、數(shù)字全景拼接和煙火監(jiān)測(cè)。
1、區(qū)域入侵監(jiān)測(cè)
識(shí)別出目標(biāo)沿一定軌跡進(jìn)入、離開標(biāo)定區(qū)域的事件,識(shí)別出目標(biāo)在標(biāo)定區(qū)域內(nèi)的出現(xiàn)或消失,識(shí)別出目標(biāo)在標(biāo)定區(qū)域內(nèi)存在與否。
2、絆線檢測(cè)
識(shí)別出單方向、雙方向穿越警戒線的行為;識(shí)別出逆行、轉(zhuǎn)向等行為;識(shí)別物體運(yùn)行方向,對(duì)逆行等行為進(jìn)行報(bào)警。
3、物體遺失檢測(cè)
在指定區(qū)域內(nèi)的物品被偷盜、搬移、取走時(shí)發(fā)出聲光報(bào)警信息。
4、物體遺留檢測(cè)
識(shí)別出在標(biāo)定區(qū)域內(nèi)出現(xiàn)的,遺留、遺棄的單件、多件物品,可設(shè)定遺留報(bào)警時(shí)間。
5、方向檢測(cè)
識(shí)別物體運(yùn)行方向,對(duì)逆行等行為進(jìn)行報(bào)警。
[page]
6、徘徊檢測(cè)
識(shí)別出人員或車輛在標(biāo)定區(qū)域內(nèi)長(zhǎng)時(shí)間徘徊與滯留的可疑情況,可設(shè)定徘徊報(bào)警的時(shí)間和人數(shù)
7、人群流量統(tǒng)計(jì)(計(jì)數(shù))
單向、雙向累計(jì)人流統(tǒng)計(jì),包含人群稠密度檢測(cè)。
8、對(duì)象識(shí)別(人、車輛和物區(qū)分)與軌跡識(shí)別
對(duì)視場(chǎng)內(nèi)人員、車輛、物品、動(dòng)物等目標(biāo)進(jìn)行分類判別,對(duì)已識(shí)別目標(biāo)的行動(dòng)軌跡、速度、方向、距離進(jìn)行跟蹤。
9、PTZ動(dòng)態(tài)跟蹤
通過(guò)智能視覺技術(shù)鎖定目標(biāo)后(支持自動(dòng)、手動(dòng)、接力三種鎖定模式),自動(dòng)控制PTZ攝像機(jī)的云臺(tái)旋轉(zhuǎn)以跟蹤目標(biāo),確保可疑目標(biāo)的放大畫面特寫始終保持在視頻畫面中央,并在目標(biāo)離開視場(chǎng)后自動(dòng)回到預(yù)置位。其開發(fā)難點(diǎn)是出現(xiàn)目標(biāo)交叉、被遮擋等干擾后如何識(shí)別并成功地繼續(xù)跟蹤。
10、人臉識(shí)別
根據(jù)人的臉部特征進(jìn)行采集和抓拍,并能進(jìn)行比對(duì)分析,在發(fā)現(xiàn)可疑人員時(shí)給予報(bào)警提示。
11、車牌識(shí)別
能夠做到自動(dòng)記錄并分析判斷車輛的身份,對(duì)于有不良身份記錄的車輛進(jìn)行提前預(yù)警。
12、圖像增強(qiáng)
改善霧、雨、雪環(huán)境下的視頻效果,提高畫面的能見度。
13、圖像穩(wěn)像
消除位于鐵路邊、公路邊的攝像機(jī)所拍攝圖像的震動(dòng)、抖動(dòng)、晃動(dòng)。
14、數(shù)字全景拼接
對(duì)監(jiān)控系統(tǒng)獲得的多個(gè)相關(guān)聯(lián)的分散場(chǎng)景畫面進(jìn)行無(wú)縫拼接,在不降低視頻幀率情況下實(shí)現(xiàn)全景監(jiān)控。
15、煙火監(jiān)測(cè)
能夠自動(dòng)監(jiān)測(cè)防區(qū)內(nèi)突發(fā)的火情,發(fā)出報(bào)警并觸發(fā)其他動(dòng)作。
下面以在朝陽(yáng)區(qū)圖像信息系統(tǒng)中的應(yīng)用IVS視頻診斷系統(tǒng)為例介紹。
朝陽(yáng)區(qū)圖像信息系統(tǒng)于2008年完成建設(shè),通過(guò)建立45個(gè)街鄉(xiāng)匯聚節(jié)點(diǎn)平臺(tái)、85個(gè)指揮中心,新建、整合了5000路不同廠商的數(shù)字圖像資源,形成了區(qū)級(jí)圖像信息資源共享平臺(tái),并先后為2008北京奧運(yùn)、2009年國(guó)慶閱兵、2010年世界武術(shù)博覽會(huì)等重大活動(dòng)提供了安保服務(wù),為朝陽(yáng)區(qū)城市管理提供了視頻支撐服務(wù)。在3年多的運(yùn)行、維護(hù)工作中,攝像機(jī)畫面質(zhì)量、控制功能檢測(cè)成為維護(hù)工作的重難點(diǎn),常?;ㄙM(fèi)大量的時(shí)間和人力來(lái)進(jìn)行巡檢工作,并且不同的維護(hù)人員對(duì)相同畫面的圖像質(zhì)量是否合格判斷不一,對(duì)整個(gè)系統(tǒng)的維護(hù)工作帶來(lái)不小的麻煩。2009年,朝陽(yáng)區(qū)圖像信息系統(tǒng)引入IVS視頻診斷系統(tǒng),通過(guò)對(duì)視頻圖像的各種參數(shù)進(jìn)行檢測(cè),對(duì)比預(yù)設(shè)的標(biāo)準(zhǔn)參數(shù),自動(dòng)判斷不符合標(biāo)準(zhǔn)的視頻,并發(fā)出報(bào)警信息、形成統(tǒng)計(jì)報(bào)表。完成5000余路視頻圖像的自動(dòng)巡檢僅需要1小時(shí),為系統(tǒng)的維護(hù)工作帶來(lái)巨大的便利(如圖9、10所示)。
圖9 警界區(qū)域入侵 圖10 絆線檢測(cè)
結(jié)語(yǔ)
目前,IVS中有些算法已經(jīng)發(fā)展了許多年,非常的穩(wěn)定,也廣泛應(yīng)用于各種場(chǎng)所,如視頻診斷、區(qū)域警戒、物品丟失、拌線檢測(cè)等。而較前沿的技術(shù),如人臉識(shí)別、多目標(biāo)追蹤等,因?yàn)榧夹g(shù)尚未完全成熟,在特殊條件下運(yùn)行才有實(shí)際意義,需要根據(jù)具體情況來(lái)選擇。在未來(lái),智能視頻監(jiān)控將是重要的應(yīng)用系統(tǒng),也將是視頻監(jiān)控發(fā)展的趨勢(shì)。如何把IVS的功能完全發(fā)揮出來(lái),各廠商還有很長(zhǎng)的路要走。