視頻智能分析發(fā)展歷程

國內(nèi)的視頻監(jiān)控從2006前后開始“監(jiān)控IT化”以來，視頻監(jiān)控的規(guī)模呈現(xiàn)了快速擴(kuò)展的勢(shì)頭，這在模擬時(shí)代是無法想象的。視頻監(jiān)控規(guī)模的擴(kuò)大，已經(jīng)讓使用者意識(shí)到單靠人眼去監(jiān)控所有視頻或者在事后去追查錄像都是基本不可能的事情了。2009~2010年國內(nèi)視頻監(jiān)控發(fā)展比較好的地區(qū)如浙江，就開始出現(xiàn)了如何更好的應(yīng)用視頻的需求聲音。

長期從事智慧城市建設(shè)、自動(dòng)化監(jiān)控研究的博士生導(dǎo)師王汝琳就提出，當(dāng)時(shí)的監(jiān)控業(yè)界存在“看不清、調(diào)不出、提取難、檢索慢”的問題，對(duì)應(yīng)的也就出現(xiàn)了三大趨勢(shì)：高清化、網(wǎng)絡(luò)化和智能化。

從2010年前后起，智能分析已經(jīng)在慢慢地應(yīng)用到監(jiān)控和智能交通的行業(yè)中來，其中最早形成規(guī)模應(yīng)用的是車牌識(shí)別的功能，到2013年左右，電子警察在全國就在如火如荼地展開，三大監(jiān)控巨頭和在那個(gè)時(shí)候大力切入到了智能交通行業(yè)，加速了行業(yè)格局的形成。

這幾年來，智能的應(yīng)用快速擴(kuò)展到了很多的方面，如人的行為識(shí)別、車輛的異常行為檢測、儀表識(shí)別、人臉識(shí)別、車臉識(shí)別，還有通用監(jiān)控視頻的結(jié)構(gòu)化分析等，花樣各出，大有遍地開花之勢(shì)。

智能分析的本質(zhì)

視頻分析的本質(zhì)目標(biāo)，就是視頻的語義化，使視頻更好地被檢索到，被精確調(diào)閱到，解決人眼長期看視頻產(chǎn)生的熟視無睹的問題，也解決發(fā)生案件時(shí)要花上百人進(jìn)行錄像查閱的問題。

軟件智能分析與硬件智能分析優(yōu)劣勢(shì)分析

引用鄧小平的話“不管白貓黑貓，抓得住老鼠就是好貓”，軟件智能分析和硬件智能分析只是分工不同的貓，他們都有擅長的一面，也都有自己的劣勢(shì)。用一句話來概括，他們的區(qū)別就是“軟件智能貴在適應(yīng)性和廣度、硬件智能分析貴在分析的速度”。

軟件智能分析

軟件智能分析，是指用CPU進(jìn)行運(yùn)算的智能分析方案，它的優(yōu)勢(shì)在于適應(yīng)性強(qiáng)，具體體現(xiàn)在：

1)對(duì)各種數(shù)據(jù)源的適配性高，在安防行業(yè)中數(shù)據(jù)源基本為視頻和圖片，但是這些數(shù)據(jù)的來源可謂是五花八門，尤其的早期的設(shè)備廠家非常地多，對(duì)接方式和編碼格式都不標(biāo)準(zhǔn)，只有通過軟件對(duì)接來完成前期工作，才能給智能分析提供原始材料;

2)新的算法出來時(shí)，基本上都是在軟件上實(shí)現(xiàn)的，因?yàn)樵谲浖暇幋a實(shí)現(xiàn)最容易，很少有算法一開始出來就能在智能分析硬件上運(yùn)行的;

3)軟件智能分析可以運(yùn)行在很多通用服務(wù)器和PC機(jī)上，不需要配備特殊的硬件就能運(yùn)行，而硬件智能分析就不一樣了。

當(dāng)然軟件智能分析的主要缺點(diǎn)就在于分析性能差。

硬件智能分析

硬件智能分析，對(duì)應(yīng)于軟件智能分析，一般指運(yùn)行在DSP、FPGA以及GPU資源上的智能分析應(yīng)用。它的優(yōu)點(diǎn)就是一個(gè)字“快”，一旦一種智能算法有了能支撐它的硬件資源后，一般就能把軟件分析的處理能力甩開幾條街。但是相對(duì)的，它的局限也就是軟件智能的優(yōu)勢(shì)所在。

但是現(xiàn)在，軟件智能分析和硬件智能分析沒有那么嚴(yán)格的區(qū)分，很多新的算法經(jīng)過軟件方案進(jìn)行一段時(shí)間驗(yàn)證后，一旦存在較大的可用性，就會(huì)慢慢走上硬件化的道路。近幾年炙手可熱的深度學(xué)習(xí)的計(jì)算量基本上只有在GPU上才能跑起來。因此流行的是通過CPU做適配和前期處理，GPU來做智能運(yùn)算，也就是Intel CPU+NVIDIA GPU的組合，而且這個(gè)組合的處理性能也確實(shí)非常之強(qiáng)勁。

前端智能分析與后端智能分析的關(guān)系，也類似于上面的軟硬件智能分析一樣，都是相輔相成的，互為補(bǔ)充的。

前端智能分析

前端智能分析，在安防的業(yè)內(nèi)一般是指在攝像機(jī)等傳感器內(nèi)置或者在傳感器附近放置一個(gè)專門分析的前置設(shè)備。前端智能分析的優(yōu)勢(shì)是離采集端近，分析比較及時(shí)，通過前置的智能分析可以有效降低需要傳輸?shù)臄?shù)據(jù)的量。同時(shí)前端智能也受限于較弱的計(jì)算資源和有限的空間，再好的智能分析技術(shù)到前端也都是“龍居淺潭”。當(dāng)下前端智能中最成熟也是上面說的智能方面最早成熟的車牌識(shí)別功能了，現(xiàn)在前端設(shè)備上車牌識(shí)別的準(zhǔn)度已經(jīng)達(dá)到了99%。

后端智能分析

后端智能分析是指用后端服務(wù)器的方案進(jìn)行智能分析，也是當(dāng)前比較主流的智能分析方案，業(yè)界的代表有?？档墨C鷹，宇視的IA系列等。

由于智能的需求越來越大，智能需求的種類也越來越多，各種智能服務(wù)器會(huì)慢慢占領(lǐng)客戶的機(jī)房，因此如何綜合利用這些服務(wù)器資源，如何提升單位空間的計(jì)算能力是眾多廠家關(guān)注和研究的方向，從當(dāng)前來看主要的方向是：硬件化、框架化、集群化。

硬件化，經(jīng)過上一節(jié)的分析，智能分析的硬件化是一些智能分析技術(shù)逐漸成熟的必然方向，現(xiàn)在的深度學(xué)習(xí)經(jīng)過幾年的發(fā)展已經(jīng)表現(xiàn)出了強(qiáng)勁的發(fā)展前景，而且智能硬件只要能很好地承載深度學(xué)習(xí)的計(jì)算需求，就能應(yīng)對(duì)絕大部分基于深度學(xué)習(xí)發(fā)展起來的具體智能分析技術(shù)，比如現(xiàn)在一個(gè)很典型的應(yīng)用就是人臉識(shí)別的應(yīng)用，用了GPU之后，性能可以翻很多倍。

框架化，因?yàn)橹悄芩惴ㄔ絹碓蕉?，如果為每一款智能算法單?dú)開發(fā)一次軟件，那軟件的工作就會(huì)有很多的浪費(fèi)，如何能夠開發(fā)一次軟件，然后盡量多地去適配各種算法對(duì)廠家和客戶來說都是比較有意義的事情。

集群化，既然智能分析的需求越來越大，那么這些服務(wù)器如何統(tǒng)一管理，如何統(tǒng)一進(jìn)行資源分配又是一個(gè)比較棘手的事情，總不能讓客戶自己一臺(tái)一臺(tái)服務(wù)器去做配置，一臺(tái)一臺(tái)去做管理吧。集群化的需求就應(yīng)運(yùn)而生，它需要解決的問題有：統(tǒng)一管理各個(gè)服務(wù)器，進(jìn)行統(tǒng)一的配置;動(dòng)態(tài)解決各個(gè)服務(wù)器的資源和任務(wù)分配問題，避免客戶自行去選擇服務(wù)器;解決設(shè)備的災(zāi)備問題，在有多臺(tái)設(shè)備的時(shí)候，不要因?yàn)橐慌_(tái)設(shè)備的失效而導(dǎo)致它所負(fù)責(zé)的業(yè)務(wù)不可運(yùn)行。

除了專門的智能服務(wù)器，現(xiàn)在有很多的后端產(chǎn)品也開始內(nèi)置簡單的智能功能了，比如很多新的NVR已經(jīng)具備了不少的智能分析能力，在小規(guī)模的方案里這種產(chǎn)品形態(tài)將越來越有市場。

前后端融合計(jì)算

同軟硬件智能分析的方案，前后端的智能分析也不是完全割裂和互斥的，兩者都是“抓得住老鼠”的好貓，但是如何把他們合在一起適當(dāng)分工是不是能成為更強(qiáng)大，更高效的貓呢?答案是肯定的。

前端是存在計(jì)算性能上的不足，存在空間上的拘束，但是它還是能承擔(dān)一些分析工作的，而且最重要的是它的保有量大，每臺(tái)做一點(diǎn)基礎(chǔ)的分析工作，后臺(tái)再在這些分析的成果基礎(chǔ)之上做進(jìn)一步的分析，將能大大降低后端服務(wù)器的工作壓力。典型的，如現(xiàn)在的人臉智能分析方案中，如果采用后端引前端實(shí)況流分析的方案，一臺(tái)E5的服務(wù)器能做到4~5路已經(jīng)很高了;但是同樣的服務(wù)器如果用前后端融合的方案，前端負(fù)責(zé)人臉的跟蹤和抓拍，后端負(fù)責(zé)分析，一臺(tái)服務(wù)器就能做到24路甚至更高，這就能大大降低用戶的部署成本。

當(dāng)前，阻擋前后端方案融合的最大障礙是標(biāo)準(zhǔn)的問題，各個(gè)廠家都是按照自己的理解定義接口，定義邊界，廠家之間互通的唯一方式就是對(duì)接開發(fā);因此，現(xiàn)在如果涉及到跨廠家的智能分析都更多的還是采用純后端或者純前端的方案，這是智能發(fā)展需要解決的重要問題。

前面也多次提到過，智能分析功能在智能交通行業(yè)的應(yīng)用是最成熟的，其中最重要的啟動(dòng)點(diǎn)是車牌識(shí)別的識(shí)別率達(dá)到了應(yīng)用的要求，以及在此基礎(chǔ)之上形成的電子警察以及其他各種解決方案，在這里簡單介紹一下：

1) 電子警察。車牌識(shí)別、紅綠燈口車輛跟蹤和抓拍等技術(shù)形成的電子警察的出現(xiàn)極大的提升了交警的交通管理能力，讓交通違法抓獲由一個(gè)概率事件變成了必然事件，一舉解決了2012年前需要雇一堆的小姑娘進(jìn)行闖紅燈抓拍而且還抓不全的問題。近兩年隨著技術(shù)的成熟，虛擬線圈又替代了地感線圈，又降低了電警的施工難度和安裝成本，使得電子警察的覆蓋面越來越廣;

2) 電子卡口。在電子警察中嘗到智能分析甜頭的用戶，在開始進(jìn)一步考慮城市車輛的監(jiān)控和管理，因此電子卡口的業(yè)務(wù)就產(chǎn)生了，記錄車輛的行進(jìn)軌跡，根據(jù)行進(jìn)軌跡進(jìn)行車輛異常行為的分析，對(duì)接車管庫進(jìn)行車輛的核查等各種業(yè)務(wù)都開始落地。隨著技術(shù)的成熟，和開車犯案的案例增多，公安部門也開始介入到卡口業(yè)務(wù)的建設(shè)，希望通過對(duì)車輛的排查進(jìn)行案件的偵破的技戰(zhàn)技術(shù)開始提出來，并產(chǎn)生了不少的成果;

3) 交通綜合管控。隨著上述技術(shù)的成熟，交警希望把道路上的各種資源統(tǒng)一調(diào)度起來，根據(jù)車流量情況和道路狀況自動(dòng)進(jìn)行紅綠燈的調(diào)配、以及其他道路疏導(dǎo)提示系統(tǒng)的調(diào)度，交通綜合管控平臺(tái)的成熟將對(duì)交警行業(yè)產(chǎn)生又一次重大的影響。其后，只要源源不斷地將新成熟的智能算法、分析算法納入到這個(gè)平臺(tái)中，這個(gè)平臺(tái)就能具備越來越強(qiáng)的管理能力。

當(dāng)然在智能交通中，還有其他很多的智能技術(shù)在逐漸成熟，包括車輛的異常行為檢測，車型車款識(shí)別等等，這些都將助力智能交通行業(yè)的快速發(fā)展。

(本文作者陳燕兵現(xiàn)任宇視系統(tǒng)規(guī)劃師、尹鵬現(xiàn)任職于天津市公安局和平分局)