在過去的10年里,視頻監(jiān)控領(lǐng)域的主要視頻壓縮標(biāo)準(zhǔn)是H.264。今天,H.264占據(jù)了網(wǎng)絡(luò)視頻碼流的80%左右。現(xiàn)在的攝像機主流分辨率是720p或1080p等高清級別的,但是幾年前的主流分辨率是VGA級別的。H.264在視頻監(jiān)控IP化過程中扮演了重要的角色。
但是今天,在視頻監(jiān)控領(lǐng)域我們?nèi)匀幻媾R著諸多挑戰(zhàn)。隨著攝像機分辨率的不斷增加,出現(xiàn)了更大的百萬級像素(MegaPixel)sensor、全景攝像機、甚至是千萬級像素sensor。同時面臨著遠(yuǎn)程觀看這樣的大分辨率視頻而帶來的網(wǎng)絡(luò)傳輸壓力,以及碼流的存儲壓力。
正是面對這樣的局面,ISO/IECMPEG和ITU-TVCEG聯(lián)合制定新一代視頻壓縮標(biāo)準(zhǔn)HEVC/H.265。視頻編碼算法標(biāo)準(zhǔn)的制定者們聲稱,一個視頻壓縮標(biāo)準(zhǔn)的使用期一般為10年,即經(jīng)過10年的使用期,由于整個產(chǎn)業(yè)鏈的發(fā)展以及科學(xué)技術(shù)的發(fā)展,標(biāo)準(zhǔn)應(yīng)用的場景和環(huán)境都會發(fā)生巨大變化,針對新的應(yīng)用場景和新的應(yīng)用平臺,需要研發(fā)更高明的算法和更具先進(jìn)性的標(biāo)準(zhǔn)規(guī)范。當(dāng)年MPEG4標(biāo)準(zhǔn)過渡到H.264,這樣的規(guī)律可見一斑。
視頻監(jiān)控的趨勢是高清化(高清、高清+、超高清)、網(wǎng)絡(luò)化、智能化,高清化視頻對傳輸和存儲帶來很大的壓力,H.265相比H.264,對高清化視頻更高的壓縮率可極大的緩解這一壓力。比如,對5MP分辨率的H.265網(wǎng)絡(luò)攝像機,4Mbps的H.265的碼流解碼效果和8Mbps的H.264圖像效果相當(dāng)。若智能分析算法和H.265編碼器結(jié)合使用,更能進(jìn)一步降低碼率,提升圖像質(zhì)量。相比H.264,對視頻監(jiān)控網(wǎng)絡(luò)方案實施和工程建設(shè)來說,能夠節(jié)省許多預(yù)算開支。
在高清化的趨勢下,H.264的霸主地位已經(jīng)受到H.265的挑戰(zhàn)?,F(xiàn)實中雖然有SVAC、MPEG4、MJPEG,甚至微軟的VC-1或者谷歌的VP8,甚至廣電領(lǐng)域的國標(biāo)AVS,目前來看,這些視頻壓縮標(biāo)準(zhǔn)的壓縮效率都達(dá)不到H.265的同等圖像效果下的壓縮率。雖然H.265的專利授權(quán)費用遠(yuǎn)遠(yuǎn)高于H.264,但是不像廣電領(lǐng)域的節(jié)目接受預(yù)訂或者互聯(lián)網(wǎng)視頻服務(wù)提供商,視頻監(jiān)控領(lǐng)域的視頻錄像不會用于對外提供服務(wù),因此業(yè)內(nèi)很多人士預(yù)測,H.265仍將在視頻監(jiān)控領(lǐng)域受到熱捧,在下一個10年里,H.265將會取代H.264,成為主流視頻壓縮標(biāo)準(zhǔn)。
2015年5月份國家發(fā)展改革委等九部委發(fā)布的《關(guān)于加強公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用工作的若干意見》中提高“新建、改建高清攝像機比例達(dá)到100%”、“逐步增加高清攝像機的新建、改建數(shù)量”,“到2020年,基本實現(xiàn)全域覆蓋、全網(wǎng)共享、全時可用、全程可控”。這意味著在公共安全領(lǐng)域,新購置的攝像機必將是高清化的攝像機,高清化攝像機尤其適用于H.265壓縮。就像當(dāng)年的H.264取代MPEG-4壓縮一樣,在一個視頻監(jiān)控網(wǎng)絡(luò)中,H.265和H.264兩種壓縮標(biāo)準(zhǔn)并存能夠解決以建攝像機的后向兼容性,但同時增加了整個監(jiān)控網(wǎng)絡(luò)的復(fù)雜性和不穩(wěn)定性。在H.265應(yīng)用初期,這種情況在所難免。隨著時間推移新的H.265壓縮攝像機替換已到使用年限的H.264攝像機,到時整個網(wǎng)絡(luò)必將是全網(wǎng)H.265的高清化視頻,H.265配合高清化視頻的應(yīng)用必將帶來整個視頻監(jiān)控網(wǎng)絡(luò)方案中的前端、后端、存儲、智能、顯示的顯著變化。
H.265應(yīng)用解析
視頻監(jiān)控領(lǐng)域的視頻壓縮,由H.265取代H.264,主要影響的是壓縮模塊產(chǎn)品和解碼模塊產(chǎn)品,即IPC、NVR,以及帶有解碼顯示的平臺軟件。IPC和NVR由于使用碼芯片的ASIC或者硬件加速單元進(jìn)行硬編碼和硬解碼,傳統(tǒng)的H.264編解碼芯片無法進(jìn)行升級支持H.265。H.265Version1于2013年4月正式發(fā)布后,雖然有很多公司聲稱實現(xiàn)了H.265的編碼或解碼,但大都是基于CPU或者FPGA實現(xiàn),不太適合視頻監(jiān)控應(yīng)用。2014年,海思在業(yè)界首次提出基于SOC的IPC+NVR的完整視頻監(jiān)控解決方案參考設(shè)計。當(dāng)然現(xiàn)在海思的H.265編解碼方案更加豐富,不僅僅支持H.265編碼和解碼,同時支持4K超高清的H.265編碼和解碼。
除了海思,還有其他的比如安霸、高通、SONY、NVIDIA、Intel等公司陸續(xù)提出H.265配合4K超高清的編解碼SOC或者CPU+ASIC的編解碼方案。基于H.265的IPC、NVR、平臺等等產(chǎn)品形態(tài)迎來了蓬勃發(fā)展期。
H.265價值的進(jìn)一步挖掘
除了高清化的趨勢和智能化趨勢,還有一種趨勢是智能化和H.265編碼的有機配合。從算法的角度理解,視頻壓縮算法中也使用了大量的智能分析算法,視頻壓縮的根本是根據(jù)對視頻圖像場景的理解,有效的剔除時間冗余、空間冗余、概率冗余等,在保留信息的前提下,達(dá)到壓縮的目的,以盡可能的接近視頻圖像信息熵。
H.265編碼與智能結(jié)合
從目前的應(yīng)用情況來看,智能分析和H.265壓縮兩者還是割裂的,視頻序列和圖片的智能分析結(jié)果沒有有機的和H.265的幀內(nèi)壓縮和幀間壓縮融合起來。比如海思的Hi3516A編碼SOC,分別提供了ISP單元、智能分析單元IVE2.0、H.265編碼單元,但好像并沒有很好的融合,假若在H.265編碼單元中充分利用背景建模、光流分析、移動偵測、等智能分析單元的分析結(jié)果,理解場景中的背景區(qū)域和前景區(qū)域,以及場景中的亮區(qū)、暗區(qū)、多紋理區(qū)域,等等這些智能分析結(jié)果和H.265的編碼單元模塊算法有機結(jié)合,可以在現(xiàn)有基礎(chǔ)上進(jìn)一步降低碼率,提升編碼效率。
HDR可擴展與WCG可擴展
與圖像質(zhì)量有關(guān)的因素是分辨率、幀率、色域、動態(tài)范圍和量化精度。而與這幾項因素提升帶來圖像質(zhì)量提升的帶來的便是超高清UHD。
高清到超高清,僅僅是分辨率和清晰度的提升,幀率的增加也帶來運動連貫性的提升。分辨率由2MP,3MP、4MP、8MP、甚至千萬像素,幀率由25fps到30fps、60fps,這些H.265編碼和解碼芯片都已經(jīng)大部分支持,因為這兩項僅僅涉及到單純的編解碼性能的提升。H.265的MainProfile@Level5或者@Level5.1即可滿足這兩項。
但是對超高清來說,寬色域(WCG,WideColorGamut)和高動態(tài)(HighDynamicRange,HDR)。所謂動態(tài)范圍(DynamicRange)籠統(tǒng)的說是一個可變信號的最大值和最小值之間的比值。對視頻采集或者視頻顯示設(shè)備來說,其動態(tài)范圍基本上可以表達(dá)為最亮處與最暗處之間的過度范圍。
標(biāo)清時代的動態(tài)范圍1000:1,相當(dāng)于10檔光圈寬容度,高清時代也是如此。高清的采集、顯示系統(tǒng)的寬容度為1000:1,10檔光圈,動態(tài)范圍的幅度仍然停留在和標(biāo)清一樣的10-2~102尼特。人眼在瞳孔可調(diào)節(jié)的情況下,對光線可接受的動態(tài)范圍則搞到10-6~1014尼特。傳統(tǒng)的動態(tài)范圍已經(jīng)限制了人眼觀看圖像的主觀感受,于是促使了HDR標(biāo)準(zhǔn)出現(xiàn)。HDR的目標(biāo)是把整個系統(tǒng)的寬容度提高兩個數(shù)量級達(dá)到100,000:1,相當(dāng)于從10檔光圈提高到16.7檔,達(dá)到與人眼瞳孔無調(diào)節(jié)時相當(dāng)?shù)某潭取?/p>
現(xiàn)在國際上對HDR并沒有一個統(tǒng)一的規(guī)范標(biāo)準(zhǔn),而是存在兩個標(biāo)準(zhǔn)。一種是杜比公司建議的PQ(PerceptualQuantizer,感應(yīng)量化編碼曲線),已經(jīng)成為SMPTEST2084標(biāo)準(zhǔn),另一種是NHK與BBC建議的HLG(HybridLog-Gamma),正在申請成為ITU-R標(biāo)準(zhǔn)。這兩種標(biāo)準(zhǔn)都向下兼容SDR。
色域(ColorGamut),即顏色空間,描述了可表示的顏色范圍,比如人眼可以感知的顏色空間,或者一個sensor或者一個現(xiàn)實設(shè)備所支持的顏色空間。標(biāo)清的色域由ITU-RBT.601定義,高清的色域由ITU-RBT.709定義。隨著新的顯示技術(shù)(OLED和量子點技術(shù))以及UHDTV的發(fā)展,產(chǎn)業(yè)界意識到有必要包含在BT.709之外的顏色,大于BT.709的色域從稱為寬色域WCG(WideColorGamut)。寬色域包括ITU-RBT.2020和DigitalCinemaInitiatives(DCI)‘P3’。
HDR和WCG不僅僅在光電行業(yè),在視頻監(jiān)控行業(yè)也很迫切,尤其的對夜間場景和強光下場景,現(xiàn)有的高清標(biāo)準(zhǔn)無法看清星光級甚至月光級的細(xì)節(jié)。故必須對整個視頻監(jiān)控系統(tǒng)從采集、編碼、傳輸、解碼、顯示各個環(huán)節(jié)支持HDR和WCG才能夠還原真實世界中的細(xì)節(jié)。
雖然4K/8K超高清更適合用H.265進(jìn)行壓縮,但是目前來看,視頻監(jiān)控領(lǐng)域的4K攝像機占有率遠(yuǎn)遠(yuǎn)低于1080P或者3MP攝像機的市場占有率。所以H.265首先會在高清和高清+的視頻領(lǐng)域進(jìn)行應(yīng)用。同時這也給H.265預(yù)留出更多的空間進(jìn)行標(biāo)準(zhǔn)的優(yōu)化、H.265編碼器的優(yōu)化,以進(jìn)一步降低計算復(fù)雜度、提升壓縮效率。這樣的優(yōu)化工作需要通過整個產(chǎn)業(yè)鏈(即:標(biāo)準(zhǔn)制定+芯片設(shè)計+攝像機制造+碼流服務(wù))來完成,而不能僅僅依賴視頻監(jiān)控工業(yè)獨立完成。隨著無線傳輸基礎(chǔ)設(shè)施的不斷完善,以及支持4K超高清的顯示大屏和顯示監(jiān)視器等設(shè)備的不斷完善,H.265編解碼,會比H.264接受的更快、更廣!