在2010年,ITU-T VCEG和ISO/IEC MPEG共同立項(xiàng)了聯(lián)合項(xiàng)目HEVC(High Efficiency Video Coding),開(kāi)始研究和制定下一代視頻壓縮標(biāo)準(zhǔn),將主要目標(biāo)定義為在1080P分辨率上,相比當(dāng)前主流的視頻壓縮算法提高一倍左右的壓縮比,并提供更高分辨率的有效支持。這一標(biāo)準(zhǔn),也被視為目前安防行業(yè)普遍應(yīng)用的H.264/AVC算法的繼任者H.265。2013年初,HEVC通過(guò)標(biāo)準(zhǔn)組織第一階段審批,正式名稱為ITU-T H.265。據(jù)悉,H.265的整個(gè)標(biāo)準(zhǔn)化程序?qū)⒃?014年左右完成,本文就H.265的性能、關(guān)鍵技術(shù)、復(fù)雜度、應(yīng)用趨勢(shì)和產(chǎn)業(yè)影響等方面進(jìn)行簡(jiǎn)單的分析。
一.性能指標(biāo)
H.265作為新一代的視頻壓縮技術(shù),其核心的優(yōu)勢(shì)在于相比之前的歷代標(biāo)準(zhǔn),可以在同樣的圖像質(zhì)量下,大幅降低壓縮碼率。
從客觀效果提升上看,根據(jù)測(cè)試H.265在1080P分辨率下相比H.264碼率降低一半左右,并且分辨率越高優(yōu)勢(shì)越顯著。下圖是以標(biāo)準(zhǔn)測(cè)試序列Kristen and Sara(720P60)和Kimono1(1080P24)所得的結(jié)果??梢钥闯?,720P下的碼流降低幅度約30%~40%,1080P下約40%~50%??傮w而言,H.265相對(duì)于H.264/AVC客觀性能的提升幅度已達(dá)成目標(biāo)。
圖1.H.265與各壓縮標(biāo)準(zhǔn)的客觀性能比較[1]
需要指出的是,H.265的壓縮性能提升主要體現(xiàn)在高清圖像上,對(duì)于標(biāo)清及更小分辨率的圖像幅度有限。對(duì)于高清圖像,如果其紋理復(fù)雜銳利,也較有可能無(wú)法達(dá)到上述性能。
在主觀圖像測(cè)試方面也獲得了類似的結(jié)果,1080P下H.265在節(jié)省了約50%碼流的同時(shí),所得的圖像質(zhì)量與H.264相當(dāng)。
表1.H.265與H.264的主觀效果比較[1]
二.技術(shù)特征
H.265與H.264所采用的基礎(chǔ)框架類似,在各個(gè)主要的技術(shù)點(diǎn)上都進(jìn)行改進(jìn),尤其是引入了圖像塊自適應(yīng)四叉樹(shù)劃分,并采用一系列變尺度的圖像紋理特征自適應(yīng)編碼技術(shù),較大幅度提升了圖像平坦區(qū)域的壓縮能力。各種先進(jìn)的技術(shù)共同作用,使新標(biāo)準(zhǔn)獲得了性能的顯著提升。
圖2. H.265的編碼框架[2]
H.265相對(duì)于H.264比較大的改進(jìn)是:
1)在圖像分塊以及運(yùn)動(dòng)補(bǔ)償、變換塊方面,支持更大尺寸和更多種類;
2)更靈活豐富的幀內(nèi)/幀間預(yù)測(cè)、運(yùn)動(dòng)矢量預(yù)測(cè)和變換模式;
3)增加環(huán)內(nèi)采樣自適應(yīng)濾波SAO;
4)提供TILE模式等技術(shù),更好地支持并行處理。
這些新技術(shù)的運(yùn)用,不但有效地提高壓縮性能,也為充分地考慮了設(shè)計(jì)上的可并行性,為各種處理器平臺(tái)的有效實(shí)現(xiàn)擴(kuò)展了空間。
三.復(fù)雜度估計(jì)
關(guān)于運(yùn)算復(fù)雜度方面,可以從編碼和解碼、軟件實(shí)現(xiàn)和硬件實(shí)現(xiàn)兩個(gè)維度與H.264/AVC進(jìn)行比較分析。
軟件編碼:根據(jù)初步測(cè)試,如果希望接近或達(dá)到官方展示的壓縮效果,軟件實(shí)現(xiàn)的H.265編碼器與H.264的優(yōu)秀編碼器如x264相比,運(yùn)算復(fù)雜度可能有數(shù)量級(jí)上的增加。
1)其原因主要在于,H.265的性能提升很大部分通過(guò)增加較多的編碼模式達(dá)成,而從這些模式中擇優(yōu)選取,是一項(xiàng)非常消耗運(yùn)算量的工作。不過(guò)隨著學(xué)術(shù)與產(chǎn)業(yè)界研究和應(yīng)用的深入,針對(duì)H.265更為高效的新算法不斷提出,運(yùn)算的復(fù)雜度將逐漸可控。
2)硬件編碼:由于H.265定義的最大圖像分塊為64x64像素,為了保存較大區(qū)域的原始圖像,意味著需要更多的片上緩沖區(qū)。面向高清應(yīng)用,對(duì)應(yīng)運(yùn)動(dòng)搜索范圍的增大也會(huì)產(chǎn)生相同的影響。再者,H.265在各模塊,如運(yùn)動(dòng)補(bǔ)償、變換量化、采樣自適應(yīng)濾波等方面的改進(jìn),也需要更多硬件資源。并且,更復(fù)雜模式選擇算法所要求的計(jì)算代價(jià)仍然存在,只不過(guò)與軟件相比,以芯片邏輯面積的增長(zhǎng)替代了處理器時(shí)鐘的消耗??偟膩?lái)說(shuō),對(duì)于一般性能要求的硬件編碼而言,實(shí)現(xiàn)復(fù)雜度增加比軟件編碼要低一些,是H.264的三五倍左右。
3)軟件解碼:由于沒(méi)有模式選擇的巨大消耗,H.265在軟件解碼方面的復(fù)雜度較為理想,可能是H.264的兩倍不到。目前國(guó)內(nèi)外不少?gòu)S商都在x86、ARM等平臺(tái)上發(fā)布了可商用的H.265解碼軟件,推動(dòng)了標(biāo)準(zhǔn)的普及應(yīng)用。
4)硬件解碼:從H.265已公布的Main Profile定義看,相對(duì)于H.264在硬件解碼方面的復(fù)雜度也有一定程度的增加,尤其是如果需要兼容整個(gè)Profile的全部定義,其增加的幅度可能與中等設(shè)計(jì)要求的硬件編碼接近。
四.應(yīng)用趨勢(shì)
對(duì)于視頻監(jiān)控應(yīng)用來(lái)說(shuō),存儲(chǔ)時(shí)長(zhǎng)和容量成本一直是方案設(shè)計(jì)時(shí)需要反復(fù)權(quán)衡的關(guān)鍵矛盾之一。當(dāng)大規(guī)模聯(lián)網(wǎng)模式和集中存儲(chǔ)方案開(kāi)始推廣后,網(wǎng)絡(luò)帶寬的瓶頸也逐步浮現(xiàn)。尤其是高清應(yīng)用的普及,更凸顯了這些問(wèn)題,提高壓縮性能的需求日益迫切。
面對(duì)這種情況,安防行業(yè)技術(shù)較為領(lǐng)先的廠家,如??低?,一方面在已有的H.264編碼產(chǎn)品上進(jìn)行深入改進(jìn),采用H.264的高級(jí)算法如CABAC、8x8 Transform、Scaling Matrix等繼續(xù)提高壓縮比,并且結(jié)合SVC、ROI等應(yīng)用技術(shù)進(jìn)一步改善效果;另一方面,隨著IT技術(shù)發(fā)展趨勢(shì),安防企業(yè)也將眼光放在了H.265上,是否可以進(jìn)一步緩解高清與高碼流的矛盾,乃至掀起一輪技術(shù)革新的浪潮?
如上述分析,H.265算法的編碼復(fù)雜度較高。如果使用DSP、x86等通用處理器進(jìn)行軟件編碼并希望獲得明顯超過(guò)H.264的性能,需要選擇較為高端的產(chǎn)品平臺(tái),其成本與功耗對(duì)于嵌入式監(jiān)控產(chǎn)品如IP Camera來(lái)說(shuō)還算不上有競(jìng)爭(zhēng)力的方案。同時(shí)也可以預(yù)期,在整個(gè)安防行業(yè)的共同推進(jìn)下,尤其是在IC領(lǐng)域進(jìn)一步深入研發(fā)后,隨著集成H.265編碼功能的硬核SoC推出,H.265有可能憑借壓縮能力上的明顯優(yōu)勢(shì),逐漸取代H.264,并成為未來(lái)的主流。從解碼角度看情況比較樂(lè)觀,H.265的軟解復(fù)雜度相對(duì)于H.264增加得并不多,以至于不但PC,現(xiàn)階段的中檔多核智能手機(jī)也可以較流暢地處理。目前,網(wǎng)上已經(jīng)可以找到一些支持解碼和播放H.265視頻的軟件。不但如此,H.265硬件解碼也較有可能成為未來(lái)處理器的標(biāo)準(zhǔn)配置,據(jù)悉高通、博通、MTK等都有計(jì)劃在不遠(yuǎn)的將來(lái)推出相關(guān)SoC。
在聯(lián)網(wǎng)系統(tǒng)方面,H.265面對(duì)的問(wèn)題要復(fù)雜一些。目前國(guó)內(nèi)安防系統(tǒng)已建或在建網(wǎng)絡(luò)所依據(jù)的標(biāo)準(zhǔn),不論是在平安城市中大力推行的GB/T 28181,還是各類地標(biāo)、企標(biāo),均未就擴(kuò)展H.265的可能性進(jìn)行論證。論證之后,對(duì)于標(biāo)準(zhǔn)的修訂一般都需要不少時(shí)間,即便修訂標(biāo)準(zhǔn)擴(kuò)展支持,新產(chǎn)品接入和兼容,也需要各廠家調(diào)試磨合??梢灶A(yù)期,在已建成并投入運(yùn)營(yíng)的系統(tǒng)上,產(chǎn)品換代將會(huì)以非常穩(wěn)健的步驟推進(jìn)。保守估計(jì),H.265設(shè)備在安防行業(yè)聯(lián)網(wǎng)系統(tǒng)上獲得成規(guī)模的應(yīng)用,也許需要數(shù)年的周期。
從目前來(lái)看,H.265標(biāo)準(zhǔn)的發(fā)展與推廣,可能在專利方面存在一定阻礙。據(jù)悉,持有H.265重要專利的企業(yè),例如三星、高通以及聯(lián)發(fā)科等,目前尚沒(méi)有表態(tài)愿意將其專利加入到MPEG LA的專利池中,而是保留各自收取專利費(fèi)的可能性。如果H.265實(shí)行分別收費(fèi),這些握有各自核心專利的寡頭們?nèi)匀荒軌蛲ㄟ^(guò)相互交換授權(quán)來(lái)瓜分蛋糕,但其他廠家尤其是與上述企業(yè)存在競(jìng)爭(zhēng)業(yè)務(wù)者,很可能對(duì)標(biāo)準(zhǔn)態(tài)度審慎,最終影響其普及。安防領(lǐng)域企業(yè)的面臨的情況也將類似。
五.產(chǎn)業(yè)影響
如果梳理視頻壓縮標(biāo)準(zhǔn)發(fā)展的脈絡(luò),可以發(fā)現(xiàn)一個(gè)現(xiàn)象:較早的H.262/MPEG2標(biāo)準(zhǔn),由ITU-T VCEG和ISO/IEC MPEG共同制定,在ITU-T主導(dǎo)的電信和MPEG主導(dǎo)的廣電領(lǐng)域都獲得了統(tǒng)治地位;接下來(lái)H.263和MPEG4-P2由兩個(gè)組織分別制定,結(jié)果影響力相對(duì)削弱,只是各自在其專業(yè)領(lǐng)域占據(jù)局部份額;到了H.264/AVC時(shí)代,VCEG和MPEG再度聯(lián)手,又打造了影響力巨大的一代標(biāo)準(zhǔn),并且成功地整合了電信、廣電、互聯(lián)網(wǎng)應(yīng)用,安防監(jiān)控也包括其中。再具體地看H.264,雖然標(biāo)準(zhǔn)設(shè)計(jì)時(shí)針對(duì)移動(dòng)、標(biāo)清電視、高清等不同場(chǎng)景定義了Baseline、Main、Ext和High Profile等多個(gè)檔次,但具體每個(gè)檔次獨(dú)有的技術(shù),例如Baseline Profile面向移動(dòng)的ASO、FMO、RS等特殊工具在實(shí)際中卻甚少采用,大量的實(shí)現(xiàn)還是以基本工具為核心搭建的。
上述的現(xiàn)象也許意味著,信息交互正在廣泛應(yīng)用于各行各業(yè)中,視頻作為數(shù)據(jù)量最大的非結(jié)構(gòu)化信息之一,其壓縮標(biāo)準(zhǔn)越來(lái)越成為通用的基礎(chǔ)定義,行業(yè)應(yīng)用特征逐漸弱化。另一方面,弱化行業(yè)應(yīng)用特征后,視頻壓縮標(biāo)準(zhǔn)也能夠更精簡(jiǎn)并專注于其核心價(jià)值上,直面提升壓縮能力、增強(qiáng)可并行度的挑戰(zhàn)。而各行業(yè)應(yīng)用的特定需求,例如移動(dòng)應(yīng)用的容錯(cuò)問(wèn)題,廣電應(yīng)用的版權(quán)保護(hù),安防應(yīng)用的數(shù)據(jù)防偽、保密等,最好歸到數(shù)據(jù)封裝與傳輸環(huán)節(jié)解決,系統(tǒng)層次結(jié)構(gòu)更清晰,應(yīng)用擴(kuò)展更靈活。
可能正是基于這種考慮,H.265標(biāo)準(zhǔn)到目前為止只發(fā)布了Main Profile一個(gè)檔次,不再針對(duì)移動(dòng)、高清等應(yīng)用引入明顯差異化的技術(shù)。后續(xù)可能會(huì)就更高位寬或不同色域采樣格式的輸入數(shù)據(jù)進(jìn)行細(xì)分,是否會(huì)面向行業(yè)應(yīng)用分化并引入專用技術(shù)值得我們共同觀察。
在安防市場(chǎng)方面,用戶的形態(tài)也在發(fā)生擴(kuò)充。隨著技術(shù)的發(fā)展和大眾安全意識(shí)的提高,民用市場(chǎng)的安防需求日益增長(zhǎng),基于互聯(lián)網(wǎng)的通用型設(shè)計(jì)開(kāi)始出現(xiàn),并帶來(lái)安防設(shè)備從專業(yè)應(yīng)用分化出消費(fèi)類產(chǎn)品。在這一轉(zhuǎn)變的過(guò)程中,安防網(wǎng)絡(luò)可能會(huì)與通信網(wǎng)、廣電網(wǎng)、互聯(lián)網(wǎng)全面融合,原本的監(jiān)控設(shè)備可能兼具視頻通訊、影音娛樂(lè)、家庭數(shù)據(jù)中心等多種功能,難以將其明確歸類到某種具體用途上。如果發(fā)生這樣的情況,弱化了行業(yè)應(yīng)用特征的H.265,可能更加富有競(jìng)爭(zhēng)力。由H.265作為視頻信息的基礎(chǔ)標(biāo)準(zhǔn),也將反過(guò)來(lái)促進(jìn)各類專用網(wǎng)絡(luò)的融合,推動(dòng)專用設(shè)備突破原本的形態(tài)邊界,共同完成信息標(biāo)準(zhǔn)化整合,并邁向物聯(lián)網(wǎng)、大數(shù)據(jù)時(shí)代。
具體來(lái)說(shuō),未來(lái)幾年內(nèi)H.265推廣對(duì)安防產(chǎn)業(yè)較為可期的促進(jìn)有:1)加速高清產(chǎn)品的普及,推動(dòng)超高清產(chǎn)品的發(fā)展;2)改變視頻監(jiān)控產(chǎn)品的成本構(gòu)成,影響安防系統(tǒng)解決方案,助力集中存儲(chǔ)型系統(tǒng)的推廣應(yīng)用;3)伴隨4G通信標(biāo)準(zhǔn)落地和移動(dòng)處理器性能的飛速提升,高清視頻監(jiān)控應(yīng)用在移動(dòng)終端設(shè)備中鋪開(kāi)。對(duì)這一新標(biāo)準(zhǔn)將對(duì)安防行業(yè)產(chǎn)生的影響,大家可以在信息時(shí)代變革的洪流中共同期待。
參考文獻(xiàn)
[1].Comparison of the Coding Efficiency of Video Coding Standards — Including High Efficiency Video Coding (HEVC), Jens-Rainer Ohm, Gary J. Sullivan, etc. IEEE Trans. VOL.22, NO.12, December 2012.
[2].Overview of the High Efficiency Video Coding (HEVC) Standard, Gary J. Sullivan, Jens-Rainer Ohm, etc. IEEE Trans. VOL.22, NO.12, December 2012.