前段時(shí)間收拾屋子的時(shí)候找到了大學(xué)時(shí)的電腦硬盤,它被遺落在書架角落里已有14年,心懷忐忑地接上硬盤盒,再小心翼翼成功打開的瞬間,我只想高喊一句“爺青回!”在硬盤里不僅找到了很多當(dāng)年的學(xué)習(xí)資料,也翻到了很多用DV和諾基亞手機(jī)拍攝的視頻——既有鐵哥們兒身材清瘦顏值巔峰的影記,也有青澀校園生活的點(diǎn)點(diǎn)滴滴。但那是民用數(shù)碼攝像機(jī)剛剛起步的時(shí)代,什么全高清、4K、高碼率通通不存在,畫面模糊不說,白平衡也經(jīng)常出現(xiàn)問題,連編碼和封包格式都是千奇百怪,我就遇到了好幾條視頻甚至都無法正常播放的窘境……
01 修復(fù)青春記憶,火山引擎免費(fèi)方案靠譜么?
作為在大學(xué)時(shí)期就多次給女同學(xué)P照片,且在《電腦報(bào)》摸爬滾打十幾年的技術(shù)老編輯,找到這些視頻的第一反應(yīng)就是能不能想點(diǎn)法子,讓這些480P甚至320P的老視頻清晰度更高一點(diǎn),噪點(diǎn)少一點(diǎn)呢?正好年底計(jì)劃搞一場(chǎng)大學(xué)同學(xué)會(huì),如果能把這些足以讓全部人當(dāng)場(chǎng)“社死”的好東西修復(fù)到4K的水平,豈不是美事一樁?說干就干,我首先想到的是利用PR、格式工廠等軟件來直接硬調(diào)分辨率,但結(jié)果也毫無意外:算法插值只是拉伸并填充中間色而已,能做到的就是把模糊放大,并不能真正地改變視頻的觀感。
但好在目前的視頻AI算法多如牛毛,我找一個(gè)免費(fèi)的試試不就完了?正好今天看了字節(jié)跳動(dòng)的發(fā)布會(huì),西瓜視頻和火山引擎在會(huì)上公布了“經(jīng)典中視頻4k修復(fù)計(jì)劃”,他們計(jì)劃在一年內(nèi)修復(fù)百部經(jīng)典電影,首批已經(jīng)完成了《葫蘆兄弟》《黑貓警長(zhǎng)》等六部經(jīng)典動(dòng)畫的4K修復(fù)。而且,他們還免費(fèi)開放了比較基礎(chǔ)的自動(dòng)修復(fù)功能,在西瓜創(chuàng)作平臺(tái)的視頻剪輯功能里就能直接調(diào)用,這新鮮出爐的羊毛豈能不薅?
于是我在西瓜視頻創(chuàng)作平臺(tái)上找到了“老片修復(fù)”功能,目前普通用戶每天可以修復(fù)5條30分鐘以內(nèi)的視頻,于是我上傳了一段拍攝于2010年,體積97MB的720P MP4文件進(jìn)行測(cè)試,從上傳、修復(fù)到下載,整個(gè)過程耗時(shí)約50分鐘。
上圖為原片截圖,下圖為修復(fù)后截圖▼
從測(cè)試結(jié)果來看,目前火山引擎的老片修復(fù)功能主要針對(duì)兩種情況進(jìn)行優(yōu)化,第一是降噪,特別是磁帶轉(zhuǎn)數(shù)字保存的視頻,很容易在影片中閃現(xiàn)各種白色噪點(diǎn),而老片修復(fù)功能可以很好地糾正這個(gè)問題,同時(shí)針對(duì)我們數(shù)碼相機(jī)拍攝出現(xiàn)的噪點(diǎn)也能有效抑制,表現(xiàn)還不錯(cuò)。
第二是提升清晰度,720P的低碼率視頻在通過修復(fù)之后,碼率得到了提升,而且從畫面觀感來看的確是有效提升,清晰度相較原片有了一定幅度的增強(qiáng)。
客觀地說,這個(gè)免費(fèi)工具使用簡(jiǎn)單、效果也比較明顯,但是修復(fù)能力只集成了基礎(chǔ)的超分和降噪算法,與西瓜視頻上線的經(jīng)典老片精修效果是無法相提并論的,但對(duì)于普通個(gè)人用戶來說也完全夠用了。
02 簡(jiǎn)單易用的水面之下,蘊(yùn)藏三大優(yōu)勢(shì)沉淀的冰山
很明顯,火山引擎主導(dǎo)的修復(fù)技術(shù)是靠譜的,視頻的清晰度得到了質(zhì)的提升,降噪效果也很好。特別考慮到這是一個(gè)免費(fèi)的技術(shù),就更是難能可貴了,畢竟視頻修復(fù)有幾個(gè)比較大的難點(diǎn),比如工作量大、不可控因素多,電影,尤其是老膠片電影的修復(fù)非常麻煩,需要經(jīng)歷對(duì)膠片的物理清潔和修補(bǔ)、模擬信號(hào)轉(zhuǎn)數(shù)字信號(hào),并結(jié)合AI和人工進(jìn)行數(shù)字化修復(fù)、最后再藝術(shù)修復(fù),還原藝術(shù)風(fēng)格。
在今年第十一屆北京國(guó)際電影節(jié)上就有“修復(fù)經(jīng)典”的展映單元,其中包括《永不消逝的電波》《忠烈圖》《夜叉池》《秋天的童話》《胭脂扣》《教父3》《穆赫蘭道》等一系列上世紀(jì)50~90年代的經(jīng)典作品。
一部老電影的修復(fù)不僅需要花費(fèi)1年以上的時(shí)間,也需要百萬級(jí)別的經(jīng)費(fèi)支撐,所以,對(duì)經(jīng)典電影的修復(fù)不亞于對(duì)文物的修復(fù),需要有技術(shù)、懂藝術(shù),以及付諸于每一幀修復(fù)內(nèi)容的耐心與熱愛,才能完成這樣工作量龐大的修復(fù)工程。那么,火山引擎是有怎樣的金剛鉆,才敢攬下“技術(shù)免費(fèi)開放”這樣大膽的瓷器活,我們認(rèn)為主要有三個(gè)優(yōu)勢(shì)。
第一是算法優(yōu)勢(shì):抖音、西瓜視頻作為國(guó)內(nèi)最大的UGC創(chuàng)作平臺(tái),每天都能收到大量的用戶創(chuàng)作投稿的視頻,不少視頻由于拍攝設(shè)備性能有限,存在著各種各樣的畫質(zhì)問題?;鹕揭孀鳛槎兑?、西瓜視頻的技術(shù)支撐方,每天都在修復(fù)“老片”,增強(qiáng)畫質(zhì)的算法能力可以說是經(jīng)過千錘百煉了,這也算是“贏在起跑線”吧。
算法的優(yōu)勢(shì)也體現(xiàn)在4K HDR能力上。在2019年年底舉辦的首屆全國(guó)人工智能大賽上,主辦方設(shè)立了AI+4K HDR賽項(xiàng),要求將低質(zhì)量540P SDR視頻重建為高質(zhì)量且調(diào)色的4K HDR視頻,火山引擎在參賽的企業(yè)中綜合排名最高,也證明了其修復(fù)老片的算法能力在業(yè)界是比較領(lǐng)先的。
第二是多媒體實(shí)驗(yàn)室的技術(shù)優(yōu)勢(shì):從發(fā)布會(huì)上可以看到,承擔(dān)經(jīng)典老片4K修復(fù)任務(wù)的是火山引擎多媒體實(shí)驗(yàn)室。這個(gè)實(shí)驗(yàn)室不僅支持著字節(jié)跳動(dòng)的內(nèi)部業(yè)務(wù),還在對(duì)外提供服務(wù)。球迷朋友們非常熟悉的懂球帝APP,就使用了火山引擎多媒體實(shí)驗(yàn)室提供的技術(shù),包括直播、點(diǎn)播和圖片處理等場(chǎng)景。公開數(shù)據(jù)顯示,在點(diǎn)播層面,火山引擎為懂球帝服務(wù)端首幀時(shí)間降低了30%+,弱網(wǎng)播放卡頓率降低了10%+;在直播層面,多輪畫質(zhì)調(diào)優(yōu)和推流碼率自適應(yīng),畫面質(zhì)量得到提升;此外,圖片類內(nèi)容通過HEIF壓縮,降低了大圖傳輸延遲;動(dòng)圖類內(nèi)容在優(yōu)化后,用戶可以邊下邊播。
在全球最具影響力視頻編碼器比賽MSU2020上,火山引擎多媒體實(shí)驗(yàn)室研發(fā)的BVC系列編碼器參加了17個(gè)項(xiàng)目,全部都獲得了第一。
?MSU2020大賽上,字節(jié)跳動(dòng)BVC系列編碼器奪得17項(xiàng)第一
第三是對(duì)硬科技的持續(xù)探索。標(biāo)準(zhǔn)化工作一直被視為技術(shù)高地,視頻領(lǐng)域的編解碼國(guó)際標(biāo)準(zhǔn)更是全球科技巨頭爭(zhēng)相參與的領(lǐng)域。在新一代國(guó)際視頻編解碼標(biāo)準(zhǔn)H.266/VCC的制定中,火山引擎多媒體實(shí)驗(yàn)室做出的技術(shù)貢獻(xiàn)排名全球前三,僅次于高通和華為。對(duì)于一家年輕的公司和團(tuán)隊(duì)來說,這個(gè)成績(jī)得來頗為不易。技術(shù)探索和業(yè)務(wù)發(fā)展往往是相輔相成的,抖音、西瓜視頻有海量用戶的使用場(chǎng)景和真實(shí)需求,比如提升畫質(zhì)的需求就帶動(dòng)了火山引擎老片修復(fù)技術(shù)的發(fā)展,驅(qū)動(dòng)著算法持續(xù)迭代優(yōu)化,所以在未來火山視頻還能拿出怎樣神乎的技術(shù)大家也別驚訝,真的是基操勿6……
03 總結(jié):人工智能視覺處理仍在快速發(fā)展當(dāng)中
事實(shí)上,火山引擎為西瓜創(chuàng)作平臺(tái)打造的“老片修復(fù)”,免費(fèi)開放的功能主要是提升清晰度和降噪的部分,對(duì)于大多數(shù)個(gè)人使用來說是綽綽有余了,但修復(fù)經(jīng)典影片還需要大量人力支持。正如西瓜視頻和火山引擎發(fā)布會(huì)上所介紹的,算法雖然能大幅提升效率,但無法解決所有問題。還原老片的藝術(shù)本色,也需要專業(yè)人員的藝術(shù)指導(dǎo),并不僅僅是增強(qiáng)畫質(zhì)。所以,西瓜創(chuàng)作平臺(tái)的老片修復(fù)功能開放了專業(yè)精修服務(wù)報(bào)名通道,針對(duì)有史料價(jià)值的老視頻版權(quán)方,火山引擎將提供免費(fèi)高清修復(fù)。
從整個(gè)行業(yè)來看,視頻高清修復(fù)其實(shí)有很多廠商都在研發(fā),但能直接免費(fèi)放開讓所有人使用的,火山引擎還是第一個(gè),這是一件很有魄力的事情,希望還能再接再厲,讓羊毛飛起來吧!
(來源于:電腦報(bào))