計算攝影時代加速,驍龍8讓影像從“芯”開始

責任編輯:zhaoxiaoqin

2021-12-21 12:27:48

當前中國智能手機市場已經(jīng)進入高端領(lǐng)域的競爭時代,對于旗艦手機來說,產(chǎn)品的工業(yè)設(shè)計、屏幕、性能等要素已經(jīng)高度規(guī)格化,并不容易作出真正的差異化。在此背景下,影像成為眾多手機廠商著力攻克、實現(xiàn)差異化的一個突破點。特別是近兩年,手機廠商們在發(fā)布新品時往往會重點突出產(chǎn)品的拍照、攝像能力。

  而從消費者的角度來說,根據(jù)2019年的調(diào)查數(shù)據(jù),消費者在選購智能手機時候,拍照也是他們關(guān)注的第一要素。由此可見,智能手機已經(jīng)進入“影像為王”的時代,成為手機市場最重要的主題之一。

1639996526851166.png

  而單就智能手機的影像來說,也經(jīng)歷了不同的發(fā)展時期,從早期的拼像素,到拼攝像頭數(shù)量,然后再到拼傳感器的尺寸,越來越高階。而眼下,智能手機影像領(lǐng)域最炙手可熱的話題,無疑非“計算攝影”莫屬。

  計算攝影,照亮手機影像新方向

  什么是計算攝影?簡單理解,其實就是將計算機軟件算法和現(xiàn)代傳感器、光學系統(tǒng)等技術(shù)融合在一起,從而形成新型的攝影設(shè)備。它突破了傳統(tǒng)數(shù)碼攝影的種種限制,讓算法在攝影中發(fā)揮核心作用,這其中,人工智能技術(shù)的應(yīng)用是關(guān)鍵。

  這里我們再回顧一下手機影像的工作流程:

1639996533230100.png

  光線首先透過鏡組和光圈來到CMOS圖像傳感器,CMOS的作用是將光信號轉(zhuǎn)換為電信號,這時候的信號還是模擬信號,所以需要ADC模數(shù)轉(zhuǎn)換器將模擬電信號轉(zhuǎn)換為數(shù)字信號。

  接著,數(shù)字信號會來到ISP,ISP的主要任務(wù)是通過一系列先進的數(shù)字信號圖像處理算法對傳輸過來的信號進行效果處理,例如壞點校正、去除噪點等等。

  ISP處理過信息后,再通過IO接口傳輸?shù)紺PU中進行比較、存儲、分析等處理,最后通過顯示屏就可以看到圖像了。

  可以看到,傳統(tǒng)手機影像的工作流程中,也是需要算法參與的,主要是在ISP及向后的數(shù)字信息處理的過程。而計算攝影,幾乎可以說成了由計算機算法成主導,參與的深度和復(fù)雜度是傳統(tǒng)攝影無法比擬的,

  而且,計算攝影中,算法干預(yù)的步驟甚至可以達到圖像傳感器這一層級。而且,如今智能手機攝像頭的數(shù)量通常都要達到3個甚至4個,計算攝影的另一個重要使命或者工作,就是推動多攝像頭在拍攝時實現(xiàn)像素級的深度融合、協(xié)同,這背后,需要AI算法深入到傳感器、ISP乃至CPU、GPU等運算模塊,共同完成算法對影像效果的把控。

1639996539162497.png

  而說到計算攝影,目前智能手機行業(yè)的領(lǐng)先者已經(jīng)做了很多探索,包括谷歌、蘋果、華為等等。而在剛剛過去的驍龍技術(shù)峰會上,高通推出的全新一代驍龍8移動平臺,則在計算攝影方面強勢發(fā)力,將行業(yè)對計算攝影的探索又向前推進了一大步。

  全新一代驍龍8移動平臺,影像與AI構(gòu)建核心競爭力

  作為全球最先進的移動平臺,驍龍是頂級Android體驗的代名詞,而全新一代驍龍8移動平臺則是2022年各大旗艦安卓智能手機的標配,同時也是在AI、影像、性能、連接等各方面都全面升級的一代,其中就包括計算攝影方面的能力。

  看了前面對于計算攝影的介紹,相信大家已經(jīng)能夠想到,驍龍8的計算攝影能力,核心來源于強大的ISP和AI能力。

  1、進階的18-bit Qualcomm Spectra ISP

  今年驍龍8搭載的是全新Qualcomm Spectra ISP,它是高通首個支持 18-bit 的 ISP,也是首個支持 18-bit ISP 的智能手機 ISP。18-bit 技術(shù)超越了許多專業(yè)相機的配置,影響數(shù)據(jù)項相比之前提升達 4096 倍。

1639996547784561.png

  18-bit 為影像表現(xiàn)帶來的,不僅是色彩豐富度的大大提升,動態(tài)范圍也顯著提高。它能夠為畫面帶來額外 4 個比特動態(tài)范圍,將讓用戶能夠在圖像最暗和最亮的部分看到更多細節(jié)。

1639996553785324.png

  同時,Qualcomm Spectra ISP 的強大還體現(xiàn)在瘋狂的像素吞吐能力,它能夠每秒捕捉 32 億像素, 與前代相比速度提升 19%,為移動端最快。而且他還能夠用單個攝像頭以 30fps 捕獲 1.08億像素的畫面,或者三顆攝像頭每顆分別以 30fps 捕獲 3600 萬像素的畫面,或者,按鍵一次在一秒內(nèi)捕獲 240 張 1200 萬像素畫面。

1639996560109219.png

  尤其是在低光環(huán)境下,全新 18-bit Qualcomm Spectra ISP 還支持“超級多幀引擎”,能夠捕獲 30 張畫面,再將它們合成為一張照片。低光條件下拍攝的照片將具有超級銳麗度、超級豐富的色彩和超級的亮度。這一點對于計算攝影能力的提升非常有幫助。

1639996566193864.png

  而在視頻拍攝方面, 18-bit ISP 將率先在智能手機上支持 8K HDR 視頻拍攝,同時 8K HDR 視頻還能以 HDR10 + 格式進行拍攝,并且與前代產(chǎn)品相比,在 HDR10 + 視頻拍攝使用場景下,功耗降低達 50%。

  而且,18-bit ISP 的超大帶寬支持用同一圖像傳感器同時拍攝 8K 視頻(每幀 3300 萬像素)和拍攝 6400 萬像素的照片。

  2、強大的第7代高通AI引擎

  在AI方面,全新一代驍龍8移動平臺搭載了第7代高通 AI 引擎。

  在第7代高通 AI 引擎上,高通著重提升了 Hexagon 處理器的性能,實現(xiàn)了性能翻倍的表現(xiàn),同時對共享內(nèi)存進行了翻倍。

1639996573195654.png

  具體而言,第7代高通 AI 引擎在廣泛的 AI 模型用例中的推理時間比前代 AI 引擎快 4 倍,同時 AI 能效比前代提升 1.7 倍,同時,AI軟件性能也提升了 2 倍。

  另外第7代高通 AI 引擎值得關(guān)注的就是它的傳感器中樞模塊,驍龍 8 中,高通在傳感器中樞里引入了全新低功耗 AI 子系統(tǒng)。該系統(tǒng)為多核架構(gòu),由專用 AI 處理器、DSP、外加自有內(nèi)存組成,用于處理情境數(shù)據(jù)流,包括語音、音頻、傳感器和連接。在全新低功耗 AI 子系統(tǒng)的輔助下,傳感器中樞模塊的 AI 性能提升 75 %,功耗降低 50%。

1639996579104871.png

  還有就是,在第7代高通 AI 引擎中,高通還和谷歌合作,將神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS)引入驍龍平臺。

  NAS 研究可以將要使用的硬件以及其他設(shè)計參數(shù)以幫助工程師快速實現(xiàn)最優(yōu)設(shè)計,自動設(shè)計神經(jīng)網(wǎng)絡(luò)模型。從根本上繪制硬件藍圖并利用 AI 充分發(fā)揮那些特性以產(chǎn)生最優(yōu)結(jié)果。

  此外,它能夠考慮時延、網(wǎng)絡(luò)規(guī)?;蚓鹊饶繕?,將初始網(wǎng)絡(luò)作為起點并全面搜索優(yōu)化網(wǎng)絡(luò)以便在該硬件上針對性約束內(nèi)運行得更快。

  總之就是可以讓第7代高通 AI 引擎的強大AI算力能夠得到充分釋放。

  3、CPU、GPU、傳感器……

  我們知道,驍龍移動平臺的高通 AI 引擎并不是專門的NPU神經(jīng)網(wǎng)絡(luò)芯片,而是通過協(xié)同Hexagon 處理器、CPU、GPU等運算模塊實現(xiàn)強大的AI能力。因此在驍龍8上,CPU、GPU等模塊性能的提升,對于AI能力的升級也非常重要,進而自然也能為計算攝影帶來增益。

  在驍龍8中,全新高通Kryo CPU基于最新的 ARMv9 架構(gòu),采用三星 4nm 制程工藝,核心架構(gòu)包括1 個 Cortex-X2 核心,最高主頻 3.0GHz ,1MB L2 緩存,3 個 Cortex-A710 核心,最高主頻 2.5GHz ,512K L2 緩存,4 個 Cortex-A510 核心,最高主頻 1.8GHz,6MB L3 緩存。

1639996587597460.png

  在這些特性的支持下,高通Kryo CPU的整體性能提升幅度為 20%,能效提升幅度為 30%。

  至于全新的高通 Adreno GPU,也采用了新的架構(gòu),圖形渲染能力提升 30%,并且游戲時的能效提升 25%。

1639996594337576.png

  前面我們說過,計算攝影理念中,AI算法的干預(yù)鏈路甚至可以上探到傳感器層面,而驍龍8也做到了這一點。正如高通在驍龍技術(shù)峰會上宣布的那樣,高通會與索尼傳感器合作,成立聯(lián)合實驗室推動移動影像發(fā)展,聯(lián)合實驗將為基于驍龍 8 開發(fā)的設(shè)備,來提供優(yōu)化,還將在這里進行高通和索尼對于最新影像技術(shù)的測試,甚至為驍龍 8定制圖像傳感器。相信雙方的合作中,計算攝影一定是最重要的方向之一。

  多種創(chuàng)新AI+影像用例坐陣,計算攝影能力可見一斑

  計算攝影中,算法參與智能手機影像工作的幾乎整個流程,從前段的傳感器到后段的CPU、GPU等,每一個環(huán)節(jié),驍龍8都實現(xiàn)了顯著提升。這是完成計算攝影創(chuàng)新應(yīng)用的基本條件,就像完成一幅畫,這些是畫布、顏料、彩筆,有了這些,高通就能通過驍龍8更好地施展才華,將他們在計算攝影方面的創(chuàng)意描繪出來。

  特別是借助全新18-bit Qualcomm Spectra ISP和第7代高通 AI 引擎的融合,驍龍8創(chuàng)造了很多AI+影像的用例,這些用例,都代表著平臺計算攝影能力上了一個新臺階。

1639996603138069.png

  比如利用Qualcomm Spectra ISP的超級多幀引擎,搭載驍龍8的設(shè)備在拍攝運動狀態(tài)物體時,能夠在每張照片中精準地追蹤每個像素細節(jié)。有了這個計算視覺能力,Qualcomm Spectra ISP 能夠助力終端拍出“光影流動”的效果。

  在峰會的演示區(qū),IT之家就看到了這個技術(shù)的演示。搭載驍龍8的參考設(shè)計手機拍攝下面這個場景,前面是靜止的木頭人,后面是不停轉(zhuǎn)動的霓虹摩天輪。在手機上按一下快門,就會快速捕捉很多幀,最終融合成一張木頭人清晰、但后面霓虹風車的燈光模糊成圓形運動軌跡的照片。一張藝術(shù)照輕松拍成。

  還有,全新Qualcomm Spectra ISP融入AI能力后,還可以進行更強大的人臉識別,哪怕在全景照片中人物面部非常小,現(xiàn)在也能準確識別。

  而且在進行人臉識別時,驍龍8現(xiàn)在可以檢測到 300 個特征點,而且神經(jīng)網(wǎng)絡(luò)還針對更多的人臉特征進行訓練,包括眉毛、嘴唇、下頜線等,因此Qualcomm Spectra ISP 可以檢測拍攝對象的表情,從而更準確地理解情緒。

1639996616759592.png

  和人臉識別相關(guān)的還有一個應(yīng)用,就是高通與虹軟合作實現(xiàn)的AI影像,在視頻拍攝狀態(tài)下,能夠同時進行人臉識別、手勢識別和背景虛化,這三者分開,每一個用例都需要足夠的AI算力支撐,現(xiàn)在同時進行,其創(chuàng)新力和難度可想而知。

  IT之家在現(xiàn)場也做了體驗,人物一進入畫面,視頻很快就會完成背景的虛化,同時嘗試搖頭晃腦做手勢,各種效果也能很快跟著改變。

  還有就是,利用三個ISP 中的兩個 ISP ,搭載驍龍8的終端將可以拍攝類似全景圖像的畫面,按一次快門便可獲得無畸變且達到極寬的 140 度視場的照片,再也不用移動手機分幾次拍攝了。

1639996632140484.png

  IT之家在峰會演示現(xiàn)場還看到了一個應(yīng)用,就是利用驍龍8強大的計算攝影能力,同時調(diào)用智能手機的三枚攝像頭進行視頻拍攝,而且最高可以支持3個6400萬像素以30fps的方式同時工作,非常驚人。

  更重要的是,三個攝像頭不僅是同時工作,更能彼此交流數(shù)據(jù),例如廣角鏡頭可從長焦鏡頭中獲取更多的細節(jié),長焦還能通過超廣角鏡頭得到更好的白平衡效果,三枚攝像頭彼此深度融合,正是我們前面說的當前計算攝影的重要應(yīng)用場景。

  最后值得一提的是,在峰會上高通還宣布了在 AI 層面和徠卡的合作:未來驍龍移動平臺將支持由高通 AI 引擎賦能的徠卡Leitz風格(Leica Leitz Look),后續(xù)還會有更多基于其他傳統(tǒng)徠卡鏡頭的風格加入進來。

1639996649131324.png

  結(jié)語

  總體來說,全新一代驍龍8移動平臺憑借全面提升的影像和AI能力,在計算攝影方面實現(xiàn)了諸多創(chuàng)新性的應(yīng)用,并且,上面IT之家展示的還只是高通給出的基本用例,隨著終端手機廠商在應(yīng)用層面的發(fā)力,必然會誕生更多的計算攝影功能和用途,在讓消費者獲得專業(yè)級影像能力的同時,沒推動計算攝影領(lǐng)域的前進和發(fā)展。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號