從計算攝影看移動處理器AI芯片的應(yīng)用

從計算攝影看移動處理器AI芯片的應(yīng)用

在攝影圈，一直流行著一句話“底大一級壓死人”說得就是感光元件（CCD、CMOS甚至是底片）的大小，基本上決定了相機成像質(zhì)量的高低。傳感器越大，接受光的能力越強，在攝影這個用光的藝術(shù)中，光便是一切的基礎(chǔ)。同樣像素，如果傳感器越大，那么單個像素的面積也就越大。能夠接收的光線也就越多。光就是這個世界給你的信號，接受越多，信號越強，基于信號的畫質(zhì)當(dāng)然就越強。

但是，在2022年的今天這句話似乎不在那么正確了。不知道你有多久沒有看到卡片相機了？如今的卡片機市場除了SONY的黑卡系列，相比于十幾年前的百花齊放，已經(jīng)沉寂了太多。是什么“殺死”了卡片機呢？相信答案對你來說，已經(jīng)十分明朗，那就是手機攝影，或者，你也可以叫它“計算攝影”。

相對于傳職攝影的相機，如今的智能手機機身可以說是寸土寸金，根本沒有多余的空間塞下一顆巨大的CMOS，更不用提大型CMOS昂貴的制造成本。如今的智能手機選擇另辟蹊徑，用手機中性能相對強大的SoC，利用AI機械學(xué)習(xí)開辟了另一條攝影賽道，這便是計算攝影。

相機中的畫幅大小

首先，需要明確的是，目前的手機計算攝影只能對傳統(tǒng)的卡片相機造成毀滅性的打擊。對于CMOS大于1英寸的單反，微單來說，計算攝影依舊還是蜉蝣撼樹。

說到AI協(xié)助的計算攝影的，就不得不提前些年在計算攝影中，走得最遠的Google　Pixel系列。

Google Pixel

初代pixel發(fā)布于2016年，基礎(chǔ)驍龍821的AI引擎——向量擴展內(nèi)核(Hexagon Vector eXtensions)（以下簡稱HVX）加入了HDR+的效果，僅用一顆性能平庸的IMX378傳感器就問鼎當(dāng)年DxO手機攝影評分的第一名。所謂的“HDR+”類似于傳統(tǒng)攝影的包圍曝光，分別以欠曝、過曝和正常曝光拍攝三張照片并合成，這樣就能得到一張高光和暗部細節(jié)都得以保存的高質(zhì)量照片。但是，傳統(tǒng)的包圍曝光有它的劣勢，曝光時間不同會導(dǎo)致對齊困難，鬼影，重影等等問題，在低光的時候表現(xiàn)也不好。而Google的工程師團隊選擇了一條“稍微”不一樣的道路：硬件上依賴于驍龍821提供的HVX內(nèi)核，它能夠讓Pixel以零快門延遲高速持續(xù)的拍攝RAW無損格式照片，而這一過程從你開啟相機的那一刻起就已經(jīng)開始；當(dāng)你按下快門鍵的時候，實際得到的樣張來自于此刻所拍攝的照片與之前已拍攝照片的合成。而與傳統(tǒng)包圍曝光不同的是，pixel拍攝的三張照片全是欠曝的。而欠曝照片的色彩往往十分準(zhǔn)確，但暗部噪點較多，此時pixel會通過堆棧合成三張照片來降低暗部噪點并提升畫面亮度，最后輸出一張正常且高質(zhì)量的照片。

Google Pixel在2016年的一騎絕塵，為手機攝影指引了一個新的方向，AI計算攝影的加入極大的提升了手機的拍攝畫質(zhì)。普通人用手機拍出“大片”已經(jīng)逐漸變?yōu)榭赡堋?/p>

時間來到2018年，Apple發(fā)布了基于A12 Bionic芯片的iPhoneXs和iPhoneXs max。得益于A12強大的神經(jīng)網(wǎng)絡(luò)引擎，Apple實現(xiàn)了Smart HDR和焦外成像的功能。前者可以通過AI場景識別，自動拍攝多張照片，智能選取其中最好的幾張照片進行合成，這應(yīng)該意味著最終的HDR能夠更好地避免明亮區(qū)域的割裂；而后者則是允許用戶在人像模式拍攝完成后隨時改變鏡頭光圈，通過計算模擬不同光圈所帶來的景深變化，用軟件來模擬傳統(tǒng)相機的光學(xué)效果。到了2020年，iPhone在計算攝影上更進一步，帶來了一項革命性的計算攝影技術(shù)——Deep fusion（深度融合）

焦外成像功能

當(dāng)你按下快門的一瞬間，iPhone會用高速快門連續(xù)捕捉4張照片，之后又會用標(biāo)準(zhǔn)的快門時間繼續(xù)記錄四張照片，與此同時，還會記錄一張長曝光照片。記錄完成后，A13的神經(jīng)網(wǎng)絡(luò)引擎便會開始工作，用AI自動識別拍攝場景并且為之后的合成排列權(quán)重：譬如天空、墻壁和地板等紋理不多的素材分得較低權(quán)重，對皮膚、衣服、織品等則給予較高權(quán)重，高權(quán)重元素會從某一張該元素細節(jié)最豐富的短時曝光照片中獲得細節(jié)、從合成長時間照片里獲取色調(diào)、顏色和亮度并用最高精度的高畫質(zhì)算法進行融合，而低權(quán)重的元素區(qū)域估計直接就拿合并長時間圖片像素來做或使用低精度的快速算法進行融合。用四張高速快門的影像來消除模糊虛影，四張標(biāo)準(zhǔn)照片和一張長曝光照片來獲取更多的影像細節(jié)。從而用盡量少的運算量，獲得一張質(zhì)量盡可能高的圖像。

Deep fusion所帶來的銳度增強

通過上述表述，可以看出，就算是強如當(dāng)年的A13處理器，完成如此大量的運算，也需要至少1秒的時間。Deep Fusion的加入，使得iPhone成像的銳度和色彩有了巨大的提升，也是得iPhone第一次擁有了在夜間拍攝出高質(zhì)量照片的能力。同時我們也意識到，通過軟件算法疊加人工智能的學(xué)習(xí)能力，未來的AI計算攝影將大有可為。

國外廠商在AI計算攝影方向的攻城略地，而國內(nèi)的廠商也并沒有坐以待斃，榮耀于2021年推出了全新的多攝融合技術(shù)。融合的思路傳承了來自華為P9的彩色鏡頭加黑白的方案。由于黑白相機的cmos沒有色彩相機cmos上的濾波片，成像細節(jié)會更加優(yōu)秀，因此，用黑色鏡頭來還原紋理細節(jié)，彩色鏡頭填充顏色，通過AI計算合成，就能生成一張色彩和細節(jié)俱佳的照片。相比起黑白融合，更加值得人關(guān)注的是榮耀所采用的超廣角融合和長焦融合的算法。

榮耀的多攝融合

眾所周知，手機上的鏡頭礙于物理尺寸的限制，基本上都是定焦鏡頭（例如，iPhone 13 Pro的三枚鏡頭就是13mm、26mm和77mm）中間的焦段，基本上就只能用數(shù)碼變焦的方式實現(xiàn)，中間就會損失大量的畫質(zhì)。為了解決這個問題，榮耀便提出了超廣角和長焦融合的算法。當(dāng)用戶需要中間焦段時，榮耀便同時調(diào)用超廣角和長焦鏡頭同時成像，再通過AI機械學(xué)習(xí)融合拼接這兩張照片，從而得到一張畫質(zhì)遠高于數(shù)碼變焦的照片，這樣就相當(dāng)于用軟件算法加上AI學(xué)習(xí)，模擬除了連續(xù)光學(xué)變焦的效果，填補了手機中間焦段的空白。

通過計算攝影的進步背后，我們看到了AI技術(shù)的穩(wěn)步發(fā)展，從早期的GPU和CPU分擔(dān)AI運算任務(wù)，到現(xiàn)在各種各樣的獨力移動端AI運算加速芯片，AI芯片的算力逐年增強，

2022年6月 AI benchmark排名

      這一切都為AI這個本就蘊含這無限可能的技術(shù)，賦予了更多的現(xiàn)實意義。AI這個詞，已經(jīng)逐漸從未來照進了我們的現(xiàn)實。我們的智能手機，無論我們是否在使用，它們都在后臺默默學(xué)習(xí)我們每天的生活習(xí)慣，細微到電池的充放電管理，大到判斷用戶的身體健康，AI都在默默便利著我們的生活。在如今疫情防控常態(tài)化的今天，AI的自動人臉識別，正在最大化的減少疫情帶給我們的不便。相信在不遠的未來，我們對于移動端AI的感知，將不止停留在手機攝影中。智能手機的面部識別結(jié)合AI學(xué)習(xí)，你的手機將會真正“認識”你，各種各樣的智能語音助手通過海量的機械學(xué)習(xí)，也許會越來越接近于真正的助手。隨著AI芯片的繼續(xù)發(fā)展，AI在未來，也許無所不能，無處不在。