發(fā)布首個(gè)自研NPU芯片，與ISP有何區(qū)別？

　　2021年12月14日舉行的2021 OPPO未來(lái)科技大會(huì)上，OPPO面向未來(lái)十年宣布品牌“煥新”，并亮出了技術(shù)與產(chǎn)品的“創(chuàng)新肌肉”。

OPPO發(fā)布首個(gè)自研NPU芯片

　　在OPPO之前，已有多家手機(jī)廠商推出了自研ISP影像芯片，高通在最新發(fā)布的新驍龍8處理器也重點(diǎn)提升了ISP性能，甚至改變了命名方式。

　　馬里亞納MariSilicon X立項(xiàng)于2019年。OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波本人是芯片行業(yè)“老兵”，之前也是OPPO的核心芯片供應(yīng)商（高通）的從業(yè)人員。在回憶來(lái)OPPO從事芯片之初時(shí)，姜波有兩個(gè)很深的印象：一是當(dāng)時(shí)春筍（OPPO深圳辦公大廈）中有一個(gè)辦公室貼了一張A4打印室，上面寫(xiě)著“馬里亞納”四個(gè)字，團(tuán)隊(duì)還剛剛搭建。另一個(gè)就是這幫人都堅(jiān)信“OPPO既然打算做芯片，就一定會(huì)將影像這條賽道做到極致”。

　　也就是說(shuō)，OPPO從做芯片之初，就堅(jiān)定將“影像”能力進(jìn)階作為自己未來(lái)十年的重點(diǎn)投入的長(zhǎng)技術(shù)賽道。

　　馬里亞納MariSilicon是OPPO首顆自研芯片，也是全球第一顆6nm影像專用NPU芯片。其具備四大技術(shù)突破：

　　第一，強(qiáng)勁的AI計(jì)算性能與領(lǐng)先能效。

　　馬里亞納MariSilicon X集成了自研的MariNeuro AI計(jì)算單元，提供高達(dá)18TOPS的最大有效算力（iPhone 13 Pro Max搭載的蘋果A15 Bionic芯片AI算力為15.8TOPS）。AI算力強(qiáng)勁同時(shí)，業(yè)界領(lǐng)先的11.6TOPS/W的能效表現(xiàn)也同樣重要，這依賴于OPPO自研芯片與AI算法的高效融合與軟件一體優(yōu)化。

　　例如在運(yùn)行OPPO自研的AI降噪算法時(shí)，馬里亞納MariSilicon X能夠以4K的規(guī)格，實(shí)現(xiàn)40fps的處理速度，相比于此前Find X3 Pro通用NPU支持的2fps速度，實(shí)現(xiàn)了20倍的性能躍升，同時(shí)功耗降低超過(guò)50%，體現(xiàn)了越專用越高效的優(yōu)勢(shì)。

　　馬里亞納MariSilicon X還采用了雙層存儲(chǔ)架構(gòu)，其集成的片上內(nèi)存子系統(tǒng)，可提供高達(dá)每秒萬(wàn)億比特的超大吞吐量，保障海量的AI數(shù)據(jù)在計(jì)算時(shí)無(wú)需離開(kāi)AI計(jì)算單元，避免內(nèi)外部數(shù)據(jù)交換帶來(lái)的讀寫(xiě)功耗。此外，馬里亞納MariSilicon X還配備了獨(dú)立DDR帶寬，傳輸速度高達(dá)8.5GB/秒，為芯片內(nèi)各個(gè)計(jì)算單元提供獨(dú)立帶寬，讓超強(qiáng)算力不會(huì)被讀寫(xiě)速度所限制。獨(dú)立DDR帶寬的加入，也為手機(jī)系統(tǒng)總帶寬帶來(lái)了17%的增量。

　　第二，行業(yè)領(lǐng)先的影像性能。

　　馬里亞納MariSilicon X集成了自研的MariLumi影像處理單元，支持最高20bit的處理位寬，并支持驚人的20bit Ultra HDR，是目前旗艦平臺(tái)HDR能力的4倍。在即時(shí)呈現(xiàn)出的畫(huà)面中，最亮與最暗之處的亮度對(duì)比極值達(dá)到100萬(wàn)比1，幾乎與人眼真實(shí)的感受無(wú)異，實(shí)現(xiàn)了手機(jī)影像的、HDR性能新突破。

　　第三，20bit實(shí)時(shí)RAW計(jì)算，計(jì)算影像無(wú)損處理的新范式。

　　馬里亞納MariSilicon X的強(qiáng)大性能幫助OPPO重塑無(wú)損影像鏈路，將傳統(tǒng)鏈路只能在后端完成的AI計(jì)算推向了擁有最多原始信息的最前端——RAW域，為計(jì)算攝影的未來(lái)發(fā)展帶來(lái)革新。

　　傳統(tǒng)計(jì)算攝影的視頻處理基本是在影像鏈路的最末端，即YUV域執(zhí)行，但鏈路中的多次轉(zhuǎn)換會(huì)導(dǎo)致圖像數(shù)據(jù)丟失了大量的信息和細(xì)節(jié)，這也導(dǎo)致傳統(tǒng)計(jì)算攝影只能對(duì)有損的信息進(jìn)行處理，無(wú)法實(shí)現(xiàn)最佳的效果。

　　馬里亞納MariSilicon X引領(lǐng)性地將復(fù)雜的AI算法以及20bit HDR融合全部前置到RAW域進(jìn)行，讓AI計(jì)算不再受限于信息量的損耗，為整個(gè)影像鏈路輸出高質(zhì)量的圖像數(shù)據(jù)。與傳統(tǒng)后端計(jì)算相比，馬里亞納MariSilicon X的實(shí)時(shí)RAW計(jì)算能夠帶來(lái)8dB的圖像信噪比提升。

　　第四，專屬的RGBW Pro模式，實(shí)現(xiàn)傳感器能力的最大化。

　　擁有馬里亞納MariSilicon X之后，OPPO第一次完成了影像垂直鏈路整合，RGBW Pro模式就是最好的例證。通過(guò)雙通路設(shè)計(jì)，馬里亞納MariSilicon X首次實(shí)現(xiàn)了對(duì)RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。馬里亞納MariSilicon X的RGBW Pro模式帶來(lái)了8.6dB的信噪比提升，以及1.7倍的解析力提升，在傳感器尺寸規(guī)格都沒(méi)有變化的前提下實(shí)現(xiàn)大幅的影像效果增強(qiáng)。

　　在四項(xiàng)前沿技術(shù)突破的加持下，馬里亞納MariSilicon X以同時(shí)支持4K+20bit RAW計(jì)算+AI+Ultra HDR的全新規(guī)格，為計(jì)算影像樹(shù)立了全新標(biāo)準(zhǔn)，讓安卓AI視頻，首次擁有了4K表現(xiàn)；也讓4K視頻，第一次擁有了AI能力。

　　以上四點(diǎn)，實(shí)際上也是OPPO將馬里亞納MariSilicon X定義為“自研NPU影像芯片”，而不是其他廠商所推出的“自研ISP芯片”的重要原因。

　　姜波對(duì)《壹觀察》表示：馬里亞納MariSilicon X的主要設(shè)計(jì)目標(biāo)，是聚焦通過(guò)NPU去解決釋放計(jì)算影像潛力這一主要問(wèn)題。OPPO認(rèn)為未來(lái)手機(jī)影像最重要的創(chuàng)新方向就是計(jì)算影像，而計(jì)算影像的上限又是AI算力。如今手機(jī)照片的計(jì)算影像各家企業(yè)實(shí)際上做的都不錯(cuò)，但針對(duì)影像的專用AI算力各家差異很大，導(dǎo)致在夜景拍攝等極限場(chǎng)景的“所見(jiàn)即所得”與視頻拍攝過(guò)程中的體驗(yàn)扔不夠好，這就是OPPO決定投入巨大資源打造像專用NPU芯片的重要原因。

　　對(duì)于與ISP的區(qū)別，整個(gè)影像單元其實(shí)功能非常多，ISP往往只能解決一部分問(wèn)題，并且ISP封裝之后很難再通過(guò)算法進(jìn)行性能提升。而“自研NPU影像芯片”可以很好地完整解決這兩大問(wèn)題。

手機(jī)廠商究竟要不要自己做芯片？

　　手機(jī)廠商要不要自研芯片？一個(gè)觀點(diǎn)是，芯片產(chǎn)業(yè)已有非常成熟的解決方案，自研模式投入周期長(zhǎng)、風(fēng)險(xiǎn)高。

　　高通產(chǎn)品管理副總裁Judd Heape12月初在驍龍技術(shù)峰會(huì)上談到，手機(jī)廠商在如今打造的ISP芯片特性，后續(xù)將會(huì)被集成在驍龍旗艦主芯片中，取代目前額外增加硬件的方式。高通全球CEO安蒙在接受《財(cái)經(jīng)》記者專訪時(shí)評(píng)論稱，手機(jī)廠商的專長(zhǎng)在于打造完整的手機(jī)終端交付體驗(yàn)，如果芯片與終端兩頭兼顧，要耗費(fèi)不小的精力。

　　但從另一個(gè)角度來(lái)看，全球高端手機(jī)廠商，蘋果、華為、三星無(wú)一不具有自主研發(fā)的芯片實(shí)力。蘋果手機(jī)的創(chuàng)新力近年來(lái)屢遭詬病，但其在A系列芯片的發(fā)布依然備受矚目，并被認(rèn)為是蘋果手機(jī)能保持強(qiáng)有力競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵。華為更是依靠對(duì)麒麟芯片的長(zhǎng)期投入，打造了與其他手機(jī)品牌不同的差異化能力與影像護(hù)城河。

　　更重要的是，如果沒(méi)有自研能力，在外部形式充滿不確定的情況下，誰(shuí)也無(wú)法絕對(duì)保證不會(huì)發(fā)生類似華為芯片“卡脖子”之痛。即使退一萬(wàn)步來(lái)講不談供應(yīng)鏈風(fēng)險(xiǎn)，公開(kāi)市場(chǎng)的通用SoC芯片產(chǎn)品，無(wú)法做到對(duì)特定品牌、特定人群與特定機(jī)型進(jìn)行精準(zhǔn)優(yōu)化。手機(jī)企業(yè)一是很難打造差異化產(chǎn)品，二是很難將自身用戶需求進(jìn)行底層精準(zhǔn)定義與功能創(chuàng)新。導(dǎo)致的結(jié)果，就是產(chǎn)品高度同質(zhì)化，再加上某些手機(jī)品牌熱衷于“搶首發(fā)”從而導(dǎo)致行業(yè)不斷催生“內(nèi)卷”。

　　OPPO創(chuàng)始人兼首席執(zhí)行官陳明永在今年OPPO未來(lái)科技大會(huì)上的表態(tài)也正面回答了這一問(wèn)題：科技公司必通過(guò)關(guān)鍵技術(shù)解決關(guān)鍵問(wèn)題，如果沒(méi)有底層核心技術(shù)，就不可能擁有未來(lái)。而沒(méi)有底層核心技術(shù)的旗艦產(chǎn)品，更是空中樓閣。

　　陳明永強(qiáng)調(diào)稱：“OPPO會(huì)持續(xù)投入資源，用幾千人的團(tuán)隊(duì)，腳踏實(shí)地地做自研芯片”。

　　《壹觀察》了解到，為了開(kāi)發(fā)馬里亞納MariSilicon X，OPPO組建的芯片研發(fā)團(tuán)隊(duì)高達(dá)2000人（不排除同時(shí)有研發(fā)其他芯片），其中很多核心人員都是來(lái)自于一線的半導(dǎo)體大廠。

OPPO擁有“馬里亞納”意味著什么？

　　從馬里亞納MariSilicon X這顆NPU芯片本身定位來(lái)看，很有意思。

　　首先，其定位從設(shè)計(jì)之初到如今量產(chǎn)都非常堅(jiān)定：打破手機(jī)影像如今的天花板。

　　姜波對(duì)此表示：OPPO智能手機(jī)業(yè)務(wù)此前10來(lái)年的發(fā)展歷程中，已經(jīng)在影像領(lǐng)域有大量的積累，且在長(zhǎng)期采用第三方通用平臺(tái)的過(guò)程中，也有很多AI與CV（計(jì)算機(jī)視覺(jué)）算法的經(jīng)驗(yàn)，當(dāng)業(yè)界都公認(rèn)計(jì)算影像是未來(lái)10年影像領(lǐng)域的發(fā)展方向時(shí)，如何更好地凝聚這些積累并繼續(xù)演進(jìn)就成為關(guān)鍵，這也是OPPO打算自研影像處理芯片的初衷。

　　手握“馬里亞納”的OPPO也在本屆未來(lái)科技大會(huì)上公開(kāi)宣布：MariSilicon X這顆NPU芯片不僅是過(guò)去十年的總結(jié)，也是OPPO未來(lái)十年影像的新開(kāi)篇之作。

　　第二，首款自研芯片即挑戰(zhàn)6nm制程，并且一次流片成功。

　　6nm制程已經(jīng)與如今主流的智能手機(jī)5G SoC，如高通驍龍778G/778G+，聯(lián)發(fā)科天璣1200/1100處于同一梯隊(duì)，并且還“擠進(jìn)”了臺(tái)積電產(chǎn)能排期。

　　國(guó)外媒體曾報(bào)道過(guò)一個(gè)數(shù)據(jù)：28nm節(jié)點(diǎn)的芯片開(kāi)發(fā)成本約為5130萬(wàn)美元；16nm節(jié)點(diǎn)則需要1億美元；7nm節(jié)點(diǎn)需要2.97億美元；5nm節(jié)點(diǎn)，開(kāi)發(fā)芯片的費(fèi)用將達(dá)到5.42億美元；3nm的開(kāi)發(fā)費(fèi)用有可能超過(guò)10億美元。

　　考慮到這是數(shù)年前的數(shù)據(jù)，再加上MariSilicon X并不是一款SoC芯片，其開(kāi)發(fā)費(fèi)用可能并沒(méi)有那么高，但業(yè)界估計(jì)也需要到1億美元以上級(jí)別。而從2018年INNO DAY上OPPO創(chuàng)始人陳明永宣布2019年“研發(fā)投入100億人民幣”，再到短短一年后的INNO DAY上“3年500億人民幣”的迅速攀升，還有很大一部分比例都為芯片研發(fā)業(yè)務(wù)所占據(jù)。

　　同時(shí)越先進(jìn)的制程工藝，往往意味著設(shè)計(jì)的難度越高，可以用到的第三方的成熟IP也就越少，面臨的“流片”風(fēng)險(xiǎn)也就越大。

　　姜波在與《壹觀察》對(duì)話中也透露稱：采用6nm制程工藝的MariSilicon X不僅一次流片成功，而且測(cè)試表現(xiàn)也完全達(dá)到了開(kāi)發(fā)團(tuán)隊(duì)的預(yù)期，從前期研發(fā)到后期流片的所有投入都算是扎扎實(shí)實(shí)落了地。這一方面可以說(shuō)是“極其幸運(yùn)”，但更說(shuō)明了OPPO如今這個(gè)芯片團(tuán)隊(duì)的技術(shù)能力與成熟度。與之對(duì)比的是，某國(guó)產(chǎn)手機(jī)品牌在2019年的第二代芯片打造中“流片失敗五次，資金就燒了幾十億”，可謂教訓(xùn)慘痛。

　　姜波認(rèn)為手機(jī)企業(yè)做芯片必須掌握三個(gè)關(guān)鍵要素：時(shí)間、投入、人才，而后者更為重要。OPPO在芯片領(lǐng)域是一個(gè)“后來(lái)者”，同時(shí)切入角度比較陡峭，對(duì)標(biāo)的芯片技術(shù)含量比較高，從客觀上來(lái)講難度是非常大的。但OPPO不同團(tuán)隊(duì)之間協(xié)同性非常好，比如芯片與影像打通，算法與硬件的協(xié)同都極其高效與流暢，對(duì)MariSilicon X芯片在短短不到三年就取得技術(shù)突破、流片成功與產(chǎn)品量產(chǎn)可以說(shuō)同樣至關(guān)重要。

　　第三，MariSilicon X芯片已經(jīng)量產(chǎn)，將于2022年一季度的新一代Find X系列上首發(fā)搭載上市。

　　也就是說(shuō)，新一代Find X系列將會(huì)是OPPO近年來(lái)在手機(jī)影像上的一次重要突破。這點(diǎn)還要考慮另外一個(gè)變量，也就是一加在回歸OPPO之后，哈蘇戰(zhàn)略合作帶來(lái)的光學(xué)、算法與調(diào)教的明顯提升。開(kāi)啟“雙芯時(shí)代”的OPPO，由此也將真正踏上未來(lái)十年影像的新開(kāi)篇。

OPPO新品牌主張：微笑前行

　　在此次大會(huì)上，OPPO正式升級(jí)了全新品牌主張——微笑前行。

　　陳明永在大會(huì)上表示，“微笑前行”，源自O(shè)PPO本分價(jià)值觀，也來(lái)自O(shè)PPO打造首款笑臉手機(jī)以來(lái)一直堅(jiān)持的“為用戶創(chuàng)造驚喜感”的產(chǎn)品思維。

　　陳明永表示，社會(huì)上有很多奮發(fā)向上的平凡個(gè)體，他們是這個(gè)時(shí)代的爬坡者。“微笑前行”，代表著OPPO與所有爬坡者的共同行動(dòng)。OPPO作為微笑前行的爬坡者，未來(lái)希望通過(guò)科技創(chuàng)新，推動(dòng)行業(yè)與社會(huì)發(fā)展。讓每一位爬坡者在前行路上，有伙伴、有力量。即使置身風(fēng)雨，也能心向光明，微笑前行。

　　2020-2021年對(duì)于OPPO來(lái)說(shuō)是充滿挑戰(zhàn)的一個(gè)周期，包括重新梳理產(chǎn)品線、調(diào)整組織架構(gòu)、優(yōu)化渠道體系，提出“科技為人，以善天下”品牌信仰，并明確“3+N+X”的科技躍遷戰(zhàn)略。

　　2021年底舉行的OPPO未來(lái)科技大會(huì)，更像是對(duì)OPPO技術(shù)、產(chǎn)品與新品牌理念的一次“檢閱”。除了發(fā)布馬里亞納MariSilicon X芯片之外，OPPO還推出了其第三代AR眼鏡：OPPO Air Glass，已經(jīng)具備量產(chǎn)能力，并具備高攜帶性與較強(qiáng)的實(shí)用性。其首款折疊屏手機(jī)——OPPO Find N系列也于12月15日正式發(fā)布，成為OPPO展示產(chǎn)品創(chuàng)新實(shí)力與沖擊期間的新利器。

　　面向未來(lái)十年，OPPO的定位是“微笑前行的爬坡者”，這說(shuō)明OPPO選擇的是一條充滿挑戰(zhàn)，但樂(lè)于拼搏之路。就像陳明永所說(shuō)：“堅(jiān)持做正確的事情，對(duì)的路，就不怕遠(yuǎn)，不怕難”，“未來(lái)的OPPO一定會(huì)有更多原創(chuàng)技術(shù)如繁星般涌現(xiàn)”。