你知道一部智能手機有多少顆芯片嗎？
作為當(dang)下每(mei)個人最離不開的電子(zi)設備，一部智(zhi)能(neng)手機雖然(ran)(ran)只有巴掌(zhang)大(da)小，但它內部卻至少集成(cheng)了(le)100顆以(yi)上的芯片(pian)。其中，大(da)家最熟(shu)悉的自然(ran)(ran)還是(shi)SoC了(le)，SoC被稱為系統級芯片(pian)，其集成(cheng)了(le)CPU、GPU、ISP、NPU等(deng)，因此(ci)我們(men)可以(yi)說SoC是(shi)手機的“核心處理器”。
這么(me)多(duo)的芯(xin)片(pian)中，NPU（神經網絡處理器）的名字(zi)不像CPU和GPU那么(me)響(xiang)亮，但(dan)它扮演的卻是最聰明的角色，專(zhuan)門負責實現AI運(yun)算和AI應(ying)用(yong)，直接影響(xiang)手機AI能力的強(qiang)弱(ruo)。NPU具(ju)備的AI能力可以(yi)顯(xian)著改變現有的手機功能，而影像就是一個極富應(ying)用(yong)前景的領域。
在12月14日(ri)的(de)OPPO 2021年度未來科(ke)技(ji)大會(hui)上，OPPO就發布了首個自研(yan)NPU芯(xin)片(pian)(pian)馬里亞納(na) MariSilicon X，這顆芯(xin)片(pian)(pian)是全(quan)球首顆為(wei)影像而(er)生的(de)專用NPU芯(xin)片(pian)(pian)，它的(de)出現將極大提升計算攝影的(de)能力和參與程度。其背后展(zhan)示(shi)了OPPO對于(yu)“自研(yan)芯(xin)片(pian)(pian)”的(de)決心，也(ye)透露出其未來發展(zhan)的(de)新思路。
至此，中國智能(neng)手機四大(da)頭部廠商也均加入了自(zi)研(yan)芯(xin)(xin)片(pian)的(de)「芯(xin)(xin)」賽道。
以自己最擅長的領域，探索更深的「馬里亞納」
智能手機中蘊含的(de)芯片有很(hen)多，也表(biao)示著手機廠(chang)商(shang)在自(zi)研芯片的(de)選(xuan)擇上有非常多的(de)方向，為(wei)何(he)OPPO偏偏選(xuan)擇了影像NPU作為(wei)其首個自(zi)研的(de)方向呢？其背后的(de)發展邏輯與OPPO堅持的(de)技術賽道密不可分。
OPPO Find X3
很長一段(duan)時間(jian)里(li)，用戶對(dui)智能手機(ji)最高(gao)的(de)需求(qiu)(qiu)就是(shi)對(dui)于影(ying)像(xiang)(xiang)品質的(de)追求(qiu)(qiu)。對(dui)于手機(ji)品牌而言，要滿足用戶需求(qiu)(qiu)，就必然要在影(ying)像(xiang)(xiang)技術上實現關鍵性突破。
要想(xiang)增強(qiang)影像能(neng)力，最(zui)直(zhi)接的(de)(de)方式就是換用(yong)尺寸更大的(de)(de)傳(chuan)感(gan)器，但機身空(kong)間有限的(de)(de)智能(neng)手機注定不允許動(dong)輒三四個(ge)碩大的(de)(de)影像傳(chuan)感(gan)器的(de)(de)存在(zai)；再加(jia)之尺寸更大的(de)(de)傳(chuan)感(gan)器需要更長的(de)(de)物理焦距，維持(chi)等效27mm左右的(de)(de)主流焦距時(shi)會讓手機的(de)(de)厚(hou)度(du)同步激增，這注定不是一個(ge)可持(chi)續的(de)(de)發(fa)展方向。
OPPO經過過去R系列、Reno系列、Find系列數年在影(ying)(ying)像(xiang)技術上的探(tan)索，發(fa)現想(xiang)要從傳(chuan)感(gan)器(qi)、鏡頭等光學方面繼(ji)續提(ti)升移動影(ying)(ying)像(xiang)素(su)質已經遇到(dao)了瓶頸。只有通過影(ying)(ying)像(xiang)專用NPU，才能(neng)解決(jue)目前ISP功能(neng)局(ju)限和(he)通用算力不(bu)足、傳(chuan)感(gan)器(qi)尺(chi)寸和(he)鏡組光學素(su)質止(zhi)步不(bu)前的難題，這也是未來影(ying)(ying)像(xiang)發(fa)展的主流(liu)方向。
而且(qie)，目前來看上游(you)供應商提(ti)供的(de)通用(yong)芯片以及NPU芯片都無法(fa)滿足(zu)AI對計算(suan)(suan)影像(xiang)提(ti)出(chu)的(de)算(suan)(suan)力(li)和能(neng)效要求。因此(ci)，要兼顧(gu)高算(suan)(suan)力(li)和低能(neng)耗，OPPO也不(bu)(bu)得不(bu)(bu)自研影像(xiang)專用(yong)的(de)NPU。
此(ci)次(ci)OPPO之所以(yi)(yi)將項目(mu)的(de)(de)名稱定(ding)為「馬里亞納」也頗為形象(xiang)，其背后有(you)兩個(ge)原因(yin)。其一，如果想要達到OPPO期(qi)待的(de)(de)移(yi)動(dong)端優(you)質AI影像體驗，更加(jia)成熟的(de)(de)芯片(pian)生產制程(cheng)（如12nm）已經無法滿足，所以(yi)(yi)其首(shou)個(ge)自(zi)研(yan)(yan)芯片(pian)就直接上馬6nm制程(cheng)工(gong)藝(yi)，這(zhe)對(dui)于OPPO整(zheng)個(ge)自(zi)研(yan)(yan)芯片(pian)團隊(dui)都是一個(ge)極大(da)的(de)(de)挑戰。
另(ling)一方面(mian)，「馬里亞納(na)」的名字(zi)也(ye)是OPPO對于自(zi)研芯片(pian)挑戰(zhan)的一個決心(xin)，同(tong)時也(ye)表達(da)了OPPO將以自(zi)己最(zui)擅長的領(ling)域，對手機最(zui)底(di)層的芯片(pian)發起沖擊(ji)。
馬里亞納 MariSilicon X有何絕活
被(bei)OPPO寄(ji)予厚望的馬里(li)亞納 MariSilicon X到底是怎樣的一款芯(xin)片呢？
首(shou)先，我們要(yao)(yao)了(le)(le)解馬里亞納 MariSilicon X是(shi)一款(kuan)NPU芯(xin)(xin)片(pian)(pian)，而(er)不是(shi)ISP模塊(kuai)，有著后者所不具備的(de)(de)AI計算(suan)能力(li)，能夠(gou)用(yong)神(shen)經網絡實現影(ying)(ying)像的(de)(de)降(jiang)噪和(he)細節提(ti)升。它(ta)采(cai)用(yong)了(le)(le)AI時代的(de)(de)DSA新黃金架構理念(nian)，旨在(zai)(zai)針對(dui)OPPO的(de)(de)AI影(ying)(ying)像需求(qiu)，放棄對(dui)次要(yao)(yao)能力(li)的(de)(de)兼容，而(er)是(shi)將(jiang)全(quan)部(bu)芯(xin)(xin)片(pian)(pian)面積和(he)算(suan)力(li)都(dou)(dou)投入影(ying)(ying)像領域(yu)中，也(ye)就(jiu)是(shi)所謂的(de)(de)“專(zhuan)(zhuan)芯(xin)(xin)專(zhuan)(zhuan)用(yong)”，任務(wu)更(geng)明確(que)，性(xing)能自然也(ye)就(jiu)更(geng)強。目前全(quan)球前沿科技公司都(dou)(dou)在(zai)(zai)采(cai)用(yong)DSA做AI，比如Google的(de)(de)TPU。但(dan)是(shi)，使用(yong)DSA架構也(ye)意味著這顆芯(xin)(xin)片(pian)(pian)的(de)(de)專(zhuan)(zhuan)用(yong)性(xing)，對(dui)于廠商(shang)的(de)(de)芯(xin)(xin)片(pian)(pian)方向規劃要(yao)(yao)求(qiu)極高，需要(yao)(yao)提(ti)前預(yu)判在(zai)(zai)芯(xin)(xin)片(pian)(pian)研(yan)發到商(shang)用(yong)的(de)(de)幾年內，影(ying)(ying)像風口(kou)究竟在(zai)(zai)哪里。
其(qi)內(nei)部架構由“MariNeuro”自研AI計算單(dan)元(yuan)、“MariLumi”自研影像處理單(dan)元(yuan)、配(pei)套的(de)影像專用內(nei)存子(zi)系(xi)統(tong)和I/O組件等組成。
此外(wai)，馬里(li)亞納(na) MariSilicon X制(zhi)程(cheng)方面(mian)直接(jie)上馬目前行(xing)業非常先(xian)進的6nm制(zhi)程(cheng)工(gong)藝(yi)，由(you)臺(tai)積電進行(xing)代工(gong)。選擇(ze)6nm雖然(ran)可以帶來更強的性(xing)能表現，但隨(sui)之而來的高投(tou)入、高風(feng)險(xian)、高難度和高不確定性(xing)不言(yan)而喻。
據(ju)行業報(bao)道，6nm芯片(pian)(pian)1次流片(pian)(pian)費用高達1個億，正式流片(pian)(pian)實驗前(qian)沒人(ren)知道是否成(cheng)功(gong)，一(yi)旦失敗就面(mian)臨推(tui)倒重來(lai)。好在OPPO在流片(pian)(pian)階段一(yi)次就成(cheng)功(gong)了，據(ju)OPPO芯片(pian)(pian)產品高級總監(jian)姜(jiang)波回憶(yi)：“記得流片(pian)(pian)拿回來(lai)之后沒有絲毫(hao)耽誤，點亮過程中就是24小(xiao)時，整個研(yan)發團隊都(dou)非常激動，我們(men)完成(cheng)了一(yi)個巨大的(de)挑戰！”
對于用戶實際(ji)使(shi)用上的(de)(de)提升，馬里亞(ya)納 MariSilicon X將(jiang)主要(yao)用AI技術解(jie)(jie)決(jue)傳統(tong)手機影像難題——弱光視(shi)頻畫(hua)質，將(jiang)計(ji)算(suan)攝影推(tui)向了(le)4K+20bit RAW+AI+Ultra HDR的(de)(de)新極(ji)(ji)限(xian)。對于不(bu)懂攝影的(de)(de)人來說(shuo)這(zhe)串(chuan)復雜的(de)(de)名詞可能(neng)(neng)難以理解(jie)(jie)，說(shuo)白了(le)就是(shi)要(yao)讓畫(hua)面(mian)(mian)(mian)擁(yong)有豐(feng)富細(xi)節(jie)（4k分辨(bian)率是(shi)主流1080p的(de)(de)4倍，畫(hua)面(mian)(mian)(mian)細(xi)節(jie)更(geng)豐(feng)富）、高(gao)寬容(rong)度（畫(hua)面(mian)(mian)(mian)中非常(chang)亮的(de)(de)部分與(yu)極(ji)(ji)暗的(de)(de)部分都(dou)清晰可見）、純凈畫(hua)面(mian)(mian)(mian)（通過AI計(ji)算(suan)實現(xian)近乎(hu)無(wu)噪點的(de)(de)夜(ye)景視(shi)頻）和(he)無(wu)損計(ji)算(suan)（影像數據損耗小，保留更(geng)多信(xin)息和(he)細(xi)節(jie)，對后期更(geng)友好），盡可能(neng)(neng)保證畫(hua)面(mian)(mian)(mian)的(de)(de)「原汁原味(wei)」。
舉個(ge)簡(jian)單的(de)例子，比如我們(men)在一(yi)個(ge)昏暗的(de)劇場中拍照，如果是沒(mei)有AI計(ji)算攝影，整(zheng)個(ge)畫面(mian)中可(ke)能是全部黑(hei)暗，又或(huo)者(zhe)只(zhi)能看(kan)到微(wei)弱的(de)色彩。而未來有了馬里亞納 MariSilicon X，OPPO可(ke)以(yi)借(jie)助其(qi)“MariLumi”影像(xiang)處理單元，顯著提升HDR（高動(dong)態范圍成(cheng)像(xiang)）能力(li)表現，讓劇場中拍攝的(de)畫面(mian)，都(dou)可(ke)以(yi)還原出人眼看(kan)到的(de)狀態。
聽起來這(zhe)個改變很簡單，但其背后是(shi)非(fei)常困難(nan)的研(yan)(yan)發過(guo)程。要知(zhi)道(dao)現在安(an)卓旗艦平(ping)臺驍龍8也(ye)僅(jin)支持18bit HDR，OPPO這(zhe)第(di)一(yi)次(ci)自(zi)研(yan)(yan)芯片，就可(ke)以(yi)將其位寬提高(gao)到(dao)20Bit。這(zhe)2Bit之間，畫(hua)面寬容度整(zheng)整(zheng)提升4倍(bei)（2的20次(ci)方與2的18次(ci)方對(dui)比），直接從原來的25萬:1，提升到(dao)100萬:1。
此外，馬里亞納 MariSilicon X還(huan)可以實現(xian)4K 30幀AI夜景(jing)。拍照比拼已(yi)難分(fen)勝負，視(shi)頻(pin)是下(xia)一個競爭賽道，而視(shi)頻(pin)的實時處(chu)理(li)特性，令其難度(du)遠大于(yu)照片的先(xian)拍后算。OPPO能(neng)同(tong)時實現(xian)4K+AI+HDR規格夜景(jing)視(shi)頻(pin)，已(yi)經摸(mo)到了目前手機影(ying)像性能(neng)的天花(hua)板。
在(zai)發布之(zhi)初(chu)，OPPO還公布了一段「馬(ma)里亞納(na) MariSilicon X原型機」、iPhone 13 Pro Max以及OPPO Find X3 Pro三臺(tai)手機在(zai)4K極(ji)限(xian)暗環境下實(shi)拍對比。從中我們(men)可以看(kan)到(dao)，無論是亮度、色彩以及細節的還原，三者(zhe)之(zhi)間差(cha)距都非常明(ming)顯。
之所以能(neng)實現如此優異表(biao)現，也離不開馬里(li)亞納(na) MariSilicon X高達18TOPS@int8的(de)(de)計算(suan)(suan)能(neng)力(li)，它的(de)(de)表(biao)現比搭載驍龍888的(de)(de)OPPO Find X3快了20倍(bei)，單從AI算(suan)(suan)力(li)上來講，它已經(jing)超越蘋果目前(qian)最新(xin)的(de)(de)A15 SoC處理器(qi)，后者AI算(suan)(suan)力(li)約15.8TOPS。
當(dang)然(ran)，馬里亞納(na)(na) MariSilicon X 能力(li)不(bu)止這一方面(mian)，其還擁有實時RAW計算、RGBW Pro以及(ji)雙層存儲等等很多的(de)特點(dian)。簡單理解的(de)話，馬里亞納(na)(na) MariSilicon X未來(lai)在(zai)智能手機(ji)中的(de)應用將獨(du)立于SoC存在(zai)，而不(bu)是替代(dai)SoC中AI能力(li)，最終目的(de)是對(dui)手機(ji)影像的(de)獨(du)立提升，實現1+1＞2的(de)結果。
雙芯或成為自研芯片超車的主流選擇
目(mu)前的(de)手(shou)機(ji)行(xing)業中，大(da)多采(cai)用的(de)都(dou)是(shi)主(zhu)流(liu)SoC的(de)平臺(tai)架構，其(qi)承載(zai)了手(shou)機(ji)運行(xing)過(guo)程中的(de)主(zhu)要(yao)處理工(gong)作，其(qi)實它(ta)也是(shi)集成了CPU、GPU以及NPU等不同的(de)芯(xin)片模塊(kuai)，只是(shi)封裝到同一顆芯(xin)片而已。
對于手(shou)機廠(chang)商來說(shuo)，在自研芯(xin)片(pian)領域如果直接挑戰SoC的(de)研發，需要更長的(de)時間(jian)成本(ben)、人力(li)成本(ben)以及(ji)投入成本(ben)，其背后需要極為(wei)豐(feng)富的(de)經驗和試錯過(guo)程，包括異構設計能(neng)力(li)、解(jie)決算法問(wen)(wen)題(ti)以及(ji)與(yu)生產廠(chang)商的(de)制程工藝選擇等等一(yi)系列(lie)問(wen)(wen)題(ti)。
對于現在(zai)這個階段(duan)，夯實某(mou)一(yi)功能的芯(xin)片自研技(ji)(ji)術(shu)變得(de)更加現實，并且從(cong)中還可(ke)以得(de)到更多的經驗(yan)。通過雙(shuang)芯(xin)甚至多芯(xin)協同(tong)的做法，在(zai)某(mou)一(yi)垂直優化路線上(shang)也(ye)可(ke)以做到功能的跨越式提(ti)升(sheng)，構(gou)筑自家的技(ji)(ji)術(shu)壁壘。
OPPO已經計(ji)劃于(yu)2022年第一季度中的下一代Find X系列旗艦級智能手機中搭載馬里(li)亞納 MariSilicon X，這個(ge)動作也證明了OPPO對其芯(xin)片能力的信心。
不過，我們從OPPO直接(jie)選(xuan)擇NPU，而沒有(you)選(xuan)擇ISP也(ye)可以看出(chu)，OPPO已經(jing)將芯片的(de)(de)異構設計(ji)能(neng)力(li)納入(ru)自研(yan)范圍(wei)之內(nei)。OPPO的(de)(de)終(zhong)極目標是通過芯片自研(yan)開啟手機科(ke)技創(chuang)新與影像(xiang)能(neng)力(li)躍升的(de)(de)新時代(dai)，此次發(fa)布(bu)的(de)(de)馬里亞納 MariSilicon X是OPPO檢驗(yan)自身技術能(neng)力(li)和實(shi)力(li)的(de)(de)產品，也(ye)使其像(xiang)華為、蘋果一樣，成為擁有(you)自研(yan)芯片能(neng)力(li)的(de)(de)科(ke)技公司。相信這顆影像(xiang)專用NPU只是現階段的(de)(de)嘗試，后(hou)續還將有(you)更(geng)多動作尚待揭曉。
