你知道一部智能手機有多少顆芯片嗎？
作為(wei)當(dang)下每(mei)個人最離(li)不(bu)開的(de)(de)電子設備，一部智(zhi)能(neng)手機雖然只(zhi)有巴掌大(da)小，但它內部卻至(zhi)少集成了100顆(ke)以上的(de)(de)芯片。其(qi)中，大(da)家最熟悉的(de)(de)自然還是SoC了，SoC被(bei)稱為(wei)系統(tong)級芯片，其(qi)集成了CPU、GPU、ISP、NPU等(deng)，因此我們可以說SoC是手機的(de)(de)“核心處理器”。
這(zhe)么多的(de)芯片中，NPU（神(shen)經網絡處理器(qi)）的(de)名(ming)字不像CPU和(he)GPU那么響(xiang)亮，但(dan)它扮演的(de)卻(que)是最聰明的(de)角色，專門負責(ze)實現(xian)(xian)AI運算(suan)和(he)AI應(ying)用(yong)，直接影響(xiang)手機AI能力的(de)強弱。NPU具備的(de)AI能力可以(yi)顯著(zhu)改變現(xian)(xian)有(you)的(de)手機功(gong)能，而影像就(jiu)是一個極富應(ying)用(yong)前(qian)景(jing)的(de)領域。
在12月14日的OPPO 2021年(nian)度未(wei)(wei)來科技大會上，OPPO就發(fa)布了首個(ge)自(zi)研NPU芯(xin)片馬里亞納 MariSilicon X，這顆芯(xin)片是全球(qiu)首顆為影像而生的專(zhuan)用NPU芯(xin)片，它(ta)的出(chu)現將極大提(ti)升(sheng)計算攝(she)影的能力和參與程度。其背后展示了OPPO對于“自(zi)研芯(xin)片”的決心(xin)，也透露出(chu)其未(wei)(wei)來發(fa)展的新思路。
至此(ci)，中國智能手機四大頭部廠商也均加入了自(zi)研(yan)芯片的「芯」賽(sai)道。
以自己最擅長的領域，探索更深的「馬里亞納」
智能手(shou)機中(zhong)蘊含的(de)芯(xin)片(pian)有很多，也表(biao)示著(zhu)手(shou)機廠商在自研(yan)芯(xin)片(pian)的(de)選擇(ze)上有非常多的(de)方向，為何OPPO偏偏選擇(ze)了影(ying)像NPU作為其首個自研(yan)的(de)方向呢？其背后(hou)的(de)發展邏輯與OPPO堅持的(de)技術賽道密不可分。
OPPO Find X3
很長一段時間里，用戶對(dui)智能手機(ji)(ji)最高的需求就是對(dui)于(yu)影(ying)像品(pin)質的追(zhui)求。對(dui)于(yu)手機(ji)(ji)品(pin)牌而言，要(yao)滿足用戶需求，就必(bi)然要(yao)在影(ying)像技術(shu)上(shang)實現關(guan)鍵性突破。
要想增強影像能(neng)力，最(zui)直接的(de)方式就是(shi)換用尺(chi)寸更(geng)大的(de)傳(chuan)(chuan)感器(qi)，但機(ji)身空間有限的(de)智能(neng)手機(ji)注定不(bu)允許動輒三(san)四(si)個碩大的(de)影像傳(chuan)(chuan)感器(qi)的(de)存在(zai)；再(zai)加之尺(chi)寸更(geng)大的(de)傳(chuan)(chuan)感器(qi)需要更(geng)長的(de)物(wu)理焦(jiao)距，維持等效27mm左(zuo)右的(de)主流(liu)焦(jiao)距時會(hui)讓手機(ji)的(de)厚度同(tong)步激增，這(zhe)注定不(bu)是(shi)一(yi)個可持續的(de)發(fa)展方向(xiang)。
OPPO經過過去R系列(lie)、Reno系列(lie)、Find系列(lie)數年(nian)在影(ying)像技術上(shang)的(de)探索，發現想要(yao)從傳感器(qi)、鏡頭(tou)等(deng)光(guang)學(xue)方面繼續提(ti)升移(yi)動影(ying)像素(su)質(zhi)已經遇到了(le)瓶頸。只有通過影(ying)像專用NPU，才能(neng)解(jie)決目前ISP功能(neng)局限和(he)通用算(suan)力不足、傳感器(qi)尺寸和(he)鏡組光(guang)學(xue)素(su)質(zhi)止步不前的(de)難題，這也是未(wei)來影(ying)像發展的(de)主流方向。
而且，目(mu)前來看上游(you)供應商提(ti)供的通用(yong)芯片(pian)以及(ji)NPU芯片(pian)都無法(fa)滿足AI對計算(suan)(suan)影像提(ti)出的算(suan)(suan)力(li)和能效(xiao)要求(qiu)。因此，要兼顧高算(suan)(suan)力(li)和低能耗，OPPO也不(bu)得(de)不(bu)自(zi)研影像專用(yong)的NPU。
此次(ci)OPPO之所以(yi)將(jiang)項目的(de)名(ming)稱定(ding)為(wei)「馬(ma)里(li)亞(ya)納」也頗(po)為(wei)形(xing)象，其背后有兩個(ge)原因。其一(yi)，如果想(xiang)要達到OPPO期待(dai)的(de)移(yi)動端優(you)質AI影像(xiang)體驗，更(geng)加成熟(shu)的(de)芯片生產制程(cheng)（如12nm）已經(jing)無法滿足，所以(yi)其首個(ge)自研(yan)芯片就直接上馬(ma)6nm制程(cheng)工藝，這對(dui)于OPPO整個(ge)自研(yan)芯片團隊都是一(yi)個(ge)極大的(de)挑(tiao)戰。
另一方面，「馬里亞納(na)」的(de)(de)名字也(ye)是OPPO對(dui)于(yu)自(zi)研芯片挑戰的(de)(de)一個決心，同時也(ye)表達了OPPO將以(yi)自(zi)己最擅長的(de)(de)領域，對(dui)手機最底(di)層的(de)(de)芯片發起沖擊。
馬里亞納 MariSilicon X有何絕活
被(bei)OPPO寄予厚(hou)望的馬里亞納 MariSilicon X到底是怎樣的一(yi)款芯片呢？
首先(xian)，我們要了解(jie)馬里(li)亞納 MariSilicon X是(shi)(shi)(shi)一款NPU芯(xin)(xin)片(pian)，而不是(shi)(shi)(shi)ISP模塊，有著(zhu)(zhu)后者所不具備的(de)(de)(de)(de)AI計算能(neng)力，能(neng)夠用(yong)神經(jing)網絡實(shi)現影(ying)像的(de)(de)(de)(de)降(jiang)噪和(he)細(xi)節提升。它采用(yong)了AI時(shi)代的(de)(de)(de)(de)DSA新黃金架(jia)構(gou)(gou)理念，旨在(zai)針對OPPO的(de)(de)(de)(de)AI影(ying)像需求，放棄對次要能(neng)力的(de)(de)(de)(de)兼容，而是(shi)(shi)(shi)將(jiang)全部芯(xin)(xin)片(pian)面積和(he)算力都(dou)投(tou)入影(ying)像領域中，也就是(shi)(shi)(shi)所謂的(de)(de)(de)(de)“專芯(xin)(xin)專用(yong)”，任務更明確，性能(neng)自然(ran)也就更強。目前全球前沿科技(ji)公(gong)司都(dou)在(zai)采用(yong)DSA做AI，比如Google的(de)(de)(de)(de)TPU。但是(shi)(shi)(shi)，使用(yong)DSA架(jia)構(gou)(gou)也意味著(zhu)(zhu)這顆芯(xin)(xin)片(pian)的(de)(de)(de)(de)專用(yong)性，對于廠商的(de)(de)(de)(de)芯(xin)(xin)片(pian)方向規劃(hua)要求極高，需要提前預判在(zai)芯(xin)(xin)片(pian)研(yan)發到商用(yong)的(de)(de)(de)(de)幾(ji)年內，影(ying)像風(feng)口究竟在(zai)哪(na)里(li)。
其內(nei)部架構由“MariNeuro”自研AI計算單元、“MariLumi”自研影(ying)像(xiang)(xiang)處理單元、配套(tao)的影(ying)像(xiang)(xiang)專用內(nei)存子系統和(he)I/O組(zu)件等組(zu)成。
此(ci)外，馬里亞納 MariSilicon X制(zhi)程方面直接上馬目前行(xing)業非(fei)常(chang)先進(jin)的6nm制(zhi)程工藝，由臺積電(dian)進(jin)行(xing)代工。選擇6nm雖(sui)然(ran)可以帶來(lai)更強的性(xing)能表(biao)現，但隨之而(er)來(lai)的高(gao)投入、高(gao)風險、高(gao)難(nan)度和高(gao)不確(que)定性(xing)不言而(er)喻。
據行業報道(dao)，6nm芯片(pian)1次(ci)流(liu)片(pian)費用高達(da)1個億，正式(shi)流(liu)片(pian)實驗(yan)前(qian)沒人知道(dao)是否成功，一(yi)(yi)旦失敗就(jiu)面(mian)臨推(tui)倒重來(lai)(lai)。好(hao)在OPPO在流(liu)片(pian)階段一(yi)(yi)次(ci)就(jiu)成功了，據OPPO芯片(pian)產品高級總監姜(jiang)波回憶：“記得(de)流(liu)片(pian)拿回來(lai)(lai)之后沒有(you)絲毫耽誤，點亮過程中就(jiu)是24小時，整個研(yan)發團隊都非常激動(dong)，我們完成了一(yi)(yi)個巨大的挑戰！”
對于用(yong)(yong)戶實(shi)際(ji)使用(yong)(yong)上的(de)(de)提升，馬里亞納 MariSilicon X將(jiang)主(zhu)要用(yong)(yong)AI技術解(jie)決傳統手機影像難題——弱(ruo)光視頻(pin)畫(hua)(hua)質(zhi)，將(jiang)計算(suan)(suan)攝(she)(she)影推向(xiang)了(le)4K+20bit RAW+AI+Ultra HDR的(de)(de)新(xin)極(ji)限。對于不懂攝(she)(she)影的(de)(de)人來說這串復雜(za)的(de)(de)名詞(ci)可能難以理解(jie)，說白了(le)就是要讓畫(hua)(hua)面(mian)擁有豐(feng)富(fu)細(xi)(xi)節（4k分辨率(lv)是主(zhu)流1080p的(de)(de)4倍，畫(hua)(hua)面(mian)細(xi)(xi)節更豐(feng)富(fu)）、高寬容度（畫(hua)(hua)面(mian)中非常亮(liang)的(de)(de)部分與極(ji)暗(an)的(de)(de)部分都清晰可見）、純(chun)凈畫(hua)(hua)面(mian)（通過AI計算(suan)(suan)實(shi)現近乎(hu)無噪點(dian)的(de)(de)夜景(jing)視頻(pin)）和(he)無損(sun)計算(suan)(suan)（影像數據損(sun)耗小，保(bao)留(liu)更多信息和(he)細(xi)(xi)節，對后期(qi)更友好），盡可能保(bao)證畫(hua)(hua)面(mian)的(de)(de)「原汁原味」。
舉個簡單(dan)的(de)(de)(de)例子，比如我們在一個昏暗的(de)(de)(de)劇(ju)場中(zhong)拍照(zhao)，如果是(shi)沒(mei)有(you)AI計算攝(she)影，整個畫面中(zhong)可能(neng)是(shi)全部黑暗，又(you)或者只能(neng)看到(dao)微弱的(de)(de)(de)色彩。而未來有(you)了(le)馬里(li)亞納 MariSilicon X，OPPO可以(yi)借(jie)助其“MariLumi”影像處理(li)單(dan)元，顯著提升(sheng)HDR（高動態范(fan)圍(wei)成(cheng)像）能(neng)力表現，讓劇(ju)場中(zhong)拍攝(she)的(de)(de)(de)畫面，都可以(yi)還原出(chu)人眼看到(dao)的(de)(de)(de)狀態。
聽起來這(zhe)(zhe)個(ge)改(gai)變很簡單，但其背后是非常困難的研發(fa)過程。要知道現在(zai)安卓旗艦平臺(tai)驍龍8也僅支持18bit HDR，OPPO這(zhe)(zhe)第(di)一次(ci)自研芯片，就(jiu)可以將其位寬(kuan)提高到20Bit。這(zhe)(zhe)2Bit之間(jian)，畫(hua)面(mian)寬(kuan)容度整整提升(sheng)4倍（2的20次(ci)方(fang)與2的18次(ci)方(fang)對(dui)比），直接從原來的25萬(wan):1，提升(sheng)到100萬(wan):1。
此外(wai)，馬里亞納(na) MariSilicon X還可以實現4K 30幀AI夜(ye)景。拍(pai)照(zhao)比拼已(yi)難分(fen)勝負，視頻(pin)是下一個(ge)競(jing)爭賽(sai)道，而視頻(pin)的實時(shi)處理特(te)性(xing)，令其難度遠大于(yu)照(zhao)片的先拍(pai)后算。OPPO能同時(shi)實現4K+AI+HDR規(gui)格夜(ye)景視頻(pin)，已(yi)經摸到了目(mu)前手(shou)機影像性(xing)能的天花板。
在發布之初，OPPO還公布了一段「馬(ma)里亞納(na) MariSilicon X原型機」、iPhone 13 Pro Max以(yi)及OPPO Find X3 Pro三臺(tai)手機在4K極限暗環境下實拍(pai)對比。從中我們可以(yi)看到，無論是亮度、色彩以(yi)及細節的(de)還原，三者之間(jian)差(cha)距都非(fei)常(chang)明顯(xian)。
之(zhi)所以(yi)能(neng)實現如此優異表現，也離不開馬里亞納 MariSilicon X高達18TOPS@int8的(de)計算(suan)能(neng)力，它的(de)表現比搭載驍龍(long)888的(de)OPPO Find X3快了20倍，單從(cong)AI算(suan)力上來(lai)講，它已(yi)經超越蘋果目前最(zui)新的(de)A15 SoC處(chu)理器(qi)，后(hou)者AI算(suan)力約15.8TOPS。
當(dang)然，馬里亞納(na) MariSilicon X 能(neng)力不止(zhi)這一方面，其還(huan)擁有實(shi)時(shi)RAW計算、RGBW Pro以及雙層存(cun)(cun)儲等等很多的(de)(de)(de)(de)特(te)點。簡(jian)單理(li)解的(de)(de)(de)(de)話，馬里亞納(na) MariSilicon X未來在智能(neng)手(shou)機中的(de)(de)(de)(de)應用(yong)將獨立于SoC存(cun)(cun)在，而不是(shi)替(ti)代SoC中AI能(neng)力，最終目的(de)(de)(de)(de)是(shi)對手(shou)機影像的(de)(de)(de)(de)獨立提(ti)升，實(shi)現(xian)1+1＞2的(de)(de)(de)(de)結果。
雙芯或成為自研芯片超車的主流選擇
目前的手(shou)(shou)機行(xing)業中，大多采用(yong)的都(dou)是主流SoC的平臺(tai)架構(gou)，其承載了手(shou)(shou)機運行(xing)過程中的主要處(chu)理工作，其實它(ta)也是集成了CPU、GPU以及NPU等不同的芯(xin)片(pian)模(mo)塊(kuai)，只是封裝(zhuang)到同一顆芯(xin)片(pian)而已。
對于手(shou)機(ji)廠商(shang)來說(shuo)，在(zai)自研芯片領域如果直接挑戰SoC的研發，需(xu)要(yao)更長的時間成(cheng)本(ben)、人力(li)成(cheng)本(ben)以(yi)及投入成(cheng)本(ben)，其背后需(xu)要(yao)極為(wei)豐富的經驗和試錯過程，包(bao)括異構設(she)計能力(li)、解決算法問題(ti)(ti)以(yi)及與生產(chan)廠商(shang)的制程工藝選擇等等一系(xi)列問題(ti)(ti)。
對(dui)于現(xian)在這個階(jie)段，夯實某一(yi)功能(neng)的芯(xin)片自(zi)研技術(shu)變得(de)更(geng)加現(xian)實，并且從(cong)中(zhong)還可(ke)以得(de)到更(geng)多的經驗。通過(guo)雙芯(xin)甚至多芯(xin)協同(tong)的做(zuo)法，在某一(yi)垂直優化路線(xian)上也可(ke)以做(zuo)到功能(neng)的跨(kua)越式提升，構筑(zhu)自(zi)家(jia)的技術(shu)壁壘(lei)。
OPPO已經計劃于2022年第一(yi)季度(du)中的下一(yi)代Find X系(xi)列(lie)旗艦級智(zhi)能手機中搭載(zai)馬里(li)亞納(na) MariSilicon X，這個動(dong)作(zuo)也證明了OPPO對其芯片(pian)能力(li)的信心(xin)。
不過，我們從OPPO直接(jie)選擇NPU，而沒有選擇ISP也可以看(kan)出(chu)，OPPO已經將芯片(pian)的(de)(de)異構(gou)設計能力(li)(li)納入自研(yan)(yan)范圍(wei)之內。OPPO的(de)(de)終極目標是通過芯片(pian)自研(yan)(yan)開啟手機科技創新與影(ying)像(xiang)能力(li)(li)躍升的(de)(de)新時(shi)代，此次發布的(de)(de)馬里(li)亞(ya)納 MariSilicon X是OPPO檢驗自身(shen)技術能力(li)(li)和(he)實力(li)(li)的(de)(de)產品，也使其像(xiang)華為、蘋果一樣，成(cheng)為擁有自研(yan)(yan)芯片(pian)能力(li)(li)的(de)(de)科技公司。相(xiang)信這顆影(ying)像(xiang)專用NPU只是現階段的(de)(de)嘗試，后續還將有更多動作尚待揭曉(xiao)。
