2019 年 2 月，圖靈獎獲得者John Hennessy 和 David
Patterson發布了一篇名為《A new golden age for computer
architecture》的文章。在文章中他們指出，伴隨著摩爾定律和登納德縮放定律的終結，要想獲得像 20
世紀八九十年代那樣的的性能改進，就需要新的架構方法，以更高效地利用集成電路，而DSA就是他們想要的答案。
據他們在文章中介紹，所謂DSA（domain specific architecture，特定領域架構）是一種針對特定領域定制的可編程處理器，能夠用于加速某些應用程序，實現更好的性能。如現在因為AI大行其道的GPU就是一個基于DSA思路設計的產品。包括谷歌、Tesla和Cerebras在內的廠商也針對其特定應用推行他們的DSA芯片。
日前，
本土手(shou)機廠商OPPO也(ye)帶來其(qi)影(ying)像(xiang)專用NPU——馬里亞(ya)納? MariSilicon X，揭開了公司(si)造芯的神(shen)秘面紗。
透過這個芯(xin)(xin)片，我們不但看到了這個手機巨頭(tou)在(zai)提升用戶體驗方面(mian)的“芯(xin)(xin)”思考(kao)，也看到了屬于DSA的又(you)一場勝利。
DSA在影像NPU上的實踐
自蘋果(guo)在2007年推出第一代iPhone以來，智能手機(ji)在接(jie)下來十(shi)年經歷了(le)(le)夢幻般(ban)的開局。不但芯片性能獲得(de)了(le)(le)大(da)幅度的增(zeng)長，屏幕的體(ti)驗也獲得(de)了(le)(le)跨躍性的提升(sheng)。但進入(ru)最近幾年，手機(ji)創(chuang)新(xin)缺乏，這讓(rang)手機(ji)廠商將目標瞄向了(le)(le)改(gai)善(shan)拍(pai)攝體(ti)驗，隨之也給(gei)手機(ji)芯片的影像(xiang)處理提出了(le)(le)新(xin)的要求。
作為(wei)一個需要(yao)處理多類型任務的芯片(pian)(pian)，手機主(zhu)控芯片(pian)(pian)廠(chang)商在設計產品(pin)的時候只(zhi)能(neng)在各項(xiang)設計能(neng)力上(shang)做(zuo)平衡。那就(jiu)意(yi)味著在這些通用芯片(pian)(pian)上(shang)的ISP和NPU，在處理圖像(xiang)或視頻的時候顯得捉襟見肘。
近(jin)年來，Google在其Pixel手機上使用Pixel Visual Core/Pixel Neural Core 系列硬(ying)件加速(su)器證明了AI算法(fa)可以(yi)提(ti)供遠超傳統算法(fa)的拍照體驗之(zhi)后，業界就開始探索NPU在降(jiang)噪、HDR+和demosaic領域(yu)的應用優勢。而(er)OPPO正是(shi)通過自定義的芯片來應對這方面的挑(tiao)戰。
OPPO芯片產品(pin)高級總監姜波也指出，通用芯片要想達成終極體(ti)驗目標，面臨一些挑戰(zhan)：
一(yi)方(fang)面，智能手機在定制傳(chuan)感器后(hou)，有(you)時候(hou)需(xu)要SoC做相應的配合，但(dan)SoC研發周期(qi)非(fei)常(chang)長，傳(chuan)感器需(xu)要的時間又非(fei)常(chang)短(duan)，這(zhe)里面的平衡是(shi)非(fei)常(chang)難(nan)把控的；
另一方面(mian)，如果要針(zhen)對目前市面(mian)上現有的傳感器(qi)在SoC上做pipeline（鏈路）處(chu)理優(you)化增強，也意味著需要研發(fa)要做很大(da)的調整(zheng)，成本增加不少；
此外，當算(suan)法(fa)和芯片不能(neng)做到(dao)相互(hu)完(wan)全開放和緊(jin)密耦合，更是(shi)無法(fa)發揮(hui)出它的最大效(xiao)益(yi)。
基于這樣的思考，OPPO發布了首款影像專用NPU——馬里亞納MariSilicon X，這正是DSA在影像應用上的一個教科書般的實踐。據姜波所說，這個芯片由一個自研的影像處理單元MariLumi、一個自研的AI計算單元MariNeuro以及片上內存子系統等核心部分組成。得益于這樣的設計，其擁有四個不得不提的特性，分別是極致能耗比、行業領先的HDR、影像的AI的處理（包括影像算法的處理）都放在RAW上完成以及對定制sensor性能的最大化利用。
首先看極致(zhi)能(neng)耗(hao)(hao)比(bi)方面(mian)。據(ju)介紹(shao)，MariSilicon X擁有18TOPS的(de)(de)算力，這(zhe)正是DSA獨特(te)具(ju)備的(de)(de)優勢。11.6TOPS/W的(de)(de)能(neng)耗(hao)(hao)效率(lv)更(geng)是讓它在(zai)擁有強悍的(de)(de)處理能(neng)力的(de)(de)同時，功(gong)耗(hao)(hao)表現(xian)也不落下風。“按(an)現(xian)在(zai)實際的(de)(de)算力情況，我們的(de)(de)芯片可以在(zai)800毫瓦功(gong)耗(hao)(hao)約束的(de)(de)范圍內(nei)跑到(dao)40fps”，姜(jiang)波舉例說。
其次，OPPO的(de)(de)MariSilicon X支持20 bit RAW，領先于高(gao)通最新一代(dai)旗艦驍龍8平臺(tai)的(de)(de)18bit和聯發科的(de)(de)天璣9000，其120db的(de)(de)HDR讓(rang)搭配MariSilicon X的(de)(de)手(shou)機(ji)在拍攝圖片的(de)(de)時(shi)候，獲(huo)得四(si)倍于當前旗艦的(de)(de)動(dong)態范圍。
第三，在影像的AI處理(li)(li)方(fang)面，馬里亞納(na)X通過將AI降(jiang)噪及HDR融(rong)合等復雜計算前置到數據更加純(chun)凈無損的RAW域，在影像信噪比和畫質上遠超傳統YUV域處理(li)(li)方(fang)案；
據(ju)OPPO測(ce)試顯示(shi)，在搭(da)配了他們自(zi)研的馬里(li)亞納 MariSilicon X的方案中(zhong)，可以(yi)(yi)(yi)獲得(de)至少8dB的信噪(zao)比增強，相當(dang)于2.6倍的提升。在4k場(chang)景下(xia)，更(geng)是可以(yi)(yi)(yi)分別在圖像(xiang)亮(liang)部和(he)暗部獲得(de)8dB和(he)12dB增益。換而(er)言(yan)之，自(zi)研芯片可以(yi)(yi)(yi)讓(rang)圖像(xiang)暗部的信噪(zao)比做到(dao)4倍的有效提升。
最后，來到(dao)傳感(gan)器的定(ding)制(zhi)；
OPPO定(ding)制的(de)(de)(de)RGBW傳(chuan)(chuan)感(gan)(gan)器通過(guo)融(rong)入對光線更敏感(gan)(gan)的(de)(de)(de)white像(xiang)素，在(zai)保證(zheng)色彩還原準確的(de)(de)(de)同(tong)時提升了傳(chuan)(chuan)感(gan)(gan)器進光量。但(dan)在(zai)通用型SoC的(de)(de)(de)賦能(neng)下(xia)，如果想要發揮(hui)這一定(ding)制傳(chuan)(chuan)感(gan)(gan)器的(de)(de)(de)優(you)勢，第一步要做的(de)(de)(de)就是在(zai)傳(chuan)(chuan)感(gan)(gan)器端(duan)將RGBW remosaic成(cheng)傳(chuan)(chuan)統的(de)(de)(de)RGGB信息，再傳(chuan)(chuan)送(song)給(gei)SoC處(chu)理。但(dan)在(zai)這個(ge)處(chu)理過(guo)程中，會丟失一些有用的(de)(de)(de)信息。而為了與通用的(de)(de)(de)SoC配合，又必須要做一些妥協(xie)和(he)損耗才可以用上RGBW。
有(you)見及此，OPPO選擇了自研影像專用(yong)NPU與定(ding)制傳感(gan)器配合的(de)(de)方(fang)法，讓其產(chan)生的(de)(de)原始RAW數據(ju)與自研芯(xin)片有(you)最緊密的(de)(de)耦合和(he)最大限度優化(hua)。
具體(ti)而言，在設計(ji)圖像處理(li)(li)pipeline的(de)時(shi)候，馬里亞納X在提供(gong)RGGB鏈(lian)路的(de)同時(shi)還具備white處理(li)(li)鏈(lian)路既能夠獲取良(liang)好的(de)顏色信(xin)(xin)息，又能夠提升(sheng)信(xin)(xin)噪(zao)比。與傳統RAW相比，帶來的(de)提升(sheng)是(shi)非(fei)常顯著的(de)，這(zhe)也正(zheng)是(shi)DSA的(de)意義。而按OPPO所說，借(jie)助(zhu)兩(liang)路pipeline的(de)處理(li)(li)，可以(yi)得(de)到7.9倍的(de)信(xin)(xin)噪(zao)比的(de)提升(sheng)；在紋理(li)(li)細節上，通過2路的(de)超采樣，也可以(yi)獲得(de)1.7倍的(de)解(jie)析(xi)力的(de)增強。
“我們通過自研(yan)芯片和定制化傳感(gan)器相互的化學反應和相互耦(ou)合，真正充分發揮出傳感(gan)器在(zai)最初設計時候(hou)的最大能(neng)力。”姜波強調。
從(cong)上述的介(jie)紹我們可(ke)(ke)以(yi)看到(dao)，OPPO基于DSA的設計能夠將以(yi)影像的體驗發(fa)揮得(de)淋漓盡致。而在(zai)(zai)這背后，其在(zai)(zai)芯片的定義(yi)、IP的設計和工藝(yi)的選擇等多個(ge)方面的決(jue)定都功不可(ke)(ke)沒。
自研IP引領的全面提升
熟悉(xi)芯(xin)片設計的(de)讀者應該知道，在(zai)做好了芯(xin)片的(de)功能定義和(he)架構規劃之后，接下來的(de)一(yi)個重要環節(jie)就是選擇(ze)IP。常用(yong)的(de)方(fang)案有第三方(fang)IP和(he)自研兩(liang)種。出于謹慎考慮，很多新入局芯(xin)片設計的(de)廠商(shang)都選擇(ze)前者。但OPPO卻(que)走了一(yi)條相對較難的(de)路。
在問到(dao)為何(he)作出這個決定時，姜波回應道，在決定研(yan)發馬里亞(ya)納 MariSilicon X之(zhi)后(hou)，公(gong)司也考慮過一(yi)(yi)些第(di)三方IP，市場上(shang)也有(you)很多IP廠商可(ke)(ke)以提供NPU。但(dan)他(ta)們在評估之(zhi)后(hou)發現，并沒(mei)有(you)一(yi)(yi)個現有(you)NPU可(ke)(ke)以在其自(zi)身(shen)的(de)場景和(he)算法下，達(da)到(dao)他(ta)們認為的(de)最優能耗(hao)效(xiao)率。因此他(ta)們從頭開始(shi)自(zi)研(yan)做(zuo)了NPU，這就(jiu)是MariNeuro IP面世(shi)背后(hou)的(de)原(yuan)因，這也讓OPPO首個自(zi)研(yan)芯片MariSilicon X擁有(you)了強悍(han)的(de)性能。
除了MariNeuro之外，OPPO還自研了MariLumi IP，正(zheng)是這個IP，讓(rang)OPPO的(de)馬(ma)里亞納(na) MariSilicon X在圖片(pian)的(de)HDR處理方面擁有其他手機(ji)芯片(pian)旗艦所不具備的(de)實(shi)力。
為了讓設備(bei)更好地(di)處(chu)理(li)這些龐大數(shu)(shu)據(ju)，OPPO還給這個芯(xin)片(pian)配備(bei)了片(pian)上的(de)(de)內(nei)存子系統，避免數(shu)(shu)據(ju)頻繁讀寫產生的(de)(de)時延和(he)功耗提升(sheng)。這個Tb級(ji)的(de)(de)子系統讓該芯(xin)片(pian)在處(chu)理(li)海量數(shu)(shu)據(ju)時依舊游(you)刃(ren)有余。這也是OPPO能夠把(ba)之前應(ying)用于圖(tu)像的(de)(de)AI算法(fa)應(ying)用于實時視頻處(chu)理(li)的(de)(de)一個重要原因(yin)。
又因(yin)為OPPO還專門為這個(ge)芯片集成了8.5GB/s的獨立DDR帶寬，因(yin)此當MariSilicon X跟(gen)一個(ge)主(zhu)芯片搭(da)載在一起使用時，整個(ge)系統(tong)的DDR吞吐率(lv)又增(zeng)加了17%。
對于(yu)一(yi)個芯(xin)片(pian)來說，架構、處(chu)理(li)能力和I/O是決定其性能的(de)關鍵要素(su)。但(dan)正(zheng)如摩(mo)爾定律的(de)含義所體現的(de)，芯(xin)片(pian)的(de)制造工藝才是決定一(yi)顆(ke)芯(xin)片(pian)性能的(de)根本。同時，作(zuo)為(wei)一(yi)個商用產(chan)品，該芯(xin)片(pian)同時還需要在(zai)成本上(shang)做(zuo)權衡。基于(yu)上(shang)述考(kao)慮，OPPO團隊在(zai)公司的(de)首顆(ke)芯(xin)片(pian)上(shang)選(xuan)擇了6nm。
據(ju)姜(jiang)波介紹，公(gong)司在(zai)開始芯(xin)(xin)片(pian)設(she)計(ji)的時候評(ping)估了各種工(gong)(gong)藝制程。他坦言，選擇(ze)更(geng)落(luo)后的工(gong)(gong)藝，在(zai)芯(xin)(xin)片(pian)的設(she)計(ji)、實現(xian)、周(zhou)期和成本都極(ji)具(ju)優(you)勢，但之所(suo)以(yi)選擇(ze)6nm，主要(yao)是基于他們經過仿真之后得出結(jie)論——即便(bian)有自研的MariNeuro和MariLumi IP，但如(ru)(ru)果(guo)選擇(ze)落(luo)后的工(gong)(gong)藝（如(ru)(ru)12nm），做(zuo)出來的芯(xin)(xin)片(pian)很難達到(dao)終端(duan)應用所(suo)需的極(ji)致功耗性能要(yao)求。因此他們別無選擇(ze)。
“從工藝(yi)制(zhi)程(cheng)來講，6nm應該是臺積電第一個(ge)(ge)主流(liu)的(de)(de)采用(yong)EUV的(de)(de)制(zhi)程(cheng)。因(yin)為(wei)有了這(zhe)個(ge)(ge)制(zhi)程(cheng)，我們非常好地(di)支撐了同(tong)級最好的(de)(de)能效比，包括在RAW上的(de)(de)復雜算法處理。”姜波(bo)補充。他(ta)進一步(bu)指出，OPPO的(de)(de)這(zhe)個(ge)(ge)6nm芯(xin)片上，實(shi)現了一次點亮(liang)，這(zhe)足(zu)以證明OPPO芯(xin)片團隊的(de)(de)實(shi)力。這(zhe)也讓他(ta)們成為(wei)了國內為(wei)數不多可以實(shi)現6nm設計的(de)(de)企業。
除(chu)此以外，筆者(zhe)還(huan)認(ren)為，OPPO的6nm芯片背后(hou)其實還(huan)有更深層次的含義(yi)：
一方(fang)面，進入到10nm以后，傳(chuan)統的(de)DUV光(guang)刻機(ji)已(yi)經(jing)不再能夠滿足芯片(pian)繼續微(wei)縮(suo)的(de)需求，EUV光(guang)刻機(ji)便應運(yun)而生。從(cong)目(mu)前的(de)情況(kuang)看來，如果(guo)想繼續打造更高(gao)性能的(de)芯片(pian)，懂(dong)得設計使用EUV光(guang)刻機(ji)生產的(de)芯片(pian)是(shi)一個必備技能，而OPPO團隊(dui)在馬里亞納MariSilicon X芯片(pian)的(de)實(shi)踐上展現了他(ta)們在這個方(fang)面的(de)實(shi)力，讓(rang)他(ta)們擁有底氣去探索(suo)更多的(de)芯片(pian)可能。
另一方面(mian)，6nm芯片(pian)(pian)的(de)流片(pian)(pian)成(cheng)(cheng)本較之(zhi)過往的(de)芯片(pian)(pian)工藝成(cheng)(cheng)本有了大(da)幅度的(de)提升，每流片(pian)(pian)一次的(de)成(cheng)(cheng)本可以(yi)以(yi)“億”為(wei)單位。但(dan)OPPO依然能這樣高(gao)舉高(gao)打，足以(yi)體現他(ta)們造芯的(de)決(jue)心。
姜波也強調，和其他芯(xin)片(pian)廠商做(zuo)芯(xin)片(pian)只(zhi)是(shi)追求終端廠商成本(ben)和需求的(de)平(ping)衡(heng)不一樣，OPPO造芯(xin)的(de)目(mu)的(de)相(xiang)對純粹(cui)很多，那就是(shi)用“加(jia)法”思維去“堆料(liao)”，以提高用戶體驗為(wei)(wei)最終目(mu)的(de)。他進一步(bu)舉例說，當這顆芯(xin)片(pian)與高通(tong)或聯發科主芯(xin)片(pian)一起在(zai)手機內工作時，并不是(shi)為(wei)(wei)了取代(dai)后(hou)者的(de)部(bu)分功能(neng)，而(er)是(shi)希(xi)望(wang)通(tong)過增加(jia)芯(xin)片(pian)，增加(jia)算(suan)力，與它們一起把(ba)事情做(zuo)得更(geng)好。
寫在最后
在文章開頭(tou)談到的(de)John Hennessy 和 David Patterson的(de)文章中(zhong)說到，登納德縮放定(ding)(ding)律(lv)和摩爾定(ding)(ding)律(lv)的(de)終(zhong)結，把高級、特(te)定(ding)(ding)領(ling)域的(de)語言(yan)和架(jia)構(gou)(gou)將架(jia)構(gou)(gou)師(shi)從專有指令集的(de)鏈條中(zhong)釋放出來(lai)，這(zhe)將為計算(suan)機(ji)架(jia)構(gou)(gou)師(shi)帶來(lai)一個(ge)新(xin)的(de)黃金(jin)時(shi)代。他(ta)們同時(shi)還指出，未(wei)來(lai)十(shi)年，將會有一場新(xin)計算(suan)機(ji)架(jia)構(gou)(gou)的(de)寒武紀(ji)爆炸，這(zhe)對業(ye)界和學界的(de)架(jia)構(gou)(gou)師(shi)們來(lai)說將是激動人(ren)心的(de)時(shi)刻。
對于OPPO來說，這也是他(ta)們的一個機會。
正如姜波所(suo)說(shuo)，MariSilicon X只是OPPO在(zai)計算影像上探(tan)索的(de)第一步(bu)。因為OPPO離消費(fei)者比較近，會對用戶(hu)痛點以(yi)及產品的(de)價值主張比較清晰，所(suo)以(yi)OPPO在(zai)做(zuo)(zuo)一些方向選(xuan)擇(ze)的(de)時候，也更容(rong)易做(zuo)(zuo)決策。而(er)這正是DSA的(de)精髓所(suo)在(zai)。
從日前(qian)的(de)一些(xie)媒(mei)體報道(dao)中我們看到，OPPO現在擁有了一個超過(guo)2000人(ren)的(de)芯(xin)片團(tuan)隊。通過(guo)OPPO對MariSilicon X的(de)解讀，筆者有理由相信這(zhe)家國(guo)產手(shou)機芯(xin)片“新貴”迎(ying)來的(de)，不僅僅是黃金(jin)十年。讓我們靜候一個更好體驗的(de)時代到來。
