隨著圖形(xing)渲染技(ji)術和傳感器的(de)(de)發展，我們(men)在(zai)日常生活中接觸到(dao)的(de)(de)分(fen)(fen)辨(bian)率(lv)已經從過去的(de)(de)720p、1080p提升至了(le)4K、8K。然而(er)(er)這之前(qian)的(de)(de)圖像(xiang)、視(shi)頻依(yi)(yi)然停留在(zai)原(yuan)有的(de)(de)分(fen)(fen)辨(bian)率(lv)上，且(qie)對(dui)于圖形(xing)性能不(bu)夠(gou)的(de)(de)硬件來說，要渲染出4K以(yi)上的(de)(de)分(fen)(fen)辨(bian)率(lv)依(yi)(yi)然吃力，于是超分(fen)(fen)辨(bian)率(lv)技(ji)術就此應運而(er)(er)生。
超分辨率技術的不同技術路線
現有的(de)(de)(de)(de)超(chao)分(fen)辨率技(ji)(ji)術(shu)(shu)(shu)分(fen)為幾(ji)種，比如基(ji)于(yu)(yu)插(cha)(cha)值(zhi)的(de)(de)(de)(de)超(chao)分(fen)辨率技(ji)(ji)術(shu)(shu)(shu)、基(ji)于(yu)(yu)重構的(de)(de)(de)(de)超(chao)分(fen)辨率技(ji)(ji)術(shu)(shu)(shu)和(he)基(ji)于(yu)(yu)深(shen)度學習的(de)(de)(de)(de)超(chao)分(fen)辨率技(ji)(ji)術(shu)(shu)(shu)等等。插(cha)(cha)值(zhi)的(de)(de)(de)(de)方法(fa)主要基(ji)于(yu)(yu)圖像(xiang)插(cha)(cha)值(zhi)技(ji)(ji)術(shu)(shu)(shu)，也就是圖像(xiang)縮放技(ji)(ji)術(shu)(shu)(shu)，利(li)用(yong)已知的(de)(de)(de)(de)像(xiang)素來插(cha)(cha)值(zhi)計算出未知像(xiang)素的(de)(de)(de)(de)值(zhi)，最(zui)后(hou)利(li)用(yong)常規的(de)(de)(de)(de)圖像(xiang)技(ji)(ji)術(shu)(shu)(shu)進(jin)行一定修復等等。這是最(zui)快捷的(de)(de)(de)(de)一種方法(fa)，但質(zhi)量上就不好說了，鋸齒和(he)邊緣處理不到位，可以說與理想的(de)(de)(de)(de)超(chao)分(fen)辨率相差甚遠。
而深度學習(xi)的(de)方法(fa)已經在(zai)機器(qi)視覺領域獲得了良好的(de)應(ying)用，所以基(ji)于(yu)該方法(fa)的(de)超分(fen)辨(bian)率技術可謂成果(guo)頗豐(feng)，且重(zhong)構(gou)效果(guo)遠優于(yu)傳(chuan)統的(de)方法(fa)。通過卷積神經網絡(luo)獲得的(de)高分(fen)辨(bian)率圖像，不僅紋理細節更加(jia)清晰，也在(zai)信噪比上達到了優秀的(de)表現。
GPU廠商主推的超分辨率技術
由于超分辨(bian)率技(ji)術(shu)(shu)可(ke)以顯(xian)著(zhu)減少(shao)游戲(xi)場景中的(de)(de)圖形壓力，顯(xian)著(zhu)提高游戲(xi)幀率，目前(qian)應(ying)用最(zui)廣的(de)(de)仍是GPU廠商。最(zui)先(xian)推出類似技(ji)術(shu)(shu)的(de)(de)是英(ying)偉達，其DLSS技(ji)術(shu)(shu)于2019年(nian)推出，只不過當時(shi)的(de)(de)1.0版本可(ke)謂一塌糊(hu)涂，甚至(zhi)不如(ru)簡單的(de)(de)圖像(xiang)插值技(ji)術(shu)(shu)。
DLSS 2.1與2.3版本的對比 / 英偉達
2020年推出的(de)2.0版(ban)本中，英偉(wei)達(da)用上(shang)了(le)(le)(le)(le)自家(jia)GPU中的(de)專用AI處理單元Tensor Core，并用到了(le)(le)(le)(le)時間抗鋸齒升采樣技術，而(er)且(qie)新的(de)AI不(bu)需(xu)要針對每(mei)個游戲(xi)進行訓(xun)(xun)練也能集成(cheng)這一技術。而(er)且(qie)作為一項基于深度學習(xi)的(de)技術，DLSS一直在(zai)不(bu)斷(duan)完善，目前(qian)處于2.3版(ban)本的(de)DLSS對運(yun)動拖(tuo)影和粒(li)子效果的(de)渲染又有了(le)(le)(le)(le)極大的(de)改善。正是(shi)在(zai)龐大的(de)運(yun)算和訓(xun)(xun)練下，DLSS無可厚(hou)非(fei)地成(cheng)了(le)(le)(le)(le)當(dang)前(qian)效果最好的(de)游戲(xi)超分辨率技術，但也將這一技術限制在(zai)了(le)(le)(le)(le)英偉(wei)達(da)自家(jia)的(de)GPU平臺上(shang)。
FSR在(zai)四種(zhong)模(mo)式下的表現(xian) / AMD
AMD為了與老(lao)黃相(xiang)抗衡，也推(tui)出了對應的超(chao)分辨率技(ji)術FSR，與DLSS技(ji)術相(xiang)比，FSR涉(she)及到(dao)的計(ji)算(suan)(suan)工作就要(yao)少一(yi)大截了，畢竟不需要(yao)額外(wai)的計(ji)算(suan)(suan)單元。FSR作為一(yi)種后(hou)處理算(suan)(suan)法，主要(yao)還是(shi)利(li)(li)用(yong)空間(jian)算(suan)(suan)法對當前(qian)畫面幀進行(xing)升級和增強(qiang)，而無(wu)需任(ren)何的深度學(xue)習。雖然如此一(yi)來游戲(xi)的幀數(shu)有了顯著提高，但在圖形質量上仍然會看(kan)見不少模糊之處，尤其是(shi)在動態(tai)場景中(zhong)，運動偽影的現象比較(jiao)嚴重。但好(hao)在FSR技(ji)術無(wu)需特(te)定的硬件，所(suo)以即便是(shi)競爭對手的GPU，也能充分利(li)(li)用(yong)這(zhe)一(yi)技(ji)術。
據傳(chuan)，AMD即將在不久后(hou)的GDC上發布全新的FSR 2.0技術，這次AMD也效仿了英偉達，用上時間數據來(lai)進行升采樣，更讓人驚喜的是，即便如此，該技術依(yi)然無需任(ren)何(he)獨立機器(qi)學習硬件，這意味著(zhu)FSR 2.0有很大幾率(lv)成為DLSS的合格競爭對手。
物聯網能不能搭上超分辨率技術這班車？
其實這兩(liang)家(jia)即便在技(ji)術路線上有(you)所差(cha)異，但標榜的都是(shi)提(ti)高(gao)游(you)戲的幀(zhen)數和圖(tu)形質量，然而目前(qian)如(ru)此高(gao)效(xiao)的超(chao)分(fen)辨(bian)率技(ji)術只(zhi)能(neng)用(yong)(yong)于游(you)戲上嗎？反觀一些物聯網，尤其是(shi)工業物聯網的應用(yong)(yong)，同(tong)樣需要對(dui)較(jiao)低分(fen)辨(bian)率的圖(tu)片視頻進行(xing)(xing)處理。低分(fen)辨(bian)率在一定程(cheng)度上限制了(le)信息傳輸的準確性，從而降(jiang)低了(le)傳輸效(xiao)率。比(bi)如(ru)醫學影(ying)像(xiang)(xiang)中，高(gao)分(fen)辨(bian)率的圖(tu)像(xiang)(xiang)可以更(geng)準確地對(dui)疾病進行(xing)(xing)判(pan)斷。但是(shi)以上三家(jia)所用(yong)(yong)到的超(chao)分(fen)辨(bian)率技(ji)術出于各種原因(yin)，目前(qian)還是(shi)只(zhi)能(neng)用(yong)(yong)作(zuo)游(you)戲優化(hua)技(ji)術。
首先是因為實現方式的不同，在游戲里支持這樣的超分辨率技術，其實是靠和圖形渲染引擎的集成來實現的，而不是簡單地對圖像或視頻進行處理。所以除非是用到了Unity或Unreal之類的圖形引擎，比如工業場景中興起的數字孿生系統等，是無法充分利用到這些技術的。
其次，這(zhe)些技術對(dui)于硬件的(de)(de)(de)(de)算(suan)(suan)力同(tong)樣存(cun)在一定的(de)(de)(de)(de)要(yao)求，這(zhe)里提到的(de)(de)(de)(de)算(suan)(suan)力不只是(shi)圖(tu)形算(suan)(suan)力，還(huan)有AI算(suan)(suan)力，如果是(shi)英偉(wei)達(da)的(de)(de)(de)(de)DLSS技術的(de)(de)(de)(de)話，還(huan)需要(yao)特定的(de)(de)(de)(de)硬件才能實現。而目前物聯(lian)網場景中的(de)(de)(de)(de)邊緣設備往往沒有很(hen)高的(de)(de)(de)(de)算(suan)(suan)力。即便在開始推行(xing)邊緣AI的(de)(de)(de)(de)情(qing)況下(xia)，最多也只是(shi)對(dui)圖(tu)像和視頻做(zuo)一些簡單(dan)的(de)(de)(de)(de)處理，比如準(zhun)確識別(bie)智能水(shui)表上的(de)(de)(de)(de)刻度等等。
這也(ye)不是說目前物(wu)聯網沒辦法享受這樣的超分(fen)辨率(lv)技(ji)術，但稍微可行的方(fang)案可能還是需要在云(yun)端實現(xian)。比如智能監控(kong)攝像頭拍(pai)攝的視頻，在存儲至云(yun)端的同(tong)時，也(ye)可以同(tong)時進行AI超分(fen)辨率(lv)重建。
不過這種方案目前應該很難普及，一是考慮到這類云服務器的部署成本偏高，如果只是單通道傳輸還算好，而工業物聯網場景中往往是數十條1080p視頻流同時傳輸。二是到不少物聯網應用講究的依然是實時數據傳輸。就拿將智能監控攝像頭作為寵物攝像頭來說，這其中的需求就是實時觀察寵物動向，而不是等待AI重構完后回傳的視頻。
好(hao)在邊緣(yuan)AI、深度學習(xi)模型已經在物(wu)聯(lian)網領域喚起了關注(zhu)，專注(zhu)于傳感(gan)器(qi)、MCU等硬件的(de)廠商，都開(kai)始或(huo)多(duo)或(huo)少加(jia)入一定的(de)AI/ML計算(suan)性能(neng)。未(wei)來(lai)邊緣(yuan)AI算(suan)力(li)提升，超(chao)分(fen)(fen)辨(bian)率深度學習(xi)模型開(kai)銷變小(xiao)的(de)前(qian)提下(xia)，物(wu)聯(lian)網可以真正享受到超(chao)分(fen)(fen)辨(bian)率技術帶來(lai)的(de)好(hao)處。
