隨著圖(tu)形渲染技術和傳(chuan)感器的(de)發展，我們(men)在日常生(sheng)活中接觸(chu)到的(de)分(fen)(fen)辨(bian)(bian)(bian)率(lv)已經從(cong)過去(qu)的(de)720p、1080p提升(sheng)至(zhi)了4K、8K。然(ran)而這之前的(de)圖(tu)像、視頻依(yi)(yi)然(ran)停留在原有(you)的(de)分(fen)(fen)辨(bian)(bian)(bian)率(lv)上，且(qie)對于圖(tu)形性(xing)能(neng)不夠的(de)硬件來說，要渲染出4K以上的(de)分(fen)(fen)辨(bian)(bian)(bian)率(lv)依(yi)(yi)然(ran)吃力，于是(shi)超分(fen)(fen)辨(bian)(bian)(bian)率(lv)技術就此應運(yun)而生(sheng)。
超分辨率技術的不同技術路線
現(xian)有的(de)超(chao)分(fen)(fen)(fen)辨(bian)率(lv)技(ji)術(shu)分(fen)(fen)(fen)為幾種，比如基(ji)于(yu)插(cha)值(zhi)的(de)超(chao)分(fen)(fen)(fen)辨(bian)率(lv)技(ji)術(shu)、基(ji)于(yu)重構(gou)的(de)超(chao)分(fen)(fen)(fen)辨(bian)率(lv)技(ji)術(shu)和(he)基(ji)于(yu)深(shen)度學(xue)習的(de)超(chao)分(fen)(fen)(fen)辨(bian)率(lv)技(ji)術(shu)等(deng)等(deng)。插(cha)值(zhi)的(de)方法(fa)主(zhu)要基(ji)于(yu)圖(tu)像(xiang)(xiang)插(cha)值(zhi)技(ji)術(shu)，也就(jiu)是圖(tu)像(xiang)(xiang)縮(suo)放技(ji)術(shu)，利用(yong)已知(zhi)的(de)像(xiang)(xiang)素(su)來插(cha)值(zhi)計算出(chu)未(wei)知(zhi)像(xiang)(xiang)素(su)的(de)值(zhi)，最(zui)(zui)后利用(yong)常規的(de)圖(tu)像(xiang)(xiang)技(ji)術(shu)進行(xing)一(yi)定修復等(deng)等(deng)。這是最(zui)(zui)快捷的(de)一(yi)種方法(fa)，但質量(liang)上就(jiu)不(bu)好說(shuo)了，鋸齒和(he)邊緣處理不(bu)到位，可以(yi)說(shuo)與理想的(de)超(chao)分(fen)(fen)(fen)辨(bian)率(lv)相差甚遠。
而深度學習(xi)的(de)(de)(de)方(fang)(fang)法(fa)已經在機器視覺領域(yu)獲(huo)得了(le)良好的(de)(de)(de)應(ying)用，所以基(ji)于(yu)該方(fang)(fang)法(fa)的(de)(de)(de)超分辨率技術(shu)可謂(wei)成果(guo)頗豐(feng)，且(qie)重構效果(guo)遠優于(yu)傳統的(de)(de)(de)方(fang)(fang)法(fa)。通過卷積神經網絡獲(huo)得的(de)(de)(de)高(gao)分辨率圖像，不僅紋(wen)理(li)細節更(geng)加清晰，也在信噪比上(shang)達到了(le)優秀的(de)(de)(de)表(biao)現。
GPU廠商主推的超分辨率技術
由于超(chao)分辨(bian)率技(ji)術可以顯著減少游戲(xi)場景(jing)中(zhong)的(de)(de)圖形壓力(li)，顯著提(ti)高游戲(xi)幀率，目(mu)前應(ying)用最廣的(de)(de)仍是GPU廠商。最先推出(chu)類似技(ji)術的(de)(de)是英偉達，其DLSS技(ji)術于2019年推出(chu)，只不(bu)過(guo)當時的(de)(de)1.0版本可謂一塌糊(hu)涂(tu)，甚至不(bu)如簡單的(de)(de)圖像插值技(ji)術。
DLSS 2.1與2.3版本的對比 / 英偉(wei)達
2020年推出的(de)(de)2.0版(ban)(ban)本中(zhong)，英(ying)偉(wei)達用上了(le)(le)自家GPU中(zhong)的(de)(de)專用AI處(chu)理單元Tensor Core，并用到了(le)(le)時(shi)間(jian)抗鋸齒升采(cai)樣(yang)技術(shu)(shu)，而且新的(de)(de)AI不(bu)需要針對每個游戲進行訓練也能集成這(zhe)一技術(shu)(shu)。而且作為一項基于深度(du)學習的(de)(de)技術(shu)(shu)，DLSS一直(zhi)在(zai)(zai)不(bu)斷完善(shan)，目前處(chu)于2.3版(ban)(ban)本的(de)(de)DLSS對運(yun)動(dong)拖(tuo)影(ying)和(he)粒子效果的(de)(de)渲(xuan)染(ran)又(you)有了(le)(le)極大的(de)(de)改善(shan)。正(zheng)是在(zai)(zai)龐大的(de)(de)運(yun)算和(he)訓練下，DLSS無可厚非地成了(le)(le)當前效果最好的(de)(de)游戲超分辨(bian)率(lv)技術(shu)(shu)，但也將(jiang)這(zhe)一技術(shu)(shu)限(xian)制在(zai)(zai)了(le)(le)英(ying)偉(wei)達自家的(de)(de)GPU平臺上。
FSR在四種(zhong)模式(shi)下的表現(xian) / AMD
AMD為了與(yu)老黃相抗(kang)衡(heng)，也(ye)推出(chu)了對應的(de)超分辨率技術(shu)FSR，與(yu)DLSS技術(shu)相比，FSR涉及到的(de)計(ji)算工作就(jiu)要少一大截了，畢竟不需要額外的(de)計(ji)算單元。FSR作為一種后處(chu)理算法，主要還是(shi)利用(yong)空間算法對當前畫面幀(zhen)進行升級和增強，而無需任何的(de)深(shen)度學習。雖然如(ru)此一來游戲的(de)幀(zhen)數有了顯著(zhu)提(ti)高，但在圖形質量上仍然會看見(jian)不少模糊之處(chu)，尤其是(shi)在動態場景中(zhong)，運(yun)動偽影的(de)現象(xiang)比較嚴重。但好(hao)在FSR技術(shu)無需特定的(de)硬件，所以即便是(shi)競(jing)爭對手(shou)的(de)GPU，也(ye)能充(chong)分利用(yong)這一技術(shu)。
據(ju)傳，AMD即(ji)將(jiang)在(zai)不久后(hou)的(de)GDC上(shang)發布全新(xin)的(de)FSR 2.0技術，這次AMD也(ye)效仿了英偉達，用上(shang)時間數據(ju)來(lai)進(jin)行升采樣，更讓人(ren)驚喜(xi)的(de)是，即(ji)便如此，該(gai)技術依(yi)然無需(xu)任何獨(du)立機器學習硬件，這意味著(zhu)FSR 2.0有很大幾率成為(wei)DLSS的(de)合格競爭對手。
物聯網能不能搭上超分辨率技術這班車？
其(qi)實這(zhe)兩(liang)家即(ji)便(bian)在技術(shu)(shu)路(lu)線上有所差異，但(dan)(dan)標榜(bang)的(de)(de)都(dou)是(shi)(shi)提高(gao)(gao)游戲(xi)的(de)(de)幀數(shu)和圖(tu)形質量，然而(er)目前(qian)如此高(gao)(gao)效的(de)(de)超(chao)(chao)分辨(bian)(bian)(bian)率(lv)技術(shu)(shu)只能(neng)用(yong)于游戲(xi)上嗎？反觀一些(xie)物(wu)聯(lian)網(wang)，尤其(qi)是(shi)(shi)工業(ye)物(wu)聯(lian)網(wang)的(de)(de)應用(yong)，同樣需要對較低分辨(bian)(bian)(bian)率(lv)的(de)(de)圖(tu)片視(shi)頻進行(xing)處理。低分辨(bian)(bian)(bian)率(lv)在一定程(cheng)度(du)上限制了(le)信息傳(chuan)輸的(de)(de)準確性，從而(er)降低了(le)傳(chuan)輸效率(lv)。比(bi)如醫學影像(xiang)中，高(gao)(gao)分辨(bian)(bian)(bian)率(lv)的(de)(de)圖(tu)像(xiang)可以更準確地對疾(ji)病進行(xing)判斷。但(dan)(dan)是(shi)(shi)以上三(san)家所用(yong)到的(de)(de)超(chao)(chao)分辨(bian)(bian)(bian)率(lv)技術(shu)(shu)出于各(ge)種原因，目前(qian)還是(shi)(shi)只能(neng)用(yong)作(zuo)游戲(xi)優化技術(shu)(shu)。
首先是因為實現方式的不同，在游戲里支持這樣的超分辨率技術，其實是靠和圖形渲染引擎的集成來實現的，而不是簡單地對圖像或視頻進行處理。所以除非是用到了Unity或Unreal之類的圖形引擎，比如工業場景中興起的數字孿生系統等，是無法充分利用到這些技術的。
其次(ci)，這些技(ji)術(shu)對(dui)于硬件的(de)(de)(de)算(suan)(suan)力(li)(li)同(tong)樣(yang)存在(zai)一定的(de)(de)(de)要求(qiu)，這里提到的(de)(de)(de)算(suan)(suan)力(li)(li)不只是圖形算(suan)(suan)力(li)(li)，還有(you)AI算(suan)(suan)力(li)(li)，如(ru)果是英偉達的(de)(de)(de)DLSS技(ji)術(shu)的(de)(de)(de)話，還需要特(te)定的(de)(de)(de)硬件才能實(shi)現。而(er)目前物聯網場景中的(de)(de)(de)邊(bian)緣設備往往沒(mei)有(you)很高的(de)(de)(de)算(suan)(suan)力(li)(li)。即便在(zai)開始推行邊(bian)緣AI的(de)(de)(de)情況下，最多也只是對(dui)圖像和視頻做一些簡單的(de)(de)(de)處(chu)理，比如(ru)準確識別智能水表上的(de)(de)(de)刻度等等。
這也不是說目前物(wu)聯網沒辦(ban)法享受這樣的超(chao)分辨率技術(shu)，但稍微可(ke)行的方案可(ke)能(neng)還是需要在(zai)云(yun)端實現。比如智能(neng)監(jian)控攝像頭拍攝的視頻，在(zai)存儲至云(yun)端的同時(shi)，也可(ke)以(yi)同時(shi)進行AI超(chao)分辨率重建(jian)。
不過這種方案目前應該很難普及，一是考慮到這類云服務器的部署成本偏高，如果只是單通道傳輸還算好，而工業物聯網場景中往往是數十條1080p視頻流同時傳輸。二是到不少物聯網應用講究的依然是實時數據傳輸。就拿將智能監控攝像頭作為寵物攝像頭來說，這其中的需求就是實時觀察寵物動向，而不是等待AI重構完后回傳的視頻。
好(hao)在邊緣(yuan)AI、深度(du)學習模(mo)型(xing)已經在物(wu)聯(lian)網領(ling)域(yu)喚(huan)起了關注，專注于傳感器、MCU等硬件(jian)的(de)廠商，都開始或多或少加入一定的(de)AI/ML計算(suan)性能(neng)。未(wei)來(lai)邊緣(yuan)AI算(suan)力提升，超分辨(bian)率(lv)(lv)深度(du)學習模(mo)型(xing)開銷變小的(de)前(qian)提下，物(wu)聯(lian)網可以真正(zheng)享受到超分辨(bian)率(lv)(lv)技術帶來(lai)的(de)好(hao)處(chu)。
