利用 AI 打輔助，讓機器夜視能力和白天一樣清晰 ——
今天，這(zhe)樣一種顛(dian)覆已(yi)有熱成像技術的新方法登上了 Nature 封面。
它來自美國普渡大學和密歇根州立(li)大學，一作為浙大畢業的博士。
通過克(ke)服傳(chuan)統(tong)解決(jue)方(fang)案中的“重影”問題(ti)，這種方(fang)法在基準測(ce)試中一顯巨大優(you)勢，不僅能(neng)像(xiang)白天一樣看清環境的紋理(li)和深度，還能(neng)感知到(dao) RGB、熱(re)視覺以外的各種物理(li)信息，可(ke)謂相當利好機器感知尤其是自動(dong)駕(jia)駛(shi)行業。
而作者則認為，該成果對第四次工業革命還(huan)能直接起到加速作用。
何以見得?我們翻開論文來看。
像(xiang)白天一樣(yang)清(qing)楚的(de)夜(ye)視能(neng)力(li)
目前比較前沿的機器感知方法是利用無處不在的熱信號來重現環境信息。
但是它有一個非常明顯的缺點，就是會產生“重影效應(ghosting effect)”。
具體而言，該(gai)效應是指由于物(wu)(wu)體和環境(jing)在不斷發(fa)射(she)熱輻射(she)，導致(zhi)三個物(wu)(wu)理屬性，即溫度(T，物(wu)(wu)理狀態)、發(fa)射(she)率(e，材料指紋)和紋理(X，表面幾何形狀)混合在光(guang)子流中出現(xian)的一(yi)種現(xian)象(僅限于夜(ye)視(shi)情況)。
這種現象主要造成的是環境 / 物體的紋理缺失，如下圖所示：
只有當燈泡關閉時(shi)我(wo)們才能看到(dao)燈泡上的(de)幾何紋理(li)，一旦發光(guang)就(jiu)完(wan)全(quan)消失，而黑體輻射不(bu)可能被“關閉”，所以(yi)也就(jiu)意味著我(wo)們得到(dao)的(de)熱圖(tu)像總是缺乏紋理(li)，不(bu)能看到(dao)一個完(wan)全(quan)真(zhen)實的(de)黑暗世界。
在此，作(zuo)者提出了一種(zhong)名為(wei) HADAR(heat-assisted detection and ranging)的方(fang)法，它以(yi)熱光(guang)(guang)子流為(wei)輸入，記(ji)錄高光(guang)(guang)譜(pu)成像熱立方(fang)體，通過 TeX 分解(jie)來(lai)解(jie)決重(zhong)影效(xiao)應(ying)這一挑(tiao)戰(zhan)。
作者表示，TeX 分解利用機器學習生動地從雜亂的熱信號中恢復紋理(如下圖彩色部分)，并使人工智能算(suan)法(fa)能夠(gou)達到信(xin)息論的極限，而(er)到目前(qian)為(wei)止，傳統的 RGB 或熱視(shi)覺辦法(fa)很難做到。
它的具(ju)體(ti)實現如下圖所示：
作者介紹，其架構的物理學靈感來自三個方面。
首先，熱立方體(ti)的(de) TeX 分解依(yi)賴于空間模式和(he)光(guang)譜熱特征，這(zhe)啟(qi)發(fa)了(le)他們在 UNet 模型中采(cai)用光(guang)譜和(he)金字塔(空間)注(zhu)意力層。
其次，由于(yu) TeX 的(de)簡(jian)并性(xing)(xing)，必須指(zhi)定以下數(shu)學結構來確保逆映射的(de)唯一性(xing)(xing)(α、β 代(dai)表(biao)物(wu)體的(de)指(zhi)數(shu)，v 是(shi)波數(shu))，因此必須學習熱照明系數(shu) V 而不是(shi)紋理 X。也就是(shi)說，TeX-Net 不能(neng)端到端地訓練(lian)。
最后，材料庫 M 及其維度是整個網絡的關鍵。
除此之外，作者還提出了一種非機器學習方(fang)法(fa)，即 TeX-SGD 來生(sheng)成(cheng) TeX-vison 作為補(bu)充。
在測試中，我們能看到 HADAR 方法帶來了超高精度。
如下圖所示(shi)，第一(yi)行顯示(shi)基(ji)于原(yuan)始(shi)熱圖像的測(ce)距(ju)(ju)方(fang)法(fa)由于重影導(dao)致精度很差;第二行則顯示(shi)與熱測(ce)距(ju)(ju)相比，HADAR 中(zhong)恢(hui)復的紋理和增強的精度約達 100 倍;
而在下面的場景中(黑色汽車、人和愛因斯坦紙板)，我們能看到：
視覺驅動的物體檢測在光學成像(xiang)中(a)錯(cuo)誤地識(shi)別出(chu)了兩(liang)(liang)個(ge)人(ren)(ren)和(he)一(yi)輛(liang)汽車(che)，而激光雷達點(dian)云(yun)(c)不但(dan)識(shi)別到兩(liang)(liang)個(ge)人(ren)(ren)還把汽車(che)給丟了，只有 HADAR 方法能夠帶來全面的理解(jie)，準確(que)框出(chu)一(yi)人(ren)(ren)一(yi)車(che)。
最后這一組圖則充(chong)分證明，HADAR 在夜(ye)間(jian)的總體(ti)視覺能力優于(yu)目前(qian)最先(xian)進(jin)的熱測(ce)距方法(fa)(GCNDepth)，其 RGB 立體(ti)視覺更是和(he)白天測(ce)試到的基本處于(yu)一個水平，即 HADAR 在黑暗中看到環境(jing)紋理(li)和(he)深度，就(jiu)像白天一樣(yang)。
作者介紹
一作 Fanglin Bao，普渡大(da)學(xue)(xue)研(yan)究員。他于(yu) 2011 年(nian) 6 月(yue)在浙江大(da)學(xue)(xue)獲(huo)得物(wu)理學(xue)(xue)學(xue)(xue)士學(xue)(xue)位，2016 年(nian) 6 月(yue)獲(huo)得光學(xue)(xue)博士學(xue)(xue)位。
Fanglin Bao 之前(qian)(qian)的研(yan)究集中(zhong)于(yu)非均勻系(xi)統中(zhong)的卡西米爾效應(量(liang)子力學)，目前(qian)(qian)則延伸到張(zhang)量(liang)網(wang)絡、神經網(wang)絡及(ji)其在量(liang)子物理學中(zhong)的應用。
通(tong)訊作(zuo)者(zhe)(zhe)為普(pu)渡大學(xue)(xue)電氣與計(ji)算機工程教(jiao)授(shou) Zubin Jacob，以(yi)及(ji)密(mi)歇根州立大學(xue)(xue)計(ji)算機科學(xue)(xue)與工程系助(zhu)理教(jiao)授(shou) Vishnu Boddeti(后者(zhe)(zhe)正(zheng)在招(zhao)收“數學(xue)(xue)背(bei)景(jing)很強”的學(xue)(xue)生)。
論(lun)文地(di)址：
//www.nature.com/articles/s41586-023-06174-6
