利用 AI 打輔助，讓機器夜視能力和白天一樣清晰 ——
今(jin)天，這樣一種顛覆(fu)已有熱成(cheng)像技術的新方法登上了 Nature 封面。
它來自美國普渡大(da)學和(he)密歇(xie)根州立大(da)學，一作為浙大(da)畢(bi)業的博士。
通(tong)過(guo)克服(fu)傳(chuan)統解(jie)決方案中(zhong)的“重影”問題，這種(zhong)方法在基(ji)準測(ce)試中(zhong)一顯巨大優勢，不(bu)僅(jin)能像白(bai)天一樣看清環境(jing)的紋理和深度，還能感知(zhi)(zhi)到 RGB、熱視覺以(yi)外(wai)的各種(zhong)物理信息(xi)，可謂相(xiang)當利好機器感知(zhi)(zhi)尤(you)其是自動駕駛行業。
而作(zuo)者則認為，該成(cheng)果對第四(si)次工業革命還能直接起(qi)到加速作(zuo)用(yong)。
何以見得?我們翻開論文來看。
像(xiang)白(bai)天一樣清楚的夜視能力
目前比較前沿的機器感知方法是利用無處不在的熱信號來重現環境信息。
但是它有一個非常明顯的缺點，就是會產生“重影效應(ghosting effect)”。
具體而言，該(gai)效應是(shi)指(zhi)由于物體和(he)環境(jing)在不斷發射(she)熱輻射(she)，導(dao)致三(san)個物理屬性，即溫度(du)(T，物理狀態(tai))、發射(she)率(e，材料(liao)指(zhi)紋)和(he)紋理(X，表面(mian)幾何形狀)混合在光子流中出現(xian)的(de)一種(zhong)現(xian)象(僅(jin)限于夜(ye)視情況)。
這種現象主要造成的是環境 / 物體的紋理缺失，如下圖所示：
只有當(dang)燈泡關(guan)閉時(shi)我(wo)們(men)(men)才能(neng)看到燈泡上(shang)的(de)(de)幾何紋理(li)，一旦發光就完全消失，而黑體輻射不可能(neng)被“關(guan)閉”，所(suo)以也就意味(wei)著我(wo)們(men)(men)得到的(de)(de)熱圖像總是缺乏紋理(li)，不能(neng)看到一個完全真實的(de)(de)黑暗世界(jie)。
在(zai)此(ci)，作者提出了一(yi)(yi)種名為 HADAR(heat-assisted detection and ranging)的方法，它(ta)以熱光(guang)子流為輸(shu)入，記錄高(gao)光(guang)譜成像熱立方體，通(tong)過 TeX 分(fen)解(jie)來解(jie)決重(zhong)影效應這一(yi)(yi)挑戰。
作者表示，TeX 分解利用機器學習生動地從雜亂的熱信號中恢復紋理(如下圖彩色部分)，并使人工智能算法(fa)能夠達到(dao)(dao)信息論(lun)的(de)極限，而到(dao)(dao)目前為(wei)止(zhi)，傳統的(de) RGB 或熱視覺辦法(fa)很難做(zuo)到(dao)(dao)。
它(ta)的具體(ti)實(shi)現如下圖所示(shi)：
作者介紹，其架構的物理學靈感來自三個方面。
首先，熱立方體的(de) TeX 分解(jie)依賴于空間模式和(he)光譜熱特征，這啟發了他(ta)們在(zai) UNet 模型中采(cai)用光譜和(he)金字塔(空間)注意力層。
其次，由于 TeX 的簡并性，必(bi)須指定以下數學結構來確(que)保(bao)逆映射(she)的唯一性(α、β 代表物體的指數，v 是(shi)波數)，因此必(bi)須學習熱照(zhao)明系數 V 而(er)不是(shi)紋(wen)理 X。也(ye)就(jiu)是(shi)說，TeX-Net 不能端(duan)到(dao)端(duan)地訓(xun)練。
最后，材料庫 M 及其維度是整個網絡的關鍵。
除此之外，作者還提(ti)出了一種(zhong)非機器(qi)學(xue)習方法，即 TeX-SGD 來生成 TeX-vison 作為補充。
在測試中，我們能看到 HADAR 方法帶來了超高精度。
如下圖(tu)所(suo)示(shi)，第一行(xing)顯(xian)示(shi)基于(yu)原始熱圖(tu)像的測(ce)距方(fang)法由于(yu)重影導致精(jing)度很差;第二行(xing)則顯(xian)示(shi)與熱測(ce)距相比，HADAR 中(zhong)恢(hui)復(fu)的紋(wen)理和增強(qiang)的精(jing)度約達(da) 100 倍;
而在下面的場景中(黑色汽車、人和愛因斯坦紙板)，我們能看到：
視覺驅動的物體檢測在光學成像(xiang)中(a)錯誤地識別出(chu)了兩個人和一輛(liang)汽(qi)車(che)，而激光雷(lei)達(da)點云(c)不(bu)但識別到兩個人還(huan)把(ba)汽(qi)車(che)給丟了，只(zhi)有 HADAR 方法能夠帶來(lai)全面的理解，準確(que)框出(chu)一人一車(che)。
最(zui)后這一(yi)組圖(tu)則(ze)充分證(zheng)明，HADAR 在夜間的(de)總體(ti)視(shi)(shi)覺能力(li)優于目前最(zui)先進的(de)熱測(ce)距方法(GCNDepth)，其 RGB 立(li)體(ti)視(shi)(shi)覺更是和白天測(ce)試到(dao)的(de)基本(ben)處于一(yi)個水平，即 HADAR 在黑暗中看(kan)到(dao)環境紋理和深(shen)度，就(jiu)像白天一(yi)樣。
作者介紹
一作 Fanglin Bao，普(pu)渡大學(xue)(xue)研究員。他于 2011 年(nian) 6 月在浙江大學(xue)(xue)獲得物理學(xue)(xue)學(xue)(xue)士學(xue)(xue)位(wei)，2016 年(nian) 6 月獲得光學(xue)(xue)博士學(xue)(xue)位(wei)。
Fanglin Bao 之前(qian)的研(yan)究集(ji)中(zhong)于非均勻系統中(zhong)的卡(ka)西米爾(er)效應(量子力學)，目前(qian)則延伸到張量網絡、神(shen)經網絡及其(qi)在量子物(wu)理學中(zhong)的應用(yong)。
通(tong)訊作(zuo)者(zhe)為普渡大(da)學(xue)(xue)電氣與計(ji)算(suan)機(ji)工(gong)程(cheng)教授 Zubin Jacob，以及密歇根州立大(da)學(xue)(xue)計(ji)算(suan)機(ji)科學(xue)(xue)與工(gong)程(cheng)系助理教授 Vishnu Boddeti(后者(zhe)正在(zai)招收(shou)“數(shu)學(xue)(xue)背景(jing)很強”的學(xue)(xue)生(sheng))。
論文(wen)地址：
//www.nature.com/articles/s41586-023-06174-6
