受視網膜(mo)啟(qi)發(fa)的超薄半導體的光電晶體管型視覺傳感器可提供更自(zi)適應的視覺感知
切片 2.5×3.0 cm2 芯片上仿生視覺傳感(gan)器(qi)陣列(lie)的照片（左），以及單(dan)個視覺傳感(gan)器(qi)的示意結(jie)構和光學顯微鏡(jing)圖(tu)像（右(you)）。
為了監控(kong)和(he)(he)導航現實世界的環(huan)境，機器和(he)(he)機器人應該能夠(gou)在不同的背(bei)景照(zhao)明(ming)條件下(xia)收集圖像(xiang)和(he)(he)測量(liang)值。近年來(lai)，世界各地的工程(cheng)師因此一直(zhi)在嘗試開發越來(lai)越先進的傳感器，這(zhe)些傳感器可(ke)以集成到機器人、監控(kong)系(xi)統或(huo)其他(ta)可(ke)以從(cong)感知周(zhou)圍(wei)環(huan)境中受(shou)益的技術中。
香(xiang)港理工大(da)學(xue)、北京大(da)學(xue)、延世(shi)大(da)學(xue)和復旦大(da)學(xue)的研究人員最(zui)近創造了一種(zhong)新的傳(chuan)感(gan)器，可以在各(ge)種(zhong)光(guang)照條(tiao)件下(xia)收集數據，采用一種(zhong)人工復制(zhi)人眼視網(wang)膜(mo)功能的機(ji)制(zhi)。這種(zhong)仿(fang)生傳(chuan)感(gan)器發表在Nature Electronics上的一篇論文中，是使用由二硫化鉬(mu)制(zhi)成的光(guang)電晶體(ti)管制(zhi)造的。
“我們的(de)研(yan)究團隊五年前(qian)就開始了對光電存(cun)儲器的(de)研(yan)究，”開發該傳感器的(de)研(yan)究人(ren)員之一楊柴。“這種新(xin)興設備(bei)可以輸出(chu)光相關和(he)(he)歷(li)史相關的(de)信號(hao)，實現圖(tu)像(xiang)(xiang)集成、微弱信號(hao)累積、光譜(pu)分(fen)析等復雜的(de)圖(tu)像(xiang)(xiang)處(chu)理(li)功(gong)能(neng)，將(jiang)傳感、數(shu)據存(cun)儲和(he)(he)數(shu)據處(chu)理(li)的(de)多功(gong)能(neng)集成在一個設備(bei)中(zhong)。”
2018 年，Chai 和他的(de)同(tong)(tong)事發表了(le)(le)他們的(de)第一(yi)(yi)(yi)篇(pian)關于光(guang)電(dian)存(cun)儲(chu)器(qi)的(de)論(lun)文，他們在其中(zhong)介紹了(le)(le)一(yi)(yi)(yi)種電(dian)阻開(kai)關存(cun)儲(chu)器(qi)件，該器(qi)件可以執行光(guang)傳感(gan)和邏輯運(yun)算。一(yi)(yi)(yi)年后(hou)，該團隊推(tui)出了(le)(le)一(yi)(yi)(yi)種具有三種不(bu)同(tong)(tong)功能的(de)新型光(guang)電(dian)電(dian)阻隨機存(cun)取存(cun)儲(chu)器(qi)設(she)備。具體來(lai)說，這種新設(she)備可以感(gan)知環境，將信息存(cun)儲(chu)在內存(cun)中(zhong)，并執行神經形態的(de)視覺預處理操作。
“在(zai) 2020 年，我(wo)們(men)研究了近傳感(gan)器和傳感(gan)器內計算范式的(de)(de)概念，并提供(gong)了我(wo)們(men)在(zai)該領域的(de)(de)觀(guan)點(dian)，”Chai 說。“我(wo)們(men)的(de)(de)新研究建立在(zai)我(wo)們(men)之前的(de)(de)所有努力之上。”
視覺適應
自然光的(de)(de)強度(du)變化(hua)很大，總范(fan)圍為 280 dB。人的(de)(de)視(shi)(shi)網膜在感知外界光信號時，會根(gen)據(ju)信號的(de)(de)強弱(ruo)來調整其(qi)感光器（即(ji)視(shi)(shi)桿細(xi)胞(bao)和視(shi)(shi)錐細(xi)胞(bao)）的(de)(de)感光度(du)。這(zhe)最終使人眼逐漸適應不(bu)同(tong)程度(du)的(de)(de)照明，在黑暗和明亮的(de)(de)環(huan)境中都能看(kan)清，這(zhe)種能力被稱為“視(shi)(shi)覺(jue)適應”。
Chai 和他的同(tong)事最近工(gong)作(zuo)的主要目標是構(gou)建(jian)一種受人(ren)類(lei)視網膜結構(gou)和功能(neng)啟發(fa)的傳感設備。為此，他們(men)首先開始研(yan)究視網膜，然后嘗(chang)試制定(ding)策略，讓他們(men)能(neng)夠人(ren)為地(di)復制其視覺(jue)適(shi)應能(neng)力(li)。
基于(yu)硅互補金屬氧化(hua)物(wu)半導體 (CMOS) 技(ji)術的最先進的圖像傳感器(qi)通(tong)常具有(you) 70 dB 的有(you)限(xian)動(dong)態范圍(wei)。這個范圍(wei)比自然場景的照明范圍(wei)（280 dB）要窄得多。
“為了在大照明強(qiang)度(du)范(fan)圍內實現(xian)視覺(jue)，研究(jiu)人員已經(jing)探索了在后處理(li)中使用(yong)受控光學孔徑、液體透鏡(jing)、可調節曝光時間和去噪算法，”柴說。“然而，這些方法通(tong)常需要復雜的(de)硬件和軟件資源。”
仿生視覺(jue)傳感器陣列(lie)的暗視和明視適(shi)(shi)應。(a) 暗背(bei)景(jing)下(xia) 8×8 像(xiang)素(su)陣列(lie)的示意(yi)圖(tu)，用于識別用于暗適(shi)(shi)應測試的低強度圖(tu)像(xiang)。(b) 明亮背(bei)景(jing)下(xia) 8×8 像(xiang)素(su)陣列(lie)的示意(yi)圖(tu)，用于識別強光圖(tu)像(xiang)以進(jin)行明視適(shi)(shi)應測試。（c）暗視和（d）“8”圖(tu)案的明視適(shi)(shi)應的時間過程(cheng)。
能(neng)夠適(shi)應(ying)視(shi)覺(jue)并在感(gan)官終端具有(you)廣(guang)泛感(gan)知(zhi)范圍(wei)的光(guang)電設備可能(neng)具有(you)非常有(you)價值(zhi)的應(ying)用。例如，它們可以(yi)幫助提高(gao)計算機(ji)視(shi)覺(jue)工具的性(xing)(xing)能(neng)，降低(di)構(gou)建機(ji)器(qi)人或(huo)其他傳感(gan)系(xi)統所需(xu)的硬件復雜性(xing)(xing)，并提高(gao)圖像(xiang)識別系(xi)統的準確性(xing)(xing)。
過(guo)去(qu)，其他研究團隊推出了(le)可以適(shi)(shi)應不同光照條(tiao)件的光電器件。盡管如此，大多數先前提出的設備只能復制視網膜(mo)的明視適(shi)(shi)應機制。另一方面，暗適(shi)(shi)應過(guo)程迄今(jin)已被證明更難模擬(ni)。
“要(yao)完全復制(zhi)視(shi)(shi)網膜的(de)(de)(de)視(shi)(shi)覺適(shi)應(ying)功能，還有很長的(de)(de)(de)路要(yao)走，”柴(chai)解釋說。“為了實現這一(yi)目標，我(wo)們(men)(men)設計了一(yi)種(zhong)使用超(chao)薄半(ban)導體的(de)(de)(de)光電晶體管型(xing)視(shi)(shi)覺傳(chuan)感器，它可以通(tong)(tong)過(guo)施加不同(tong)的(de)(de)(de)柵極電壓來控制(zhi)同(tong)一(yi)設備中的(de)(de)(de)暗適(shi)應(ying)和(he)明適(shi)應(ying)程度。通(tong)(tong)過(guo)這種(zhong)方式，我(wo)們(men)(men)模擬了視(shi)(shi)網膜中的(de)(de)(de)光感受器和(he)水平細胞，并成功實現了具有 199 dB 感知范(fan)圍的(de)(de)(de)仿(fang)生傳(chuan)感器內(nei)視(shi)(shi)覺適(shi)應(ying)裝置。”
Chai 及其同(tong)事開(kai)發(fa)的仿生視覺傳感器基于由(you)超薄(bo)半(ban)導體材料（即二(er)硫化鉬）制成的光電晶體管(guan)。他(ta)們使用的光電晶體管(guan)具有多種電荷陷阱狀態(tai)，這些狀態(tai)可以在不同(tong)的柵極電壓下捕獲或(huo)釋放溝(gou)道(dao)內的電子(zi)。
最(zui)終，這些狀態(tai)允許研究人(ren)(ren)員動態(tai)調節其設(she)備的(de)電導。這反過來又使他們能夠人(ren)(ren)為地(di)復制人(ren)(ren)類視(shi)(shi)網(wang)膜的(de)暗視(shi)(shi)和明(ming)視(shi)(shi)適應機制，從而擴大其傳感器響應不同照明(ming)條(tiao)件的(de)感知范圍。
Chai 和(he)他(ta)的(de)(de)同(tong)事在(zai)一系列測試中評估了(le)他(ta)們(men)的(de)(de)仿生傳(chuan)感器，發現它可以有效(xiao)地模擬人(ren)類視(shi)網膜的(de)(de)功能(neng)，在(zai)暗適應(ying)和(he)明(ming)適應(ying)方面都(dou)取(qu)得了(le)顯著的(de)(de)成果。此(ci)外，與之前提出的(de)(de)解決(jue)方案相比(bi)，它具有明(ming)顯更高的(de)(de)感知范圍（即(ji) 199 dB）。
“我們(men)的傳感(gan)器可以豐富機器視覺功能，降低硬件復雜(za)度，實現高圖像識(shi)別(bie)效(xiao)率(lv)，”柴說。“所有這些(xie)好處在(zai)復雜(za)照明環境下的自動駕駛、人臉(lian)識(shi)別(bie)和工業制造(zao)等領(ling)域(yu)都有很大的應用前景(jing)。”
在接下來(lai)的研究中，研究人員計劃進一步提高傳(chuan)(chuan)感(gan)器(qi)的性能，同(tong)時(shi)還使用(yong)它們來(lai)制造由傳(chuan)(chuan)感(gan)器(qi)陣列(lie)組成的大規模系統。理(li)想情況(kuang)下，他們希望在柔性或半球形基(ji)板上(shang)構建此傳(chuan)(chuan)感(gan)器(qi)陣列(lie)，以實(shi)現更寬(kuan)的視野。
“一個需(xu)要改進(jin)的(de)領域是我們(men)(men)傳感器的(de)適(shi)(shi)應(ying)時(shi)間(jian)，因(yin)為它仍然(ran)不足以支持(chi)機器視覺應(ying)用，”Chai 補充道。“我們(men)(men)的(de)目(mu)標是將(jiang)適(shi)(shi)應(ying)時(shi)間(jian)降低到(dao)微秒級。傳感器陣列規模(mo)(mo)也需(xu)要進(jin)一步(bu)提升(sheng)。我們(men)(men)近(jin)期的(de)陣列規模(mo)(mo)目(mu)標是大于100×100。最后(hou)，視覺傳感器的(de)異構(gou)集成(cheng)與后(hou)-具有(you)硅基(ji)控(kong)制電(dian)路的(de)處理單元是邁向實(shi)際應(ying)用的(de)非常重要的(de)一步(bu)。”
