受(shou)視(shi)網膜啟發的超薄半導體的光電晶體管型視(shi)覺(jue)傳(chuan)感器(qi)可提供(gong)更(geng)自(zi)適應(ying)的視(shi)覺(jue)感知
切片 2.5×3.0 cm2 芯片上仿生視覺傳感器(qi)陣列的(de)照片（左），以及單(dan)個視覺傳感器(qi)的(de)示意結構和光學顯微鏡(jing)圖像（右）。
為了監控和導航現實世界的環境(jing)，機(ji)器(qi)(qi)和機(ji)器(qi)(qi)人(ren)應(ying)該能(neng)夠在不同的背景照明條件下收(shou)集圖(tu)像和測量值(zhi)。近年來，世界各(ge)地的工程師因此一直在嘗試開發越來越先進的傳(chuan)感(gan)器(qi)(qi)，這些(xie)傳(chuan)感(gan)器(qi)(qi)可(ke)以集成(cheng)到機(ji)器(qi)(qi)人(ren)、監控系(xi)統或其他可(ke)以從感(gan)知周圍(wei)環境(jing)中受益(yi)的技(ji)術中。
香港理工大(da)學(xue)(xue)、北京大(da)學(xue)(xue)、延(yan)世大(da)學(xue)(xue)和復旦大(da)學(xue)(xue)的(de)研究人員(yuan)最近創(chuang)造(zao)了一種(zhong)新的(de)傳(chuan)感器，可以在(zai)各種(zhong)光(guang)(guang)照條件(jian)下收集數據，采(cai)用一種(zhong)人工復制(zhi)人眼視網(wang)膜功(gong)能(neng)的(de)機制(zhi)。這種(zhong)仿生傳(chuan)感器發表在(zai)Nature Electronics上的(de)一篇論文中，是(shi)使用由二硫化鉬(mu)制(zhi)成的(de)光(guang)(guang)電晶(jing)體(ti)管制(zhi)造(zao)的(de)。
“我們的(de)(de)研究團隊(dui)五(wu)年前就(jiu)開始了對光(guang)電存儲(chu)器的(de)(de)研究，”開發(fa)該傳感器的(de)(de)研究人員之一楊(yang)柴。“這(zhe)種新興設備(bei)可以輸出(chu)光(guang)相關和(he)歷史相關的(de)(de)信號(hao)，實現圖像(xiang)集成、微弱信號(hao)累積、光(guang)譜分(fen)析等(deng)復雜的(de)(de)圖像(xiang)處(chu)理功能(neng)，將(jiang)傳感、數(shu)據存儲(chu)和(he)數(shu)據處(chu)理的(de)(de)多功能(neng)集成在一個設備(bei)中。”
2018 年(nian)，Chai 和(he)他(ta)的(de)(de)同事(shi)發表了他(ta)們的(de)(de)第一(yi)篇關(guan)于光電(dian)存(cun)儲器的(de)(de)論文，他(ta)們在(zai)其中介紹了一(yi)種電(dian)阻開關(guan)存(cun)儲器件(jian)，該器件(jian)可以執行(xing)光傳感和(he)邏輯(ji)運(yun)算(suan)。一(yi)年(nian)后，該團隊推出了一(yi)種具有三種不同功能(neng)的(de)(de)新型(xing)光電(dian)電(dian)阻隨機存(cun)取(qu)存(cun)儲器設備。具體(ti)來說，這種新設備可以感知(zhi)環境，將(jiang)信息存(cun)儲在(zai)內存(cun)中，并執行(xing)神經形態的(de)(de)視覺(jue)預處理(li)操作。
“在(zai)(zai) 2020 年，我(wo)們(men)研究(jiu)了近傳(chuan)感器和傳(chuan)感器內(nei)計算范式的(de)概念，并提供(gong)了我(wo)們(men)在(zai)(zai)該領域的(de)觀點，”Chai 說。“我(wo)們(men)的(de)新研究(jiu)建立在(zai)(zai)我(wo)們(men)之(zhi)(zhi)前的(de)所(suo)有努力之(zhi)(zhi)上。”
視覺適應
自然(ran)光的(de)(de)強度變化很大，總范(fan)圍為 280 dB。人的(de)(de)視網(wang)膜(mo)在感(gan)知外界(jie)光信(xin)號時(shi)，會根據信(xin)號的(de)(de)強弱(ruo)來調整(zheng)其感(gan)光器(qi)（即視桿細(xi)(xi)胞(bao)和視錐細(xi)(xi)胞(bao)）的(de)(de)感(gan)光度。這最終使人眼逐漸(jian)適應(ying)不同程(cheng)度的(de)(de)照明(ming)，在黑(hei)暗和明(ming)亮的(de)(de)環境中都能看清，這種能力被稱為“視覺適應(ying)”。
Chai 和他的(de)同(tong)事最近(jin)工作的(de)主要目(mu)標(biao)是構建(jian)一種受人類視(shi)網(wang)膜結構和功能啟(qi)發(fa)的(de)傳感設備。為此(ci)，他們首先開始(shi)研究視(shi)網(wang)膜，然(ran)后嘗試(shi)制定策略，讓他們能夠人為地復制其(qi)視(shi)覺適(shi)應能力。
基于硅互補金屬氧化物(wu)半導(dao)體 (CMOS) 技術的(de)最(zui)先進的(de)圖像(xiang)傳(chuan)感(gan)器通常具有 70 dB 的(de)有限動(dong)態范(fan)圍(wei)。這個(ge)范(fan)圍(wei)比(bi)自然場景的(de)照明范(fan)圍(wei)（280 dB）要窄得多(duo)。
“為了在大(da)照(zhao)明強度(du)范圍內實(shi)現視覺，研究人員已經探索(suo)了在后處理(li)中使(shi)用受控光學孔徑(jing)、液體透鏡、可調節曝光時間和(he)去噪算法(fa)，”柴說。“然而，這些(xie)方法(fa)通常(chang)需要復雜的硬(ying)件(jian)和(he)軟件(jian)資源。”
仿生視覺(jue)傳感(gan)器陣(zhen)列(lie)的(de)(de)暗(an)視和明(ming)視適(shi)(shi)應。(a) 暗(an)背(bei)景下 8×8 像素陣(zhen)列(lie)的(de)(de)示意圖，用于(yu)識(shi)(shi)別(bie)用于(yu)暗(an)適(shi)(shi)應測(ce)試的(de)(de)低強(qiang)度圖像。(b) 明(ming)亮背(bei)景下 8×8 像素陣(zhen)列(lie)的(de)(de)示意圖，用于(yu)識(shi)(shi)別(bie)強(qiang)光(guang)圖像以進行明(ming)視適(shi)(shi)應測(ce)試。（c）暗(an)視和（d）“8”圖案的(de)(de)明(ming)視適(shi)(shi)應的(de)(de)時(shi)間(jian)過程。
能(neng)(neng)(neng)夠適應視覺并在感(gan)官終端具有廣泛(fan)感(gan)知范圍的(de)光電設備(bei)可能(neng)(neng)(neng)具有非(fei)常有價(jia)值(zhi)的(de)應用。例如，它們可以幫(bang)助提高(gao)(gao)計(ji)算機(ji)視覺工具的(de)性(xing)能(neng)(neng)(neng)，降(jiang)低構建(jian)機(ji)器人或其他傳感(gan)系統(tong)所(suo)需的(de)硬件(jian)復雜性(xing)，并提高(gao)(gao)圖像識別系統(tong)的(de)準確性(xing)。
過去，其(qi)他研究(jiu)團隊推出了可以適應(ying)不同(tong)光照(zhao)條件的(de)光電器件。盡管(guan)如此，大多數先前提出的(de)設備(bei)只能(neng)復制視(shi)網膜的(de)明(ming)(ming)視(shi)適應(ying)機制。另一方面，暗適應(ying)過程迄今(jin)已被(bei)證明(ming)(ming)更難模(mo)擬。
“要完全復制(zhi)視網膜(mo)的(de)(de)視覺(jue)(jue)適(shi)應(ying)功能，還有很(hen)長的(de)(de)路要走，”柴解釋(shi)說。“為(wei)了(le)(le)實(shi)現這一(yi)目(mu)標，我們(men)設計了(le)(le)一(yi)種使用超薄半導體的(de)(de)光(guang)(guang)電晶體管型視覺(jue)(jue)傳感器，它可以通過施加不同(tong)的(de)(de)柵極(ji)電壓來控制(zhi)同(tong)一(yi)設備中的(de)(de)暗(an)適(shi)應(ying)和(he)明適(shi)應(ying)程度。通過這種方式，我們(men)模擬了(le)(le)視網膜(mo)中的(de)(de)光(guang)(guang)感受器和(he)水平細胞，并(bing)成功實(shi)現了(le)(le)具有 199 dB 感知范圍的(de)(de)仿生傳感器內視覺(jue)(jue)適(shi)應(ying)裝置。”
Chai 及其同(tong)事開發的仿生視覺傳(chuan)感器(qi)基(ji)于(yu)由超薄(bo)半(ban)導體材料（即(ji)二硫(liu)化鉬(mu)）制成的光電(dian)晶體管。他們使用的光電(dian)晶體管具有多(duo)種電(dian)荷(he)陷阱狀(zhuang)態(tai)(tai)，這些狀(zhuang)態(tai)(tai)可以在不同(tong)的柵極電(dian)壓下捕獲或釋放(fang)溝道內的電(dian)子。
最終(zhong)，這些(xie)狀態允許研究人員動態調(diao)節其(qi)(qi)設備的(de)(de)電導。這反過來又使他們能夠人為地復制人類視(shi)(shi)網膜的(de)(de)暗視(shi)(shi)和(he)明視(shi)(shi)適應(ying)機制，從而擴大其(qi)(qi)傳感器(qi)響(xiang)應(ying)不同照明條件(jian)的(de)(de)感知范圍。
Chai 和他的(de)同(tong)事在一系列測試中評估了(le)他們的(de)仿生(sheng)傳感(gan)(gan)器，發現它(ta)可以有效地模(mo)擬人(ren)類視網膜的(de)功能，在暗適應(ying)和明適應(ying)方面都(dou)取得了(le)顯著的(de)成果。此外，與之前提出的(de)解決方案(an)相比(bi)，它(ta)具有明顯更高(gao)的(de)感(gan)(gan)知范圍（即 199 dB）。
“我(wo)們(men)的傳(chuan)感器可以(yi)豐富機器視覺功能，降(jiang)低硬件(jian)復(fu)雜度，實(shi)現高圖(tu)像(xiang)識別效(xiao)率，”柴說。“所有這些好處在復(fu)雜照明環(huan)境下的自(zi)動駕駛、人臉識別和(he)工業制造(zao)等領域都有很大的應用前景。”
在接下來的(de)研(yan)究(jiu)中(zhong)，研(yan)究(jiu)人員計劃(hua)進一步提高(gao)傳(chuan)(chuan)感器的(de)性(xing)能(neng)，同時還(huan)使用它們(men)來制造由傳(chuan)(chuan)感器陣列(lie)組成的(de)大規模(mo)系統。理想情況下，他們(men)希望在柔性(xing)或(huo)半(ban)球形(xing)基板上構建此傳(chuan)(chuan)感器陣列(lie)，以實(shi)現更寬的(de)視野。
“一(yi)個需(xu)要改進的(de)領域是(shi)我(wo)們(men)(men)傳感(gan)器的(de)適應時(shi)間(jian)，因為(wei)它仍然不足以支持機器視覺(jue)應用，”Chai 補充道。“我(wo)們(men)(men)的(de)目(mu)標是(shi)將適應時(shi)間(jian)降低到微秒級(ji)。傳感(gan)器陣列(lie)規(gui)模也(ye)需(xu)要進一(yi)步提升。我(wo)們(men)(men)近(jin)期的(de)陣列(lie)規(gui)模目(mu)標是(shi)大于100×100。最后，視覺(jue)傳感(gan)器的(de)異(yi)構(gou)集成與后-具有硅(gui)基控制電路的(de)處(chu)理單元是(shi)邁向實際(ji)應用的(de)非常重要的(de)一(yi)步。”
