清華大學深圳國際研究生院、騰訊人工智能實驗室(AI Lab)和鵬城實驗室的研究人員近日發表論文稱，研究團隊開發了一個名為 DreamDiffusion 的圖像生成模型，該模型可以直接通過腦電圖(EEG)信號生成高質量圖像。相關論文發表于美國康奈爾大學旗下在線學術論文平臺 arXiv 上。
▲ 圖(tu)源 研究團隊(dui)論文(下同)
目前已有(you)不少團(tuan)隊研(yan)究了(le)使用(yong)文本到圖(tu)像的擴(kuo)散模型從人(ren)腦生成圖(tu)像的方法，但大(da)多數采用(yong)的都是(shi)功能性(xing)磁共振成像(fMRI)技術(shu)捕捉大(da)腦活動從而生成圖(tu)像。這種技術(shu)缺乏實用(yong)性(xing)，因為它(ta)需要專家操(cao)作并且(qie)需要昂貴且(qie)難(nan)以攜帶的 fMRI 設備(bei)。
相比之下，腦電圖是一種記錄大腦電波活動的非侵入性、低成本方法，且已有一些便攜式商業產品可以輕松采集腦電圖信號。于是，研究團隊提出了一種“穩定擴散”的圖像生成方法，能夠減少腦電圖信號的噪聲干預，使擴散模型的預訓練更穩定有效。
研究團隊向 6 位受試(shi)者展示了(le)屬于 40 個不同對象類別的 2000 張圖(tu)像(xiang)，進而通過(guo)采集受試(shi)者的腦電圖(tu)信號來生(sheng)成高質量(liang)圖(tu)像(xiang)。下圖(tu)中每(mei)組左(zuo)邊標有 GT 的是原(yuan)始(shi)圖(tu)像(xiang)，右(you)邊的 Sample 圖(tu)像(xiang)為腦電圖(tu)生(sheng)成圖(tu)像(xiang)。
為了評估該(gai)方(fang)法的準(zhun)確(que)性(xing)，研究(jiu)團(tuan)隊將其與最近的另一項類似研究(jiu) Brain2Image 進行了定(ding)性(xing)比較，結(jie)果證實，其準(zhun)確(que)率明顯高于 Brain2Image 生成的圖像(xiang)，從而證明了該(gai)方(fang)法的有效性(xing)。
