清華大學深圳國際研究生院、騰訊人工智能實驗室(AI Lab)和鵬城實驗室的研究人員近日發表論文稱，研究團隊開發了一個名為 DreamDiffusion 的圖像生成模型，該模型可以直接通過腦電圖(EEG)信號生成高質量圖像。相關論文發表于美國康奈爾大學旗下在線學術論文平臺 arXiv 上。
▲ 圖源 研究(jiu)團隊論(lun)文(下同)
目前已有不少團隊研究了使(shi)用文本到圖像的(de)擴散(san)模型從(cong)人腦(nao)生成圖像的(de)方法，但大多數采用的(de)都是功能性磁共振成像(fMRI)技術(shu)捕捉大腦(nao)活動從(cong)而生成圖像。這(zhe)種技術(shu)缺乏實用性，因(yin)為它需要專家操作并且(qie)需要昂貴且(qie)難以攜帶的(de) fMRI 設備(bei)。
相比之下，腦電圖是一種記錄大腦電波活動的非侵入性、低成本方法，且已有一些便攜式商業產品可以輕松采集腦電圖信號。于是，研究團隊提出了一種“穩定擴散”的圖像生成方法，能夠減少腦電圖信號的噪聲干預，使擴散模型的預訓練更穩定有效。
研(yan)究(jiu)團(tuan)隊向 6 位受試(shi)者展示了(le)屬于 40 個不同對象(xiang)類別的 2000 張圖(tu)像(xiang)，進而通過采集(ji)受試(shi)者的腦電圖(tu)信號來生成高(gao)質量圖(tu)像(xiang)。下(xia)圖(tu)中每組左邊標(biao)有 GT 的是(shi)原始圖(tu)像(xiang)，右邊的 Sample 圖(tu)像(xiang)為腦電圖(tu)生成圖(tu)像(xiang)。
為了(le)評估該方法(fa)的準確性(xing)，研究團隊(dui)將其與最近(jin)的另(ling)一項類(lei)似研究 Brain2Image 進行了(le)定性(xing)比較(jiao)，結果(guo)證(zheng)實，其準確率明(ming)顯(xian)高于 Brain2Image 生成的圖像(xiang)，從而證(zheng)明(ming)了(le)該方法(fa)的有(you)效性(xing)。
