悉尼科技大學(xué)的科研人員，通過大語言模型、EEG（大腦活動檢測工具）、腦機(jī)接口等技術(shù)，開發(fā)了一個可自動讀取人類想法，并轉(zhuǎn)化成文本的AI大模型——DeWave。

DeWave的使用方法非常簡單，用戶只需要戴上EEG，然后開啟你的思維活動，DeWave就能將你的想法直接翻譯成文本，就像現(xiàn)實版的《讀心人》非常“恐怖”。

相比馬斯克的Neuralink腦機(jī)接口芯片，DeWave使用更加簡單方便，無需做昂貴的手術(shù)植入芯片，通過海量數(shù)據(jù)訓(xùn)練的大模型就能將腦電波翻譯成文本。

DeWave可幫助那些無法說話的腦血栓、中風(fēng)、聾啞人等，可與正常人進(jìn)行交流，目前翻譯的準(zhǔn)確率在40%左右。其實這個產(chǎn)品用于談戀愛場景也不錯，雙方都帶上這個，再也不怕對方撒謊了。

值得一提的是，該研究已經(jīng)被全球頂級機(jī)器學(xué)習(xí)大會“NeurIPS”，評選為重要論文。

論文地址：https://arxiv.org/abs/2309.14030v3

DeWave功能展示

其實這項技術(shù)與去年10月19日，Meta發(fā)布的通過MEG（另外一種大腦活動檢測工具）重構(gòu)人類大腦成像過程有點類似。都是通過EEG、MEG等工具捕獲大腦微弱活動電流，檢測這些磁場變化，然后獲得腦部活動數(shù)據(jù)。

獲得原始大腦數(shù)據(jù)后,研究人員就可以用大語言模型等對其進(jìn)行解碼,提取重要的視覺、文本信息。所以，獲取大腦活動數(shù)據(jù)是翻譯、重構(gòu)人類想法、思維畫面的關(guān)鍵基礎(chǔ)。

Meta的論文地址：https://ai.meta.com/static-resource/image-decoding

DeWave簡單介紹

DeWave的核心技術(shù)思路是，將連續(xù)的腦電波信號轉(zhuǎn)化為離散的編碼,然后輸入預(yù)訓(xùn)練的大語言模型進(jìn)行文本翻譯。

首先，通過向量量化變分編碼器的結(jié)構(gòu),將接收到的腦電波信號，轉(zhuǎn)換成一系列向量化的特征表示。

然后,這些特征表示會被進(jìn)一步轉(zhuǎn)化為一系列離散的代碼,每個代碼都對應(yīng)碼本里的一個離散詞向量。碼本就像一個字典,里面有限個數(shù)的離散詞向量。特征表示通過在碼本中找到最匹配的那個離散詞向量,來獲得對應(yīng)的離散代碼。

在得到一系列離散代碼之后,就可以像處理語言詞向量一樣,輸入到預(yù)訓(xùn)練的大語言模型,最終生成翻譯的文本內(nèi)容。

DeWave訓(xùn)練流程

DeWave的訓(xùn)練流程主要分為三個階段：1）自監(jiān)督編碼器預(yù)訓(xùn)練(僅原始EEG腦磁波)，這一階段會先訓(xùn)練一個腦電波自編碼模型,輸入原始EEG波形,通過重建實現(xiàn)自監(jiān)督。這樣可以提取有用的時域和頻域特征。

2）編碼器和碼本訓(xùn)練，固定好波形編碼器后,訓(xùn)練Transformer編碼器與離散碼本,獲得穩(wěn)定可分離的腦電波表示。

3）端到端微調(diào)，解凍大語言模型允許端到端訓(xùn)練。在編碼器引導(dǎo)下微調(diào)BART模型,實現(xiàn)EEG到文本的生成。需要注意的是，對詞級特征輸入并不需要第一階段的預(yù)訓(xùn)練,可以直接從第二階段開始。

DeWave局限性

研究人員表示，DeWave模型在將腦電波轉(zhuǎn)化為文本的任務(wù)中取得了一定的成果，但也存在一些局限性。

依賴于預(yù)訓(xùn)練大語言模型：DeWave在實現(xiàn)腦電波到文本的轉(zhuǎn)換過程中使用了預(yù)訓(xùn)練大語言模型，如BART。

這意味著DeWave方法的性能受限于預(yù)訓(xùn)練語言模型的質(zhì)量和能力。如果預(yù)訓(xùn)練語言模型不夠準(zhǔn)確或不具備廣泛的語言理解能力，可能會影響到DeWave方法的翻譯性能。

對平行數(shù)據(jù)的依賴性：DeWave方法在訓(xùn)練過程中需要使用平行的腦電波和文本對數(shù)據(jù)，以進(jìn)行監(jiān)督學(xué)習(xí)。

然而，獲取大規(guī)模的平行數(shù)據(jù)對于某些任務(wù)可能是困難的或成本較高的。因此，如果缺乏足夠的平行數(shù)據(jù)，DeWave方法的性能可能會受到限制。

對標(biāo)記的依賴性：盡管DeWave方法在文中聲稱可以在沒有標(biāo)記（如眼動追蹤）的情況下實現(xiàn)腦電波到文本的翻譯，但它仍然依賴于基于標(biāo)記的對齊過程。

DeWave使用了事件標(biāo)記來將腦電波分割成單詞級別的特征，這可能導(dǎo)致在沒有標(biāo)記的情況下無法準(zhǔn)確地對腦電波進(jìn)行分割和翻譯。

悉尼科技大學(xué)首席研究員兼DeWave作者， Chin-Teng Lin表示，DeWave是第一個將離散編碼集成在大腦到文本翻譯領(lǐng)域的產(chǎn)品，引入了一種創(chuàng)新的神經(jīng)解碼方法。同時與大語言模型的集成，也開辟了神經(jīng)科學(xué)和AI相結(jié)合的全新探索。

什么是EEG

EEG 是電腦圖(Electroencephalogram) 的縮寫，它是一種記錄大腦電活動的檢測方法。EEG 主要是通過頭皮上的電極來捕捉大腦神經(jīng)細(xì)胞之間通信的微小電信號。

大腦活動產(chǎn)生電流，當(dāng)神經(jīng)細(xì)胞（神經(jīng)元）被激活時，它們會產(chǎn)生電信號。EEG 檢測的是大量神經(jīng)元同步活動所產(chǎn)生的電位變化。主要用于科學(xué)研究、腦部檢測、腦部疾病治療等。

什么是MEG

MEG，全稱為腦磁圖（Magnetoencephalography），是一種神經(jīng)成像技術(shù)，用于測量大腦活動中產(chǎn)生的極微弱的磁場。MEG能夠提供關(guān)于大腦功能的空間和時間信息。

MEG的工作原理是基于生物電活動產(chǎn)生磁場的物理原理。當(dāng)大腦中的神經(jīng)元活動時，它們會產(chǎn)生微小的電流，這些電流會產(chǎn)生相應(yīng)的磁場。

MEG設(shè)備使用一種非常靈敏的傳感器，稱為超導(dǎo)量子干涉設(shè)備（SQUIDs），來檢測這些微小的磁場。

MEG主要應(yīng)用：定位腦功能、研究大腦通信、診斷和治療規(guī)劃、研究神經(jīng)發(fā)育和疾病等。

本文素材來源DeWave論文，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 用大模型讀取你的想法，并轉(zhuǎn)化成文本！恐怖的DeWave模型