近日，三個(gè)國(guó)際科研小組嘗試破譯大腦的語(yǔ)言信號(hào)。他們使用大腦數(shù)據(jù)訓(xùn)練出了一種人工智能系統(tǒng)，該系統(tǒng)結(jié)合深度學(xué)習(xí)和語(yǔ)音合成技術(shù)的最新進(jìn)展，可以將大腦活動(dòng)數(shù)據(jù)轉(zhuǎn)化成語(yǔ)音。

三組研究人員在人們大聲朗讀、默念或聽(tīng)錄音時(shí)監(jiān)控他們大腦的某些部位來(lái)采集數(shù)據(jù)，再把收集到的大腦信號(hào)轉(zhuǎn)化成人類(lèi)聽(tīng)眾能夠理解的單詞和簡(jiǎn)單句，轉(zhuǎn)化準(zhǔn)確率在40%至80%之間。相關(guān)研究于2018年10月至11月發(fā)表在生物學(xué)預(yù)印本網(wǎng)站bioRxiv上。

收集大腦活動(dòng)數(shù)據(jù)的過(guò)程十分艱難。來(lái)自第一個(gè)研究團(tuán)隊(duì)的哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)家Nima Mesgaran介紹，這項(xiàng)研究用到的神經(jīng)網(wǎng)絡(luò)計(jì)算模型要求相當(dāng)精確的數(shù)據(jù)，需通過(guò)打開(kāi)頭蓋骨植入電極的侵入方式獲取。只有少數(shù)腦外科手術(shù)可以進(jìn)行這種侵入式的信息收集，可供收集的時(shí)間通常只有20至30分鐘。另外，將大腦信號(hào)轉(zhuǎn)換為語(yǔ)音的方式因人而異，計(jì)算機(jī)模型必須針對(duì)每個(gè)人進(jìn)行“培訓(xùn)”。

在Mesgaran等人的研究中，他們讓5位癲癇患者聽(tīng)0到9的數(shù)字錄音，并在此過(guò)程中采集他們的聽(tīng)覺(jué)皮層信息。然后，神經(jīng)網(wǎng)絡(luò)計(jì)算模型用收集到的神經(jīng)信號(hào)生成語(yǔ)音信息。當(dāng)計(jì)算機(jī)合成并播放出這些0到9的語(yǔ)音信息時(shí)，人類(lèi)聽(tīng)眾將其正確辨認(rèn)的概率為75%。

加州大學(xué)舊金山分校的Gopala K Anumanchipalli 教授團(tuán)隊(duì)做了類(lèi)似的研究。他們收集了3位癲癇患者朗讀文本時(shí)的神經(jīng)信號(hào)，通過(guò)AI系統(tǒng)轉(zhuǎn)化成語(yǔ)音信息。研究人員邀請(qǐng)了166位志愿者來(lái)辨別這些語(yǔ)句，其中一些句子的識(shí)別率超過(guò)80%。這項(xiàng)研究發(fā)表于2018年11月。

另一類(lèi)數(shù)據(jù)來(lái)自接受腦瘤手術(shù)的患者。德國(guó)不來(lái)梅大學(xué)的Miguel Angrick和荷蘭馬斯特里赫特大學(xué)的Christian Herff收集了6個(gè)腦瘤手術(shù)患者的數(shù)據(jù)。在患者朗讀單詞時(shí)，研究人員記錄下他們大腦語(yǔ)言區(qū)和運(yùn)動(dòng)區(qū)的神經(jīng)信號(hào)并生成語(yǔ)音信息。研究人員發(fā)現(xiàn)，約40%的計(jì)算機(jī)合成單詞可以被人類(lèi)聽(tīng)眾理解。

然而，這些研究還處于早期階段，只能收集并解讀人們說(shuō)話時(shí)的大腦信息，尚不能為完全喪失語(yǔ)言功能的人服務(wù)。完全喪失語(yǔ)言功能的人無(wú)法開(kāi)口說(shuō)話，只能在心中默念。而圣地亞哥州立大學(xué)的神經(jīng)科學(xué)家Stephanie Riès介紹，人們?cè)谀顣r(shí)產(chǎn)生的大腦信號(hào)與說(shuō)話時(shí)的大腦信號(hào)并不相同，如果沒(méi)有外部聲音的配合，計(jì)算機(jī)甚至很難分辨出大腦語(yǔ)言信號(hào)的起始點(diǎn)。這也意味著，人類(lèi)距離使用腦機(jī)接口和人工智能技術(shù)讓失語(yǔ)者“開(kāi)口說(shuō)話”的那一天還很遠(yuǎn)。