最近幾個(gè)月以來(lái)，正如在bioRxiv雜志上發(fā)布的論文中表示，他們還是沒(méi)法完全重建僅僅存在于人們大腦里的語(yǔ)音信息。但另一方面，研究人員在人們大聲朗讀、輕聲細(xì)語(yǔ)、或者聽(tīng)錄音的時(shí)候，監(jiān)視大腦的某些部分活動(dòng)。瑞士日內(nèi)瓦大學(xué)的神經(jīng)工程師斯蒂芬妮·馬丁(Stephanie Martin)表示，重新演繹人們腦海中的語(yǔ)音信息這一做法“令人興奮興奮不已”。

在中風(fēng)或疾病之后失去說(shuō)話能力的人可以使用他們的眼睛或做出其他小動(dòng)作來(lái)控制光標(biāo)或選擇屏幕上的字母。 比如說(shuō)，物理學(xué)家斯蒂芬·霍金通過(guò)拉緊他的臉頰，觸發(fā)安裝在眼鏡上的開(kāi)關(guān)。但如果腦機(jī)接口可以直接重現(xiàn)他們的語(yǔ)音，他們能夠做到的事情會(huì)更多：例如，控制音調(diào)音量，或者有能力插話。

事實(shí)上，要想將這一想法付諸實(shí)踐，困難重重。“我們?cè)噲D找出在不同時(shí)間點(diǎn)打開(kāi)和關(guān)閉的神經(jīng)元模式，以此推斷語(yǔ)言信息。” 哥倫比亞大學(xué)的計(jì)算機(jī)科學(xué)家Nima Mesgarani說(shuō)：“從一個(gè)映射到另一個(gè)映射，這一過(guò)程非常復(fù)雜。”這些信號(hào)轉(zhuǎn)換為語(yǔ)音的情況因人而異，因此必須對(duì)每個(gè)人“因材施教”。這些模型需要非常精確的數(shù)據(jù)支持，也就是說(shuō)，需要打開(kāi)頭骨直接尋找神經(jīng)元。

研究人員只能在極少數(shù)情況下進(jìn)行此類(lèi)研究，其中一個(gè)便是在移除腦腫瘤期間，暴露的大腦的電子讀數(shù)能夠幫助外科醫(yī)生找到語(yǔ)言區(qū)域和運(yùn)動(dòng)區(qū)域;另一種則是當(dāng)癲癇患者植入電極以確定手術(shù)前癲癇發(fā)作的起因時(shí)。對(duì)于數(shù)據(jù)收集，Mesgarani如是說(shuō)：“在此過(guò)程中，我們的操作時(shí)間最多只有20至30分鐘，時(shí)間真是非常寶貴。”

研究團(tuán)隊(duì)通過(guò)將信息提供給神經(jīng)網(wǎng)絡(luò)來(lái)獲取大部分寶貴數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)通過(guò)將信息傳遞到計(jì)算“節(jié)點(diǎn)”層來(lái)處理復(fù)雜模式，而神經(jīng)網(wǎng)絡(luò)也能夠通過(guò)調(diào)整節(jié)點(diǎn)之間的連接來(lái)學(xué)習(xí)。在實(shí)驗(yàn)中，神經(jīng)網(wǎng)絡(luò)的運(yùn)算依賴(lài)于一個(gè)人發(fā)出或聽(tīng)到的語(yǔ)音記錄以及同步的大腦活動(dòng)的數(shù)據(jù)。

Mesgarani的團(tuán)隊(duì)通過(guò)五名癲癇患者的數(shù)據(jù)進(jìn)行研究，他們的網(wǎng)絡(luò)分析了聽(tīng)覺(jué)皮層(在語(yǔ)音和聽(tīng)力過(guò)程中都很活躍)的錄音，因?yàn)槟切┎∪寺?tīng)到了故事錄音和人們從0讀到9的錄音。然后計(jì)算機(jī)僅從神經(jīng)數(shù)據(jù)重建錄音中的數(shù)字。計(jì)算機(jī)“讀出”人們腦海中數(shù)字的準(zhǔn)確度高達(dá)75%。

由德國(guó)不來(lái)梅大學(xué)的神經(jīng)科學(xué)家Miguel Angrick和荷蘭馬斯特里赫特大學(xué)的神經(jīng)科學(xué)家Christian Herff領(lǐng)導(dǎo)的另一個(gè)團(tuán)隊(duì)，則依靠六名接受腦腫瘤手術(shù)志愿者的數(shù)據(jù)。他們捕捉到了這些患者朗讀單音節(jié)詞的聲音，同時(shí)，還記錄下大腦的語(yǔ)音規(guī)劃區(qū)域和運(yùn)動(dòng)區(qū)域，為了吐字清晰，向聲道發(fā)送的命令。神經(jīng)網(wǎng)絡(luò)將電極讀數(shù)映射到音頻記錄，然后根據(jù)先前的腦數(shù)據(jù)重建單詞。根據(jù)計(jì)算機(jī)化的評(píng)分系統(tǒng)，大約40%的生成單詞能夠被理解。

最后，加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊(duì)重建了三名癲癇患者大聲朗讀時(shí)，在他們的語(yǔ)言和運(yùn)動(dòng)區(qū)域捕獲的完整句子。在相關(guān)的網(wǎng)絡(luò)測(cè)試中，166人需要從10個(gè)書(shū)面語(yǔ)句中選擇出一句他們聽(tīng)過(guò)的句子，神經(jīng)網(wǎng)絡(luò)識(shí)別句子的正確率達(dá)到了80%。研究人員還進(jìn)一步改善了模型：通過(guò)人們默讀時(shí)記錄的數(shù)據(jù)，來(lái)重建句子。荷蘭科學(xué)家Herff表示，這是一個(gè)重要的研究成果， “使得識(shí)別語(yǔ)音技術(shù)更進(jìn)一步”。

然而，“我們真正需要解決的問(wèn)題是當(dāng)患者不能說(shuō)話時(shí)，以上這些方法能如何表現(xiàn)。”加州圣地亞哥州立大學(xué)研究語(yǔ)言生產(chǎn)的神經(jīng)科學(xué)家StephanieRiès表示。當(dāng)一個(gè)人默讀或“聽(tīng)到”大腦活動(dòng)與實(shí)際說(shuō)出的話不同時(shí)，大腦會(huì)發(fā)出信號(hào)。但如果沒(méi)有外部聲音來(lái)匹配大腦活動(dòng)，計(jì)算機(jī)甚至很難理清內(nèi)部語(yǔ)音開(kāi)始和結(jié)束位置。

奧爾巴尼紐約州衛(wèi)生部國(guó)家神經(jīng)技術(shù)中心的神經(jīng)工程師Gerwin Schalk說(shuō)，構(gòu)建腦海中的語(yǔ)音信息需要“跳躍式思維”，目前 “根本不清楚如何做到這一點(diǎn)。”Herff表示，根據(jù)大腦和計(jì)算機(jī)界面的用戶提供反饋：如果他們能夠?qū)崟r(shí)聽(tīng)到計(jì)算機(jī)的語(yǔ)音解釋?zhuān)麄円苍S能夠迅速調(diào)整他們的想法以獲得更為精準(zhǔn)的表達(dá)。