想象一下，如果你因?yàn)閲?yán)重的疾病或者事故，失去了說(shuō)話的能力，但你腦袋里依然有著想要表達(dá)的內(nèi)容。

我們都知道，交流是人與人之間非常重要的方式之一，它不僅僅是傳遞信息，更是維持情感聯(lián)系的紐帶。如果因?yàn)榘c瘓或其他神經(jīng)系統(tǒng)疾病失去了說(shuō)話能力，很多人會(huì)覺(jué)得非常孤獨(dú)和沮喪。現(xiàn)在，腦機(jī)接口技術(shù)（BCI）給這些人帶來(lái)了一線希望。

不過(guò)，目前的腦機(jī)接口技術(shù)主要依賴于“語(yǔ)音合成”，即通過(guò)大腦的信號(hào)生成可聽(tīng)見(jiàn)的聲音。但這些技術(shù)往往面臨著一些問(wèn)題：比如語(yǔ)音的生成速度較慢，發(fā)出的聲音聽(tīng)起來(lái)不自然，或者無(wú)法實(shí)時(shí)同步。更嚴(yán)重的是，一些患者根本無(wú)法發(fā)出正常的聲音信號(hào)，因?yàn)樗麄兊难哉Z(yǔ)器官已經(jīng)完全失能。那么，能不能讓這些患者通過(guò)大腦信號(hào)直接控制計(jì)算機(jī)，從而生成流暢的、自然的語(yǔ)音？這個(gè)問(wèn)題一直困擾著科學(xué)家們。

為了實(shí)現(xiàn)這一目標(biāo)，今天介紹一項(xiàng)創(chuàng)新的研究成果：一種“流式腦-語(yǔ)音神經(jīng)假體系統(tǒng)”。簡(jiǎn)單來(lái)說(shuō)，這項(xiàng)技術(shù)可以讀取患者的大腦信號(hào)，并即時(shí)將其轉(zhuǎn)化為語(yǔ)音。更令人興奮的是，這項(xiàng)技術(shù)不需要患者發(fā)出任何聲音，只要他們通過(guò)“大腦控制”來(lái)“想象”發(fā)聲，系統(tǒng)就能夠?qū)⑦@些意圖轉(zhuǎn)化為聲音。這樣一來(lái)，患者就能用更加自然的方式與他人進(jìn)行交流，而不是依賴于傳統(tǒng)的拼字板或眼動(dòng)儀等輔助設(shè)備。

01研究方法分析RESEARCH METHODS

那么，這項(xiàng)技術(shù)是如何實(shí)現(xiàn)的呢？

首先，它需要通過(guò)在患者的大腦中植入一種名為“ECoG”的電極陣列。ECoG是“腦皮層電圖”的縮寫(xiě)，它能在大腦皮層表面捕捉到大腦活動(dòng)的電信號(hào)。每個(gè)電極就像一個(gè)“小耳朵”，用來(lái)聆聽(tīng)大腦不同區(qū)域發(fā)出的信號(hào)。對(duì)于失語(yǔ)癥患者來(lái)說(shuō)，他們的腦電信號(hào)可能會(huì)比正常人更加復(fù)雜，尤其是在他們沒(méi)有說(shuō)話的情況下，仍然會(huì)有大腦活動(dòng)，這些活動(dòng)正是他們“想要說(shuō)話”的信號(hào)。

研究人員選擇了一個(gè)47歲的女性患者，她因?yàn)槟X干中風(fēng)導(dǎo)致全身癱瘓，無(wú)法說(shuō)話�；颊叩哪X電圖通過(guò)ECoG陣列采集，記錄下她在“嘗試發(fā)音”時(shí)的大腦信號(hào)。值得注意的是，這些信號(hào)并不是通過(guò)口腔發(fā)音來(lái)產(chǎn)生的，而是通過(guò)“模仿”說(shuō)話，即用大腦控制嘴巴和舌頭的動(dòng)作來(lái)“想象”說(shuō)話。通過(guò)這種方式，雖然患者沒(méi)有發(fā)出任何聲音，但大腦的控制信號(hào)依然能夠被記錄下來(lái)。

接下來(lái)，研究人員使用了一個(gè)非常強(qiáng)大的深度學(xué)習(xí)模型——遞歸神經(jīng)網(wǎng)絡(luò)（RNN-T），這種模型擅長(zhǎng)處理時(shí)間序列數(shù)據(jù)，并能夠從大腦信號(hào)中“解碼”出意圖的文本或語(yǔ)音。通過(guò)實(shí)時(shí)地解析這些大腦信號(hào)，系統(tǒng)能夠在短短的80毫秒內(nèi)生成相應(yīng)的語(yǔ)音或文字，而不需要等待患者完成整個(gè)句子的“發(fā)音”。這個(gè)系統(tǒng)的關(guān)鍵是能夠做到“流式解碼”，也就是說(shuō)，當(dāng)患者腦中產(chǎn)生說(shuō)話意圖時(shí)，系統(tǒng)就可以立刻開(kāi)始生成語(yǔ)音，而不是等待到發(fā)音完成后再生成聲音。

一種自然流動(dòng)的無(wú)聲語(yǔ)言神經(jīng)假體概述

02研究結(jié)果分析RESEARCH RESULT

2.1 流暢的語(yǔ)音合成

經(jīng)過(guò)多次實(shí)驗(yàn)和優(yōu)化，這個(gè)系統(tǒng)成功地實(shí)現(xiàn)了流暢的語(yǔ)音合成。患者在進(jìn)行無(wú)聲發(fā)音的同時(shí)，系統(tǒng)就能夠同步生成相應(yīng)的語(yǔ)音，并通過(guò)揚(yáng)聲器播放出來(lái)。通過(guò)這種技術(shù)，患者可以在和他人對(duì)話時(shí)，像正常人一樣流暢地表達(dá)自己的想法。研究人員發(fā)現(xiàn)，系統(tǒng)能夠以每分鐘47.5個(gè)詞的速度生成語(yǔ)音，遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)腦機(jī)接口系統(tǒng)的30個(gè)詞/分鐘。而且，這個(gè)系統(tǒng)的延遲非常低，從患者想要說(shuō)話到語(yǔ)音輸出的時(shí)間只需要1.12秒，這意味著對(duì)話的流暢度得到了大幅提升。

在線連續(xù)流式同步語(yǔ)音合成和文本解碼來(lái)自神經(jīng)活動(dòng)

2.2 更高的交流速度

相比于過(guò)去的腦機(jī)接口技術(shù)，這個(gè)新系統(tǒng)在語(yǔ)音合成的速度和流暢度上有了顯著提升。傳統(tǒng)的腦機(jī)接口需要等待患者完成一整個(gè)句子的發(fā)音后，才開(kāi)始合成語(yǔ)音，而這個(gè)系統(tǒng)能夠在患者發(fā)音的過(guò)程中實(shí)時(shí)生成語(yǔ)音。這種技術(shù)的突破，使得患者能夠更快、更自然地參與到對(duì)話中，而不需要等待很長(zhǎng)時(shí)間，避免了以往因語(yǔ)音延遲導(dǎo)致的尷尬和誤解。

1024個(gè)單詞的通用集的示例流媒體語(yǔ)音合成轉(zhuǎn)錄

2.3 語(yǔ)音和文本同步

值得一提的是，這個(gè)系統(tǒng)不僅能夠合成語(yǔ)音，還能實(shí)時(shí)解碼文本。每當(dāng)系統(tǒng)解碼出一個(gè)新的詞或短語(yǔ)時(shí)，它不僅會(huì)通過(guò)揚(yáng)聲器播放出來(lái)，還會(huì)將相應(yīng)的文本顯示在屏幕上。這使得患者可以在交流時(shí)同時(shí)看到自己說(shuō)的內(nèi)容，進(jìn)一步提高了溝通的準(zhǔn)確性和清晰度。

離線長(zhǎng)時(shí)連續(xù)語(yǔ)音解碼，帶有隱式語(yǔ)音檢測(cè)

2.4 系統(tǒng)的普遍適應(yīng)性

此外，這個(gè)系統(tǒng)還表現(xiàn)出了極強(qiáng)的普適性。研究人員嘗試將該系統(tǒng)應(yīng)用到其他的腦-語(yǔ)音接口中，例如通過(guò)記錄大腦其他區(qū)域的信號(hào)或通過(guò)表面肌電圖（EMG）來(lái)捕捉發(fā)音信號(hào)。無(wú)論是哪種記錄方式，系統(tǒng)都能成功解碼大腦信號(hào)，并生成相應(yīng)的語(yǔ)音或文本輸出。這一結(jié)果表明，這項(xiàng)技術(shù)不僅適用于ECoG陣列，還可以推廣到其他類(lèi)型的腦-語(yǔ)音接口系統(tǒng)，具有廣泛的應(yīng)用前景。

語(yǔ)音合成在無(wú)聲語(yǔ)音接口上的泛化

2.5 高度個(gè)性化的語(yǔ)音

對(duì)于失語(yǔ)癥患者來(lái)說(shuō)，恢復(fù)個(gè)性化的聲音尤為重要。研究人員使用了患者失去語(yǔ)音能力之前的錄音數(shù)據(jù)，通過(guò)語(yǔ)音轉(zhuǎn)換技術(shù)（Voice Conversion）將系統(tǒng)生成的語(yǔ)音“個(gè)性化”，讓其聽(tīng)起來(lái)像患者自己原本的聲音，而不是機(jī)器合成的冷冰冰的聲音。這種個(gè)性化的語(yǔ)音恢復(fù)大大提高了患者的自我認(rèn)同感和生活質(zhì)量。

模型生成的聽(tīng)覺(jué)反饋不會(huì)干擾發(fā)音驅(qū)動(dòng)的語(yǔ)音解碼

03研究結(jié)論RESEARCH CONCLUSION

這項(xiàng)研究展示了一種全新的技術(shù)：流式腦-語(yǔ)音神經(jīng)假體。通過(guò)實(shí)時(shí)解碼大腦活動(dòng)并合成自然流暢的語(yǔ)音，這項(xiàng)技術(shù)成功地恢復(fù)了失語(yǔ)癥患者的交流能力。與現(xiàn)有的腦機(jī)接口技術(shù)相比，這個(gè)系統(tǒng)不僅在語(yǔ)音合成的速度和流暢度上有了顯著提升，還能夠在沒(méi)有發(fā)聲的情況下，通過(guò)“大腦控制”生成語(yǔ)音，極大地提高了患者的交流體驗(yàn)。

這項(xiàng)技術(shù)為那些因神經(jīng)損傷或疾病而失去言語(yǔ)能力的患者帶來(lái)了希望，它使得患者能夠更加自然、快速地與他人交流，恢復(fù)自我表達(dá)的能力。未來(lái)，隨著技術(shù)的進(jìn)一步優(yōu)化和應(yīng)用，這種腦-語(yǔ)音神經(jīng)假體有可能成為一種常規(guī)的臨床治療工具，幫助更多的失語(yǔ)癥患者恢復(fù)他們的語(yǔ)言能力。

04未來(lái)展望FUTURE RPROSPECT

盡管該技術(shù)已經(jīng)取得了顯著的成果，但仍然存在一些挑戰(zhàn)。首先，目前的系統(tǒng)仍然依賴于較為復(fù)雜的設(shè)備和訓(xùn)練過(guò)程，如何降低成本、簡(jiǎn)化操作，讓更多患者能夠使用這項(xiàng)技術(shù)，是未來(lái)需要解決的問(wèn)題。其次，雖然該系統(tǒng)已能應(yīng)對(duì)已知句子的生成，但如何提高對(duì)未知詞匯或自由表達(dá)的理解和生成能力，也是一個(gè)研究方向。

總的來(lái)說(shuō)，這項(xiàng)技術(shù)為腦機(jī)接口領(lǐng)域帶來(lái)了巨大的進(jìn)步，它不僅僅局限于恢復(fù)語(yǔ)言交流，還為未來(lái)更多類(lèi)型的神經(jīng)假體系統(tǒng)的研發(fā)提供了寶貴的經(jīng)驗(yàn)和思路。在未來(lái)的日子里，我們有理由相信，腦-語(yǔ)音神經(jīng)假體將成為改變失語(yǔ)癥患者生活的關(guān)鍵技術(shù)之一。

來(lái)源 | 腦機(jī)接口社區(qū)·

浙大科技園啟真腦機(jī)智能產(chǎn)業(yè)化基地是在浙大控股集團(tuán)領(lǐng)導(dǎo)下，由浙江大學(xué)科技園發(fā)展有限公司與杭州未來(lái)科技城管委會(huì)共建，圍繞腦機(jī)智能產(chǎn)業(yè)主體，輻射腦機(jī)+生命健康、腦機(jī)+智能制造、腦機(jī)+新一代信息技術(shù)、腦機(jī)+新材料等領(lǐng)域的專業(yè)化特色產(chǎn)業(yè)基地，由杭州啟真未來(lái)科技發(fā)展有限公司負(fù)責(zé)全面運(yùn)營(yíng)。

基地依托浙江大學(xué)在腦機(jī)智能方面的學(xué)科優(yōu)勢(shì)，以腦機(jī)智能作為核心科技支撐，貫徹浙江大學(xué)國(guó)家大學(xué)科技園“有組織科技成果轉(zhuǎn)化、有靶向科技企業(yè)孵化、有體系未來(lái)產(chǎn)業(yè)培育”的服務(wù)體系，致力于打造腦機(jī)智能領(lǐng)域具備成果顯示度、區(qū)域影響力的產(chǎn)業(yè)化高地。