《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄

你還要“張口”說話嗎?

《三體》中的橋段正在成為現實。

在腦機接口賽道上,此前國內清華大學腦機接口實驗室曾經讓人們成功通過外接設備實現“腦電波打字”,浙大團隊也藉助顱內腦機接口設備讓中風患者控制機械臂做到喝可樂等。

而現在,最新《自然·神經科學》的一篇論文顯示了腦機接口領域的一項新突破,來自美國加州大學舊金山分校的神經外科教授Edward Chang及其同事,讓機器能夠將腦電波信號直接翻譯為文字語句,意味著人不張口就能“說出”心中所想。

《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄

腦機接口技術迎新突破,打造“腦電波翻譯機”

在Edward Chang的研究中,他們分別將用以檢測癲癇的電極植入到4名受試者的顱內,這些電極會將他們大聲讀出句子時的神經活動記錄下來。

之後,這些記錄會被添加到一個循環神經網絡中,繼而將規律性出現的神經特徵表現出來,該特徵可能與言語的重複性特徵(元音、輔音或發音器官接受的指令等)相關。緊接著,另一個循環神經網絡將進行逐字解碼,最後形成一段句子。

Edward Chang及團隊在文中介紹稱,他們通過該機器翻譯方法解碼並轉換神經活動的錯誤率低至3%,已經能夠媲美於專業級言語轉錄。

此外他們在實驗過程中還發現,如果利用某人的神經活動和言語對循環網絡進行預訓練後,再在另一名實驗者身上進行訓練,最終的解碼結果會有所改善,這意味著這一方法在不同人員之間或將實現轉移。

可以預見,當這一成果被用於臨床,那些失語者以及中風患者等群體,將能夠藉助腦機接口技術重新正常發聲,

在不開口的前提下,擺脫手語等輔助表達。另外,如果再配以一個搭載自然語言處理技術的揚聲器系統,該類群體也能夠通過語音實現交流。

《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄


腦機接口與文字較勁兒

腦機接口是前沿科研之一,不僅吸引了Facebook等企業和資方的關注,也成為創業熱門領域之一。就在前不久,馬斯克的腦機接口創業公司Neuralink已經取得了新的突破,發佈了“腦後插管”的新技術,聲稱能夠通過一臺神經手術機器人,像微創眼科手術一樣安全無痛地在腦袋上穿孔,並向顱內植入芯片。

具體到研究項目,“腦電波轉換成文字”是重點領域之一,涉及兩個研究方向,一個方向專注於控制,另一個方向專注於轉換。

在“控制”這一賽道上,團隊會在與腦機接口系統連接的電腦中設置一個輸入法,繼而利用神經網絡算法對受試者顱內電極所捕捉的腦電波信號進行解析和轉換,讓受試者能夠實現“腦電波打字”,通過控制鍵盤輸入來表達自己內心所想。

只不過,相比於人們自然交流的語速,這類通過大腦控制打字的方法顯得非常低效。

《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄

相比於“控制”,“轉換”在難度上則高得多。包括馬金團隊在內,諸如Facebook等企業和高校團隊也在致力於這方面的研究,意圖通過神經網絡算法,將顱內電極所捕捉的信號直接解碼並轉換為文字或語音。

在速度上,這類方法有可能達到人類正常水平。就在Edward Chang及團隊於去年發佈的一個研究成果中,他們已經讓AI能夠以每分鐘150個詞的速度將人類的腦電波轉換成語言。

從臨床意義上來看,這類腦機接口技術對部分群體帶來的利好是肉眼可見的。而在更廣範圍內,“腦電波轉換成文字”能夠帶來的效益遠不止於此。

以智能家居為例,從最初的手動開關到現在的語音交互,這一場景下的控制方式已經從動手變成動口。但在更多人所暢想的場景中,他們甚至已經不想再動口,而是希望當自己腦海中出現某一個念頭的時候,腦機接口系統能夠將信號轉換為機器可理解的文字,繼而所涉及的家電等設備主體能夠在時間上無縫銜接,執行人們腦海中的指令。

不過這裡需要注意的是,目前的腦機接口研究項目中,在獲取腦電波信號環節,研究員們所採取的措施還是以顱內電極為主。

不可否認,這一方式能夠更為精準的獲取腦電波信號,從而方便接下來的信號解碼和轉換等。不過,就商業落地而言,雖然這類技術取得的成果是有目共睹的,但是諸如安全、倫理等問題也是事實存在的,距離更大範圍應用還有很長的路。相比之下,更多創業公司選擇外接腦機接口設備,犧牲部分準確性,提高安全性。

隨著腦機接口技術不斷取得突破,並尋找到可落地場景,想必腦機接口將迎來新一波熱度。


更多優質內容,請持續關注鎂客網~

《Nature》子刊:腦電波翻譯成句子錯誤率低於3%,實現專業級轉錄


分享到:


相關文章: