在馬斯克的 Neuralink 爆紅之前，腦機接口已經被研究了四五十年，在用腦神經設備讀取大腦信息方面，霍金曾嘗試走在技術發展的尖端。
為了幫助霍金這樣喪失語言和行動能力的人表達自己，科學家們曾嘗試利用各種殘存的運動能力，從幾根手指到臉頰肌肉，從舌頭活動能力到口型表達。發展至今，研究人員想直接從大腦中提取信號，並將之轉述為文字或者操縱其他設備儀器。
Joseph G. Makin、David A. Moses 和華裔科學家 Edward Chang 近日在《自然·神經科學》雜誌上發表了一項腦機接口最新研究，他們發現了一種能夠以較高準確率解碼神經活動，並將其翻譯為句子的機器翻譯算法。
圖 | Chang Lab（來源：官網）
Edward Chang 有自己的實驗室 Chang Lab，該實驗室位於美國加州大學舊金山分校，是一個專注於研究語言及語言障礙者的活動機制的實驗室。去年 4 月，Edward Chang 等人還在 Nature 雜誌發表了開發出一種可以將腦活動轉化為語音的解碼器。這套人類語音合成系統，通過解碼與人類下頜、喉頭、嘴唇和舌頭動作相關的腦信號，併合成出受試者想要表達的語音。
“10 年前，科學家首次從人類大腦信號中解碼出語音，但是解碼的精度和速度遠低於自然語速。” 論文作者稱。而其 AI 解碼系統的最低平均錯誤率只有 3%，優於人工抄寫 5% 的錯誤率。Joseph Makin 對媒體說：“我們還沒有達到這個程度，但是我們認為這可能是語音假肢的基礎。”
這是如何實現的呢？
語言是一種極為複雜的過程，在適當的時候選擇適當的詞彙，組成適當的句子並進行調整修改，最終發出適當的聲音。目前，直接從腦電波解碼語言的系統只能解碼單音節，或在志願者連續念出近 100 個單詞的情況下解碼 40% 的單詞。
為了訓練他們的 AI 以提高精確度和效率，三位研究人員 “聆聽” 了四名志願者的神經活動。所謂 “聆聽”，即在四名癲癇患者腦中植入腦電極。研究人員向四名患者提供了 50 個句子，讓他們大聲朗讀至少三遍，研究人員錄了音頻並收集了神經數據。
志願者朗讀的句子諸如此類：
- “那些音樂家的和聲棒極了。”
- “她穿著暖和的羊毛工作服。”
- “那些小偷偷了三十件珠寶。”
- “廚房裡一片混亂。”
為了提高腦機接口直接解碼語言的精度，研究人員利用了機器翻譯任務與從神經活動解碼語音的相似性。也就是說，和機器翻譯類似，解碼語言也是從一種語言到另一種語言的算法翻譯，兩種任務實際上映射到同一種輸出，即與一個句子對應的單詞序列。只不過，機器翻譯的輸入內容是文本，而解碼語言的輸入內容是神經信號。
在剔除語音數據中的噪音之後，這些收集到的數據被添加到循環神經網絡中，算法的任務就是分析收集到的神經數據，將規律性的神經特徵表現出來，並最終具備對數據生成時所說的內容進行預測的能力。
經過深度學習，研究人員的算法很快學會了預測與神經數據相關的單詞。如下圖，部分句子的預測的誤差很小，但也有一些預測極不準確。
圖 | 未被準確預測的句子，左側為患者說的句子，右側為機器預測的句子（來源：論文）
研究人員表示，用已在一名志願者身上訓練過的算法去做訓練，會更具有優勢，也就是說，隨著訓練時間的增長和反覆重複，AI 的訓練會變得更容易和精準。但是，還需要開展進一步的研究來更加完整地調查這個系統的功能，將解碼範圍擴展到研究所限語言之外。
清華大學醫學院神經工程實驗室洪波教授在接受《科技日報》採訪時表示，這項研究的難點在於兩個方面：首先是採用了高密度微電極陣列，間距 4 毫米，多達 256 個電極，覆蓋大腦皮層表面的關鍵腦區，獲取了足夠的神經信息用於解碼。這種電極在國內尚沒有可用於臨床的產品；另外，研究中深度循環神經網絡的訓練，除了採用時間軸上的卷積操作提高特徵提取能力，還把語音頻譜特徵也作為訓練目標，大大降低了對神經數據量的需求。
通過直接記錄神經控制信號來合成語音或文字，是實現自然語言高通信速率的最直觀手段。這一技術可能將用於癱瘓患者、高位截癱患者和漸凍人等，也有助於為診斷和治療其他嚴重疾病提供解決方案。雖然還存在長效電極和解碼效率的問題有待解決，但正如洪波所言，以深度學習為代表的人工智能技術發展，為腦機接口打開一條應對該挑戰的新路徑。
圖 | Edward Chang（來源：UCSF）
Edward Chang 博士是加州大學舊金山分校的神經外科醫生，專門治療頑固性癲癇、三叉神經痛和腦瘤。他的科學研究專注於人類語音、運動和認知的大腦機制。他共同領導了加州大學伯克利分校和 UCSF 的神經工程與假肢中心，該中心彙集了工程、神經科學、神經病學和神經外科領域的專家，共同開發最先進的生物醫學設備，以恢復神經障礙患者的功能。
閱讀更多 DeepTech深科技 的文章
