參與者說出50句話時會收集他們的神經活動。機器學習算法可以預測所收集數據的含義。該系統的精度各不相同，但結果令人鼓舞。
這只是一個開始，但是卻非常令人興奮：將大腦活動轉化為文本的系統。對於那些無法說話的人，例如患有鎖定綜合徵的人，這將改變生活。目前，這有點像看大霧，但是舊金山加利福尼亞大學Chang實驗室的研究人員已經訓練了一種機器學習算法，可以從神經元數據中提取含義。該研究的合著者約瑟夫·馬金（Joseph Makin）告訴《衛報》：“我們還沒有到那兒，但是我們認為這可能是言語假肢的基礎。”該研究發表在《自然神經科學》雜誌上。
為了訓練他們的AI，Makin和合著者Edward F. Chang試聽了四名參與者的神經活動。作為癲癇病患者，每個參與者都植入了腦電極以監測癲癇發作。
向參與者提供了至少要朗讀三遍的50句話。正如他們所做的那樣，研究人員收集了神經數據。（還進行了錄音。）
該研究列出了參與者列舉的少數句子，其中包括：
“那些音樂家和諧地融為一體。”“她穿著溫暖的羊毛羊毛工作服。”“那些小偷偷走了三十顆珠寶。”“廚房裡亂七八糟。”
該算法的任務是分析收集的神經數據，並預測何時生成數據。（與參與者音頻記錄中捕獲的非語言聲音相關的數據首先被剔除。）
研究人員的算法很快就學會了預測與神經數據塊相關的單詞。AI預測說出“一隻小鳥在看著騷動”時生成的數據將意味著“那隻小鳥在看著騷動”非常接近，而“用梯子救貓和那隻男人”被預測例如，“將使用哪個梯子來營救貓和人。”
準確性因參與者而異。Makin和Chang發現，基於一個參與者的算法在訓練另一個參與者方面具有先機，這表明隨著時間的推移和重複使用AI的訓練會變得更加容易。
衛報與專家克里斯蒂安·赫爾夫（Christian Herff）進行了交談，後者發現該系統令人印象深刻，因為它為每個參與者使用不到40分鐘的訓練數據，而不是其他嘗試從神經數據中提取文本所需的大量時間。他說：“通過這樣做，它們可以達到迄今為止尚未達到的精確度。”
先前從神經活動中獲取語音的嘗試主要集中在構建語音的音素上，而Makin和Chang則專注於整體單詞。該研究說，儘管肯定有比音素更多的單詞，因此這構成了更大的挑戰，“連續語音中任何特定音素的產生都受到其前音素的強烈影響，從而降低了其可分辨性。” 為了最大程度地降低基於單詞的方法的難度，口頭句子總共使用了250個單詞。
顯然，還有改進的空間。AI還預言“那些音樂家很棒的和諧”是“菠菜是著名的歌手”。“她穿著溫暖的羊毛羊毛工作服”被誤認為“綠洲是海市rage樓”。“那些小偷偷走了三十顆珠寶”被誤解為“哪個劇院放映了鵝媽媽”，而算法預測的數據“廚房裡亂了”表示“有幫助他偷了餅乾”。
當然，這項研究涉及的詞彙是有限的，句子範例也是如此。Makin指出，“如果您嘗試使用的[50個句子]之外，解碼會變得更加糟糕。” 另一個明顯的警告來自這樣一個事實，即AI是根據每個參與者大聲說出的句子來訓練的，這對於被鎖定的患者是不可能的。
Makin和Chang的研究仍然令人鼓舞。對於其中一位參與者的預測，只需進行3％的微小修正即可。這實際上比人類轉錄中發現的5％錯誤率要好。
閱讀更多 秦楓時尚範 的文章
