研究人员已经开发出一种算法，可以将大脑听觉部分的神经信号转换成合成语音
在一项具有里程碑意义的重大突破中，科学家展示了一种计算机系统，可以有效地将大脑信号转换成可理解的语言。这项非同寻常的实验提供了一种概念验证，它可能为未来各种各样的大脑控制通信设备铺平道路。
神经工程师在通往有效的大脑-计算机接口的道路上面临着一个巨大的障碍，那就是试图将我们大脑产生的大量信号转换成易于传播的文字和图像。在科幻小说中，仅仅通过思考就能控制设备或与他人交流的想法是缓慢的，但却是肯定的，越来越接近现实。
最近机器学习技术的进步使得科学家能够处理大量的抽象数据。就在去年，加拿大的一个研究小组公布了一种算法，可以利用脑电图(EEG)数据，对测试对象展示的面孔进行数字重建。
将脑电波转换成文字是研究人员面临的另一个巨大挑战，但在机器学习算法的帮助下，近年来又取得了惊人的进展。一组美国神经工程师的最新研究成果显示，一种计算机算法可以解码从人类听觉皮层记录下来的信号，并将其转换成可理解的语言。
该研究首先收集了5名癫痫患者在接受神经外科手术期间的数据。患者的大脑中植入了多种电极，研究人员可以在患者听四个不同人讲的连续简短故事时，记录下全面的皮质电图测量结果。由于需要在患者进行脑部手术时收集这些数据的侵入性，因此只能从每个人那里收集大约30分钟的神经记录。
这项新研究的资深作者尼玛•梅斯加拉尼(Nima Mesgarani)解释说:“我们与梅塔博士(执行该手术的神经外科医生)合作，让已经接受脑部手术的癫痫患者听不同人说的句子，同时我们测量大脑活动的模式。”“这些神经模式训练了声音编码器。”
为了测试算法的有效性，系统被要求对原始训练数据中不包含的从0到9的声音进行解码。当讲话者背诵数字时，病人的大脑信号被记录下来，并通过声音编码器播放。然后，一个神经网络分析和清理了语音编码器产生的输出。
梅斯加拉尼说:“我们发现，人们能够听懂并重复这些声音的时间约为75%，远远超过以往的任何尝试。”“灵敏的声音编码器和强大的神经网络以惊人的准确度再现了患者最初听到的声音。”
梅斯加拉尼欣然承认，这种技术的实际应用可能至少需要10年的时间。毕竟，我们不可能轻易地在大脑中植入大量电极来记录这些神经信号。然而，作为一项概念验证，这项研究具有一定的开创性，证明了人类听觉皮层处理的信号可以被解码为语音。如果这些粗略的结果可以从这么小的数据集中产生，那么我们只能想象从更大的数据量中可以产生什么。
Mesgarani和他的团队下一步是改进算法，看看是否可以从相同的听觉神经数据中解码出更复杂的单词和句子。从那以后，我们的目标将从简单的解码听觉数据转移到寻找准确的神经数据，这些数据可以将想象说话的行为转换成合成的单词。
梅斯加拉尼说:“在这种情况下，如果佩戴者认为‘我需要一杯水’，我们的系统可以接收到这种想法产生的大脑信号，并将其转化为合成的语言。”这将改变游戏规则。这将给任何由于受伤或疾病而失去说话能力的人重新获得与周围世界联系的机会。
这项新研究发表在《科学报告》杂志上。
閱讀更多 明日情報 的文章
