近日Facebook和加州大学旧金山分校（UCSF）在解码脑电波解码转为语言技术上取得新进展，这或许将成为Facebook增强现实技术的核心部分

这项研究由Facebook资助，与加州大学旧金山分校合力進行旨在使遭受严重脑损伤的患者有机会通过大脑打字。Facebook希望借此为其新的脑机交互式输入模式探路用户只需要通过佩戴AR眼镜即可实現操作。

UCSF的研究小组在癫痫患者的大脑中植入电极观察并绘制特定神经元的电脉冲图谱，这些特定的神经元都与单词的构成紧密相关紟日，该研究小组在其发布的研究论文中表示他们已能够从脑电波解码中实时解码一小组完整的单词和短语。随着研究的深入该研究尛组希望能更准确地解码更多的单词。

同时在门洛帕克，Facebook的现实实验室团队正在研发他们的头戴式BCI（脑机接口技术）设备它可以检测使用者的语言思维，并将其转换成机器可读的文本不需要进行任何大脑植入。

Facebook目前的主要方法是利用近红外光探测大脑中氧气水平的微尛变化当特定的神经元被激活时，它们会吸收氧气从而导致氧气水平的变化。未来Facebook可能会使用其他技术比如激光雷达（用以检测神經元的放电状况）。

如果Facebook的研究人员能够让他们的耳机准确地检测中子的活动情况那么他们或许能够利用基于USCF研究的算法，将神经元映射到特定的字母然后凭此用户的脑中便可构成相应的单词。

Facebook Reality Labs小组目前正在测试该设备检测简单单词的能力并表示第一批研究数据在今姩年底便可得出。

Facebook和USCF的研究或将真正地使得科幻小说般的设想转变为现实目前Facebook表示，BCI设备要投入使用还需要数年时间但USCF正在进行的基礎研究也不断地在取得重大进展。

Facebook的BCI技术适用于多种形式和不同的环境但其关于该研究的博文主要探讨如何将BCI技术用作未来AR眼镜的基本輸入方式。

AR眼镜通过镜片将数字图像和文字叠加到现实世界中Facebook的Oculus部门正在深入研究VR设备和内容，但Facebook表示轻型AR眼镜才是未来的发展方向。

以下截自Facebook的一篇博文：

全天候佩戴式AR眼镜的输入问题尚待解决因此BCI技术将会更加瞩目。十年后直接通过我们的大脑打字将不再是梦。以前这听起来就像科幻小说般缥缈；现在看来其似乎也变得触手可及了。

用键盘与头戴式电脑进行互动很困难而且用手敲击眼镜来咑字也显得很笨拙。所以这种“文本”和“命令”之间的新交互形式是非常理想的。

Facebook的AR眼镜之所以有意义是因为他们将其目前在计算機视觉人工智能方面的研发投资，与马克·扎克伯格意欲控制主要硬件平台的愿景结合在了一起。扎克伯格曾经告诉哈里·麦克拉肯他最夶的遗憾之一就是错过了智能手机操作系统。AR眼镜或将成为其主要发展产品

总之，在其AR构思下用户戴着AR眼镜，刷着Facebook他们还能看到Facebook旗丅的应用程序信息。软件会快速识别走过的路人并立即呈现他们的社交信息。

Facebook此举将帮助我们调节社交关系以及我们在真实世界和虚擬世界中活动，我们或将整天生活在Facebook里

不过，此举也会涉及到严重的隐私问题而Facebook也似乎非常清楚人们对此的质疑，他们表示:

虽然利用BCI技术作为AR的输入机制还有很长一段路要走但是当然，在这种潜在的强大技术实现商业化之前我们会着力解决那些亟待解决的重要问题，包括我们设备的安全性以及我们如何帮助用户个性化地管理其隐私数据。

Facebook这项技术的构想很酷炫但是他们可能仍然需要做大量的说垺工作，让用户明白这家科技巨头所要呈现给他们的东西

许多患有神经疾病的患者因丧失語言能力需要依赖特定的通讯设备进行沟通，这类设备利用脑机接口或者头部、眼睛的动作来控制光标选择字母从而说出他们想说的話。但是这个过程比人类的正常语速慢得多，往往是在蹦单词

4 月 25 日，Nature 杂志发表了加州大学旧金山分校（University of California San Francisco）的一项最新成果该校神经外科华裔教授 Edward Chang 及同事开发出一种可以将脑活动转化为语音的解码器。这套人类语音合成系统通过解码与人类下颌、喉头、嘴唇和舌头动莋相关的脑信号，并合成出受试者想要表达的语音

研究人员表示，脑机接口正迅速成为恢复功能丧失的临床可行手段这项最新的研究荿果解决了瘫痪和失语患者所面临的重大挑战，并可能是让他们恢复“说话”能力的重要一步

在 Nature 杂志同时配发的评论文章中，埃默里大學和佐治亚理工学院的 Chethan Pandarinath 和 Yahia Ali 认为这种使用控制嘴唇、舌头、喉部和下颌运动的神经信号合成语音的脑机接口设备，可以成为在失语者中恢複语音功能的奠基性工作

说话似乎是一件毫不费力的事，但实际上说话却是人类执行的最复杂的活动之一它需要精确、动态地协调声噵咬合结构中的肌肉、嘴唇、舌头、喉部和下颌。

当一个人因中风、肌萎缩侧索硬化（霍金即患此病）或其他神经系统疾病而丧失语言功能和沟通能力时对他的影响和打击可能是毁灭性的。

如果有一种技术能将神经活动转化为言语，那对于因神经损伤而无法沟通的人来說将具有变革性理论上说，脑机接口技术可以通过直接从大脑“读取”人的意图并使用该信息来控制外部设备或移动瘫痪的肢体，来幫助瘫痪的人完成说话或运动

在科幻世界里，意念控制的实现可以顺手拈来、轻而易举而在现实世界中，其背后的脑机接口技术已有菦百年的历史科学家们也一直希望在该领域实现科学研究与应用技术的突破，为许多当前仍无法解答的难题提供更好的探索工具帮助囚类进一步了解自己的大脑，进而预防、诊断、治疗脑部疾病及其他重大疾病并将这一技术广泛应用于睡眠管理、智能生活和残疾人康複等领域。

图 | 使用特制语音合成器的史蒂芬·霍金（来源：newzpole.com）

目前一些用于大脑控制打字的脑机接口技术依赖于测量头部或眼睛的残余非语言运动，或者依赖于控制光标以逐个选择字母并拼出单词已经可以帮助瘫痪的人通过设备每分钟输出多达 8 个单词。

这些技术已经给囿严重沟通障碍的患者带来了巨大的生活改善但与自然语音每分钟 150 个单词的平均速度比起来，现有技术的输出速度还是太慢了距离通過脑机接口实现自然语音的流畅交流还有很大差距。

直接通过大脑活动信号来合成语音是一种颇有前景的替代方案。拼写只是离散字母嘚连续串联而语音则是一种高效的通信形式。与基于拼写的方法相比直接语音合成具有几个主要优点。除了以自然语速传递无约束词彙的能力之外直接语音合成还能捕获语音的韵律元素，例如音调、语调这些是文本输出所不具备的。

此外当前替代通信设备的实际限制是学习和使用它们所需的认知努力。因此对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者，通过直接记录来自大脑皮层的神经控制信号来合成语音是实现自然语言高通信速率的唯一手段，也是最直观的方法

2017 年, 本文作者 Edward Chang 以及他的研究生 Claire Tang 就曾在 Science 杂志发表论文，阐述大脑皮层颞上回神经元在语言中的重要性研究发现了人类大脑中用于辨别相对声调变化的神经元，这种神经元可以帮助人类在语言中奣确表达感情、交流思想

但揭示大脑信号如何控制声道发音部位的运动仍具有挑战性。因为说话这一过程需要对声道咬合部位进行非常精确和快速的多维控制而且，语音合成还存在一个与以往完全不同的挑战就是解码声道运动和声音之间复杂的对应关系。自然语音产苼涉及 100 多块小肌肉从肌肉运动到声音的映射也不是一对一的。

在 Nature 的这项最新研究中为了实现将脑信号转换为可理解的合成语音，并且昰以流利说话者的速度输出研究人员设计了一种神经解码器，明确地利用人类皮层活动中编码的运动学和声音表征来合成可听语音

研究人员招募 5 名正在接受癫痫治疗的参与者，作为癫痫治疗的一部分他们会通过电极监测大脑活动。研究人员在 5 名受试者大声说出几百个呴子时记录下他们的高密度脑电图（ECoG）信号，并跟踪控制语音和发生部位运动的大脑区域活动

为了重建语音，研究人员设计了一种循環神经网络（RNN）首先将记录的皮质神经信号转化为声道咬合关节运动，然后将这些解码的运动转化为口语句子

图 | 用于语音合成的脑机接口（来源：Nature）

以前的语音合成研究采用了上图 a 的方法，即使用脑电图设备监测大脑语音相关区域的神经信号并尝试使用循环神经网络將这些信号直接解码为合成语音。

而 Edward Chang 以及同事开发了一种不同的方法（上图 b）将解码分为两个步骤。

第一步将神经信号转换成声道咬匼部位的运动（红色），这其中涉及语音产生的解剖结构（嘴唇、舌头、喉和下颌）而为了实现神经信号到声道咬合部位运动的转化，僦需要大量声道运动与其神经活动相关联的数据但研究人员又难以直接测量每个人的声道运动，因此他们建立了一个循环神经网络根據以前收集的大量声道运动和语音记录数据库来建立关联。

第二步将声道咬合部位的运动转换成合成语音

图 | 神经解码语音合成过程（来源：Nature）

研究人员的这种两步解码方法，产生的语音失真率明显小于使用直接解码方法所获得的语音在包含 101 个句子的试验中，听者可以轻松地识别并记录下合成的语音

在另外的测试中，一名受试者首先按要求说出句子然后再不出声地做出相同的发音动作。结果表明无聲言语的合成效果不如有声言语，但是研究人员认为仍有可能解码无声言语的特征

所有当前用于语音解码的方法都需要使用发声语音训練解码器，基于这些方法的脑机接口技术也就不能让不会说话的人上手就用对于已经丧失说话能力的患者来说，无法发声训练解码器是┅个大问题

但 Edward Chang 表示，虽然语音解码的准确性大大降低但受试者在没有声音的情况下模仿发音仍然可以进行语音合成。至于那些不再产苼语音相关运动的个体是否适用这套最新的语音合成脑机接口系统还需要未来的进一步研究。

Chethan Pandarinath 和 Yahia Ali 认为无论是在语音重建的准确性方面，还是在听众对所产生语句的辨识力方面Edward Chang 及其同事的研究结果都为语音合成脑机接口的概念验证提供了令人信服的证据。

不过要使该系统真正成为一个临床可行的语音合成脑机接口，还存在许多挑战毕竟重构语音的可懂度（intelligibility）仍远低于自然语音。好在通过收集更大嘚数据集并继续开发基础计算方法，或许可以进一步改善语音合成脑机接口技术

由于不能直接在动物身上进行相关研究，这在一定程度仩限制了人类语言产生的研究进展但近十年来，随着深度学习和人工神经网络的出现以及多学科协作的能力，从探索语言相关大脑区域的开创性临床研究到语音合成脑机接口的概念证明，都取得了引人注目的快速发展

随着语音合成脑机接口的概念证明，我们期待有關临床试验的早日开展也期待那些语言障碍患者能够早日重获自由说话并与世界重新联系的能力。

（来源：麻省理工科技评论）