6 月 29 日,Meta 发布 Brain2Qwerty v2,一套从脑信号还原文本的非侵入式系统。它无需手术或植入电极,使用脑磁图(MEG)扫描仪采集健康志愿者实际打字时的信号,再还原英文句子。实验中的平均词准确率为 61%,最佳受试者达到 78%。
Meta 将结果与此前约 8% 的非侵入式解码词准确率作了比较。不过,后者来自用功能磁共振(fMRI)还原听到的语音,与本次 MEG 打字实验的任务和设备不同。61% 也指单词准确率,并非完整句子的正确比例。
先识别字符,再让语言模型结合脑信号还原句子
Brain2Qwerty v2 把解码过程分为三个相互配合的模块。
第一个模块是编码器,由卷积网络和 Conformer 序列模型组成。它从连续 MEG 信号中提取特征,并用 CTC 训练方法预测字符序列。这让模型在解码时无需获知每一次按键的精确时间,能够自行学习脑信号与字符之间的对应关系。
第二个模块负责对齐:它根据预测出的空格,把连续的脑信号表示切分成与单词对应的片段,再转换为语言模型能够读取的神经词元(Neuro Tokens)。
第三个模块是经过微调的大语言模型。它同时读取编码器预测的文本和神经词元,生成句子。在消融实验中,去掉神经词元、只让语言模型处理文本,字符错误率、词错误率和语义错误率都会上升。这说明脑信号提供了文本以外的有效信息。
不过,与编码器加传统 N-gram 纠错模型相比,完整系统虽然词错误率和语义错误率更低,字符错误率却更高。信号质量不足时,语言模型可能生成流畅但内容错误的句子。
Meta 团队还让 AI Agent 自动修改代码、尝试训练配置,寻找降低解码错误率的方法。最终训练配置仍由研究团队选定。
论文报告,9 名志愿者每人佩戴 MEG 扫描仪打字约 10 小时,共记录约 22,000 次句子输入。整个实验在西班牙 BCBL(Basque Center on Cognition, Brain and Language)完成。
新版无需逐次按键时间,训练数据也更多
Brain2Qwerty v1 于 2025 年 2 月公布,论文于 2026 年 6 月 29 日在 Nature Neuroscience 正式发表。该研究在 35 名健康志愿者中测试了 MEG 或 EEG 解码,证明这些信号可以用于还原打字内容。按正式发表版本,MEG 平均字符错误率(CER)为 29%,表现最好的参与者达到 18%。但 v1 必须知道每一次按键的精确时间戳,限制了实际应用。
v2 从连续 MEG 信号中生成句子,不再需要逐次按键时间。每名受试者记录的数据量约为上一版的 10 倍;模型也联合处理字符、单词和句子层面的信息。这些变化共同改善了解码结果。
论文同时报告字符和单词层面的指标,两者不能直接换算。按 v2 论文的回顾,v1 最佳受试者的词准确率约为 48%;v2 的平均值为 61%,即 39% 词错误率(WER),最佳受试者 WER 则降至 22%。
v1 研究还比较了脑磁图与脑电图(EEG)。正式论文报告的 EEG 字符错误率为 65%,高于 MEG 的 29%;v2 继续采用了表现更好的 MEG。
增加数据仍能提高准确率,尚待更大实验验证
论文还发现,解码性能随数据量呈对数线性改善。在现有约 90 小时的汇总数据范围内,研究者没有观察到性能趋于平稳的迹象。这为继续扩大数据采集提供了依据。
侵入式脑机接口(BCI)在部分沟通任务中仍有明显优势。v2 论文引用的植入式打字研究,词错误率已低于 2%。这类技术已帮助失去说话或运动能力的患者恢复文字沟通,Neuralink 等公司也在推进植入设备的应用。
植入设备需要脑外科手术,还要面对感染、组织反应及硬件长期稳定性等问题。非侵入式路线若能通过更多数据缩小性能差距,就有望让部分患者免于手术。
Meta 团队因此把扩大数据规模视为后续方向,同时强调:现有趋势能否延续,仍需进一步验证。
训练代码已公开,新数据集仍在等待发表
Meta 此次公开了 Brain2Qwerty v1 和 v2 的完整训练代码,采用限制商业使用的 CC BY-NC 4.0 许可。BCBL 已在 Hugging Face 上发布 v1 数据集;按项目网站说明,v2 数据集仍在禁运期,待论文在期刊发表后开放。
这延续了 Meta 在脑科学方向的开放策略。Brain2Qwerty 是 Meta「数字大脑项目」(Digital Brain Project)的一部分,该项目还包括用于感知编码的 Tribev2 模型、大规模脑数据处理工具 NeuralSet、以及系统化评估框架 NeuralBench。Meta 此前已为该项目的开放数据集设立了 500 万美元资助基金。
研究团队目前把 Brain2Qwerty v2 定位为基础研究。高级研究员 Jean-Rémi King 在媒体采访中称,商业化该系统「太难了」。
硬件、患者适配与实时反馈仍是障碍
准确率有所提高,但 Brain2Qwerty v2 距离临床应用仍有几项具体障碍。
首先是硬件。实验使用的 MEG 扫描仪有 306 个传感器,需要磁屏蔽环境,设备体积和成本都限制了日常使用。Meta 在论文中提出,可穿戴 MEG 技术——光学泵磁力计(OPM)——可能帮助减轻这些限制,但仍需研究验证。
其次是患者适配。模型学习的是健康志愿者实际打字时的脑信号,未来需要帮助的患者却可能无法打字。若改用想象动作,训练和解码方式都需要重新验证;现有实验尚未证明它能适用于完全失去运动能力的患者。
第三是实时反馈。虽然 v2 不再需要逐次按键时间戳,它仍需读取整句对应的脑信号,才能输出结果。用户无法在一句话打完之前看到逐字反馈,这会影响交互式沟通。
FAIR 借这项实验探索 AI 处理脑信号的能力
Brain2Qwerty 来自 Meta 的 FAIR(Fundamental AI Research)实验室。该团队侧重基础研究,数字大脑项目则把模型、脑科学数据和研究工具一并向外部研究者开放。
Brain2Qwerty v2 为 AI 用于科学研究提供了一个具体案例:神经网络从复杂脑信号中提取特征,语言模型再结合这些特征还原文本。公开代码与数据,也让其他团队能够检验这种方法,并尝试改进解码器。
后续进展还取决于 MEG 硬件能否变得更便携,以及从实际打字转向想象打字是否可行。这需要模型研究与硬件、临床实验共同推进。

