Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping（通过“想象→听到”脑信号映射实现零样本想象语音解码）

Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping（通过“想象→听到”脑信号映射实现零样本想象语音解码）

图：这套方法不是直接从“想象语音”硬解码文字，而是先把想象时的 MEG（脑磁图）信号映射成“听到同一句话时”的脑响应，再用只在听觉数据上训练的解码器取词。

问题与动机

想象语音解码一直难，核心不只是模型不够强，而是训练数据天生很差：你很难确认受试者是否真的在按要求“默念”，也很难知道他在第几毫秒想到哪个词。对非侵入式脑信号尤其如此，信噪比低、跨被试差异大，直接做词级监督往往数据不够、泛化也弱。

这篇 2026-05-08 提交的论文换了思路：既然“听到语音”时的 MEG 数据更容易采、更容易对齐、标签也更可靠，那就先学会把“想象时的脑响应”翻译到“聆听时的脑响应空间”，再调用一个只在 listened MEG 上训练的词解码器。这样做的关键假设是：想象与聆听共享一部分可迁移的神经表征。

方法要点

方法分三段。第一段是 imagined-to-listened mapping：把想象试次的 MEG 时序，回归成对应的 listened MEG。作者做了六种架构对比，包括线性滞后回归、浅层 MLP、1D CNN、UNet、双向 GRU 和 TCN，并统一用留一被试（LOSO）设置评估跨人泛化。

图：左上比较不同映射模型与打乱标签的 null 基线；右下显示训练数据越多，映射效果越稳步提升。

第二段是 listened decoder：只用真实“听到语音”时的脑信号做词级对比学习。这里的“对比学习”可以先理解成“让正确词向量更接近对应脑信号、错误词更远”。作者把词表示做成四种版本：语义的 BERT、声学的 Whisper、语音/音位相关的 Wav2Vec2，以及 BERT+Wav2Vec2 拼接。

第三段才是完整零样本推理：把未见被试的 imagined MEG 先送进第一段映射器，得到 predicted-listened 响应；再送进第二段词解码器，在 76 个词的词表里按相似度排序。训练过程中不需要 imagined speech 的词标签，真正依赖标签的只有 listened 侧。

证据

数据层面，作者共招募了 17 名受试者，特意选择受过音乐训练的人，以减轻想象节奏漂移；实验材料是 2 段巴赫旋律和 2 段诗歌朗诵，每个条件 10 个 trial、每个 trial 27 秒。MEG 采集使用 157 个 axial gradiometers，原始采样率 1 kHz，后续下采样到 100 Hz 用于映射任务。

映射阶段，六种模型在训练集和 LOSO 未见被试上都显著优于打乱标签的 null 基线；论文点名 RNN 的跨被试泛化最强，LOSO 条件下与 null 的分离达到 t=9.59。更关键的是，映射后信号开始恢复刺激可分性：真实 listened 响应的 4 类分类准确率为 72%，原始 imagined 响应只有 30%，且不显著（p=0.10）；而 predicted-listened 响应达到 34%，并且显著高于机会水平（p<0.01）。这说明映射虽然没有把想象信号“变干净到像听觉信号那么好”，但确实把原本不稳定的类别结构提了出来。

词级解码部分，作者用 76 个内容词构成词表，并用 rank-based retrieval 评估。摘要没有给出具体 top-k 命中率，但正文明确写到 imagined words are decodable significantly above chance；同时，映射性能会随训练数据规模单调上升，作者据此判断瓶颈更像是数据量，而不是模型已到天花板。

局限与边界

这项工作还是 proof-of-concept。第一，它依赖较强的实验控制：受试者是训练过的音乐人，刺激是节奏清晰、长度固定的旋律和诗句，这比日常自由想象说话要容易得多。第二，真正恢复的是“词排序优于随机”，而不是连续自然语言生成；词表规模也只有 76 个内容词。第三，作者自己也承认，粗粒度类别信息更容易恢复，细粒度片段区分仍然更难。第四，方法需要成对 imagined/listened 数据做映射训练，因此“零样本”是对 imagined 词标签而言，不是完全无 imagined 数据。

一句话 takeaway

与其逼模型直接从噪声很大的“默念脑信号”猜词，不如先把它翻译成更稳定的“听见语音脑信号”——这篇论文证明，想象语音解码的突破口可能首先是表征对齐，而不是更激进的端到端分类器。

原文：Zero-Shot Imagined Speech Decoding via Imagined-to-Listened MEG Mapping（arXiv:2605.08075v1，2026-05-08）
https://arxiv.org/abs/2605.08075

Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment（Proxy3D：用语义聚类压缩 3D 表征）

图：论文把多帧视频先变成 3D 代理点（proxy），再压缩成更短的视觉序列喂给 VLM。

3D 视觉问答和空间推理的痛点，不是模型完全不懂几何，而是把 3D 场景塞进 VLM 时通常要么过长、要么空间一致性差。论文认为，问题出在“表示”层：2D 像素对齐的方法容易碎片化，显式 3D 表征又常常序列太长，推理成本高。

作者提出 Proxy3D：只用视频帧输入，先抽取语义特征和几何特征，再做“语义感知聚类”，把场景压成一组 3D proxy。随后用 BFS 序列化和多阶段训练，把这些 proxy 对齐到语言模型。首次出现的 SpaceSpan 是其新整理的数据集，用来做 3D 视觉—语言对齐。

结果上，摘要没有给出具体 benchmark 数字，但正文明确给出 SpaceSpan 数据集规模为 318K 条，并强调在更短视觉序列下，方法在 3D visual question answering、visual grounding 与一般空间智能基准上达到 competitive 或 state-of-the-art。适用边界也很清楚：它主要解决“如何高效表示 3D 场景”，不是从零做几何重建。

原文：Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment（arXiv:2605.08064v1，2026-05-08）
https://arxiv.org/abs/2605.08064

Normalizing Trajectory Models（归一化轨迹模型）

图：论文主张用 4 步采样也能保住高质量生成，而不是靠几十步慢慢去噪。

扩散模型的老问题是：步数一少，单步高斯假设就不准。若不熟悉这个概念，可以先理解成“原本每小步都好走，一旦要跨大步，真实路径会变复杂，单一高斯近似就容易失真”。现有 few-step 路线常靠蒸馏或一致性训练提速，但往往放弃了精确似然这一套概率建模框架。

这篇 2026-05-08 的论文提出 NTM，把每一步反向转移建模成条件 normalizing flow（可逆变换模型，可精确计算概率），核心由“可逆 transporter + 高斯 predictor”组成。这样既能从头训练，也能从已有 flow matching / diffusion 模型微调初始化；另外还可利用轨迹上的精确似然做 self-distillation，训练轻量去噪器把采样压到 4 步。

定量上，论文正文给出一个醒目的结果：在从头训练设置下，4 步生成在 GenEval 上达到 0.82，显著高于先前 normalizing flow 模型 STARFlow 的 0.56；摘要则概括为在 text-to-image benchmark 上，NTM 用 4 步即可匹敌或超过强基线，同时保留整条生成轨迹的 exact likelihood。它的边界也很明确：优势集中在 few-step 高效生成与可计算似然的兼得。

原文：Normalizing Trajectory Models（arXiv:2605.08078v1，2026-05-08）
https://arxiv.org/abs/2605.08078

EmambaIR: Efficient Visual State Space Model for Event-guided Image Reconstruction（EmambaIR：事件引导图像重建的高效状态空间模型）

图：作者强调的不是只提一点画质，而是同时压低显存和计算成本。

事件相机重建常见于运动去模糊、去雨和 HDR 恢复。难点在于，CNN 擅长局部细节却不善长程依赖，ViT 能看全局但高分辨率时代价太高。论文因此转向 State Space Model（状态空间模型，可近似理解为一种线性复杂度的长序列建模器），尝试在画质和效率之间找更好的折中。

EmambaIR 的两个核心部件是 TSAM 与 GSSM。前者用 top-k sparse attention（只挑最相关的少量位置做跨模态注意力）融合事件流和图像特征，后者用带门控的状态空间模块捕获长程上下文，同时保持接近 O(n) 的复杂度。它面向的不是纯分类，而是实打实的低层视觉重建。

这篇论文给了较完整的表 1 数字：在 SDSD 的 HDR 任务上，EmambaIR 达到 24.15 PSNR / 0.8164 SSIM；在 GoPro 去模糊上为 35.74 / 0.9735；在 Adobe240 去雨上为 34.63 / 0.9027。摘要还写明实验覆盖 6 个数据集、3 类任务。它的贡献不只是“又一个更高分模型”，而是证明 SSM 也能在事件引导重建里吃到跨模态与高分辨率的红利。

原文：EmambaIR: Efficient Visual State Space Model for Event-guided Image Reconstruction（arXiv:2605.08073v1，2026-05-08）
https://arxiv.org/abs/2605.08073