GlotOCR Bench：揭示OCR模型在百种文字上的泛化局限

GlotOCR Bench：揭示OCR模型在百种文字上的泛化局限

2026年4月15日发布的 GlotOCR Bench 是一个评估光学字符识别（OCR）模型在100多种Unicode文字上泛化能力的综合性基准。该基准包含由真实多语言文本渲染的清洁与退化图像变体，支持LTR和RTL文字。对一系列开源与专有视觉语言模型的评估显示，大多数模型仅在不到十种文字上表现良好，即使最强的前沿模型也无法泛化至三十种以上文字。模型在遇到不熟悉的文字时，要么产生随机噪声，要么幻觉出已知的相似文字字符。结果表明，当前OCR系统对语言模型预训练的依赖程度不亚于视觉识别能力。基准及相关流水线代码已在GitHub和Hugging Face发布。

来源：arXiv:2604.12978v1
链接：https://arxiv.org/abs/2604.12978

PolicyBench：首个美中跨系统公共政策理解基准

同日发布的 PolicyBench 是首个大规模跨系统（美中）公共政策理解评估基准，包含跨越广泛政策领域的2.1万个案例。该基准遵循布鲁姆分类法，评估大语言模型（LLM）在政策知识记忆、概念与语境理解、实际场景问题解决三个层面的核心能力。基于该基准构建的领域专家混合模型 PolicyMoE 在面向应用的策略任务上表现出最强性能。评估结果揭示了当前LLM在政策理解方面的关键局限，并指出了通往更可靠、政策导向模型的路径。

来源：arXiv:2604.12995v1
链接：https://arxiv.org/abs/2604.12995

实测30余款TTS引擎：苹果M4上量化反而更慢

2026年4月15日，一项针对实时语音翻译应用中30余款云端与本地TTS引擎的评测在Reddit上发布。评测在配备24GB RAM的MacBook Air M4上进行，目标是找到延迟低于500毫秒的TTS解决方案。关键发现包括：本地模型中，Kokoro 82M fp16 是兼顾A+音质与370ms延迟（短句）的最佳选择；参数量超过200M的模型在Mac上基本无法用于实时场景。一个意外发现是，在Apple Silicon上对Kokoro进行INT8量化，推理速度反而比fp16慢1.8倍。云端评测则显示，协议选择比服务提供商影响更大，例如Cartesia Sonic-2的WebSocket协议比其同步SDK快5.5倍。此外，ElevenLabs的成本可比同类竞品高出4-20倍。

来源：Reddit /r/LocalLLaMA
链接：https://www.reddit.com/r/LocalLLaMA/comments/1sm6z60/i_benchmarked_30_tts_engines_for_a_realtime/

四大智能体内存系统横向评测：Mem0召回率仅49%

同日发布的另一项评测深入分析了四种AI编码智能体内存系统（Claude Code、Mem0、Zep、Letta/MemGPT）的实际表现。基于LongMemEval基准的测试数据显示，Mem0的召回率仅为49%，Zep虽有63.8%的召回率，但每次对话需消耗约60万令牌，是Mem0的340倍，仅换来15个百分点的精度提升。表现最好的Letta/MemGPT方案召回率约83.2%，但每次内存操作均需消耗推理令牌。评测指出，当前智能体的核心问题并非“记忆”，而是缺乏有效的“遗忘”机制，无法在“全盘保留”与“全盘清空”之间找到平衡。评测还揭示了多智能体场景下记忆协调与冲突解决的未解难题。

来源：Reddit /r/LocalLLaMA
链接：https://www.reddit.com/r/LocalLLaMA/comments/1sm6lt6/benchmarked_4_agent_memory_systems_mem0_scores_49/

TranslateGemma-12b在字幕翻译评测中全面领先，但存在简繁体混淆问题

2026年4月14日，一项针对六种语言对（英译西、日、韩、泰、简体中文、繁体中文）的字幕翻译评测显示，TranslateGemma-12b 在综合翻译质量指数（TQI）上以0.6335的平均分领先于包括Gemini 3.1 Flash Lite、DeepSeek-v3.2、Claude Sonnet 4.6、GPT-5.4-mini/nano在内的五大前沿通用模型。然而，人工审核发现该模型在处理繁体中文时存在严重缺陷：尽管指定了zh-TW语言代码，其76%的输出仍是简体中文，原因是其微调语料库严重偏向简体中文。这一错误完全未被自动化翻译质量评估指标（COMETKiwi、MetricX-24）捕捉，凸显了当前自动评测在识别此类数据偏差问题上的盲点。

来源：Reddit /r/LocalLLaMA
链接：https://www.reddit.com/r/LocalLLaMA/comments/1sl5k6d/we_benchmarked_translategemma12b_against_5/

Filtered Reasoning Score (FRS)：超越准确率，评估推理质量本身

2026年4月15日，研究人员提出了 过滤推理分数（FRS），旨在解决仅凭结果准确率评估大语言模型（LLM）推理能力的根本性局限。FRS 沿忠实性、连贯性、效用性、事实性等维度评估模型的推理轨迹，并仅聚合模型最自信的Top-K%轨迹来计算分数。在现有基准上，FRS能显著区分出在标准准确率上表现相近的模型，且一个基准上FRS较高的模型，在其他推理基准的准确率和推理质量上也往往更好。这表明FRS通过捕捉模型的可迁移推理能力，对准确率形成了有效补充。评估代码库已开源。

来源：arXiv:2604.11996v1
链接：https://arxiv.org/abs/2604.11996

“一次令牌即崩溃”：指令调优模型的脆弱性

同日发表的另一项研究揭示了指令调优LLM在生成“有帮助”回应时的脆弱性。研究发现，施加简单的词法约束（如禁止使用某个标点或常见词），即可导致指令调优模型生成严重崩溃的回应，导致回应全面性下降14%至48%。其中，GPT-4o-mini的全面性损失达31%。机制分析表明，这是指令调优将任务能力与特定表面形式模板耦合后产生的规划失败，而非底层模型能力的缺陷。基座模型在相同约束下未出现系统性崩溃。该发现突显了当前LLM-as-a-Judge评估方法在此类约束生成任务上存在盲点，成对评估揭示的质量下降远超独立评判。

来源：arXiv:2604.13006v1
链接：https://arxiv.org/abs/2604.13006

往返翻译：揭示前沿多语言基准的遗漏

同日发表的研究指出，当前前沿多语言基准主要测量数学推理和事实回忆能力，而非多语言熟练度。为此，研究者提出通过往返翻译来评估多语言生成能力：将源语言文本翻译至目标语言再译回，通过比较原文与译回文本的语义差异来暴露多语言生成缺陷。该方法无需人类参考译文，且其评估结果与LMArena上的用户评分高度相关（ρ = 0.94）。基于此，研究者构建了 Lost in Translation (LiT) 基准，用于对多语言前沿模型进行现实评估。

来源：arXiv:2604.12911v1
链接：https://arxiv.org/abs/2604.12911

Growing Pains：通过固定参数校准实现可扩展的LLM评测

面对模型与基准的快速迭代，研究者于4月15日提出了一个基于多维项目反应理论（IRT）的框架，用于在新基准引入时进行高效校准。该框架使用锚定项将新基准校准至现有评估套件，同时固定已校准项的参数不变。在超过400个模型上的大规模实验表明，该框架仅需每个数据集100个锚定问题，即可在2-3个百分点内预测完整评估性能，并保持排序的斯皮尔曼相关性ρ≥0.9。这使得在随时间扩展基准套件时，能以恒定的评估成本维持分数可比性。代码已开源。

来源：arXiv:2604.12843v1
链接：https://arxiv.org/abs/2604.12843

VLM-DeflectionBench：评估大视觉语言模型的拒答与幻觉

2026年4月15日发布的 VLM-DeflectionBench 旨在评估大视觉语言模型（LVLM）在面临冲突证据或知识不足时生成拒答（如“抱歉，我无法回答”）的能力。该基准包含2,775个样本，覆盖多样化的多模态检索场景。为了解决LVLM训练集扩大导致基准迅速过时的问题，研究者还提出了动态数据筛选流水线，以持续保留真正依赖检索的样本。对20个前沿LVLM的实验表明，模型通常在存在噪声或误导证据时无法有效拒答。该基准强调需要评估模型“不知道时如何行为”，为可靠的基于知识的视觉问答评估提供了可重用、可扩展的工具。

来源：arXiv:2604.12033v1
链接：https://arxiv.org/abs/2604.12033

AlphaEval：面向生产环境的AI智能体评估基准

同日发布的 AlphaEval 是一个面向生产环境的智能体评估基准，包含来自七家核心业务中部署AI智能体公司的94个任务，覆盖六个O*NET职业领域。与模型中心化的基准不同，AlphaEval评估完整的智能体产品（如Claude Code、Codex），将其作为商业系统来捕捉模型级评估无法察觉的性能变化。其评估框架融合了多种范式（LLM-as-a-Judge、参考驱动指标、形式化验证、基于量规的评估、自动化UI测试等）。除基准外，该工作还贡献了一个从生产需求到可执行评估任务的系统化构建框架。

来源：arXiv:2604.12162v1
链接：https://arxiv.org/abs/2604.12162

CompliBench：评测LLM法官在对话系统中的合规性违规检测能力

随着LLM作为任务型智能体在企业中部署，确保其遵守复杂的领域特定操作指南至关重要。2026年4月15日发布的 CompliBench 基准旨在评估LLM法官在多轮对话中检测和定位指南违规行为的能力。为解决数据稀缺问题，该工作开发了一个可扩展的自动化数据生成流水线，通过模拟用户-智能体交互并注入可控缺陷来生成带有精确标签的样本。全面评估显示，当前最先进的专有LLM在此任务上表现挣扎，而基于合成数据微调的小型法官模型则表现更优，并能良好泛化至未见过的业务领域。

来源：arXiv:2604.12312v1
链接：https://arxiv.org/abs/2604.12312

CodeSpecBench：可执行行为规范生成的评估基准

同日发布的 CodeSpecBench 是一个用于评估LLM生成可执行行为规范能力的基准，支持函数级和仓库级任务。该基准将规范编码为可执行的Python函数，并通过基于执行的评估协议来同时衡量正确性（接受有效行为）和完备性（拒绝无效行为）。对15个前沿LLM的评估显示，在仓库级任务上性能急剧下降，最佳模型的通过率仅为20.2%。研究发现，规范生成比代码生成更具挑战性，表明强大的编码性能未必反映对程序预期语义的深刻理解。基准数据和代码已开源。

来源：arXiv:2604.12268v1
链接：https://arxiv.org/abs/2604.12268