DogReID‑1553：大规模犬只重识别视频数据集与基准测试
2026年4月17日，研究团队在哈佛大学Dataverse上发布了DogReID‑1553数据集及配套的评测基准。该数据集包含1,553只不同犬只的7,463段视频（平均每只犬4.8段视频），每段视频的首帧图像均提供了手工标注的边界框，并附有由GPT‑5生成的文本描述。除了数据，团队还建立了在线排行榜，支持研究者提交模型结果进行排名。该基准旨在推动视频级别的犬只重识别（Re‑ID）任务，为细粒度生物识别、动物行为研究等场景提供可复现的评估标准。
Harvard Dataverse
链接：https://doi.org/10.7910/DVN/LVTRLG
AIRA₂：突破AI研究智能体瓶颈的新基准测试
2026年4月16日，Meta AI发布了研究智能体系统AIRA₂，并同步公开了其在MLE‑bench‑30与AIRS‑Bench两个基准上的评测结果。AIRA₂通过异步多GPU工作池、隐藏一致性评估协议以及可动态调整动作的ReAct智能体，解决了现有研究智能体在样本吞吐量、泛化gap和单轮LLM算子能力上限三个结构性瓶颈。在MLE‑bench‑30上，AIRA₂在24小时和72小时的运行后分别取得81.5%和83.1%的平均百分位排名，显著超过最强基线的72.7%。在AIRS‑Bench涵盖的20项多样研究任务中，AIRA₂在6项任务上超越了人类最佳水平。该工作为研究智能体的系统化评估提供了新的基准框架。
Meta AI Research
链接：https://ai.meta.com/research/publications/aira-overcoming-bottlenecks-in-ai-research-agents/
编码代理基准测试中脚手架适配的影响：同一Qwen 9B模型性能翻倍
2026年4月19日，一项在Reddit上分享的测试表明，编码代理的基准结果高度依赖脚手架（scaffold）与模型的匹配程度。作者固定使用Qwen3.5‑9B Q4权重，在相同的Aider Polyglot基准（225道练习题）上比较了默认Aider脚手架与针对小模型优化的“little‑coder”脚手架。结果，默认脚手架仅取得19.11%的pass@2，而优化后的脚手架达到45.56%，性能提升超过一倍。作者指出，在10B参数以下的本地模型中，编码代理的弱表现可能并非源于模型权重本身，而是由于脚手架与模型行为模式不匹配。这一发现提示，编码代理的评估需要同时考虑模型能力与脚手架适配性，否则可能过早低估小模型的潜力。
Reddit / itayinbarr.substack.com
链接：https://www.reddit.com/r/LocalLLaMA/comments/1spufzz/same_9b_qwen_weights_191_in_aider_vs_456_with_a/
37模型叙事质量测评：小模型在桌游GM任务中超越大模型
2026年4月19日，开源项目open‑tabletop‑gm的作者发布了针对37款开源及社区精调模型的叙事质量测评结果。该测评设计了12个桌游GM（Game Master）场景，从氛围营造、NPC塑造、GM技巧三个维度，由5款不同家族的LLM（GPT‑OSS‑120B、Gemma‑3‑27B‑it、Llama‑3.3‑70B‑instruct、Qwen3‑235B‑a22B、Nemotron‑3‑super‑120B‑a12B）组成评委团进行1‑5分打分，并计算评委间一致性（IRA）。结果显示，27B参数的Gemma‑3‑27B‑it在自动评分（P:8/W:3/F:1）和评委平均分（4.75）上均表现优异，超越多款70B‑405B级别的大模型；而Mistral‑medium‑3.1以4.80分和IRA 0.50成为综合推荐首选。测评同时指出，社区流行的角色扮演精调模型（如Euryale‑70B、Magnum‑v4‑72B）在结构化场景评分中普遍低于基础模型，说明“氛围感”与“场景管理能力”之间存在评估差异。该测评开源了所有脚本与结果，为叙事生成任务的模型选择提供了基于多评委、多场景的量化参考。
Reddit / GitHub
链接：https://www.reddit.com/r/LocalLLaMA/comments/1spfz31/i_tested_8_llms_as_tabletop_gms_a_27b_model_beat/