瑞士语言模型 Apertus 开放权重与训练资料,支持多语言研究 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

瑞士语言模型 Apertus 开放权重与训练资料,支持多语言研究

2026-06-26 / 共 1,105 字

ETH Zurich

Apertus 由 EPFL、ETH Zurich 和瑞士国家超级计算中心(CSCS)共同开发,于 2025 年 9 月 2 日正式开放。这个项目提供了一套可供检查的基础模型训练资料,便于研究者了解“全开放”在数据、代码和评估环节如何实现。

从模型权重到训练代码,开发过程可供检查

Apertus 首批提供 80 亿和 700 亿参数两种规模,均采用 Apache 2.0 许可证。项目不仅公开模型权重,还公布训练代码、数据处理流程、评估工具、中间检查点和训练方法。研究者因此可以检查模型从数据准备到训练的多个环节,而不只是下载最终权重进行推理。

这种开放程度是 Apertus 与许多“开放权重”模型的主要区别。后者通常允许下载权重,但训练数据构成、清洗方法和训练代码未必完整公开。Apertus 团队将可复现和可审计视为项目目标,不过这并不意味着任何第三方都能以相同成本复现 700 亿参数模型;算力、存储和分布式训练工程仍是现实门槛。

约四成预训练数据为非英语内容

技术报告显示,Apertus 使用约 15 万亿个 token 训练,覆盖超过 1,800 种语言,约 40% 的预训练数据为非英语内容。瑞士德语和罗曼什语等在主流大模型语料中相对不足的语言,也被纳入训练范围。

团队公布的评估表明,Apertus 在全开放模型的多语言基准中具有竞争力,展示了公开训练资料与大规模多语言训练可以同时实现。具体表现仍随任务和语言而变化,部署者可结合模型卡与技术报告,判断其是否适合自己的用途。

训练前处理网站退出请求,并减少文本记忆

Apertus 的数据处理流程只使用公开可访问的数据,并按网站的 robots.txt 排除要求回溯筛除相关内容,同时过滤非许可内容、有毒内容和个人身份信息。技术报告还说明,团队在预训练中采用 Goldfish 目标,以降低逐字记忆训练文本的风险。

ETH Zurich 的发布说明称,项目开发时考虑了瑞士数据保护法、瑞士版权法以及欧盟《人工智能法案》的透明度义务。团队通过数据筛选、处理权利人的退出请求和公开训练资料,落实这些要求。具体用途下的法律义务和风险,仍需由部署者另行评估。

高校、企业和公共部门可据公开资料继续开发

Apertus 由 Swiss AI Initiative 推动,并使用 CSCS 的 Alps 超级计算机训练;Swisscom 作为战略合作伙伴提供访问渠道。项目把基础模型视为公共研究基础设施:高校、企业和公共部门可以在公开资产上继续微调、审计和开发应用。

项目的长期价值也取决于后续维护。模型是否持续更新、数据流程能否接受外部审查、下游开发者是否复用这些资料,都会影响它能否持续服务研究与应用。首个版本已公开数据流程、代码、检查点和训练方法,为这些工作提供了起点。

来源

  • Apertus: a fully open, transparent, multilingual language model · ETH Zurich
  • Apertus: Democratizing Open and Compliant LLMs for Global Language Environments · arXiv
  • Apertus: A fully open, transparent, multilingual language model · Swisscom

评论

登录后即可参与评论。

加载评论中…

相关文章

  • SonoCorpus 的数据构成、SonoBase 架构、三层评测划分与多器官分割示例

    SonoCorpus 不重发 45.7 万张图,开放的是训练重建路径

    2026-09-21

  • Skild AI S1 机器人基础模型的发布横幅

    Skild 发布机器人模型 S1,用演示视频替代语言提示

    2026-08-26

  • OpenAI 编码评测研究「Separating signal from noise」文章卡片图,中央为抽象信号波形与噪声分离的视觉化设计

    OpenAI 不再公布 SWE-bench Verified 成绩:测试缺陷与答案污染影响评测

    2026-06-30

  • Frontis-MA1 在 MLE-Bench Lite 上的模型与搜索框架对比结果柱状图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

Frontis 开源模型与实验工具,让 AI 学习改进机器学习程序

2026-07-31

  • Wccftech 为 Ox Alpha 配的插画:一只机械公牛站在科技实验室场景中,屏幕上显示「OX ALPHA: A STORY OF ARTIFICIAL AWAKENING」

    匿名模型 Ox Alpha 免费上线,支持图像、视频和百万级上下文

    2026-08-23

  • Hugging Face 上 Last Translation Benchmark 数据集的页面封面,标有数据集名称

    LTB 收集 3456 个翻译硬例,用逐题验收规则定位模型失败

    2026-09-03