Apertus 由 EPFL、ETH Zurich 和瑞士国家超级计算中心(CSCS)共同开发,于 2025 年 9 月 2 日正式开放。这个项目提供了一套可供检查的基础模型训练资料,便于研究者了解“全开放”在数据、代码和评估环节如何实现。
从模型权重到训练代码,开发过程可供检查
Apertus 首批提供 80 亿和 700 亿参数两种规模,均采用 Apache 2.0 许可证。项目不仅公开模型权重,还公布训练代码、数据处理流程、评估工具、中间检查点和训练方法。研究者因此可以检查模型从数据准备到训练的多个环节,而不只是下载最终权重进行推理。
这种开放程度是 Apertus 与许多“开放权重”模型的主要区别。后者通常允许下载权重,但训练数据构成、清洗方法和训练代码未必完整公开。Apertus 团队将可复现和可审计视为项目目标,不过这并不意味着任何第三方都能以相同成本复现 700 亿参数模型;算力、存储和分布式训练工程仍是现实门槛。
约四成预训练数据为非英语内容
技术报告显示,Apertus 使用约 15 万亿个 token 训练,覆盖超过 1,800 种语言,约 40% 的预训练数据为非英语内容。瑞士德语和罗曼什语等在主流大模型语料中相对不足的语言,也被纳入训练范围。
团队公布的评估表明,Apertus 在全开放模型的多语言基准中具有竞争力,展示了公开训练资料与大规模多语言训练可以同时实现。具体表现仍随任务和语言而变化,部署者可结合模型卡与技术报告,判断其是否适合自己的用途。
训练前处理网站退出请求,并减少文本记忆
Apertus 的数据处理流程只使用公开可访问的数据,并按网站的 robots.txt 排除要求回溯筛除相关内容,同时过滤非许可内容、有毒内容和个人身份信息。技术报告还说明,团队在预训练中采用 Goldfish 目标,以降低逐字记忆训练文本的风险。
ETH Zurich 的发布说明称,项目开发时考虑了瑞士数据保护法、瑞士版权法以及欧盟《人工智能法案》的透明度义务。团队通过数据筛选、处理权利人的退出请求和公开训练资料,落实这些要求。具体用途下的法律义务和风险,仍需由部署者另行评估。
高校、企业和公共部门可据公开资料继续开发
Apertus 由 Swiss AI Initiative 推动,并使用 CSCS 的 Alps 超级计算机训练;Swisscom 作为战略合作伙伴提供访问渠道。项目把基础模型视为公共研究基础设施:高校、企业和公共部门可以在公开资产上继续微调、审计和开发应用。
项目的长期价值也取决于后续维护。模型是否持续更新、数据流程能否接受外部审查、下游开发者是否复用这些资料,都会影响它能否持续服务研究与应用。首个版本已公开数据流程、代码、检查点和训练方法,为这些工作提供了起点。
