TabPFN-3.5 把表格模型带进真实切分,最难的三类任务仍未拿下 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

TabPFN-3.5 把表格模型带进真实切分,最难的三类任务仍未拿下

2026-09-15 / 共 2,722 字

Prior Labs

9 月 15 日,Prior Labs 把 TabPFN-3.5 放上了七项基准的榜首。真正值得看的却不是“七榜第一”,而是其中一项没有那么整齐的结果:面对按时间先后切分、按客户或医院分组,以及超过 10 万行的大表,调优并集成后的多层感知机仍然领先。TabPFN-3.5 缩小了差距,却还没有拿下这三类更接近部署现场的任务。

这让 3.5 成为一次比榜单名次更有信息量的升级。上一代表格基础模型已经擅长随机切分的小中型数据;这一代开始正面处理分布漂移、字符串、高基数类别、图像和文本列。表格基础模型的竞争,也由“能否免调参击败树模型”推进到“换一批客户、过一段时间、数据变大后还能否成立”。

随机切分的高分,回答不了上线后的问题

传统 TabArena 主要使用独立同分布(IID)任务:训练集和测试集从同一数据池随机抽取。这样的设置适合估计历史样本上的平均表现,却可能掩盖企业真正关心的变化。例如,用过去交易预测未来欺诈,需要按时间切分;把部分医院的数据用于训练、再预测从未见过的医院,需要按群组切分。随机打散会让训练集提前看见未来时期或同一实体的相似记录,从而高估上线表现。

BeyondArena 正是为这个缺口建立的。其原始论文从 1128 个候选数据集中人工筛出 142 个,覆盖 IID、时间和群组任务,以及 100 行到 100 万行、文本列和高基数类别。论文对 11 种模型的结论很直接:当时的表格基础模型在小中型 IID 数据上占优,树模型和常规深度学习模型在非 IID、大规模与高维数据上仍更强。

TabPFN-3.5 针对这些弱点修改了模型。它把推荐特征数从 2000 提高到 6000,在增加估计器时最多可处理 2 万个特征;分类和回归也从两个检查点合并为一个 2.2 亿参数的多任务检查点。每个单元格除了标准化数值,还加入傅里叶编码和相对于同列训练样本的经验累积分布(ECDF)位置。后者不只看一个值有多大,也看它处在本列分布的什么位置,减少长尾和尺度变化把差异压扁的问题。

训练数据依然完全合成。团队重新调整了合成任务分布,增加宽表、高基数类别和群组结构,使模型在预训练阶段就练习这些形态。它不是在用户数据上继续训练,而是把训练行与标签作为上下文,在一次前向计算中完成新表格的分类或回归。

总榜第一,不等于时间与群组任务都第一

在作者报告中,TabPFN-3.5 家族在 TabArena、BeyondArena、STRABLE、MulTaBench、RelArena-α、TALENT 和 ScoringBench 七项评测上都排在第一。不过这里的“家族”很重要:前四项取的是 TabPFN-3.5-Thinking,关系数据取 TabPFN-Rel,只有 TALENT 与 ScoringBench 使用基础版。它不是同一个开放检查点横扫七榜。

BeyondArena 的结果更能说明边界。基础版在总榜以及 IID、高维、高基数和文本切片上均较 TabPFN-3 提升;但在完整数据范围内,调优并集成的 MLP 仍在群组、时间和大表切片保持最高表现。把数据限制在 10 万行以内后,TabPFN-3.5 才在群组和时间任务上追平最强基线。论文也提醒,部分小切片的置信区间较宽,而且时间任务与数据规模存在混杂,不能把局部排序当成稳定优势。

群组任务还有一个评测口径变化。BeyondArena 默认在把表交给模型前移除群组标识;TabPFN-3.5 报告则在“每行有独立标签”的群组任务中把标识交给 TabPFN,并在部分比较中也交给 TabFM。调优模型本来就能通过群组感知的验证切分利用结构信息,这项修改让基础模型也获得相应线索,却意味着结果不能无条件视为对原始 BeyondArena 流程的直接复刻。

字符串和图像同样不是模型端到端直接读取的统一能力。开放的 TabPFN-3.5 在 108 个 STRABLE 数据集上先用 TF-IDF 处理字符串;在 40 个 MulTaBench 数据集上,文本由冻结的 e5-small-v2 编码,图像由冻结的 DINOv3-small 编码,再压缩成 30 个主成分。商业版 Plus 可以原生处理文本列,但图像仍依赖外部编码器。所谓“混合模态表格”,在这里更准确地说,是表格模型接收预先抽取的文本或图像特征。

速度提升来自小模型和特定硬件,不是一组通用数字

3.5 家族把性能与延迟拆成了三档。基础版有 2.2 亿参数,Fast 版为 8400 万参数,Thinking 则在 Plus 之上增加推理时计算。报告称 Fast 相对 TabPFN-3 最快三倍、相对 3.5 基础版最快六倍;3.5-Thinking 相对上一代 Thinking 快十二倍。

这些数字不能合并成“TabPFN-3.5 提速十二倍”。公开的基础版在大训练集上反而可能比 TabPFN-3 慢两倍。三倍测试使用单张 NVIDIA RTX PRO 6000 Blackwell 96GB、100 列和 1024 个测试行,作者测量单个估计器的前向时间,再乘以各检查点默认的估计器数量。Thinking 的实现细节、测试条件和专有优化没有在报告中公开,十二倍只能作为团队自报的代际结果。

对线上重复预测,缓存减轻了另一部分成本。训练行先处理一次,后续测试行复用键值缓存;基础版虽然参数量约为上一代四倍,缓存规模大致不变,单条缓存预测与 TabPFN-3 接近。数据超过 12.8 万行后,各版本的计算量仍随训练行数近似平方增长,因此“支持 100 万行”是推荐能力边界,不代表任意大表都能以固定成本运行。

可下载的是研究检查点,最高性能能力留在商业服务

Prior Labs 同日发布了基础版和处于 alpha 阶段的 Fast 权重,推理代码采用 Apache 2.0。权重本身使用单独的 TabPFN-3.5 License:允许学术研究、测试和有限的内部评估,但禁止把模型、衍生模型或输出用于生产与商业决策,包括采购比较、客户交付和内部经营判断。企业若要投入生产,需要商业许可。

性能最高的 Plus 与 Thinking 没有公开实现,只通过 Prior Labs API、SAP AI Core、云上私有部署或本地企业部署提供。SAP 在 9 月 15 日宣布 Plus 已进入 SAP AI Core,把现金流、付款延期、供应商风险等业务场景列为目标。开放权重足以让团队在自己的数据上验证基础版和 Fast,但不能复现报告里由 Thinking 或专有文本处理拿到的全部榜首结果。

因此,评估 TabPFN-3.5 的正确顺序不是先看七项总榜,而是先按上线方式切分数据,再比较开放基础版、Fast 与调优基线。若时间、群组或大表决定成败,现有证据要求把调优 MLP 和树模型留在候选集中;若文本列和最高精度决定成败,还要把商业版本、许可和不可复现的专有环节一起计入成本。下一项真正改变判断的证据,将是第三方在同一非 IID 切分和硬件上,对开放检查点与商业版本分别复测。

来源

  • TabPFN-3.5: Technical Report · arXiv
  • Beyond IID: How General Are Tabular Foundation Models, Really? · arXiv
  • TabPFN-3.5 Plus Now Available in SAP AI Core · SAP

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Prior Labs 三位联合创始人在公司标识前合影

    SAP 完成收购 Prior Labs,计划四年投入超 10 亿欧元研发企业表格 AI

    2026-07-22

  • 猎豹奔跑的抽象视觉图,MIT Technology Review 用于 Subquadratic 稀疏注意力报道

    Subquadratic 用稀疏注意力降低长文本计算量,公开验证仍有限

    2026-06-21

  • Qwen3.8-Flash-Next 官方发布横幅,展示模型名称与终极成本效率主题

    阿里开放 Qwen3.8-Flash-Next 权重,主打更低训练与推理成本

    2026-08-26

  • MLCommons 发布 MLPerf Inference v6.1 结果的官方宣传图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

MLPerf 把 Agent 搬上边缘设备,首轮测的是等待时间而非任务成功

2026-09-17

  • 智谱官方示意图,对比 Infra Agent 只接收端到端结果的稀疏反馈,与由正确性、系统行为和性能验证组成的密集反馈回路

    智谱用密集反馈让 GLM 持续优化推理栈

    2026-09-17

  • TheAgentCompany 与 APEX-Agents 上五种工具接口的任务得分和每任务 Token 对比图

    同一模型换掉工具接口,Bash 在企业任务中更准也更省 Token

    2026-09-10