9 月 15 日,Prior Labs 把 TabPFN-3.5 放上了七项基准的榜首。真正值得看的却不是“七榜第一”,而是其中一项没有那么整齐的结果:面对按时间先后切分、按客户或医院分组,以及超过 10 万行的大表,调优并集成后的多层感知机仍然领先。TabPFN-3.5 缩小了差距,却还没有拿下这三类更接近部署现场的任务。
这让 3.5 成为一次比榜单名次更有信息量的升级。上一代表格基础模型已经擅长随机切分的小中型数据;这一代开始正面处理分布漂移、字符串、高基数类别、图像和文本列。表格基础模型的竞争,也由“能否免调参击败树模型”推进到“换一批客户、过一段时间、数据变大后还能否成立”。
随机切分的高分,回答不了上线后的问题
传统 TabArena 主要使用独立同分布(IID)任务:训练集和测试集从同一数据池随机抽取。这样的设置适合估计历史样本上的平均表现,却可能掩盖企业真正关心的变化。例如,用过去交易预测未来欺诈,需要按时间切分;把部分医院的数据用于训练、再预测从未见过的医院,需要按群组切分。随机打散会让训练集提前看见未来时期或同一实体的相似记录,从而高估上线表现。
BeyondArena 正是为这个缺口建立的。其原始论文从 1128 个候选数据集中人工筛出 142 个,覆盖 IID、时间和群组任务,以及 100 行到 100 万行、文本列和高基数类别。论文对 11 种模型的结论很直接:当时的表格基础模型在小中型 IID 数据上占优,树模型和常规深度学习模型在非 IID、大规模与高维数据上仍更强。
TabPFN-3.5 针对这些弱点修改了模型。它把推荐特征数从 2000 提高到 6000,在增加估计器时最多可处理 2 万个特征;分类和回归也从两个检查点合并为一个 2.2 亿参数的多任务检查点。每个单元格除了标准化数值,还加入傅里叶编码和相对于同列训练样本的经验累积分布(ECDF)位置。后者不只看一个值有多大,也看它处在本列分布的什么位置,减少长尾和尺度变化把差异压扁的问题。
训练数据依然完全合成。团队重新调整了合成任务分布,增加宽表、高基数类别和群组结构,使模型在预训练阶段就练习这些形态。它不是在用户数据上继续训练,而是把训练行与标签作为上下文,在一次前向计算中完成新表格的分类或回归。
总榜第一,不等于时间与群组任务都第一
在作者报告中,TabPFN-3.5 家族在 TabArena、BeyondArena、STRABLE、MulTaBench、RelArena-α、TALENT 和 ScoringBench 七项评测上都排在第一。不过这里的“家族”很重要:前四项取的是 TabPFN-3.5-Thinking,关系数据取 TabPFN-Rel,只有 TALENT 与 ScoringBench 使用基础版。它不是同一个开放检查点横扫七榜。
BeyondArena 的结果更能说明边界。基础版在总榜以及 IID、高维、高基数和文本切片上均较 TabPFN-3 提升;但在完整数据范围内,调优并集成的 MLP 仍在群组、时间和大表切片保持最高表现。把数据限制在 10 万行以内后,TabPFN-3.5 才在群组和时间任务上追平最强基线。论文也提醒,部分小切片的置信区间较宽,而且时间任务与数据规模存在混杂,不能把局部排序当成稳定优势。
群组任务还有一个评测口径变化。BeyondArena 默认在把表交给模型前移除群组标识;TabPFN-3.5 报告则在“每行有独立标签”的群组任务中把标识交给 TabPFN,并在部分比较中也交给 TabFM。调优模型本来就能通过群组感知的验证切分利用结构信息,这项修改让基础模型也获得相应线索,却意味着结果不能无条件视为对原始 BeyondArena 流程的直接复刻。
字符串和图像同样不是模型端到端直接读取的统一能力。开放的 TabPFN-3.5 在 108 个 STRABLE 数据集上先用 TF-IDF 处理字符串;在 40 个 MulTaBench 数据集上,文本由冻结的 e5-small-v2 编码,图像由冻结的 DINOv3-small 编码,再压缩成 30 个主成分。商业版 Plus 可以原生处理文本列,但图像仍依赖外部编码器。所谓“混合模态表格”,在这里更准确地说,是表格模型接收预先抽取的文本或图像特征。
速度提升来自小模型和特定硬件,不是一组通用数字
3.5 家族把性能与延迟拆成了三档。基础版有 2.2 亿参数,Fast 版为 8400 万参数,Thinking 则在 Plus 之上增加推理时计算。报告称 Fast 相对 TabPFN-3 最快三倍、相对 3.5 基础版最快六倍;3.5-Thinking 相对上一代 Thinking 快十二倍。
这些数字不能合并成“TabPFN-3.5 提速十二倍”。公开的基础版在大训练集上反而可能比 TabPFN-3 慢两倍。三倍测试使用单张 NVIDIA RTX PRO 6000 Blackwell 96GB、100 列和 1024 个测试行,作者测量单个估计器的前向时间,再乘以各检查点默认的估计器数量。Thinking 的实现细节、测试条件和专有优化没有在报告中公开,十二倍只能作为团队自报的代际结果。
对线上重复预测,缓存减轻了另一部分成本。训练行先处理一次,后续测试行复用键值缓存;基础版虽然参数量约为上一代四倍,缓存规模大致不变,单条缓存预测与 TabPFN-3 接近。数据超过 12.8 万行后,各版本的计算量仍随训练行数近似平方增长,因此“支持 100 万行”是推荐能力边界,不代表任意大表都能以固定成本运行。
可下载的是研究检查点,最高性能能力留在商业服务
Prior Labs 同日发布了基础版和处于 alpha 阶段的 Fast 权重,推理代码采用 Apache 2.0。权重本身使用单独的 TabPFN-3.5 License:允许学术研究、测试和有限的内部评估,但禁止把模型、衍生模型或输出用于生产与商业决策,包括采购比较、客户交付和内部经营判断。企业若要投入生产,需要商业许可。
性能最高的 Plus 与 Thinking 没有公开实现,只通过 Prior Labs API、SAP AI Core、云上私有部署或本地企业部署提供。SAP 在 9 月 15 日宣布 Plus 已进入 SAP AI Core,把现金流、付款延期、供应商风险等业务场景列为目标。开放权重足以让团队在自己的数据上验证基础版和 Fast,但不能复现报告里由 Thinking 或专有文本处理拿到的全部榜首结果。
因此,评估 TabPFN-3.5 的正确顺序不是先看七项总榜,而是先按上线方式切分数据,再比较开放基础版、Fast 与调优基线。若时间、群组或大表决定成败,现有证据要求把调优 MLP 和树模型留在候选集中;若文本列和最高精度决定成败,还要把商业版本、许可和不可复现的专有环节一起计入成本。下一项真正改变判断的证据,将是第三方在同一非 IID 切分和硬件上,对开放检查点与商业版本分别复测。

