为了给训练数据补算一项特征，工程师曾需要在任务画布中拖入 106 张表。蚂蚁集团研究团队在 9 月 10 日公开的 OmniTable 论文中，用这个案例说明大模型数据准备的瓶颈：解析、清洗、打分和筛选每增加一步，表、脚本与人工检查就跟着增多。团队把这些操作收拢到统一的逻辑视图；在论文评测的一项 SFT 数据策展任务中，端到端周期由约 14 天降到约 2.5 天。VLDB 2026 将该论文评为最佳工业论文。
这组数字最值得追问的是：一张“宽表”怎样减少等待？论文给出的答案不是把所有语料复制到一张实体表，而是让数据批次、特征定义和计算血缘成为可查询、可调度的系统对象。
一张逻辑表接住特征，底层仍由多张表存储
OmniTable 为一条数据分配全局 ID，并记录其接入批次。原始内容、处理后的内容以及质量分、领域标签等衍生特征，在用户眼中是同一条记录的不同列。工程师要回刷新特征时，指定目标列和批次即可；Catalog 负责找到该列依赖的上游结果、已有的计算状态及对应物理位置。执行完成后，系统把特征版本、计算引擎、状态和列级血缘一同登记，供后续筛选与追溯使用。
统一的是访问与管理方式，不是物理存储。论文列出的生产资产分为 Web、代码、PDF 和后训练 SFT 四个数据域，各有逻辑宽表，合计约 35PB、3050 亿条以上记录，由 16 张物理表承载；其中 Web 数据域约 25PB。Catalog 可以把逻辑列映射到不同表、分区或物化视图，后台再按小文件、列数和查询热点调整布局。论文提到公共抓取、内部抓取和授权第三方语料，但未提供逐批次的许可与质量分布；35PB 衡量的是系统管理的数据体量，不能据此推断去重后的有效训练 token 数或数据质量。
两周缩至两天半，主要省在特征回填
论文选择一项真实的 SFT 准备任务作端到端对照：从 8 个来源收集指令数据，计算 12 项质量、安全和领域特征，其中 9 项使用 CPU UDF、3 项使用 GPU 推理，再导出筛选后的样本。两套流程使用相同输入批次与过滤阈值。旧流程约用 2 天定位和接入数据、9.5 天回填特征、2.5 天编写多表关联并导出；OmniTable 对应约为 0.5 天、1.7 天和 0.3 天。人工步骤由约 45 步降至 12 步。
最大差额来自回填。旧流程中，工程师要给 8 个来源逐一配置特征任务，并处理参数不合适或坏样本引发的重跑。OmniTable 沿特征依赖关系自动补齐任务，把共享输入、使用相同引擎的计算合并为一次扫描，再把规则计算交给 CPU、模型打分按条件交给 CPU 或 GPU。论文还报告，一组 8 个共享输入的特征任务经算子融合后，扫描次数从 8 次降为 1 次，端到端执行时间从 38 小时降至 14 小时。这是系统内部受控对照；5.6 倍则是上述单项 SFT 工作流相对同组织旧流程的周期比，不是模型训练速度或数据质量的提升倍数。
容错让任务继续跑，也留下需要处理的空值
在 500GB、约 6 亿条记录的特征回填实验中，31,247 条异常记录会触发内存或编码问题。OmniTable 对每条 UDF 调用设置隔离：记录异常样本 ID 和错误信息，将该条结果写为 NULL，让其余记录继续计算。论文报告，启用隔离后任务约 6.2 小时完成，其余约 99.995% 的记录得到结果；旧流程经历三轮人工排查、移除和重提，约耗 52 小时。作者同时给出逐条包装约 3%—5% 的执行开销。
这里的工程取舍很具体：批任务不再因少数异常样本整体失败，异常特征却也不会凭空补好。若这些特征参与训练集筛选，团队仍需检查错误表、NULL 比例以及补算结果，否则“作业完成”可能掩盖样本缺口。论文展示了故障隔离与记录机制，没有用独立评测证明最终训练集质量改善。
查询提速也有前提。论文在 Web 数据域测试一个跨 4 张物理表、涉及 15 列的过滤导出场景：预先物化常用列组合后，吞吐从 4.8TB/小时升到 20.1TB/小时。测试在同一生产环境以并发 20 重放查询，时间结果取三次运行的中位数；不能把 20TB/小时读成任意数据集、任意过滤条件下的保证值。热点列物化还可能额外占用约 8%—15% 的存储，后台整理约消耗 5%—8% 的集群资源。
可迁移的是管理单位，验证重点转向元数据
OmniTable 面对的问题与常见数据组件有交集，却没有可直接互换的性能比较。Apache Iceberg 官方文档说明，表的 schema 和分区可以在元数据层演进；Feast 官方文档则把特征定义、历史检索和在线服务纳入特征仓库工作流。OmniTable 的增量在于把非结构化训练语料的“批次—特征列”作为调度单位，并连同 CPU/GPU 路由、异常隔离和物理映射一起管理。论文没有给出跨组织、同条件的系统对照，工业部署结果应视为架构案例。
这也把一部分复杂度集中到了 Catalog。映射版本、特征依赖和物化视图覆盖范围若出错，统一入口就可能返回错误或过期结果；论文通过原子提交、版本记录和未覆盖增量的补偿查询处理一致性问题。对打算借鉴这种设计的团队，下一步最有价值的核验是：更换特征版本后能否找齐需重算的批次，异常样本是否被正确补算，导出结果能否追溯到确切输入和规则。两天半的案例证明了减少人工编排的潜力；持续可靠地回答这些问题，才决定逻辑宽表能否长期成立。
