Hao Li、Zheng Xu、Gavin Taylor、Christoph Studer 与 Tom Goldstein 提出一种画神经网络损失曲面的方法,核心是对随机方向做滤波器归一化(filter normalization),让不同网络、不同训练设置下的极小值可以并排比较陡或平。论文作为 NeurIPS 2018 会议论文 发表,收入 Advances in Neural Information Processing Systems 31;当时会议名仍常写作 NIPS。官方会期写明 12 月 3 日是教程日,会议论文场是 12 月 4 日至 6 日,地点在蒙特利尔,发表日取论文场首日 2018-12-04,不用教程日,也不用 OpenAlex 上 2017-12-28 这条更像预印本挂出日的日期。本轮未从官方摘要页核到该篇的 Oral、Spotlight、Poster 或 Best Paper,只按会议论文著录。对照以已下载的 11 页官方会议 PDF 为准,正文提到的附录和 Figure 13 在单独的补充材料中,不并入对照。本轮重查 OpenAlex,记录为 W2962933129,类型是 conference-paper,截至 2026-11-22 引用约为 1817。这条记录的主 location 目前是 ETH Zurich 机构库(DOI 10.3929/ethz-b-000461393),locations 中同时有 arXiv:1712.09913 和 neural information processing systems,未见另一条可单独采用的会议版引用数,故按 1817 著录并标明记录来源,不另编。
看起来很陡的极小值,往往只是权重尺度不同
要看损失在高维参数空间里的形状,常见做法是沿一两个随机方向做切片,画出一维曲线或二维曲面。可是带 ReLU 和批归一化的网络对权重有尺度不变性:一层放大、下一层缩小,网络行为几乎不变,曲面却会显得陡很多或平很多。小批量与大批量、加不加权重衰减,都会改变权重的范数,未归一化的线性插值图因此很容易误导。作者把随机方向按每个卷积滤波器(全连接层则按每个神经元)各自的范数缩放,再去画 。这样比较的是网络行为意义上的陡峭,而不是被缩放扭曲后的几何。
去掉捷径连接,深网络的损失曲面会从接近凸变成一团乱
用这套画法看 CIFAR-10 上的网络,结构差异非常大。ResNet-56 去掉捷径连接后,损失曲面高低起伏、几乎无从下落;加上残差连接后,中心出现一大块接近凸、底部平坦的区域。VGG 式的浅网络还比较温和,但深度一加、又没有捷径,等高线会扭曲,极小值周围出现陡峭而偏心的区域,梯度甚至不再指向中心。把同一深度的网络加宽,混沌会减弱,极小值也更平;DenseNet 的曲面看起来几乎没有明显的非凸。作者还观察到:好的随机初始化往往落在那块低损失的凸区域里;若吸引域太浅,初始化就容易掉到高损失的混沌平台上,训练会失败。这些图讨论的是损失几何与可训练性、泛化的关系,不是后来 Belkin 等人写的双下降,也不是 Nakkiran 的 Deep Double Descent。
归一化之后,更平的极小值确实更常对应更低的测试误差
小批量解和大批量解谁更平,一旦加上权重衰减就可以对调;未归一化的图看到的,常常只是权重大小不同。用滤波器归一化再画,差别还在,但小得多,而且这时更平的极小值与更低的测试误差对得更齐。加宽的残差网络不但曲面更规整,测试误差也更低。为确认低维切片没有把非凸“藏起来”,作者在同一组归一化方向上计算 Hessian 的最小和最大特征值比 :看起来接近凸的区域,负特征值相对正曲率非常小;去掉捷径的混沌区域则大面积出现明显的负曲率。也就是说,图上那些平坦的“碗”,并不是把非凸全投影掉之后的假象。
它给“捷径为何好用、极小值为何有的陡有的平”提供了可以直接看的证据
这篇工作后来成为讨论损失几何、平坦极小值和残差结构时最常被引用的可视化起点之一,配套代码也公开在作者的 GitHub 上。它的边界同样清楚:二维切片不能穷尽全部非凸;定量的陡峭指标仍依赖于所取的方向;优化轨迹的更多分析放在了未收入这 11 页的附录里。对照只覆盖这 11 页会议正文和参考文献。