这项由上海人工智能实验室、上海大学、西湖大学、上海交通大学、中国科学院大学、浙江大学、南方科技大学等多家机构联合开展的研究，于2026年7月以预印本形式发布，论文编号为arXiv:2607.04033。感兴趣的读者可以通过这个编号在arXiv平台找到完整论文。

**一场关于"如何训练AI"的大混战**

每一个AI模型的背后，都藏着一个不起眼却至关重要的角色——优化器。如果把训练AI比作攀登一座布满迷雾的山峰，那优化器就是那个每步决定脚往哪儿迈的向导。它的核心任务是：根据当前的错误信号，计算出下一步参数应该怎么调整，从而让模型越来越准确。

问题在于，现在这个"向导"的种类已经超过了一百种。有的向导擅长快速找到大致方向，有的向导更省力气（占用更少内存），有的向导在崎岖地形（长序列、复杂架构）上表现更稳，有的向导对初始方向的选择非常敏感。这些向导各有脾气，研究者们每隔一段时间就会推出新的向导，声称自己在某些测试中打败了前辈，但换一个测试场景，结论又可能完全相反。

面对这种混乱局面，研究团队决定做一件耗时耗力却极有价值的事：给这一百多种优化器建立一套统一的语言体系，让人们能够清晰地看懂每种方法究竟在干什么，然后在真实的训练场景中系统地测一测它们到底表现如何。这项工作被命名为OmniOpt，意为"全面的优化器研究"。

**一、优化器到底在做什么：一条五步流水线**

要理解这场混战的根源，得先搞清楚优化器的工作流程。研究团队发现，尽管一百多种方法看上去五花八门，但它们本质上都在执行一套相同的五步动作，只是每种方法在其中某一步或两步上做了不同的改动，其余步骤照旧。

研究团队将这五步称为"通用元流水线"。第一步叫做"参数分组与路由"，简单说就是决定哪些参数按矩阵方式处理，哪些按普通向量方式处理。一个Transformer模型里有各种各样的参数，注意力层的权重矩阵、归一化层的缩放系数、偏置项，它们的形状和性质完全不同，有的优化器会把这些参数分成不同的组别分别对待，有的则一视同仁。

第二步叫做"梯度变换"，这是整个流水线里最核心的创新战场。梯度是模型告诉优化器"我在哪个方向出了错"的信号，而"变换"就是对这个信号进行加工处理。有的方法直接用原始梯度，有的把梯度变换成一个正交化的矩阵方向，有的把梯度投影到一个低维子空间里再使用。

第三步叫做"状态演化"，也就是维护优化器自己的记忆。最经典的例子是AdamW所做的：它同时维护两个移动平均，一个追踪梯度的方向（动量），一个追踪梯度的大小波动（二阶矩估计），用来为每个参数定制一个个性化的学习步长。这两个"记忆"需要占用额外的内存，对于一个70亿参数的模型而言，仅这两个状态就需要约56GB存储空间。

第四步叫做"更新重建"，当梯度经过变换被压缩进了一个低维空间时，最终要写回参数之前，需要把它"还原"回原本的形状。这是第二步的镜像操作，就像压缩文件之后需要解压才能使用一样。

第五步叫做"更新最终化"，负责把计算好的更新方向真正写入参数，同时处理学习率缩放、权重衰减（一种防止过拟合的正则化手段）、梯度裁剪等收尾工作。

研究团队指出，一百多种优化器中，绝大多数只在这五步中的某一步或两步上做了非平凡的改动，其余步骤都按默认方式执行。这个发现非常重要，因为它意味着两件事：第一，可以用一套统一的语言描述所有优化器；第二，两个处于不同步骤的方法原则上可以叠加使用，而两个争夺同一步骤的方法叠加时就需要仔细考虑先后顺序。

**二、用数学语言统一一百多种方法：四轴坐标系**

流水线解决了"在哪儿改"的问题，但还需要解决"怎么改"的数学本质。研究团队在这里引入了一个优雅的几何工具：线性最小化预言机，简称LMO。

LMO的直觉其实非常简单。每一步梯度更新，本质上是在问："在我能走的范围内，哪个方向的下降最陡？"而"我能走的范围"由一个约束球的形状决定。不同形状的约束球，给出不同的"最陡下降方向"。

以最常见的情形为例：如果约束球是一个普通的圆形（数学上叫l2球），那最陡下降方向就是梯度本身除以梯度长度，也就是归一化梯度。如果约束球是一个正方体（数学上叫l∞球，也就是每个维度的最大位移固定），那最陡下降方向就是梯度每个分量的符号，即正的方向走一步，负的方向走一步，这正是Lion、SignSGD这类方法的本质。如果约束球是一个由矩阵谱范数定义的空间，那最陡下降方向就是矩阵的极因子，也就是Muon所做的事情。

这个洞察把看起来差异很大的三类方法统一进了同一个几何框架：它们的区别只在于用了哪种形状的"约束球"。AdamW可以理解为一种动态变形的正方体——由二阶矩统计决定每个维度的边界长度；Muon对应谱范数球；Lion对应固定正方体。

基于这个几何视角，研究团队建立了一个四轴坐标系来描述任意优化器的完整特征。

第一轴是"更新域"，描述更新发生在哪个空间里。大多数方法在原始参数空间操作，GaLore这类方法则把更新限制在一个低秩子空间里，相当于只在山峰的某几个主要方向上移动，而忽略其他方向的微小变化。

第二轴是"状态估计器"，描述优化器维护什么样的历史记忆。什么都不记的是SGD；记一阶动量（方向平均）的是带动量的SGD；同时记一阶和二阶矩（方向平均加大小方差）的是Adam家族；MARS方法在这一轴上做了改进，它先对梯度进行方差缩减校正（修正因随机采样带来的噪声），再维护Adam的两个矩，从而让记忆的原材料更准确。

第三轴是"几何与预条件算子"，也就是LMO所在的位置，决定状态被转化成什么形状的更新方向。这一轴有LMO的约束球解读，同时也可以用预条件的语言理解：Hessian矩阵的逆（或近似）乘以梯度，就是牛顿法的思路。AdamW用对角线二阶矩作为Hessian近似；Shampoo和SOAP用Kronecker因子近似；Muon用Gram矩阵的负半方根。

第四轴是"最终化包装器"，包含学习率、权重衰减、投影还原、路由规则和刷新计划等所有发生在方向确定之后的操作。

通过这四个轴，可以给任何一个优化器标注一个坐标，就像用经纬度定位地球上的任意一点。两个方法的坐标差异越大，它们通常越容易叠加组合；两个方法在同一轴上都有强烈的非默认操作，叠加时就需要仔细规定顺序。

**三、一百零八位"向导"的家谱：五大家族**

统一了描述语言之后，研究团队将所有收录的108个优化器按照主要机制分成了五大家族，同时用效果目标（收敛效率、计算成本、内存占用、训练稳定性、超参数鲁棒性、泛化能力）从另一个维度给每个方法打标签。

第一家族（T1）叫做"逐元素自适应矩与标量控制"。这是以AdamW为核心的最大家族，共43个成员。这个家族的共同特征是：对每个参数独立进行缩放，不跨行列交换信息，参数永远一个接一个地被更新，绝不成批处理。家族内部按照改动位置分成三个支系：直接修改AdamW某个环节（如方差估计、偏差校正、权重衰减方式）的是T1.1，代表是AdamW本身及RAdam、AdaBelief、Adan、ADOPT等；在信号质量上做文章（添加多时间尺度动量或方差缩减）的是T1.2，代表是AdEMAMix和MARS-AdamW；在外层控制逻辑上做文章（无调度迭代平均或自动学习率推断）的是T1.3，代表是Schedule-Free AdamW和Prodigy。

第二家族（T2）叫做"矩阵级结构方法"，共16个成员。这个家族认为Transformer里的权重矩阵不应该被拆成独立的坐标处理，而应当被作为一个整体对待。家族分三支：用谱正交化处理梯度的T2.1（代表是Muon和RMNP）、用Kronecker因子近似曲率的T2.2（代表是Shampoo和SOAP）、把梯度投影到低秩子空间再更新的T2.3（代表是GaLore）。

第三家族（T3）叫做"离散化与方向量化"，共7个成员。这个家族干了一件极端的事情：把梯度的连续数值方向直接变成±1的符号方向，丢弃幅度信息只保留方向。核心代表是Lion，它对动量和当前梯度的插值取符号，更新的最大步长直接由学习率控制，不受梯度幅度影响。这让T3方法的每一步计算都非常便宜，同时也不需要存储二阶矩，内存比AdamW少一个状态缓冲区。

第四家族（T4）叫做"状态压缩与结构聚合"，共11个成员。这个家族专注于解决内存压力问题，通过各种方式压缩或精简优化器状态。按照压缩方式分四支：用行列统计近似完整二阶矩矩阵的T4.1（代表AdaFactor和CAME）、用低精度整数存储状态的T4.2（代表8-bit Adam）、在参数块或层级共享统计量的T4.3（代表Adam-mini和APOLLO）、以及在反向传播过程中边算边写立刻释放梯度的T4.4（代表LOMO）。

第五家族（T5）叫做"曲率感知与几何正则化"，共25个成员。这个家族不改变基础方向计算，而是在方向已经确定之后，从几何角度对更新施加约束或修正。分四支：通过对参数加扰动后重新计算梯度来寻找更平坦极小值的T5.1（代表SAM家族）；用对角线Hessian估计替换二阶矩估计的T5.2（代表Sophia）；对更新方向进行中心化、投影、掩码或稳定化处理的T5.3（代表Cautious Optimizers、SPAM等）；按层或参数组的范数比例缩放更新步长的T5.4（代表LAMB）。

**四、真刀真枪的测试：两阶段大规模基准实验**

分类体系建立起来之后，研究团队做了这项工作中最耗时也最有价值的部分：真实训练实验。实验设计非常严谨，采用"控制变量"原则：在每个实验里，只有优化器相关的超参数可以调整，所有的架构设置、数据集、训练时间表都保持完全相同，以确保观察到的差异真的来自优化器本身，而不是其他因素。

实验分两个阶段展开，覆盖24个代表性优化器。

第一阶段叫做"广泛筛查"，在C4数据集（一个大规模英文网页文本数据集）上，使用LLaMA架构，在60M、130M、350M、1B四个参数规模上各训练一轮，用最终的验证集困惑度（PPL，越低越好）、优化器状态内存占用和每步运行时间来评估。评估目标对应前三个效果目标：收敛质量O1、计算成本O2、内存成本O3。

第二阶段叫做"泛化能力测试"，把第一阶段表现较好的优化器放到更苛刻的条件下：更高质量的数据集FineWeb-Edu、32k长序列、340M和1B两个规模，以及四种架构——标准Transformer++，加上三种线性注意力变体（Gated DeltaNet、DeltaNet、GLA）。除了PPL，还要测WikiText困惑度和十个常识推理下游任务的平均准确率（CS Avg.）。

在第一阶段中，最值得关注的发现是APOLLO的惊人表现。这个属于T4状态压缩家族的方法，在1B规模上达到了所有24个方法中最低的PPL（13.53），而且它的优化器状态内存极小（仅0.79GB，AdamW需要约5GB）。它几乎同时站上了质量和内存效率的最优前沿。

不过，Pareto前沿分析（找出没有任何方法在所有指标上都优于它的方法集合）揭示了一个更复杂的图景：在PPL对运行时间的前沿上，RMNP表现得非常均衡，它以接近AdamW的运行时间代价获得了接近Muon水平的质量；SOAP以极高的运行时间代价换来了极好的PPL；Lion则是最快的方法，但质量最差。不同的家族占据了效率空间的不同位置，不存在一个在所有指标上全面碾压的方法。

进入第二阶段，事情变得更加戏剧性。在长序列（32k）和多架构的测试中，优化器的排名发生了显著的重新洗牌。

SOAP成为了跨场景最稳定的高质量优化器，在八个场景（两个规模乘以四种架构）中的七个里拿到了PPL最优或次优，表现出极强的架构泛化能力。MARS-AdamW是T1家族中最稳定的提升版本，在多个场景中领先于普通AdamW，尤其在常识推理任务上表现突出。Muon则表现出明显的架构依赖性：在标准Transformer上处于中游，但在GLA架构上一跃成为最优，这说明它的谱正交化更新方向与GLA架构的参数拓扑存在某种深层的契合。

最戏剧性的反转是APOLLO的故事。在256个token的短序列设置下，它是排名第一的优化器。但当序列长度拉长到32k时，它的PPL比短序列时足足差了+21.87，而AdamW同样条件下只差了+7.39，APOLLO的劣化程度是AdamW的约三倍，成为所有测试方法中泛化最差的一个。

研究团队用四轴框架精准地解释了这个现象。APOLLO的本质是第二轴（状态估计器）上的激进压缩：它通过随机投影将梯度压到一个低维子空间中维护统计量。在短序列场景下，梯度的有效秩比较低，这个低维近似几乎不损失信息。但当序列变长时，模型需要捕捉更长距离的依赖关系，梯度的有效秩随之升高，固定维度的投影就会开始丢失越来越多的关键信息，导致更新质量急剧下降。这个发现总结成一个非常实用的警示：T4家族的优势受到梯度有效秩的约束，短序列下看起来极好的表现，不能代表长序列下的可靠性。

在CIFAR-100图像分类的视觉领域测试中，跨架构的不稳定性再次得到验证。在CNN（ResNet50）上，AdaBelief达到最优；在Vision Transformer（DeiT-S）上，Muon大幅领先（比AdamW高出超过五个百分点）；在MetaFormer（CAFormer-S12）上，Adan拿到最优。没有任何一个优化器在三种视觉架构上都是最优的，这和语言模型测试中的结论相互印证：优化器的表现与目标架构的梯度结构深度绑定。

**五、训练稳定性与超参数鲁棒性：两个经常被忽视的维度**

研究团队还针对稳定性（O4）和超参数鲁棒性（O5）进行了专门的辅助分析，这两个维度在通常的优化器论文中往往只是一笔带过。

稳定性分析通过计算梯度范数的变异系数（GNormCV，梯度范数的标准差除以均值，越低越稳）来衡量。一个重要发现是：所有测试的运行都正常结束，没有出现数值溢出（NaN/Inf），但GNormCV的差异却跨越了超过两个数量级，从约0.3到超过160不等。这意味着传统的"是否收敛"判断标准完全无法区分这些方法的稳定性差异，而GNormCV才能暴露出训练轨迹中隐藏的软性不稳定性。

Muon在稳定性上表现最好，在所有架构的测试场景中几乎总是排名前两位，这与它的谱正交化将更新的幅度从梯度幅度中解耦有关——每一步更新的大小由学习率决定，而不会被梯度的突然变化所放大。SOAP和Conda在某些架构上出现了极高的GNormCV，但诊断显示这是偶发的单步脉冲，并非持续性的振荡，本质上是罕见的极端步骤被平均值放大了统计结果。GLA架构是所有方法的稳定性压力测试，几乎所有优化器在GLA上的GNormCV都显著升高，说明这是架构本身的特性导致的，而非优化器的问题。

超参数鲁棒性测试的设计是：对每个优化器的调好学习率，分别测试将学习率缩小到五分之一和放大到五倍时，PPL的相对恶化程度有多大。Lion和MARS-Lion在这个测试中最鲁棒（灵敏度分别只有0.7%和7.7%），原因正是T3家族的机制特性：因为更新的每个坐标幅度都被固定为±1乘以学习率，学习率的中等程度变化对方向没有影响，只影响步长大小，所以有一定的容忍空间。然而，研究团队特别指出，这种"鲁棒性"部分来自于Lion的质量并不出色——质量在一个较宽的学习率范围内都平平无奇，当然不容易变差太多。APOLLO的鲁棒性最差，灵敏度高达63.3%，与它在长序列测试中的脆弱性形成了一致的侧写。

**六、拆解Muon：一台矩阵优化器的内部构造**

Muon被选为深度机制消融研究的对象，因为它的机制相对清晰而又有足够深度。研究团队把Muon的各个组成操作拆开逐一测试，目的是搞清楚：哪个操作是不可或缺的核心，哪些操作只是锦上添花，操作的顺序是否可以随意调换。

消融实验在C4-LLaMA 350M规模上进行。基准是普通AdamW（PPL 17.78）。

第一个实验揭示了核心所在：把AdamW的二阶矩去掉，保留一阶动量但不加任何补偿（退化为带动量的SGD），PPL直接跳到70.74，训练实际上已经崩溃。但只要加回Newton-Schulz（NS）正交化，PPL就立刻恢复到16.86，已经优于AdamW，这明确确立了NS正交化是Muon能工作的关键核心。

第二个实验测试了锦上添花的操作。在NS正交化的基础上，对矩阵的行列维度分别施加不同的学习率缩放（对称双向缩放，考虑矩阵是否更宽或更高）能将PPL进一步降到16.52；在NS正交化之后再施加Nesterov动量校正能达到16.57；二者同时使用达到16.51。这两个改进各自独立地提供了额外收益，而且在C4上它们的效果可以叠加。

第三个实验测试了操作顺序的约束。如果把动量在正交化空间里累积（而不是在原始梯度空间累积动量再正交化），PPL会劣化到23.01，与AdamW相比毫无优势。如果先做学习率缩放再做NS正交化（而不是先正交化再缩放），PPL会劣化到16.70。这说明Muon的这些组件不是可以随意排列的积木，它们在流水线中有严格的拓扑顺序。

在多架构验证中，这两个增益操作在标准Transformer的350M和1B规模上都能稳定迁移且可以叠加。但在Gated DeltaNet架构上，两个增益各自单独使用仍然有效，合并使用时的改善却不再超过最好的单一增益。这说明增益操作之间的协同作用是架构依赖的，在线性注意力机制的参数拓扑下，这两个操作之间存在某种干扰，无法像在标准Transformer上那样自由叠加。

**七、重要结论：没有万能向导，选择需匹配约束**

经过所有这些实验，研究团队得出了一系列清晰而实用的结论，将这些结论组织成一个三层的"推荐向导"排名。

第一层推荐（Tier I）是在当前基准协议下最普遍可靠的方法：AdamW作为默认参考基准，任何其他方法都应以AdamW为起点来衡量额外价值；RMNP作为在质量和效率之间最均衡的矩阵结构方法，在不需要过高运行时间代价的前提下能获得接近Muon的质量；Muon作为机制透明、适合进一步研究的矩阵结构方法，需要对目标架构有所了解才能用好。

第二层推荐（Tier II）是在特定场景下有明确优势但不适合作为通用默认选项的方法：SOAP是追求极致长序列质量时的上限参考，代价是极高的运行时间和内存；APOLLO是短序列内存受限场景下的高收益方案，但必须额外验证长序列性能；MARS-AdamW、AdamP等在特定设置下稳定，但不能主导第一阶段的质量-效率前沿。

第三层（Tier III）是在当前协议下表现较弱或过于场景特定的方法，包括RAdam、NAdam、AdaBelief、Prodigy、GaLore、Shampoo、8-bit Adam、CAME、AdaFactor、Adam-mini、LAMB、Sophia。这不意味着它们永远无用，而是在本次测试协议下，它们没有展现出足够显著的综合价值。

研究团队特别强调：这份排名不是一个静态的全局最优答案，而是一个基于约束的决策框架。当你的主要约束是训练稳定性时，T1是最安全的家族；当约束是追求极致长序列质量且不在乎成本时，T2（尤其SOAP）是上限；当约束是短序列的内存极限时，T4有优势但需要长序列验证；当约束是最低的每步成本时，T3（Lion）是选项但质量要打折扣。

研究团队还提炼了几个关于"叠加原则"的技术经验。不同轴或不同流水线步骤的机制通常可以自由叠加：方差缩减（第二轴）可以叠加到任何方向构造方法上，低秩投影（T2.3）和状态量化（T4.2）可以叠加，后处理滤波器（T5.3）可以包装任何基础优化器，层级信任比例（T5.4）可以包装逐元素自适应更新。争用同一步骤的机制则需要规定顺序：两个强S2矩阵约束（谱正交化和低秩投影）不能自由组合，必须指定谁先谁后，二者的不同顺序导致不同的更新方向和内存占用。

说到底，这项研究的核心贡献不是告诉你"用哪个优化器最好"，而是建立了一套坐标系，让你能够清晰地描述每个方法改变了什么，预测两个方法叠加时会发生什么，以及理解为什么某个方法在某种场景下成功而在另一个场景下失败。优化器的选择本质上是一道"用有限的计算和内存预算，在你的架构和数据上爬上那座迷雾山峰"的工程题，而OmniOpt提供的，是一张前所未有详细的地形图。

有兴趣深入了解完整推导、公式和实验细节的读者，可以通过arXiv:2607.04033找到原论文，所有实验代码和模型权重也在论文附带的代码仓库和Hugging Face页面上开放。

Q&A

Q1：OmniOpt研究中，为什么APOLLO在短序列训练中表现最好，在长序列训练中却最差？

A：APOLLO通过随机投影把梯度压缩到低维子空间来节省内存。短序列时，梯度的有效信息维度本身就低，这种压缩几乎不损失信息，所以效果很好。长序列时，模型要捕捉更长距离的依赖关系，梯度的有效秩随之升高，固定维度的投影就开始丢失越来越多关键信息，导致更新质量急剧下降。这是T4状态压缩家族的共性限制，压缩带来的收益本质上受梯度有效秩约束。

Q2：训练大模型时应该优先选择哪种优化器？

A：没有普遍最优的选择，应匹配训练的主要约束。如果没有特殊需求，AdamW是最稳定的默认基准。追求质量且内存和时间不是瓶颈，可以考虑SOAP。内存极度紧张但序列不长，APOLLO值得尝试但需验证长序列性能。想要比AdamW更好的质量同时不付出过高代价，RMNP是本研究中最均衡的选择。

Q3：Muon优化器的核心是什么，为什么在某些架构上比AdamW好很多？

A：Muon的核心是Newton-Schulz谱正交化，它把梯度动量变换成一个所有奇异值都等于1的正交矩阵方向，相当于只保留方向信息而抹平大小差异，从几何上说是在谱范数球内做最陡下降。这在标准Transformer的注意力矩阵上效果好，因为这些矩阵的梯度具有清晰的行列相关结构。但在GLA等线性注意力架构上效果更好，而在CNN等非矩阵主导架构上优势不明显，说明它的有效性深度依赖目标架构的参数拓扑。