Tag: muon-optimizer
All the articles with the tag "muon-optimizer".
-
把 Muon 的每一步都算到最优:Polar Express 如何让 GPT-2 训练更快更稳
ICLR 2026 荣誉提名论文 Polar Express 把 Muon 里的极分解换成每步 minimax 最优的 5 次多项式,只用矩阵乘法就在 bfloat16 下稳定收敛,GPT-2 训练在全部学习率下都跑赢前任。
All the articles with the tag "muon-optimizer".
ICLR 2026 荣誉提名论文 Polar Express 把 Muon 里的极分解换成每步 minimax 最优的 5 次多项式,只用矩阵乘法就在 bfloat16 下稳定收敛,GPT-2 训练在全部学习率下都跑赢前任。