Moonshot AI: Kimi Blog（资讯）
60
推荐理由：Muon 优化器有望替代 AdamW 成为大模型训练的新标配，做预训练或微调的团队值得关注其收敛速度和资源节省效果。
全部 AI 动态
AI 相关资讯全量信息流
5月13日
21:36
Moonshot AI 发布了关于 Muon 优化器的首次大规模训练实践技术报告。Muon 是一种基于矩阵正交化的优化器，旨在提升大模型训练效率。报告详细介绍了 Muon 在 1B 到 7B 参数模型上的训练效果，显示其在收敛速度和最终性能上优于 AdamW。该工作为大规模深度学习训练提供了新的优化器选择，尤其对计算资源有限的团队具有参考价值。