arXiv cs.LG@Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu
精选60
推荐理由：Pion 解决了传统优化器在训练中破坏权重矩阵谱结构的问题，做 LLM 训练的研究者和工程师值得关注，尤其适合追求训练稳定性和模型质量的团队。
精选
AI 自动挑选的高价值内容
5月13日
19:12
Pion 是一种用于大语言模型训练的新型优化器，通过左右正交变换更新权重矩阵，在整个训练过程中保持其奇异值不变。与 Adam 和 Muon 等加法优化器不同，Pion 在固定权重矩阵谱范数的同时调节其几何结构，提供了一种稳定的优化机制。实验表明，Pion 在 LLM 预训练和微调中均能作为标准优化器的稳定且有竞争力的替代方案。