arXiv: DeepSeek@Pengyun Zhu, Yuqi Ren, Zhen Wang, Lei Yang, Deyi Xiong精选58当前大语言模型(LLM)通常使用粗粒度的国家标签进行多元价值对齐,但这会忽略国家内部的价值异质性,导致对齐松散。DVMap 提出从国家标签转向多维人口统计约束,通过世界价值观调查(WVS)构建包含 56,152 样本的高质量对齐语料库,并引入结构化思维链(CoT)机制引导模型推理人口与价值的关系。实验表明,Qwen3-8B-DVMap 在跨人口统计测试中达到 48.6% 准确率,超越 DeepSeek-v3.2(45.1%),并展现出强泛化性和鲁棒性。该框架解决了宏观标签无法捕捉群体内价值差异的问题,为 LLM 的多元对齐提供了更精细的解决方案。论文大语言模型价值对齐人口统计思维链泛化性推荐理由:做 LLM 价值对齐的研究者终于有了从人口统计维度精细建模的方法——DVMap 用结构化 CoT 和 GRPO 实现了跨群体泛化,比国家标签更准,建议做 AI 伦理和可控生成的团队点开看看。
Jeff Dean@JeffDean精选47Google Translate 迎来20周年,Jeff Dean 回顾了其关键里程碑:2006年首次部署基于5-gram语言模型的系统,使用了万亿词级训练数据,是早期大语言模型实践;2016年转向深度神经网络,结合序列到序列模型和自研TPU,推理性能提升30-80倍,延迟降低15-30倍,使服务可覆盖数亿用户;近期又借助Gemini模型进一步优化。这些技术迭代持续提升了翻译质量和全球连接性。AI产品Google Translate机器翻译大语言模型TPU序列到序列推荐理由:Jeff Dean 亲自梳理了 Google Translate 从统计方法到神经网络的两次关键跃迁,做 NLP/翻译系统的开发者能从中看到技术选型的真实演进逻辑,值得一读。
arXiv cs.LG@Kexuan Shi, Hanxuan Li, Zeju Qiu, Yandong Wen, Simon Buchholz, Weiyang Liu精选60Pion 是一种用于大语言模型训练的新型优化器,通过左右正交变换更新权重矩阵,在整个训练过程中保持其奇异值不变。与 Adam 和 Muon 等加法优化器不同,Pion 在固定权重矩阵谱范数的同时调节其几何结构,提供了一种稳定的优化机制。实验表明,Pion 在 LLM 预训练和微调中均能作为标准优化器的稳定且有竞争力的替代方案。论文优化器大语言模型谱保持正交变换Pion推荐理由:Pion 解决了传统优化器在训练中破坏权重矩阵谱结构的问题,做 LLM 训练的研究者和工程师值得关注,尤其适合追求训练稳定性和模型质量的团队。