AITOP

5月13日

19:12

arXiv: DeepSeek@Zizhao Chen, Yuying Li, Siting Lin, Lianxi Wang

精选75

大语言模型在复杂推理中常出现“过度思考”问题，导致推理链过长、效率低下。现有强化学习方法通过设计复杂奖励函数压缩推理链，但高质量样本在探索空间中极为稀疏，形成采样瓶颈。受认知科学启发，研究者从理论上证明，参考答案引导的后验分布比先验分布具有更高期望效用，可突破高质量样本的采样瓶颈。为此，他们提出VPG-EA框架，将高效推理形式化为变分推断问题，引入效率感知的证据下界作为理论基础。该框架采用参数共享的双流架构实例化后验分布和先验策略，通过交叉视图评估过滤伪高效路径，再通过变分蒸馏将后验的高效模式单向迁移至先验策略。在DeepSeek-R1-Distill-Qwen-1.5B和7B规模上的实验显示，VPG-EA在综合效率指标ε³上分别比最强基线提升8.73%和12.37%。

论文推理模型效率优化变分推断过度思考知识蒸馏

推荐理由：这篇论文为LLM推理效率问题提供了理论严谨且可落地的解决方案，做推理优化或模型压缩的研究者可以直接参考其变分蒸馏方法，值得细读。

5月12日

19:10

arXiv cs.AI@Yaman Kindap, Manfred Opper, Benjamin Dupuis, Umut Simsekli, Tolga Birdal

40

本文提出了一种基于神经指数倾斜的变分推断方法，用于Lévy过程驱动的随机微分方程（SDEs）。该方法通过神经网络指数地重新加权Lévy测度，构建灵活的变分族，既保留了跳跃过程的动态特性，又具备计算可行性。研究者发展了二次神经参数化以实现倾斜测度的闭式归一化，以及稳定过程的条件高斯表示和对称性感知蒙特卡洛估计器。实验表明，该方法在合成和真实数据上能准确捕捉跳跃动态，优于高斯假设的变分方法。这对于金融、气候科学和AI安全等需要建模极端事件的领域具有重要意义。

论文变分推断 Lévy过程随机微分方程重尾建模极端事件

推荐理由：该工作解决了Lévy驱动SDE贝叶斯推断中可扩展性与精确性的矛盾，为处理重尾和跳跃过程提供了实用工具，对金融风控、气候极端事件预测等应用有直接价值。