AITOP

5月15日

10:08

arXiv: DeepSeek@Bin Lei, Caiwen Ding, Jiachen Yang, Ang Li, Xin Eric Wang

精选58

研究发现，思维链推理长度增加时，模型对早期关键洞察的注意力会逐渐减弱，导致准确率在达到峰值后下降。为此，研究者提出InsightReplay方法，让模型在推理过程中定期提取关键洞察并回放到当前生成位置附近，保持其可访问性。在8B和30B规模的Qwen3.5、DeepSeek-R1-Distill-Qwen、Gemma-4模型上，覆盖AIME、HMMT、GPQA Diamond、LiveCodeBench v5等基准测试，3轮InsightReplay在所有24个设置中均带来准确率提升，平均提升1.65个百分点，最高单设置提升达9.2个百分点。结果表明，测试时扩展的有效性不仅取决于推理量，还取决于关键中间洞察在长推理轨迹中的可访问性。

论文推理模型思维链注意力机制 InsightReplay 长上下文

推荐理由：长链推理的注意力衰减问题终于有了针对性解法，做推理模型优化或长上下文应用的团队值得关注——InsightReplay简单有效，可以直接在现有CoT框架上尝试。

5月14日

13:26

arXiv cs.LG@Hoang-Quan Nguyen, Sankalp Pandey, Khoa Luu

精选40

长序列建模中，Transformer 的二次复杂度限制了其扩展性，而状态空间模型（SSM）虽线性高效，但记忆机制偏简单，难以捕捉复杂全局交互。研究者提出量子长注意力记忆（QLAM），将隐藏状态表示为量子态，通过参数化量子电路实现非经典全局更新，既保留 SSM 的循环线性结构，又利用量子叠加丰富记忆表示。QLAM 隐式捕获全局依赖，并通过查询相关测量提取任务信息。在 sMNIST、sFashion-MNIST 和 sCIFAR-10 等序列图像分类任务上，QLAM 一致优于循环基线和 Transformer 模型。这项工作首次将量子系统的叠加特性引入状态序列建模，为长上下文 AI 提供了新思路。

论文量子机器学习长序列建模状态空间模型注意力机制 QLAM

推荐理由：做长序列建模或量子机器学习的研究者值得关注——QLAM 用量子叠加解决了 SSM 记忆能力不足的问题，在标准基准上已跑赢 Transformer，建议点开看实现细节。

5月12日

19:11

arXiv cs.LG@Albert Alcalde, Leon Bungert, Konstantin Riedl, Tim Roith

45

本文从理论角度研究深度编码器型Transformer在推理时token演化的浓度现象。作者利用多粒子系统的收敛分析思想，证明token分布会在低温极限下迅速集中到由key、query、value矩阵诱导的投影映射的初始分布前推上，并在中等时间内保持亚稳态。具体地，Wasserstein距离以温度参数和推理时间的函数形式缩放，表明对于对数时间尺度，分布会集中到极限分布。数值实验验证了理论，并揭示了有限温度下后期由value矩阵谱支配的不同终端阶段。该工作为理解Transformer的注意力机制提供了数学基础。

论文 Transformer理论平均场浓度现象注意力机制数学分析

推荐理由：该论文为Transformer推断阶段的token分布行为提供了严格的数学分析，有助于解释大模型训练和推理中的稳定性现象，对理论研究和模型设计有参考价值。