AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:DeepSeek-R1×
5月14日
13:26
arXiv: DeepSeek@Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen
精选55
长链推理(Long CoT)虽能提升多步推理性能,但常导致模型过度思考,产生低效推理,增加推理成本。STOP 提出一种结构化在线策略剪枝算法,通过自蒸馏、节点分割和推理树构建,识别并保留最早的正确推理节点(ECN),去除冗余推理。在 DeepSeek-R1-Distill-Qwen-7B 等模型上,STOP 在低数据微调场景下减少 19.4%-42.4% 的生成 token,同时基本保持准确率。该方法比教师引导剪枝带来更小的分布偏移,并将推理努力从冗余验证转向更高效的探索。
论文推理模型剪枝/优化低数据微调长链推理DeepSeek-R1

推荐理由:做推理模型微调或部署的团队,STOP 解决了低数据场景下长链推理成本高的问题,直接减少 token 消耗,建议试试这个轻量剪枝方案。
5月11日
19:03
arXiv: DeepSeek(学术论文)
70
该研究揭示了共享输出Token预算时,长思维链会挤占答案空间,导致准确率下降的“耦合税”现象。在GSM8K、MATH-500等任务中,非思维链模式在≤2048 Token下表现更优,且Qwen3模型呈逆缩放规律。作者提出截断-浪费分解模型预测关键点,并通过拆分预算生成方法(如IRIS)将MATH-500准确率提升至83.6%。结果表明测试时推理应被视为预算分配问题。
论文思维链Token预算推理模型Qwen3DeepSeek-R1

推荐理由:该工作对当前LLM推理优化具有实际指导意义,提醒研究者在固定输出长度场景中平衡推理链与答案空间,避免盲目延长思维链。