arXiv: DeepSeek@Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen精选55长链推理(Long CoT)虽能提升多步推理性能,但常导致模型过度思考,产生低效推理,增加推理成本。STOP 提出一种结构化在线策略剪枝算法,通过自蒸馏、节点分割和推理树构建,识别并保留最早的正确推理节点(ECN),去除冗余推理。在 DeepSeek-R1-Distill-Qwen-7B 等模型上,STOP 在低数据微调场景下减少 19.4%-42.4% 的生成 token,同时基本保持准确率。该方法比教师引导剪枝带来更小的分布偏移,并将推理努力从冗余验证转向更高效的探索。论文推理模型剪枝/优化低数据微调长链推理DeepSeek-R1推荐理由:做推理模型微调或部署的团队,STOP 解决了低数据场景下长链推理成本高的问题,直接减少 token 消耗,建议试试这个轻量剪枝方案。
arXiv: DeepSeek(学术论文)70该研究揭示了共享输出Token预算时,长思维链会挤占答案空间,导致准确率下降的“耦合税”现象。在GSM8K、MATH-500等任务中,非思维链模式在≤2048 Token下表现更优,且Qwen3模型呈逆缩放规律。作者提出截断-浪费分解模型预测关键点,并通过拆分预算生成方法(如IRIS)将MATH-500准确率提升至83.6%。结果表明测试时推理应被视为预算分配问题。论文思维链Token预算推理模型Qwen3DeepSeek-R1推荐理由:该工作对当前LLM推理优化具有实际指导意义,提醒研究者在固定输出长度场景中平衡推理链与答案空间,避免盲目延长思维链。