AITOP

5月14日

14:13

Cohere@cohere

精选58

Cohere 发布技术报告，指出基于混合专家模型（MoE）的大型语言模型在推测解码（speculative decoding）中表现更优，打破了传统认知。推测解码是一种加速推理的技术，通常认为对密集模型更有效，但 Cohere 的实验表明 MoE 架构能进一步提升其效率。该发现有望降低推理成本，推动 MoE 模型在实时应用中的部署。

论文 MoE 推测解码推理加速 Cohere 技术报告

推荐理由：做 LLM 推理优化的开发者值得关注——MoE 模型在推测解码上的意外优势可能改变成本结构，建议点开报告看具体数据。

5月13日

00:33

Google Developers Blog（博客/媒体）

65

加州大学圣地亚哥分校研究者将DFlash（一种块扩散推测解码方法）成功部署到Google TPU上，通过单次前向传播“绘制”整个候选词块，绕过传统自回归逐步预测的顺序瓶颈。该系统在TPU上实现了平均3.13倍的加速，峰值性能接近现有EAGLE-3方法的两倍。该开源方案已集成至vLLM生态，利用TPU的免费并行验证和高品质草稿预测，显著提升复杂推理任务的效率。

AI模型推理加速推测解码 TPU 开源/仓库 vLLM

推荐理由：这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。

5月11日

11:43

arXiv cs.LG（学术论文）

38

字节级语言模型（BLT）虽匹配词元级模型性能，但逐字节自回归生成速度慢。本文提出三种加速方法：BLT Diffusion（BLT-D）用辅助扩散目标并行生成多个字节；BLT Self-speculation（BLT-S）通过推测解码扩展补丁边界并验证；BLT Diffusion+Verification（BLT-DV）结合扩散与自回归验证。所有方法在生成任务上估计内存带宽成本降低超50%，消除字节级模型实用化障碍。

论文字节级模型推理加速扩散模型推测解码无分词器

推荐理由：该工作直接解决字节级LLM的核心效率瓶颈，提出的混合推理策略（扩散+推测解码）为无分词器模型走向实际应用提供了可行路径。