AITOP

5月14日

13:37

Jeff Dean@JeffDean

58

Google 首席科学家 Jeff Dean 在 Cloud Next 上与 Amin Vahdat 及 AcquiredFM 主持人讨论了新发布的 TPU v8t 和 v8i 芯片。这些芯片专为 AI 训练和推理优化，性能大幅提升。Jeff Dean 在推文中分享了个人兴奋点，并附上博客文章链接。该发布标志着 Google 在 AI 硬件领域的持续投入，对云服务和 AI 开发者意义重大。

AI产品 TPU Google AI 硬件 Cloud Next 芯片

推荐理由：Google 新一代 TPU 发布，AI 训练和推理性能再升级，做大规模模型训练或云服务的团队值得关注，看看 Jeff Dean 最兴奋的点是什么。

13:37

Jeff Dean@JeffDean

精选47

Google Translate 迎来20周年，Jeff Dean 回顾了其关键里程碑：2006年首次部署基于5-gram语言模型的系统，使用了万亿词级训练数据，是早期大语言模型实践；2016年转向深度神经网络，结合序列到序列模型和自研TPU，推理性能提升30-80倍，延迟降低15-30倍，使服务可覆盖数亿用户；近期又借助Gemini模型进一步优化。这些技术迭代持续提升了翻译质量和全球连接性。

AI产品 Google Translate 机器翻译大语言模型 TPU 序列到序列

推荐理由：Jeff Dean 亲自梳理了 Google Translate 从统计方法到神经网络的两次关键跃迁，做 NLP/翻译系统的开发者能从中看到技术选型的真实演进逻辑，值得一读。

5月13日

00:33

Google Developers Blog（博客/媒体）

60

TorchTPU是Google为TPU打造的原生PyTorch运行栈，旨在最小代码改动下实现高性能分布式训练。它采用“Eager First”模式，并利用XLA编译器优化集群训练。项目计划在2026年进一步降低编译开销，支持动态形状和自定义内核，以支持下一代AI模型的扩展。

AI产品 TPU PyTorch XLA编译器分布式训练 Google

推荐理由：TorchTPU让PyTorch用户能够更顺畅地迁移到TPU，同时保持Eager模式体验，这对需要TPU算力的大规模AI训练场景有直接价值。

00:33

Google Developers Blog（博客/媒体）

60

Google的MaxText框架现在支持在单主机TPU上进行监督微调（SFT）和强化学习（RL），利用JAX和Tunix库实现高效模型优化。开发者可通过GRPO和GSPO等算法轻松调整预训练模型以适应专业任务和复杂推理。该更新简化了从单主机到多主机配置的微调流程，为后训练工作流提供了可扩展路径。

AI产品微调/RL TPU JAX MaxText

推荐理由：这表明Google正在降低TPU上高级模型微调的门槛，让中小规模团队也能在单主机TPU上应用RL算法进行后训练，对AI开发实践有实用价值。

00:33

Google Developers Blog（博客/媒体）

65

加州大学圣地亚哥分校研究者将DFlash（一种块扩散推测解码方法）成功部署到Google TPU上，通过单次前向传播“绘制”整个候选词块，绕过传统自回归逐步预测的顺序瓶颈。该系统在TPU上实现了平均3.13倍的加速，峰值性能接近现有EAGLE-3方法的两倍。该开源方案已集成至vLLM生态，利用TPU的免费并行验证和高品质草稿预测，显著提升复杂推理任务的效率。

AI模型推理加速推测解码 TPU 开源/仓库 vLLM

推荐理由：这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。