AITOP

5月14日

16:33

berryxia@berryxia

63

UnslothAI 创始人 Daniel Han 发布了 Qwen3.6 的实验性 MTP GGUF 版本，通过投机解码技术大幅提升推理速度。27B 模型在单 GPU 上达到 140 tokens/s，35B-A3B 版本更达 220 tokens/s，比原版 GGUF 快 1.4 倍且精度无损。最佳 draft tokens 设为 2，过高会导致接受率下降。这一突破显著提升了本地大模型的性能上限，让消费级显卡能更高效运行 30B+ 参数模型。

AI模型 Qwen3.6 GGUF 投机解码本地推理 UnslothAI

推荐理由：本地大模型性能天花板被再次抬高，玩 llama.cpp、跑本地 Agent 或日常 coding 的开发者可以直接用上，体验 30B+ 模型在消费级显卡上的流畅速度。

5月11日

22:16

Clement Delangue@ClementDelangue

65

Hugging Face联合创始人Clement Delangue透露，Hugging Face上公开GGUF模型总数已达17.6万个。2024年10月至2月，月均新增约5100个GGUF模型；3月至4月跃升至约9200个/月，近乎翻倍。3月成为转折点（环比增长55%），4月维持9700个的高位，表明增长并非暂时现象。这一趋势得益于llama.cpp工具改进、自动化量化流程以及更多模型原生支持GGUF，社区量化模型速度创历史新高。

行业开源/仓库模型量化 GGUF Hugging Face 本地AI

推荐理由：GGUF模型数量的快速增长反映了本地AI部署的实际需求和技术成熟度的提升。对于开发者和企业，这意味着更丰富的开源模型选择和更便捷的本地推理实践，推动AI应用向边缘设备转移。