berryxia@berryxia58MLX维护者、Electron.js创始人@zcbenz在Apple宣布,MLX的CUDA后端所有测试全部通过。这意味着原本仅限苹果硅芯片的机器学习框架MLX,现在也能在NVIDIA显卡上高效运行。同一套代码在Mac和NVIDIA GPU上都能流畅执行,打破了PyTorch的兼容瓶颈。此举标志着本地AI跨平台时代加速到来,开发者不再受限于单一硬件生态。AI产品MLXCUDA跨平台本地AI苹果推荐理由:MLX打通CUDA后,做本地AI推理的开发者终于可以一套代码跑通Mac和NVIDIA显卡,省去PyTorch兼容折腾,建议关注这个框架的跨平台潜力。
Clement Delangue@ClementDelangue65Hugging Face联合创始人Clement Delangue透露,Hugging Face上公开GGUF模型总数已达17.6万个。2024年10月至2月,月均新增约5100个GGUF模型;3月至4月跃升至约9200个/月,近乎翻倍。3月成为转折点(环比增长55%),4月维持9700个的高位,表明增长并非暂时现象。这一趋势得益于llama.cpp工具改进、自动化量化流程以及更多模型原生支持GGUF,社区量化模型速度创历史新高。行业开源/仓库模型量化GGUFHugging Face本地AI推荐理由:GGUF模型数量的快速增长反映了本地AI部署的实际需求和技术成熟度的提升。对于开发者和企业,这意味着更丰富的开源模型选择和更便捷的本地推理实践,推动AI应用向边缘设备转移。