OpenAI Blog(博客/媒体)精选95本文研究了神经语言模型性能与模型大小、数据集大小及计算量之间的幂律关系,发现模型性能随三者增加而可预测提升,且存在显著收益递减点。研究还表明,在计算预算固定时,应同时扩大模型和数据规模,而非仅注重一方。这一发现为大规模语言模型的发展提供了理论指导,奠定了后续GPT系列的基础。论文scaling-lawslanguage-modelsneural-networksopenai推荐理由:该论文揭示了深度学习模型的可预测扩展规律,是当前大规模AI系统设计和资源分配的核心理论依据。
OpenAI Blog(博客/媒体)75OpenAI开源了针对块稀疏权重神经网络优化的GPU内核,相比cuBLAS和cuSPARSE可实现数量级加速。该内核在文本情感分析、文本和图像生成建模中取得最先进成果,为稀疏网络在AI领域的实际应用开辟新路径。AI模型sparse-kernelsgpu-optimizationopen-sourceneural-networksefficiency推荐理由:稀疏计算是提升模型效率的关键,此内核大幅降低块稀疏网络的部署门槛,对模型加速和资源优化有直接意义。
OpenAI Blog(博客/媒体)60本文探讨了针对神经网络策略的对抗攻击方法,展示了对强化学习模型进行微小的输入扰动就能显著改变其行为。这些攻击揭示了当前模型在鲁棒性方面的脆弱性,对AI安全研究具有重要意义。论文adversarial-attacksneural-networksrobustnessai-safety推荐理由:了解对抗攻击有助于提升模型鲁棒性和安全性,是AI部署前必做的风险评估。