arXiv cs.AI@Hongyu Lin, Antonio Briola, Yuanrong Wang, Tomaso Aste
精选58
推荐理由：这篇论文为高维学习中的稀疏性假设提供了可落地的架构设计思路，做深度学习理论和高效模型设计的开发者值得关注——HNN的稀疏性和低超参数敏感性意味着更少的调参成本和更好的泛化能力。
精选
AI 自动挑选的高价值内容
5月15日
10:03
该研究提出一种结合信息过滤网络（IFN）与同调神经网络（HNN）的新方法，利用组合稀疏性作为归纳偏置来设计高效神经网络。HNN通过提取稀疏依赖结构并映射为固定连接的稀疏神经图，在合成任务中能恢复底层组合结构，且在高维场景下保持稳定。在多个真实数据集上，HNN以远少于传统网络的参数数量达到或超越密集基线的性能，同时表现出更低的方差和超参数敏感性。这项工作为理解深度神经网络如何克服维度灾难提供了理论支撑和实用架构。