AITOP

5月15日

11:15

arXiv cs.LG@Lanxin Xiang, Liang Shi, Youhui Ye, Boyu Jiang, Dawei Zhou, Feng Guo

精选58

特征归因分析在解释机器学习模型时，常因数据分割、随机种子等随机因素导致结果不稳定。本文提出 RoSHAP 框架，通过 Bootstrap 重采样和核密度估计建模特征重要性得分的分布，并证明聚合得分渐近服从高斯分布，大幅降低计算成本。RoSHAP 指标同时奖励活跃、强且稳定的特征，在模拟和真实实验中优于单次归因方法。使用 RoSHAP 筛选的特征构建的模型，在预测性能接近全特征模型的同时，显著减少了特征数量。该框架提升了模型的可解释性和稳定性，为可靠的数据驱动决策提供了支持。

论文特征归因 SHAP 鲁棒性模型可解释性 Bootstrap

推荐理由：做模型可解释性研究的团队终于有了一个能对抗随机波动的归因指标——RoSHAP 通过分布建模让特征排序更稳定，做特征筛选和模型审计的开发者可以直接用。

5月13日

19:12

arXiv: DeepSeek@Wenyong Zhou, Yuannuo Feng, Yizhe Chen, Taiqiang Wu, Wendong Xu, Wenbo Qi, Zhengwu Liu, Wang Kang, Ngai Wong

精选65

混合专家（MoE）大模型通过稀疏激活专家实现高效扩展，但频繁切换专家造成内存带宽瓶颈，而模拟存算一体（CIM）架构可缓解此问题。然而，模拟CIM的硬件缺陷会扰动存储权重，其对MoE模型的影响此前未被系统研究。本文首次基于真实芯片噪声校准，发现硬件噪声会破坏专家负载均衡，使训练好的路由决策失效。为此提出ROMER后训练校准框架：替换低激活专家为高频专家以恢复负载均衡，并通过百分位数归一化重新校准路由器logits。在DeepSeek-MoE、Qwen-MoE和OLMoE上，ROMER在真实芯片噪声下将困惑度分别降低58.6%、58.8%和59.8%，验证了其有效性和跨架构泛化能力。

论文 MoE 存算一体硬件噪声后训练校准鲁棒性

推荐理由：模拟存算一体是突破大模型内存墙的关键路线，但硬件噪声对MoE架构的破坏一直未被正视。做硬件-算法协同设计的团队，这篇论文给出了可直接复用的校准方案，值得细读。