arXiv cs.AI@Trung Nguyen Quang, Yiming Gao, Fanyi Pu, Kaichen Zhang, Shuo Sun, Ziwei Liu
精选65
推荐理由：这项研究戳破了全模态模型“感知接地”的泡沫——模型明明“看到”了矛盾却选择不说，做多模态推理或安全对齐的团队值得关注，尤其是音频模态的短板需要优先补上。
全部 AI 动态
AI 相关资讯全量信息流
5月14日
13:27
研究发现全模态大模型（如Gemini 3.1 Pro）在感知与行动之间存在显著鸿沟：模型内部隐藏状态能正确编码感知与文本前提的矛盾，但输出时几乎从不拒绝错误前提。研究团队构建了IMAVB基准测试，包含500个长视频片段，交叉测试视觉/听觉模态和标准/误导前提。模型表现出两种失败模式：欠拒绝（接受错误前提）和过拒绝（连正确前提也拒绝）。音频模态的接地能力弱于视觉，且该问题对七种提示变体均不敏感。提出的探针引导logit调整（PGLA）方法能有效改善拒绝行为，表明瓶颈在于从感知到行动的转化，而非感知本身。