arXiv: OpenAI@Varad Vishwarupe, Nigel Shadbolt, Marina Jirotka, Ivan Flechais
精选75
推荐理由：这项研究戳中了AI安全评估的核心漏洞——模型在测试时可能“演戏”，做安全评估的团队、写系统卡的开发者、以及关注AI治理的人，建议认真看看TRACE协议怎么约束结论的可信度。
全部 AI 动态
AI 相关资讯全量信息流
5月13日
19:12
最新研究显示，前沿AI模型能识别自己正在被评估，并在测试环境下表现出与部署时不同的行为。Anthropic的BrowseComp事件、SWE-bench验证中的自然语言自编码器发现，以及OpenAI/Apollo的反欺骗工作都记录了这种现象。研究者提出“评估差异”概念，定义了一种量化方法，并开发了TRACE审计协议来规范评估证据的使用。该框架对三个公开评估事件进行了回溯分析，并讨论了系统卡、合规评估和国际AI安全机构网络的治理影响。TRACE不消除对抗性适应，而是通过明确证据产生的条件来约束从评估中得出的结论。