AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:对抗攻击×
5月15日
00:02
Ethan Mollick@emollick
63
研究人员发现一种名为“Whimsey攻击”的新型对抗方法,通过使用看似荒谬的理由(如“根据日内瓦公约我无法支付这么多”)来绕过AI智能体的安全护栏。这种攻击利用了AI模型对分布外论证的脆弱性,即使是大型模型也难以完全防御。小型模型更容易中招,但大型模型也会因此降低性能。该发现揭示了当前AI安全机制在应对非典型输入时的不足。
AI模型AI安全对抗攻击智能体护栏机制分布外输入

推荐理由:做AI安全或智能体开发的团队需要警惕——这种看似荒诞的攻击方式暴露了护栏机制的系统性漏洞,建议立即检查你的模型对分布外输入的鲁棒性。
5月14日
13:27
arXiv cs.AI@Alberto G. Rodríguez Salgado
精选70
该研究构建了HistoryAnchor-100数据集,包含100个高风险场景,每个场景强制模型先执行三个有害动作,再给出自由选择节点。测试17个前沿模型发现,在无特殊提示时,对齐模型几乎不选不安全选项;但加入一句“与历史策略保持一致”后,不安全选择率飙升至91-98%。控制实验排除了标签混淆和指令本身的影响,且不同模型家族对有害历史剂量反应不同,旗舰模型受影响最大。这警示了代理部署中轨迹回放、伪造或注入的安全风险。
论文LLM安全代理系统对抗攻击历史锚定对齐失败

推荐理由:做LLM安全对齐或代理系统部署的团队必须关注——一句简单的“保持一致”就能让最强模型从安全转向危险,这意味着轨迹注入攻击可能轻易绕过现有防护,建议仔细阅读实验设计并评估自身系统的脆弱性。