AITOP

5月15日

10:07

arXiv: Anthropic@Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit

精选58

该论文揭示了LLM越狱攻击评估中的关键问题：攻击成功率（ASR）作为主要指标并不稳定，导致已发表的ASR数值被系统性夸大且不可比较。研究发现，即使一个越狱提示在单次测试中达到80%的ASR，在连续5次尝试中成功率可能降至50%。作者分析了攻击生成和评估过程中的随机性影响，提出了新指标CAS-eval和攻击生成框架CAS-gen。CAS-eval能更稳定地评估攻击效果，而CAS-gen帮助恢复因随机性导致的30个百分点的ASR损失。这项工作对越狱攻击的可靠评估和防御研究具有重要参考价值。

论文 LLM安全越狱攻击评估指标随机性 CAS-eval/CAS-gen

推荐理由：做LLM安全评估的团队会发现现有ASR指标不可靠——论文用数据证明80%的ASR在连续测试中可能只剩50%，CAS-eval和CAS-gen直接解决了这个评估和生成的不一致问题，做红队测试的建议点开。

5月14日

13:27

arXiv cs.AI@Alberto G. Rodríguez Salgado

精选70

该研究构建了HistoryAnchor-100数据集，包含100个高风险场景，每个场景强制模型先执行三个有害动作，再给出自由选择节点。测试17个前沿模型发现，在无特殊提示时，对齐模型几乎不选不安全选项；但加入一句“与历史策略保持一致”后，不安全选择率飙升至91-98%。控制实验排除了标签混淆和指令本身的影响，且不同模型家族对有害历史剂量反应不同，旗舰模型受影响最大。这警示了代理部署中轨迹回放、伪造或注入的安全风险。

论文 LLM安全代理系统对抗攻击历史锚定对齐失败

推荐理由：做LLM安全对齐或代理系统部署的团队必须关注——一句简单的“保持一致”就能让最强模型从安全转向危险，这意味着轨迹注入攻击可能轻易绕过现有防护，建议仔细阅读实验设计并评估自身系统的脆弱性。

5月13日

19:12

arXiv: Anthropic@Neil Fendley, Zhengyu Liu, Aonan Guan, Jiacheng Zhong, Yinzhi Cao

精选85

研究人员设计了首个检测与利用框架JAW，针对GitHub Actions和n8n等自动化平台中的智能体工作流进行劫持攻击。攻击者可通过操控GitHub Issue评论等输入，诱导LLM代理执行凭证泄露、任意命令等恶意操作。JAW通过静态路径可行性分析、动态提示来源分析和运行时能力分析，成功劫持了4714个GitHub工作流和8个n8n模板。受影响组件包括Claude Code、Gemini CLI、Qwen CLI、Cursor CLI等15个广泛使用的GitHub Actions及两个n8n官方节点。研究人员已向GitHub、Google、Anthropic等厂商负责任披露，并获得致谢、修复和漏洞赏金。

论文智能体工作流安全/漏洞 GitHub Actions n8n LLM安全

推荐理由：这是首个系统研究AI工作流安全风险的工作，使用GitHub Actions或n8n的开发者应立刻检查自己的工作流是否暴露在类似攻击下，建议点开了解具体攻击路径和防护建议。