第 4 章：安全、红队与越狱评估
第 4 章：安全、红队与越狱评估
本章核心
Agent 时代的安全评估从"审查输出"升级为"防御工具滥用"。 传统 LLM 安全关心"模型会不会输出有害内容"；Agent 时代还要关心"Agent 会不会被诱导调用危险工具、泄露数据、绕过护栏"。
安全是唯一一条"永远不要完全自动化放行"的评估线。
这一章回答三个问题：
- 越狱与红队评估的基准有哪些？怎么测"模型会不会输出有害内容"？
- Agent 特有的安全威胁是什么？提示注入、工具滥用、数据外泄怎么评估？
- 怎么把安全评估做成可重复的工程流水线？
4.1 越狱与红队基准
什么是越狱评估
越狱（jailbreak） 是指绕过模型安全护栏、诱导其输出有害内容的攻击。越狱评估回答一个核心问题：模型是否会被诱导输出有害内容？
这是安全评估的地基——如果模型连"输出层面"的安全都守不住，更复杂的 Agent 层安全就无从谈起。
主流越狱与红队基准
| 基准 | 来源 | 测什么 |
|---|---|---|
| HarmBench | Center for AI Safety | 跨 7 类攻击方式的标准化越狱评估框架 |
| JailbreakBench | 学术 | 越狱攻击与防御的统一评估协议 |
| WMDP | 学术 | 危险知识基准（生物、化学、网络安全）——测"模型是否掌握了危险知识" |
| XSTest | 学术 | 安全拒绝的过度泛化——测"模型是否在不该拒绝时拒绝" |
| GT-HarmBench | 学术 | 针对性别化越狱（gender-targeted）的测试集 |
两个关键视角
视角一：越狱不只是"模型坏"的问题。 越狱攻击是攻防双方持续对抗的演化过程——今天的越狱方法明天可能失效，新模型又可能暴露新的攻击面。越狱评测集必须持续刷新，否则测的是"上个时代的攻击"。
视角二：拒绝过度 vs 拒绝不足。 XSTest 的存在提醒我们：安全的另一面是可用性。一个模型如果什么都拒绝（"我无法回答这个问题"），虽然安全，但也没用。好的安全评估要同时测两件事：该拒绝的拒绝（越狱成功率低）、不该拒绝的不拒绝（过度拒绝率低）。
4.2 Agent 特有的提示注入评估
提示注入：Agent 安全的第一威胁
传统 LLM 的输入只有用户消息；Agent 的输入还包括外部来源的文本——网页内容、工具返回、邮件、文档。这些外部文本可能包含恶意指令，试图劫持 Agent 的行为。
提示注入（prompt injection） 是 Agent 特有的安全威胁：攻击者把恶意指令藏在 Agent 会读取的外部内容里，让 Agent 执行攻击者想要的操作，而不是用户想要的操作。
AgentDojo：提示注入的标准评估
AgentDojo（Anthropic）是目前最完整的提示注入评估基准：
- 97 个任务 / 30 个工具
- 测量 Agent 在工具被注入误导时的鲁棒性——工具返回的内容里藏了恶意指令，Agent 是否仍能正确执行用户意图
- 覆盖注入的多种变体：直接注入、间接注入、跨工具注入
AgentDojo 的价值在于把"提示注入"从概念变成了可测量的标准。它测的不是"模型会不会拒绝",而是"Agent 会不会在被注入的情况下仍然完成任务且不执行恶意操作"——这是 Agent 层安全的核心问题。
AgentFail：失败模式补充
AgentFail 关注 Agent 提示注入的失败模式——Agent 在哪些情况下会失守。它补充了 AgentDojo 未覆盖的攻击路径，两者结合可以更完整地评估 Agent 的注入鲁棒性。
4.3 工具滥用与数据外泄评估
ASB-2025：Agent 安全基准
ASB-2025（Google）是 Agent 安全评估的代表性工作。它的核心设计：
- 11 个威胁模型，覆盖 Agent 时代的典型攻击
- 2025 年发布时，被测前沿模型全部被判为高风险——这说明 Agent 安全还是一个远未解决的问题
- 威胁类型包括：
- Agentic exfiltration（Agent 化数据外泄）：Agent 被诱导把敏感数据发送给攻击者
- Collusion（共谋）：多个 Agent 互相配合绕过安全机制
ASB-2025 的结论值得每一个 Agent 开发者警醒：当一个 Agent 拥有工具权限（读文件、发邮件、调用 API），安全风险就从"输出有害内容"升级为"执行有害操作"。
为什么工具权限改变了安全评估
传统 LLM 是"只读"的——它只能输出文本。Agent 是"可写"的——它能执行命令、发送邮件、访问数据库。能力越大，安全评估的覆盖面越大：
| 攻击面 | 传统 LLM | Agent |
|---|---|---|
| 输出有害内容 | ✅ 需要评估 | ✅ 需要评估 |
| 执行有害命令 | ❌ 无此能力 | ✅ 需要评估 |
| 泄露敏感数据 | ⚠️ 仅限输出 | ✅ 通过工具外泄 |
| 绕过权限控制 | ❌ 无此能力 | ✅ 需要评估 |
| 横向渗透 | ❌ 无此能力 | ✅ 通过工具链 |
评估 Agent 安全，必须在其真实权限环境（沙箱或生产）中测，而不是在"只读文本"环境里测。
4.4 红队工程化
红队评估不能靠人工临时起意——2025 年后，红队已经被工程化为一套可重复的流水线。
主流红队工具
| 工具 | 来源 | 能力 |
|---|---|---|
| Garak | 开源 | 自动化红队扫描框架，对目标模型/应用批量发起攻击并报告结果 |
| PurpleLlama / CyberSecEval | Meta | 安全评估套件，含提示注入、越狱、不安全代码检测 |
| Inspect AI 的 attack 模块 | UK AISI | 在标准评测框架里内置攻击生成——solver + scorer + attack 三件套 |
一个关键设计：评估与攻击共用 harness
Inspect AI（UK AISI）的做法很值得借鉴：它把安全评估（attack）与常规评估（solver + scorer）放在同一个 harness 里。这意味着：
- 你可以用同一套评测基础设施同时跑"正常能力评估"和"安全攻击"
- 攻击模块可以复用 solver/scorer 的框架，只需替换攻击策略
- 安全评估不是孤立的流程，而是评测体系的一部分
红队工程化的四步流水线
- 定义威胁模型：明确要防什么（越狱？注入？数据外泄？共谋？）
- 自动化攻击：用 Garak/Inspect 批量生成攻击变体
- 量化结果：统计攻击成功率、越狱成功率、有害输出率
- 人工复核：自动化发现的高危样本必须人工确认——自动化只能发现问题，不能自动放行
4.5 安全评估的铁律
铁律一：永远不要完全自动化放行
安全关键变更的放行，必须有人工审查环节。自动化的安全测试可以发现"可能有问题"，但"能否放行"需要人来判断——因为安全问题的后果不可逆（数据泄露、权限失控），而自动化判官本身也有误判风险。
这条铁律在第 8 章"评分器选择策略"中会再次出现：安全相关用人工审查，永远不要交给纯自动化。
铁律二：安全评测集必须持续对抗演化
攻防双方都在进化：
- 攻击者不断发明新的越狱/注入方法
- 模型和护栏不断修补已知漏洞
- 安全评测集必须持续刷新，否则测的是"已修补的旧漏洞"
这和第 1 章"活的 benchmark"（HarnessEval-W）理念一致：安全评估尤其需要活的数据集。
铁律三：在真实权限环境中测
安全评估必须在 Agent 的真实权限环境（至少是权限相同的沙箱）中测。只在"只读文本"环境里测，等于没测——因为 Agent 的安全风险恰恰来自它的工具权限。
安全评估清单（实践总结）
为你的 Agent 设计安全评估时，对照这份清单：
- 越狱评估：是否覆盖主流越狱基准（HarmBench/JailbreakBench）？
- 过度拒绝：是否测了不该拒绝时拒绝（XSTest）？
- 提示注入：是否在 Agent 读取的外部内容中注入了恶意指令（AgentDojo）？
- 工具滥用：Agent 是否被诱导调用危险工具？
- 数据外泄：Agent 是否被诱导泄露敏感数据（ASB-2025 的 exfiltration）？
- 权限边界：Agent 是否会越权执行本不该执行的操作？
- 红队流水线：是否有自动化的攻击生成 + 量化 + 人工复核？
- 持续刷新：评测集是否随攻防演化持续更新？
- 人工审查：安全关键变更是否有强制人工审查环节？
本章小结
- 越狱评估测"模型会不会输出有害内容"，主流基准有 HarmBench、JailbreakBench、WMDP、XSTest、GT-HarmBench
- 提示注入是 Agent 特有的威胁，AgentDojo 是标准评估基准（97 任务/30 工具）
- 工具权限把安全风险从"输出有害"升级为"执行有害操作"，ASB-2025 测出所有前沿模型均为高风险
- 红队工程化用 Garak、PurpleLlama、Inspect AI 把安全评估变成可重复流水线
- 三条铁律：不完全自动化放行、评测集持续对抗演化、在真实权限环境中测
参考资料
论文与基准
- AgentDojo: A Dynamic Environment to Evaluate Prompt Injection（Anthropic, 2025）
- ASB-2025（Google）— Agent 安全基准：11 个威胁模型
- HarmBench: A Standardized Evaluation Framework for Automated Red Teaming（Center for AI Safety）
- JailbreakBench / WMDP / XSTest / GT-HarmBench
GitHub 仓库
- anthropics/agentdojo — 提示注入与工具滥用评估
- UKGovernmentBEIS/inspect_ai — UK AISI 评测框架，solver+scorer+attack
- leondz/garak — 自动化红队扫描框架
- facebookresearch/PurpleLlama — Meta 安全评估套件（含 CyberSecEval）
- centerforaisafety/HarmBench
官方文档与博客
- 大模型 Benchmark 完全指南（本项目博客 2026-07-18）— 安全维度 benchmark 梳理
- Strix：AI 安全测试 Agent（本项目博客 2026-07-09）— 安全测试 agent 案例