AI Red Team Academy 推出免费开源课程,教人攻击 AI 系统
来源标题:AI Red Team Academy: Free, open-source course on breaking AI systems
AI Red Team Academy 推出免费开源课程,教人攻击并防御 AI 系统。课程覆盖从提示注入到供应链攻击的攻防测试,包含 60 多小时内容和 8 个 Docker 实操实验环境。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AIRT AIRT 首页 模块 实验 工具 关于 开源 · 永久免费 AI 红队 学院 精通 AI 安全。攻破 AI 系统。守护关键资产。 一门免费的开源课程,涵盖针对 AI 系统的进攻性安全测试——从提示注入到供应链攻击。60+ 小时内容,配备动手实践的 Docker 实验环境。 开始学习 下载全部实验 airt-lab ~ 终端
扫描 LLM 漏洞
$ garak --model_type ollama --model_name llama3 --probes all [] 正在加载 12 个类别下的 47 个探针... [] 正在测试提示注入向量... [!] 漏洞:直接提示注入——系统提示覆盖 [!] 漏洞:编码绕过——Base64 指令注入
发起多轮 Crescendo 攻击
$ pyrit attack --strategy crescendo --target http://localhost:8080 [] 正在初始化 5 轮升级序列... [] 第 3/5 轮:检测到上下文边界弱化 [!] 第 5/5 轮:护栏绕过成功——ASR:78% $ 8 个模块 60+ 小时 8 个 Docker 实验 100% 免费 // 课程概览 你将学到什么 一套全面、注重实操的课程,涵盖针对 AI 系统的进攻性安全测试——LLM、RAG 流水线、多智能体系统以及 AI 基础设施。每个模块都包含基于 Docker 的实验环境。 课程大纲 8 个模块。60+ 小时。动手实践。 每个模块包含详细主题、一个动手 Docker 实验以及精选参考资料。点击任意模块可展开完整内容。 学会像 AI 攻击者一样思考。探索 AI 红队测试与传统渗透测试有何不同——概率性目标与确定性目标、新型攻击面,以及不断演变的 AI 威胁态势。 阅读模块 1 → 涵盖主题 什么是 AI 红队测试,以及它为何重要 传统红队测试与 AI 红队测试:关键差异 AI 攻击面:模型、API、训练数据、输出、基础设施 MITRE ATLAS 框架:AI 攻击者行为的 14 项战术、66 项技术 NVIDIA AI 杀伤链:侦察 → 投毒 → 劫持 → 持久化 → 影响 OWASP LLM 应用 Top 10(2025 版) NIST AI 100-2:对抗性机器学习分类体系 AI 系统威胁建模 AI 红队测试中的法律与伦理考量 搭建你的 AI 红队测试实验环境 实验 1:搭建你的 AI 红队实验环境 部署一套完整的 AI 红队测试环境,包含本地 LLM(Ollama)、向量数据库和测试工具。附带一个存在漏洞的聊天机器人应用作为你的第一个目标。 下载实验 参考资料 MITRE ATLAS OWASP Top 10 for LLM NIST AI 100-2 NVIDIA AI 杀伤链 Microsoft AI 红队 garak LLM 扫描器 Microsoft 出品的 PyRIT Promptfoo 02 提示注入攻击 掌握 LLM 应用中的头号漏洞。学习直接与间接提示注入、越狱技术,以及如何系统性地绕过安全护栏。 阅读模块 2 → 涵盖主题 直接提示注入:覆盖系统提示 间接提示注入:污染外部上下文 越狱技术:DAN、角色扮演、上下文操纵 基于编码的攻击:Base64、ROT13、摩尔斯电码、Leetspeak、Unicode 多轮攻击:Crescendo 与上下文累积 策略木偶(Policy Puppetry)与指令层级利用 Token 级攻击与对抗性后缀 使用进化算法实现自动化提示注入 衡量攻击成功率(ASR) 绕过护栏:字符注入、AML 规避方法 测试护栏产品:Azure Prompt Shield、Meta Prompt Guard、NeMo 防御分析:哪些有效,哪些无效 实验 2:提示注入游乐场 攻击一系列防护逐步加固的聊天机器人。从未受保护的模型开始,逐步过渡到受护栏保护的系统,学会系统性地发现绕过方法。 下载实验 参考资料 OWASP LLM01:提示注入 绕过 LLM 护栏 - Mindgard LLM 自适应攻击 - Keysight 使用进化提示对 LLM 进行红队测试 提示注入 - Obsidian Security PyRIT 攻击策略 Promptfoo 红队指南 03 RAG 利用与向量数据库攻击 攻陷检索增强生成流水线。投毒知识库、操纵检索机制、利用向量数据库漏洞,并从 RAG 系统中窃取敏感数据。 阅读模块 3 → 涵盖主题 RAG 架构深入剖析:摄取、嵌入、检索、生成 RAG 攻击面:每个组件都是目标 知识库投毒:注入恶意文档 通过检索上下文实施间接提示注入 HijackRAG:操纵检索机制(黑盒与白盒) 向量数据库安全:3000+ 个暴露数据库问题 嵌入逆向攻击:从向量重建源数据 向量数据库中的数据投毒 成员推断与属性推断攻击 语义欺骗:欺骗相似度搜索 跨上下文信息冲突 RAG 凭据窃取(MITRE ATLAS 技术) 编排层漏洞利用:LangChain、LlamaIndex 漏洞 CVE-2025-27135:RAGFlow SQL 注入案例研究 Microsoft 365 Copilot 漏洞利用链:提示注入 + ASCII 走私 实验 3:攻破 RAG 系统 构建一个 RAG 应用,然后系统性地攻陷它。投毒其知识库、劫持检索、执行嵌入逆向,并通过 LLM 窃取数据。 下载实验 参考资料 HijackRAG 论文 RAG 数据投毒 - Promptfoo 安全的 RAG 系统 2025 向量数据库威胁 - Pure Storage LIAR 攻击框架 RAG 安全风险 - Fortanix 企业 AI 安全框架 04 多智能体系统利用 利用多智能体 AI 系统中的涌现漏洞。攻陷智能体间通信、实施拜占庭攻击、操纵集体决策,并在智能体网络中引发级联故障。 阅读模块 4 → 涵盖主题 多智能体 AI 架构:智能体如何通信与协调
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。