ai_security_guide：大语言模型与智能体安全攻防指南

yeasy/ai_security_guide · 从原理到实践，全面掌握大语言模型安全攻防之道

GitHub原文发布未知首次收录 2026-10-08上架 2026-10-08 07:02

ELI5：它是什么，解决什么问题

这是一本系统讲解大语言模型与智能体安全的中文书籍，从攻击原理、防御机制到验证方法循序渐进。内容覆盖提示注入、RAG 安全、智能体攻击面、身份与架构防御，以及治理交付等主题。书中提供邮件助手、支付预算和 RAG 轨迹三个基于 Python 标准库与合成数据的配套实验，帮助读者在保留正常效用的前提下分别验证控制措施。阅读与实验入门均在 README 和在线 GitBook 中给出。

# LLM # 安全 # 智能体 # RAG # 书籍

核心能力与快速开始

★ 110 · Python

能做什么: 以书籍形式讲解大语言模型与智能体的攻击原理、防御机制和验证方法。围绕邮件助手案例，讨论输入来源影响、文档读取授权、发送批准以及失败重试是否重复执行等问题。涵盖提示注入、RAG 安全（检索操纵、向量数据库安全）、智能体攻击面、身份与架构防御、治理与交付。提供邮件助手、支付预算和 RAG 轨迹三个 Python 配套实验，使用标准库和固定合成数据。
适用场景: 用于学习和研究大模型安全攻防，为构建智能体系统或 RAG 应用时的安全设计与验证提供参考。适合工程实践中系统排查模型之外的授权、隔离与执行检查，也适合团队按照书中练习分别测试正常效用、拒绝行为、失败路径和运营指标。
项目形态: 资料合集
部署方式: 未说明
主要依赖: 未说明
使用限制: 实验使用固定合成数据，不测量真实模型攻击成功率、操作系统沙箱或生产支付；替换组件时需要补充验收。许可证为 CC BY-NC-SA 4.0，禁止商业使用。
许可证: 未说明
最近推送: 2026-10-07 12:59

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-08 07:00 · 卡片整理：2026-10-08 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

程序员可依据本书学习大语言模型与智能体的安全攻防，并运行仓库根目录下基于 Python 标准库与合成数据的邮件助手、支付预算和 RAG 轨迹三个配套实验，验证授权、参数绑定、ACL 等控制措施。

查看内容依据

实验使用 Python 标准库和固定合成数据，运行入口位于仓库根目录

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Zero to AI：涵盖 Python、深度学习、LLM、RAG 与 AI Agent 的免费 AI/ML 课程

Zero to AI 是一个免费开源的 AI 与机器学习课程，提供 950 多个 Jupyter Notebook，覆盖 Python 与数据科学、机器学习数学、分词与嵌入、深度学习、LLM 与 RAG、AI Agent、提示与上下文工程、微调、MLOps、模型评测与安全等主题，并按学习路径组织为渐进式阶段，适合从零开始系统学习 AI/ML。

PET-I Explanation Data：用诊断名与症状生成带检索依据的宠物犬眼病说明文与 SFT 训练数据

该项目是一个 Python 数据生成流水线，用于为 PET-I 宠物犬眼病 VLM 诊断服务准备解释型训练数据。它读取 CSV 或 JSON 中给定的诊断名与症状，收集疾病相关的本地文档以及可选的 DuckDuckGo、Wikipedia 网络检索结果，并交给教师 LLM（GPT-4o）生成四个方面的说明文本，输出带有 service 说明文和 sft 对话记录的训练数据。项目本身不分析图像或判断疾病，image_path 仅用于生成输入标识。

PromptForge：LLM 应用提示词自动优化与持续调优编排层

PromptForge（仓库名 FlowForge-Optima）是面向将 LLM 应用当作产品运营的团队的提示词编排与持续优化层，专注于让提示词、链路与检索策略随时间自动变得可度量地更好。它提供自动提示词改写（变异、交叉、指令压缩）、内置评测与统计显著性校验、链路级联合优化（检索查询、重排阈值、工具选择提示词）、响应式控制台、多语言提示词方言与跨语言迁移评分、版本图与确定性重放、成本感知目标函数、可插拔模型适配器以及回归防火墙；支持人类审核后再晋升（promotion）。架构分为 Forge Core（优化器、评测器、版本图）、Forge Relay（模型/向量库/日志适配层）与 Forge Console（UI）。README 称 Forge Core 与 Forge Relay 可完全离线自托管，许可证为 MIT，但免责声明强调按“as-is”提供、结果随数据与模型供应商而异，需在预发环境验证。

LLM Document Agent：基于 Google Gemini 的 PDF 文档检索增强问答系统

这是一个全栈 RAG 应用，支持上传 PDF 后用自然语言提问，由 Google Gemini 生成带来源页码引用的回答，并保留多轮对话记忆。系统包含语义分块、向量检索（Chroma）、可选 Gemini 或本地 sentence-transformers 嵌入，以及 PII 检测、提示注入防护、输出敏感信息过滤和安全仪表盘等安全能力，提供 FastAPI 接口、React 前端与 Docker 部署方式。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。