能在笔记本上运行、性能几乎追平 35B 模型的 AI 安全检查工具
这件事讲了什么
Red Hat 的 AI 安全团队做了一次横向对比，把三种安全护栏方案（专用分类器、LLM 当裁判、决策模型）放在同样的测试里跑，看哪一种最能拦住提示注入和有害内容。以前大家要么用专门训练的小分类器，要么花钱调大模型来判断，前者快但不够灵活，后者灵活但慢、贵。这次测试发现，一个约 2 亿参数的小分类器在提示注入上与 35B 大模型几乎打平（准确率 89.01% 对 89.31%），但响应时间只要约 54 毫秒，而大模型要 300 毫秒以上。这对开发者的意义是：如果护栏放在请求路径上，小模型能在普通笔记本 CPU 上跑，既省延迟也省成本。不过内容安全这块，决策模型反而更准，但成绩受提示词写法影响很大，还不能当作定论。Red Hat 计划把这两个分类器作为 OpenShift AI 3.6 的默认配置。
可以使用的工具
文中可用工具
- NeMo GuardrailsNVIDIA 开源的护栏工具包，用来统一测试和运行不同的安全护栏配置
- JevTypeSafe AI 推出的决策模型，接收应用状态和问题并返回概率等结构化答案，用于分类而不生成文字
- DeBERTa-based prompt-injection classifierRed Hat 约 2 亿参数的提示注入分类器，速度很快
- Qwen3.6-35B用作 LLM 裁判的模型，在提示注入测试中准确率最高
- DiffusionGemma开源的 Jev 风格决策模型，通过 vLLM 部署
- Granite Guardian classifierRed Hat 约 1.25 亿参数的内容安全分类器，速度最快
- Nemotron-3.5-Content-SafetyNVIDIA 约 40 亿参数的内容安全模型，运行 Red Hat 自定义策略
- Laya开源决策模型，约 4.21 亿参数，可在笔记本 CPU 上跑
- BART-large-mnliRed Hat 测试中使用的预训练分类器，在 MacBook Pro M1 CPU 上运行
- vLLM推理服务框架，用于在 GPU 节点上部署多个大模型
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。