LLMScanBench 2026 年第三季度:如何选择正确的 AI 安全方案
这件事讲了什么
安全公司 Harness 做了一次基准测试,比较两类查代码漏洞的 AI 工具:直接让大模型扫描代码的“LLM 扫描器”,以及传统扫描器加 AI 复核结果的方式。测试发现,LLM 扫描器误报少(准确率高),但漏报严重,很多真漏洞没找到;同一份没改过的代码重复扫描,结果、耗时和花费都不一样。它还比传统方案慢 1.6 到 37 倍、贵 6 到 39 倍。因此 Harness 建议:LLM 扫描可用于渗透测试和关键应用的定期深度扫描,日常代码提交的持续扫描还是用传统扫描器加 AI 复核更稳、更省。
可以使用的工具
文中可用工具
- GPT-5.5参与测试的 OpenAI 大模型,用于扫描代码漏洞
- Claude Opus 4.8参与测试的 Anthropic 大模型,用于扫描代码漏洞
- Harness AI SASTHarness 自家的 AI 静态代码扫描工具,作为对比基线
- OpenAI Codex Security提供统一的安全提示词(harness),用于所有被测模型
- OWASP WebGoat用于测试的故意含漏洞的 Java 训练应用
- OWASP Juice Shop用于测试的故意含漏洞的 Web 应用
- OWASP Benchmark for Java用于测试的 Java 漏洞基准测试项目
讨论 0
登录后参与讨论,阅读资讯无需注册。
还没有评论,来分享第一个看法。