评测与安全01
OWASP-Benchmark/BenchmarkJava · OWASP Benchmark is a test suite designed to verify the speed and accuracy of software vulnerability detection tools. A fully runnable web app written in Java, it supports analysis by Static (SAST), Dynamic (DAST), and Runtime (IAST) tools that support Java. The idea is that since it is fully runnable and all the vulnerabilities are actually exploitable, it’s a fair test for any kind of vulnerability detection tool. For more details on this project, please see the OWASP Benchmark Project home page.
OWASP Benchmark for Java 是 OWASP Benchmark 项目的 Java 测试套件,用于验证软件漏洞检测工具的速度和准确率。它是一个完全可运行的 Java Web 应用,支持 SAST、DAST(如 ZAP)和 IAST 等应用安全测试工具对其进行分析。项目刻意包含的可被利用漏洞会参与评分,因此对各类漏洞检测工具构成相对公平的测试;项目还包含针对多种开源与商业 AST 工具的评分卡生成器,支持的工具集合持续增长,该评分能力由 BenchmarkUtils 项目实现。项目文档位于 OWASP Benchmark 项目页面。
工具与应用02
安全公司 Harness 做了一次基准测试,比较两类查代码漏洞的 AI 工具:直接让大模型扫描代码的“LLM 扫描器”,以及传统扫描器加 AI 复核结果的方式。测试发现,LLM 扫描器误报少(准确率高),但漏报严重,很多真漏洞没找到;同一份没改过的代码重复扫描,结果、耗时和花费都不一样。它还比传统方案慢 1.6 到 37 倍、贵 6 到 39 倍。因此 Harness 建议:LLM 扫描可用于渗透测试和关键应用的定期深度扫描,日常代码提交的持续扫描还是用传统扫描器加 AI 复核更稳、更省。
文中可用工具
- GPT-5.5参与测试的 OpenAI 大模型,用于扫描代码漏洞
- Claude Opus 4.8参与测试的 Anthropic 大模型,用于扫描代码漏洞
- Harness AI SASTHarness 自家的 AI 静态代码扫描工具,作为对比基线
- OpenAI Codex Security提供统一的安全提示词(harness),用于所有被测模型
- OWASP WebGoat用于测试的故意含漏洞的 Java 训练应用
- OWASP Juice Shop用于测试的故意含漏洞的 Web 应用
- OWASP Benchmark for Java用于测试的 Java 漏洞基准测试项目
工具与应用03
GitHub 安全实验室做了一个开源 AI 工具,叫“任务流智能体”。它把安全研究员平时查漏洞的步骤拆成小提示,让 AI 按步骤检查安卓应用。安卓应用常有一些特殊漏洞,比如外部应用乱传参数、偷偷导入设置,AI 一开始容易漏掉。作者因此针对性写了两套任务流:一套先分清哪些入口能被外部调用,另一套列出常见漏洞类型逐项核对。跑了这些流程后,他们已在多个安卓应用里报告了 24 个漏洞,其中 OsmAnd 的导出页面可被其他应用恶搞设置、偷看位置。任何人都能运行这套开源流程,但需要 GitHub Copilot 许可证,还会消耗大量令牌,中等仓库跑一次可能一两小时。
文中可用工具
- GitHub Security Lab Taskflow Agent开源 AI 安全智能体,把安全研究员的提示词和工作流打包共享,用来自动化审计应用漏洞
- GitHub Copilot运行任务流所需的代码助手许可证,提供模型请求