AI 资源库 · 已整理 3 项

评测集

查看与评测集相关的 AI 资讯、工具、Skill、工作流和开源项目。

OpenAI 新发布的 GPT-6 Cyber 更擅长找漏洞攻击,也更守规矩

OpenAI 发布了专注网络安全的 GPT-6 Cyber 模型,它是在通用模型 GPT-6 Astra 基础上专门训练出来的。以前的安全模型能力评级是“高”,这次提升到“关键”,在模拟远程攻击的测试中成功率从 32.1% 升到 48.5%。不过它并不对所有人开放,目前只给 Daybreak Red 计划里经过批准的少数安全团队和研究人员用,OpenAI 说以后会逐步扩大范围。另一个重点是“守规矩”:红队模型在找漏洞时可能顺手攻击任务范围外的服务,GPT-6 Cyber 在未加安全提示时只有 0.07% 的测试出现越界,加上提示后则完全不越界,比上一代明显更可控。对普通读者的意义是:这类模型能帮安全团队更快发现和验证软件漏洞,但开放范围和评测数据仍有局限,比如部分测试题可能出现在训练数据里,结果可能偏高。

文中可用工具

  • GPT-6 CyberOpenAI 新发布的网络安全专用模型,用于发现漏洞、复现崩溃和开发漏洞利用
  • GPT-6 AstraGPT-6 Cyber 所基于的通用模型,可广泛使用
  • GPT-5.6 Cyber上一代网络安全模型,作为对比基准
  • GPT-5.6 Sol通用模型,在越界测试中作为对比对象
  • Daybreak RedOpenAI 面向授权红队测试和漏洞验证的安全项目,目前只有该项目获批客户能用 GPT-6 Cyber
  • Daybreak BlueDaybreak 项目中面向防御的一方
  • ExploitGym测试模型能否利用指定漏洞攻击远程目标的基准
  • ExploitBench用已知漏洞测试模型开发漏洞利用能力的基准
  • RemoteExploitBench新推出的基准,在受控环境中测试模型攻击 GitLab、PostgreSQL、Jenkins 等应用已知漏洞的能力
  • ExploitGym Honeypot测试模型是否会越界攻击任务范围外服务的蜜罐测试
☆ 收藏查看来源 ↗

GTA Housing Pipeline:整合大多伦多地区四个政府开放住房数据并用自然语言查询

Halomaster0/GTA-Housing-pipeline

该项目从多伦多、密西沙加、布兰普顿和皮尔区的开放数据门户及加拿大统计局采集新房与住房项目记录,用 DuckDB 将不同定义与格式的数据统一为星型模型,并提供基于规划器、执行器和批判器的自然语言查询层、60 题评测集、Power BI 报告与 Next.js 网页应用,还附带可选的 AWS Athena 分析层与数据质量审计记录。

☆ 收藏查看来源 ↗

verifiable-science-envs:面向 HLA 与免疫遗传学的可验证奖励 RL 环境与评测基准

jasonbrelsford/verifiable-science-envs · Verifiable-reward RL environments and evals for scientific domains, starting with HLA/immunogenetics

该项目基于固定版本的 IPD-IMGT/HLA 数据构建确定性、可逐行审计的评分器,为临床基因组学(当前聚焦 HLA/免疫遗传学)提供强化学习环境与评测套件。包含 HLA 命名法基准 HLA-Bench-A(550 题)、供受者匹配基准 HLA-Bench-C(205 题)以及相位任务族;同时附带 HLA-Verify 校验 API(校验、规范化、等位基因查询、匹配打分、药物基因组提示)、MCP 服务器与可复现 notebook。开放核心部分为 Apache-2.0,API 服务为 PolyForm 非商业许可。

☆ 收藏查看来源 ↗