零信任

IdentityBench：面向企业身份治理与零信任运营的 LLM Agent 多轮安全评测基准

rlwillen0121/identity-eval-harness · IdentityBench v3: a multi-turn benchmark testing whether LLM agents can safely run Enterprise IGA & Zero-Trust ops — connector building in a sandbox, human/NHI classification, ZSP/SoD policy, JIT access, access reviews, and JML/CAE drift — on a stateful synthetic identity graph with deterministic scoring and hard safety invariants.

IdentityBench v3 是一个多轮工具调用评测基准，用来考察 LLM Agent 能否在有状态合成身份图谱和隔离的 Python 连接器沙箱中完成企业身份治理与零信任运维任务。它覆盖连接器构建、人类与非人类身份分类、ZSP/SoD 策略、JIT 访问、访问评审以及 JML/CAE 漂移六类任务，每轮最多 12 轮、可使用 18 个工具，采用确定性评分，并设有硬性安全不变量；只要违反任一硬性不变量，该轮得分即归零。仓库提供可运行的 v3 测试框架和 v3_dev、v3_lite、v3_full 三个数据切分，并附有 22 个模型的评测结果。