proof-surface：校验 AI Agent 轨迹是否越权的证明包工具

HarperZ9/proof-surface · proof-surface checks an AI agent's trace against the permissions it was granted, and turns traces, evals and measurements into JSON packets with a verdict and report. Python, no dependencies.

GitHub原文发布未知首次收录 2026-10-24上架 2026-10-24 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

proof-surface 是一个 Python 库和命令行工具，用于把 AI Agent 的轨迹（可读取 OpenTelemetry、LangSmith、Langfuse 导出或自有 JSON 格式）与授权清单中的允许动作、目标范围和有效期逐项比对，并把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，同时给出对应决策与可读报告。它还能把测量、评测、研究声明等记录转成带结论的 JSON 包，并针对各领域常见的过度声明做拒绝检查；此外提供证据包、工作记录、授权收据、委派链、预执行门控等基础校验器及多个外部工具导入适配器。

# 可观测性 # 评测 # 可复现性 # Agent 审计 # 权限校验

核心能力与快速开始

★ 1 · Python

能做什么: 依据授权清单（动作、目标、有效期、撤销状态）检查 Agent 轨迹，逐动作给出 MATCH/DRIFT/UNVERIFIABLE 及决策；支持 OpenTelemetry、LangSmith、Langfuse 轨迹格式与自有 JSON；提供 11 种领域包构建器（agent-action、visual-measurement、research-claim、model-eval 等），输出 packet.json、report.md、bundle.json 并记录各文件 SHA-256；提供约 9 个基础校验器（证据包、工作记录、授权收据 v0.1/v0.2、预执行门控、评测契约、声明账本、委派链等）；可从 MLflow、Weights & Biases、Braintrust、Arize Phoenix、promptfoo、Helicone、DVC 和 SLSA 来源导入证据；每个领域含针对该领域典型过度声明的拒绝规则。
适用场景: 构建或审查 AI Agent 的团队希望留下可移植记录，说明 Agent 做了什么、是否在授权范围内；评测与研究人员需要把结果连同声明、范围与容差一起写成结构化记录；用固定 schema 校验证据包和其他工作流记录并定位 JSON 路径问题；在事后审计中比对轨迹与授权，发现越权写入等偏离。
项目形态: 可直接使用的工具
部署方式: 从源码克隆后执行 pip install 安装，或从 PyPI 安装 0.1.0（仅基础校验器）；命令行 telos-proof 及包构建器在 0.2.0（GitHub 版本）。
主要依赖: Python 3.10+；无运行时依赖；README 示例在 Python 3.12 新虚拟环境中运行。
使用限制: 项目自述的完整性说明：包内摘要未签名，无法抵御同时改写文件与 bundle 的攻击；委派链哈希链无密钥，只提供自洽完整性，真正的防伪需要外部锚定或逐跳非对称签名；校验器只检查结构与规则，不根据数值重算包的结论；库只检查记录，不授予权限、不执行动作、不存储私有负载；不在包中写入 TRUSTED、APPROVED、AUTHORIZED。
许可证: MIT
最近推送: 2026-10-24 05:10

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-24 07:00 · 卡片整理：2026-10-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

在开发或审查 AI Agent 时，用该工具读取 OpenTelemetry、LangSmith 或 Langfuse 导出的轨迹，与授权清单中的允许动作、目标范围和有效期逐项比对，把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，并生成带结论的 JSON 包和可读报告，用于确认 Agent 是否越权。

查看内容依据

Give it an agent trace (OpenTelemetry, LangSmith or Langfuse style, or its own JSON format) and a permission grant that lists allowed actions, targets and an expiry. It checks every action against the grant and writes a packet that marks each one MATCH, DRIFT or UNVERIFIABLE, with the reason.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

local-rag-agent：面向闭域环境的带权限过滤与依据引用本地文档检索 RAG 原型

该项目是一个面向闭域环境的本地文档检索 RAG 原型，可将机密文档保留在内部网络中进行处理。项目涵盖本地文档导入、Excel 规范化、基于 access_level 的权限预过滤、Qdrant 混合检索以及附检索依据的回答生成，后端采用 FastAPI，推理采用 vLLM 与量化开源模型。作者在小型数据集上的检索与权限过滤验证效果良好，但明确指出最终回答存在数值判断错误，定位为课程演示可用、生产不可用，不保证回答正确性，也未覆盖大规范语料。

CodeAware Studio：AI 编程代理的会话观测与检索自评测

该项目是面向 AI 编程代理的会话观测与分析层，用于记录代理的搜索会话与检索路径，并基于历史数据对检索环节进行自评测：它结合 BM25 关键词检索与语义检索，做混合召回，再用 cross-encoder 重排结果，并提供响应式仪表盘展示检索指标。项目还支持调用 OpenAI、Claude 兼容的 API 为检索流程生成查询变体，并做压力评测。README 说明它只优化检索相关性，不承担代码安全审计职责；本卡片未实际安装或验证该项目。

TemporalMind：TensorFlow NLP 全流程学习与实验仓库

TemporalMind（仓库名 tf-nlp-modern-stack）是一个面向研究与教学的 NLP 仓库，以连续流水线的方式组织从原始文本清洗、分词与词表构建、主题建模，到 Transformer 下游任务（分类、序列标注、摘要、问答、句子对任务）以及现代 LLM 工作流（提示工程、检索增强生成、适配器与轻量微调）的可复现 notebook 与模块化工具。文档以韩英双语提供，并包含跨语言迁移实验与可复现的评测方法说明。项目自述为教育研究用途，不保证生产可用性。

retrieval-lab：基于 BEIR 的两阶段 RAG 检索器构建与逐步量化评测实验台

retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。