Self-Sealing Revisions：检验智能体自我修订是否会封闭自身可证伪性的实证研究

amandachan-ai/self-sealing-revisions · An empirical study of how an agent's self-authored revisions constrain its own future evidence — hypothesis revision, falsifiability, and long-horizon recoverability. Deterministic harness, 22 offline tests, negative result, checkable in one second.

GitHub原文发布未知首次收录 2026-10-28上架 2026-10-28 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个关于智能体自我改进的实证研究仓库：作者提出“自我封闭式修订”假设，认为智能体失败后写下的经验教训越宽泛，就越会屏蔽可用于证伪该教训的未来证据；并在确定性、无 LLM 参与的文档检索环境中设计对照实验（natural 臂与 broad 臂，各 30 个 episode）进行检验。结果显示，智能体只在遵守禁令不付出代价时才遵守，在遵守会损失答案时便违背禁令，因此能力损失为 0，禁令随时间衰减，最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本；verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。

# reproducibility # ai-safety # 实验原型 # agent-evaluation # negative-results

核心能力与快速开始

★ 0 · Python

能做什么: 提供确定性的文档检索任务环境（search_docs 对 CJK 查询存在静默错误，browse_index 为较弱回退），智能体循环与自我经验存储，natural/broad 两种实验臂设计，运行日志转统计表格的分析脚本，以及从已提交日志重算关键数字的离线核验脚本和 22 个离线测试。README 还记录了实验设计、缺陷审计、相关文献梳理与局限讨论。
适用场景: 适合研究智能体自我改进、经验修订范围与可证伪性问题的研究者复现或审计该负结果实验；适合作为设计确定性智能体评测环境的参考；也适合学习如何用离线核验脚本和日志使实验结论可检查。
项目形态: 研究实现
部署方式: 本地运行；核验脚本无需依赖、网络或凭证，约一秒完成；完整复现实验需 Python 虚拟环境、安装 requirements.txt 依赖并运行 run_n30.sh，README 说明该步骤会产生费用。
主要依赖: Python 3（README 使用 python3 与 unittest）；运行测试或复现实验需安装 requirements.txt 中的依赖；复现实验需要 API 访问与认证（README 指向 SETUP.md），运行 run_n30.sh 会产生 API 费用；具体最低硬件要求未说明。
使用限制: 作者明确说明：仅使用一个模型（Claude Sonnet 5）、一个 effort 级别、一个随机种子、一种规则措辞、每臂 30 个 episode 和单一合成环境；规则措辞与约束权威来源的影响未测试；结论不适用于对存储规则硬门控的系统；实际 API 成本与调用限制未说明。
许可证: MIT
最近推送: 2026-10-28 05:27

官方入门核对 README 依据 ↗

资料检查：2026-10-28 07:00 · 卡片整理：2026-10-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

用于智能体可靠性评估与实验复现：仓库提供确定性文档检索环境、智能体循环与经验存储、离线核验脚本和 22 个离线测试，程序员可据此检验智能体自我修订规则在失败后是否被遵守，并用 verify_offline.py 从已提交日志重算关键数字。

查看内容依据

verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

local-rag-agent：面向闭域环境的带权限过滤与依据引用本地文档检索 RAG 原型

该项目是一个面向闭域环境的本地文档检索 RAG 原型，可将机密文档保留在内部网络中进行处理。项目涵盖本地文档导入、Excel 规范化、基于 access_level 的权限预过滤、Qdrant 混合检索以及附检索依据的回答生成，后端采用 FastAPI，推理采用 vLLM 与量化开源模型。作者在小型数据集上的检索与权限过滤验证效果良好，但明确指出最终回答存在数值判断错误，定位为课程演示可用、生产不可用，不保证回答正确性，也未覆盖大规范语料。

big-data-ai：用自然语言查询 Iceberg 数据湖的演示应用

这是一个基于 Spring Boot 的实验性演示项目，结合 Apache Iceberg、Apache Spark 与 Spring AI，将用户的自然语言问题转换成 Spark SQL，并在 Iceberg 数据湖（以英国房产交易数据为例）上执行查询。项目包含 Hugging Face Spaces 的 Docker 单容器部署方式与本地 compose 多容器方式，并提供 Admin 页面用于下载 CSV 数据、加载到 Iceberg 表以及清理数据。项目明确标注不适用于生产环境，主要用于实验、快速原型与工作坊教学。

AI-Resume-Agent：面向招聘方的对话式简历问答 Agent

这是一个面向招聘方的对话式 AI Agent，用于回答关于个人职业背景的问题。项目以 profile.json 作为知识来源，提供多轮对话、SSE 流式输出、模型回退与真实模型健康检查、意图分类、提示注入防护、服务端会话与配额限流、Job URL 抽取与结构化解析，以及基于 Langfuse 的追踪和 5 项 LLM-as-a-Judge 评测。技术栈为 FastAPI + React 18，后端部署在 Railway，前端在 Vercel，Gemini 通过 Vertex AI / AI Studio 调用。

AYORAI ATTRACTOR：面向 AI 答案的逐条声明证据核验引擎

AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。