AI 资源库 · 已整理 3 项

ai-safety

查看与ai-safety相关的 AI 资讯、工具、Skill、工作流和开源项目。

Self-Sealing Revisions:检验智能体自我修订是否会封闭自身可证伪性的实证研究

amandachan-ai/self-sealing-revisions · An empirical study of how an agent's self-authored revisions constrain its own future evidence — hypothesis revision, falsifiability, and long-horizon recoverability. Deterministic harness, 22 offline tests, negative result, checkable in one second.

该项目是一个关于智能体自我改进的实证研究仓库:作者提出“自我封闭式修订”假设,认为智能体失败后写下的经验教训越宽泛,就越会屏蔽可用于证伪该教训的未来证据;并在确定性、无 LLM 参与的文档检索环境中设计对照实验(natural 臂与 broad 臂,各 30 个 episode)进行检验。结果显示,智能体只在遵守禁令不付出代价时才遵守,在遵守会损失答案时便违背禁令,因此能力损失为 0,禁令随时间衰减,最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本;verify_offline.py 可在一秒左右、无需依赖和凭证的情况下,从已提交日志重算 README 中的关键数字。

☆ 收藏查看来源 ↗

AYORAI ATTRACTOR:面向 AI 答案的逐条声明证据核验引擎

Ayorinha/ayorai-opensearch · AYORAI ATTRACTOR — Evidence-first claim-level verification engine

AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层:将答案拆解为单条 claim,与证据来源(含出处、偏移与溯源信息)关联,推导 stance(支持/矛盾/中立),再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING;评估输入输出可用 SHA-256 做内容寻址以保证防篡改,并提供可复现的评测套件。当前领域为巴西电信监管(AnatEL RGC,标记 D10),项目自定位为研究与工程参考实现,明确声明不构成认证、法律意见或合规结论,评测数据为合成开发集且不构成生产泛化证据。

☆ 收藏查看来源 ↗

Guardian SDK:为 Python LLM 与 Agent 应用提供实时威胁检测与拦截

OraclesTech/guardian-sdk · Ethicore Engine® is an AI safety, ethics, and compliance platform. This repo consists of the open-source components of Ethicore Engine™ - Guardian SDK; designed to protect your AI applications from prompt injection, jailbreaks, role hijacking, system-prompt extraction, and 100+ additional threat categories through a multi-layer analysis pipeline

Ethicore Engine 的开源组件 Guardian SDK 面向 Python LLM 与智能体应用,通过多层检测管线在输入、输出、工具调用与工具返回等环节拦截提示注入、越狱、角色劫持、系统提示提取等攻击,支持文本、图像、音频和视频多种模态。社区版以 pip 安装、本地运行,覆盖 7 类威胁;API 与自托管版本覆盖 160+ 类威胁并提供智能体管线防护,具体部署、成本与限制需参考官方说明。

☆ 收藏查看来源 ↗