ISNAD：为 LLM 管线提供溯源、传递链信任评级与防篡改审计

alizahidraja/isnad · Grade every agent, scraper and model in a claim's chain — provenance, trust scoring and audit evidence for LLM pipelines

GitHub原文发布未知首次收录 2026-10-06上架 2026-10-06 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

ISNAD 是一个 Python 开源库，借鉴圣训传述学（isnād–rijāl）框架，为 RAG 和多智能体系统提供 LLM 溯源能力。它不只评估结论，还对每个处理声明的“传述者”（scraper、agent、model）打信任分级，按最弱环节（weakest-link）传播判断，并结合内容批评与决策矩阵，把声明路由为采用、复核或隔离。每次判定都会生成带 SHA-256 哈希、分离签名和 Merkle 日志的防篡改审计记录，映射到 EU AI Act、ISO/IEC 42001、NIST AI RMF 和 SDAIA 等合规框架。项目提供 Python 包、JS/TS 验证器和 LangChain 回调集成。

# RAG # 多智能体系统 # AI 可观测性 # audit-logging # provenance

核心能力与快速开始

★ 42 · Python

能做什么: 对 LLM 管线中的声明进行传述链（isnād）记录与逐级信任评级；按最弱环节规则传播链级判定（如 DAIF）；维护可增补的传述者分级注册表（rijāl），支持周期切片分级与完整性阶梯/可恢复性；内容批评（matn）独立于传述评估，提供 EmbeddingCritic 等离线批评组件；通过决策矩阵把链级结果与内容判定组合为采用/复核/隔离动作；生成自哈希、分离签名和 Merkle 日志的防篡改审计记录，并对接 EU AI Act、ISO/IEC 42001、NIST AI RMF、SDAIA；提供 LangChain 回调处理器、异步回调与中间的 gating 组件；附带 ISNAD-Bench 经典语料基准与模型漂移排行榜等评估材料。
适用场景: 在 RAG 或多智能体系统中回答“每个声明由谁处理、按什么顺序、各级可信度多少”的溯源问题；为合规审计导出可被验证的防篡改证据记录；对抓取器、同步模型、ingest 模型等链路节点进行信任分级并对结果做最弱环节评估；将链级信任判定接入 LangChain 回调或中间件以捕获或门控声明；结合内容批评器做独立的 matn 校验；在冷启动场景下借助证据支持的 seed 分级引导注册表。
项目形态: 开发框架
部署方式: 未说明（README 提到可自托管，packages 可通过 pip install isnad / npm install isnad 获取；服务索引为内存态单节点，多 worker HA 尚未支持）
主要依赖: Python 3.11+；LangChain 集成需安装 isnad[langchain]；部分评估需要 nli extra；未说明具体硬件、API 成本与配额限制
使用限制: 分级为序数级（ṣaḥīḥ > ḥasan > ḍaʿīf > ḍaʿīf jiddan > mawḍūʿ），不提供数值置信度；冷启动时按角色覆盖更差、完整性评估为领域范围而非全局；链独立性无法仅由拓扑证明，只能依据有据可查的世系假定并做折减；内容批评器是覆盖上限，LLM 批评器在 §8 内容损坏场景下仍有 39.1% 假一致；离线批评器保守（召回 0.12–0.76）；零依赖 TF-IDF 批评器只做矛盾检测、从不断言一致性；链范围接地标记依赖具备 CONSISTENT 能力的批评器，默认 EmbeddingCritic 下该标记不生效；置信度门控自评为无用（模型自置信度与缺陷不相关）；在密集技术语料上佐证很少触发；多 worker 高可用尚未支持；基准 κ=0.87 是规则约定下的一致性而非与独立学者判断的一致。
许可证: Apache-2.0
最近推送: 2026-10-06 06:57

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-06 07:00 · 卡片整理：2026-10-06 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在 RAG 或多智能体管线中为每个处理声明的 scraper、agent、model 打信任分级，按最弱环节传播判断，并将声明路由为采用、复核或隔离；同时生成带 SHA-256 哈希、分离签名和 Merkle 日志的防篡改审计记录，用于合规审查。

查看内容依据

ISNAD 是一个 Python 开源库，借鉴圣训传述学（isnād–rijāl）框架，为 RAG 和多智能体系统提供 LLM 溯源能力。它不只评估结论，还对每个处理声明的“传述者”（scraper、agent、model）打信任分级，按最弱环节（weakest-link）传播判断，并结合内容批评与决策矩阵，把声明路由为采用、复核或隔离。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Leviathan：基于自有 PDF 的封闭域检索问答与引用溯源

Leviathan 是一个面向自有 PDF 文档的封闭域检索问答（RAG）应用：它只依据已导入的文档作答，为每条论断给出出处，并在没有相关内容时明确拒绝回答。流程为 PDF 抽取文本、切分重叠片段、向量嵌入、基于 pgvector 的相似度检索与阈值过滤，最后由模型生成答案并通过第二个更强调核查的模型逐条校验论断是否有证据支撑；还提供评分日志与 /rules 页面展示回答与拒答的最佳匹配分数直方图，用于调整相似度阈值。项目自述为刻意未完成的端到端管线，代码中标记了 TODO(you) 的待改进点。

IntelligenceDocumentSystem：基于 RAG 的多语言文档问答助手，回答附带可追溯引用

该项目是一个面向个人文档的 RAG 问答助手，支持上传 PDF、TXT、Markdown 并以印尼语提问，答案附带可点击溯源到具体 chunk 的引用。检索上下文不足时系统明确拒答，或在使用通用知识模式时给出明确标注、不加引用的回答。还提供按文档隔离的私有会话、跨文档检索、检索参数调整（Top K、相似度阈值）、检索质量评估（precision、hit rate、正确拒答）、延迟与提问日志分析，以及 RAGAS 评测选项。技术栈为 Next.js/React/TypeScript 前端与 FastAPI、ChromaDB、SQLite 后端，LLM 使用 Groq，并有 Ollama 回退。

SyntaxRAG：面向 AI 代理的本地代码检索 MCP 引擎

SyntaxRAG（SYNRAG）是一个本地代码搜索 MCP 引擎，通过 Tree-sitter 按函数、类、类型等 AST 结构切分代码，在 CPU 上用 FlashRank（TinyBERT）对 BM25 候选重排序，并构建依赖影响图。它提供搜索、文件大纲、仓库地图、影响范围分析、测试定位及受控编辑等工具，以减少 AI 代理定位代码时的 token 消耗；附带安装脚本、CLI、可选的变更监视服务和 Gemini 相关可选功能。

research-paper-rag-qa：学术 PDF 语义检索问答工具

该项目是一个面向学术论文 PDF 的检索增强（RAG）语义搜索工具：逐页解析 PDF，将文本切分为带重叠的片段，使用 sentence-transformers/all-MiniLM-L6-v2 生成归一化向量并存入 FAISS 索引，再通过 Streamlit 界面用自然语言查询返回最相关的段落及来源文件与页码。项目刻意只做检索、不做答案生成，以保证每条结果可追溯到原文页面、避免内容幻觉；仓库包含作者硕士阶段的示例 PDF。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。