AI 资源库 · 已整理 7 项
查看与可复现性相关的 AI 资讯、工具、Skill、工作流和开源项目。
lordaashishh/tf-nlp-modern-stack · Complete TensorFlow NLP Guide 2026: BERT, GPT and LLM Downstream Tasks Explained
TemporalMind（仓库名 tf-nlp-modern-stack）是一个面向研究与教学的 NLP 仓库，以连续流水线的方式组织从原始文本清洗、分词与词表构建、主题建模，到 Transformer 下游任务（分类、序列标注、摘要、问答、句子对任务）以及现代 LLM 工作流（提示工程、检索增强生成、适配器与轻量微调）的可复现 notebook 与模块化工具。文档以韩英双语提供，并包含跨语言迁移实验与可复现的评测方法说明。项目自述为教育研究用途，不保证生产可用性。
JiamanBettyWu/retrieval-lab · Two-stage RAG retriever measured against a computed oracle ceiling on BEIR
retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。
rmedipallycic/llm-inference-fault-tolerance · Fault-injection study of vLLM and SGLang: what a streaming client sees when an LLM server crashes mid-generation. 430 measured trials on Llama 3.1 8B (AWS A10G): naive retry contradicted already-delivered text; deterministic modes plus recompute recovered exactly. Paper, raw logs and table scripts included.
该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。
MasayukiYamagishi/kokochi-ui-agent-readability-lab · OpenTelemetryを使って、HTML構造の違いによるLLMのUI解釈を観測・評価する実験基盤
该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。
HarperZ9/proof-surface · proof-surface checks an AI agent's trace against the permissions it was granted, and turns traces, evals and measurements into JSON packets with a verdict and report. Python, no dependencies.
proof-surface 是一个 Python 库和命令行工具，用于把 AI Agent 的轨迹（可读取 OpenTelemetry、LangSmith、Langfuse 导出或自有 JSON 格式）与授权清单中的允许动作、目标范围和有效期逐项比对，并把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，同时给出对应决策与可读报告。它还能把测量、评测、研究声明等记录转成带结论的 JSON 包，并针对各领域常见的过度声明做拒绝检查；此外提供证据包、工作记录、授权收据、委派链、预执行门控等基础校验器及多个外部工具导入适配器。
dominicrume/ai-code-quality-auditor · An empirical safety harness for agentic AI coding systems: measures whether an AI agent built what the specification asked for, not just whether the code runs. Pre-registered, blinded, open data.
该项目是一个面向智能体式 AI 编码工作流的实证测量与审计工具。它从需求文档、README、包描述或 feat: 提交中提取规格并写入 .auditor/spec.yaml，然后逐项核对代码是否实现了所要求的功能（规格保真度，区分已交付、缺失、存在但不可达以及未被要求的内容），同时报告安全漏洞密度、圈复杂度、重复代码和返工等常规指标。它还支持在同一规格下对比人工基线与多个商业智能体工具的工作流，输出 CSV/JSON 供统计比较，并通过 CI 集成或本地仪表盘展示结果。项目带有学术研究背景（MSc 论文实验工具）与公开数据，也明确披露了自身的误报和方法学限制。
作者 Peihao Yuan 介绍了一套用于灾难恢复分析的工作流：AI 智能体只负责生成受限的 SQL 或 Python 代码，真正的计算交给嵌入式数据库 DuckDB，从 Parquet 文件中算出可复现的结果，再由智能体解读这些结果。文章的核心观点是：AI 改变的是人和数据打交道的方式（接口层），而不是负责算数的查询引擎本身。文中还讲了如何把“生成”和“计算”分开以保证结果可重放，并给出四个判断信号，帮读者决定什么时候用嵌入式引擎就够、什么时候值得上托管的湖仓方案。