跨栏目检索
搜索中文标题、仓库名或关键词，再用分类、来源和日期缩小范围。
Arize-ai/openinference · OpenTelemetry Instrumentation for AI Observability
OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。
amandachan-ai/self-sealing-revisions · An empirical study of how an agent's self-authored revisions constrain its own future evidence — hypothesis revision, falsifiability, and long-horizon recoverability. Deterministic harness, 22 offline tests, negative result, checkable in one second.
该项目是一个关于智能体自我改进的实证研究仓库：作者提出“自我封闭式修订”假设，认为智能体失败后写下的经验教训越宽泛，就越会屏蔽可用于证伪该教训的未来证据；并在确定性、无 LLM 参与的文档检索环境中设计对照实验（natural 臂与 broad 臂，各 30 个 episode）进行检验。结果显示，智能体只在遵守禁令不付出代价时才遵守，在遵守会损失答案时便违背禁令，因此能力损失为 0，禁令随时间衰减，最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本；verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。
saasclawai-org/ClaimCheck · Local-first PII pseudonymization for LLM workflows — sanitize text, files, and LLM traffic with a reversible vault that never leaves your machine. Works with Cline, OpenClaw & any MCP client. Free, MIT.
ClaimCheck 是一个本地优先的隐私脱敏网关，用于在 LLM 工作流中把敏感标识符替换为稳定的占位符（如 [FEIN_1]、[SSN_2]），并通过保存在本机的可逆映射库在输出阶段还原真实值。它提供 MCP 服务器模式（供 Cline、Cursor、Claude Desktop、OpenClaw 等 MCP 客户端通过 read_sanitized、scan_file、sanitize_text 工具读取脱敏内容）和 OpenAI 兼容 LLM 反向代理模式（在请求链路上自动脱敏、在响应上还原，并支持 SSE 流式响应）。内置基于正则与校验器的确定性识别器，覆盖 FEIN、SSN、信用卡、IBAN、云密钥、JWT、PEM 私钥、密码字段等，并可选启用本地 NER 模型识别姓名、机构、地点，支持自定义脱敏规则。
JiamanBettyWu/retrieval-lab · Two-stage RAG retriever measured against a computed oracle ceiling on BEIR
retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。
Tencent-Hunyuan/DiagSafe · DiagSafe: diagnostic LLM safety benchmark with prompt-level rubrics (3,489 bilingual prompts, 84-label taxonomy)
DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。
MasayukiYamagishi/kokochi-ui-agent-readability-lab · OpenTelemetryを使って、HTML構造の違いによるLLMのUI解釈を観測・評価する実験基盤
该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。
HarperZ9/proof-surface · proof-surface checks an AI agent's trace against the permissions it was granted, and turns traces, evals and measurements into JSON packets with a verdict and report. Python, no dependencies.
proof-surface 是一个 Python 库和命令行工具，用于把 AI Agent 的轨迹（可读取 OpenTelemetry、LangSmith、Langfuse 导出或自有 JSON 格式）与授权清单中的允许动作、目标范围和有效期逐项比对，并把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，同时给出对应决策与可读报告。它还能把测量、评测、研究声明等记录转成带结论的 JSON 包，并针对各领域常见的过度声明做拒绝检查；此外提供证据包、工作记录、授权收据、委派链、预执行门控等基础校验器及多个外部工具导入适配器。
dominicrume/ai-code-quality-auditor · An empirical safety harness for agentic AI coding systems: measures whether an AI agent built what the specification asked for, not just whether the code runs. Pre-registered, blinded, open data.
该项目是一个面向智能体式 AI 编码工作流的实证测量与审计工具。它从需求文档、README、包描述或 feat: 提交中提取规格并写入 .auditor/spec.yaml，然后逐项核对代码是否实现了所要求的功能（规格保真度，区分已交付、缺失、存在但不可达以及未被要求的内容），同时报告安全漏洞密度、圈复杂度、重复代码和返工等常规指标。它还支持在同一规格下对比人工基线与多个商业智能体工具的工作流，输出 CSV/JSON 供统计比较，并通过 CI 集成或本地仪表盘展示结果。项目带有学术研究背景（MSc 论文实验工具）与公开数据，也明确披露了自身的误报和方法学限制。
openai/MultiLangBench · An eval based on SQLite that benchmarks language models in multiple languages.
MultiLangBench 是 OpenAI 发布的评测项目，要求语言模型依据 SQLite 3.40.1 文档，用指定编程语言实现一个 SQLite 兼容程序，并通过由 TCL 测试转换而来的测试套件进行验证。测试由初始数据库、用户查询和校验查询三部分组成，评分以（API 成本、测试通过率）二元组表示；完整测试共 24k 条，README 建议先运行以 00、01、02 开头的 272 条测试。
openai/php2shell-checker
OpenAI 开源的 PHP 版本检查工具，通过网站的 PHP 响应头或本地安装信息判断是否处于 PHP2Shell 漏洞受影响版本范围，输出 OK、POTENTIALLY VULNERABLE 或 UNKNOWN 三种结果，支持命令行直接运行和 Codex 技能两种使用方式。
Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs
AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。
vegaload/vegaload
VegaLoad 是一个用 Go 编写的开源负载测试工具，提供单个静态二进制文件和可脚本化的核心引擎，支持 HTTP/1.1、HTTP/2、gRPC、WebSocket、MQTT、Kafka、PostgreSQL、MySQL/MariaDB 以及原始 TCP/UDP 等协议驱动，并生成自包含的 HTML/JSON 报告，无需服务器、账户或遥测。它还支持 MCP 服务注册，使具备 MCP 能力的智能体可通过 CLI 运行测试、读取结果并解释失败；同时提供阈值、检查、基线门禁、JUnit 输出和 CI 摘要等功能。
Shu-Chenzy/claude-scientific-eval · A 30-task expert-curated evaluation of frontier models on experimental and translational cancer biology: evidence grounding, causal reasoning, target prioritization, experimental design, failure detection
该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。
yagobski/agentleak · Open-source privacy testing for AI agents. Python SDK, CLI and MCP tools to detect data leaks across tool calls, memory, inter-agent messages and logs, with redacted reports and CI gates.
AgentLeak 是一个面向 AI Agent 的开源隐私泄漏测试工具，提供 Python SDK、CLI 和 MCP 工具。它检查工具调用、共享内存、Agent 间消息、日志和生成文件等执行通道中的数据泄漏，每条 trace 会生成脱敏报告，并基于 AgentRisk 给出风险指数；支持 CI 门禁、合规框架映射、本地 Web 平台和多种 Agent 框架集成。检测与评分默认在本地进行，不依赖云端或 LLM。
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
LavishSphere/patchlane · Autonomous incident response for financial systems, powered by secure AI agent sandboxes.
Patchlane 是一个面向金融系统的自主事件响应项目：当转账等服务出现资金安全缺陷时，它按欺诈规则检测异常，在 Daytona 隔离沙箱中复现攻击，由 Factory Droid 在沙箱内分析并编写修复，再把补丁应用到第二个干净沙箱，用智能体未见过的留出测试和回归测试进行验证，最后等待人工审批。项目还提供 React 仪表盘、场景构建器和 Chalk 基准评测，并给出多组种子缺陷案例的运行结果。
mobiumdev/mobium-evals · An evaluation of an AI agent driving Mobium over MCP on an Android emulator, graded on the device's own state
mobium-evals 是一套评测框架，用于衡量固定模型通过 MCP 驱动 Mobium 在真实 Android 模拟器上完成任务的效果，评测结果依据设备自身状态判定，而非依赖智能体的自我陈述。项目包含 23 个 MobiumApp 任务（如登录、表单、滑块、弹层遮挡、WebView 表单等）和一个 Morpho Market 重构任务，并设有 reference、null、wrong 三类对照驱动与答案规则校验；还提供本地 Ollama 第二驱动、基于 llama3.1:8b 的答案二次判分，以及面向 Mobium 面向智能体接口（工具描述、错误提示、map 输出）的改进验证循环。仓库 README 给出了在 Android 15 模拟器上的基线结果。
ishandutta2007/Awesome-LLM-Evaluation-Testing · Top LLM Evaluation Testing (Opensource) Star if you like it!
这是一个面向 LLM 评测与测试的 curated 列表，汇集 40 多个开源评测器、RAG 评测库、提示词测试工具、Agent 评测框架和 LLM 可观测性平台，并涵盖部分 SaaS 托管平台。列表条目记录了产品能力、定价、免费额度与 Star 数，主要聚焦提示词回归测试、RAG 评测与 Agent 可观测性，适合 AI 工程师和研究者按需检索与选型。
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。