AI Code Quality Auditor：审计 AI 编码智能体是否按规格交付代码并衡量代码质量

dominicrume/ai-code-quality-auditor · An empirical safety harness for agentic AI coding systems: measures whether an AI agent built what the specification asked for, not just whether the code runs. Pre-registered, blinded, open data.

GitHub原文发布未知首次收录 2026-10-24上架 2026-10-24 07:02

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

该项目是一个面向智能体式 AI 编码工作流的实证测量与审计工具。它从需求文档、README、包描述或 feat: 提交中提取规格并写入 .auditor/spec.yaml，然后逐项核对代码是否实现了所要求的功能（规格保真度，区分已交付、缺失、存在但不可达以及未被要求的内容），同时报告安全漏洞密度、圈复杂度、重复代码和返工等常规指标。它还支持在同一规格下对比人工基线与多个商业智能体工具的工作流，输出 CSV/JSON 供统计比较，并通过 CI 集成或本地仪表盘展示结果。项目带有学术研究背景（MSc 论文实验工具）与公开数据，也明确披露了自身的误报和方法学限制。

# 代码质量 # 代码审计 # 智能体 AI # 可复现性 # AI 辅助安全研究

核心能力与快速开始

★ 1 · Python

能做什么: 从项目已有的意图来源（需求文档、README、包描述、近期 feat: 提交）派生规格，并允许人工修正；对代码逐功能给出已交付、缺失、存在但不可达、未被要求的判定，并标注文件与行号；计算安全漏洞密度、圈复杂度、代码重复率与返工指标；支持同一规格下用固定捕获契约对人工基线与多个商业智能体工具进行盲评对比，输出 CSV/JSON；提供 CI 集成、扫描历史记录、本地实时仪表盘与共享内容预览。
适用场景: 评估 AI 编码智能体是否真正实现了需求规格、发现被跳过或不可达的功能；在 CI 中作为代码质量与范围漂移的检查关卡；复现或参考其学术实验设计，比较不同智能体工作流的代码质量与治理行为；对既有代码目录进行安全、复杂度与重复度的快速审计。
项目形态: 可直接使用的工具
部署方式: 提供 PyPI 包，可通过 pipx/pip 本地安装使用；支持 GitHub Actions 集成；另有一个公网托管的公开仪表盘示例，具体自托管部署条件未说明。
主要依赖: 依赖 Python；README 展示的安装命令为 pipx install ai-code-quality-auditor 或 pip install ai-code-quality-auditor；完整实验复现需 pip install -e ".[all]"；未说明具体 Python 版本、硬件或其他运行条件。
使用限制: 安全扫描按语言解析，跨语言代码可能被报告为 unread 或产生误报（README 给出 JavaScript 代码被读作零漏洞的示例）；规格仅从未被源代码的意图来源派生，项目若无文档则无法获得范围判定；指标结果随扫描路径与工具版本变化，需同时说明扫描路径与版本；作者说明该工具是学术研究仪器，非签署或带日期的正式鉴证报告；计量准确性未由本材料独立验证。
许可证: MIT
最近推送: 2026-10-24 03:41

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-24 07:00 · 卡片整理：2026-10-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

审计 AI 编码智能体交付的代码：从需求文档、README、包描述或 feat: 提交中提取规格，逐项核对功能是否已交付、缺失或存在但不可达，并报告安全漏洞密度、圈复杂度、重复代码和返工等指标；可通过 CI 集成或本地仪表盘展示结果，用于代码审查与质量把关。

查看内容依据

它从需求文档、README、包描述或 feat: 提交中提取规格并写入 .auditor/spec.yaml，然后逐项核对代码是否实现了所要求的功能（规格保真度，区分已交付、缺失、存在但不可达以及未被要求的内容），同时报告安全漏洞密度、圈复杂度、重复代码和返工等常规指标。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

TemporalMind：TensorFlow NLP 全流程学习与实验仓库

TemporalMind（仓库名 tf-nlp-modern-stack）是一个面向研究与教学的 NLP 仓库，以连续流水线的方式组织从原始文本清洗、分词与词表构建、主题建模，到 Transformer 下游任务（分类、序列标注、摘要、问答、句子对任务）以及现代 LLM 工作流（提示工程、检索增强生成、适配器与轻量微调）的可复现 notebook 与模块化工具。文档以韩英双语提供，并包含跨语言迁移实验与可复现的评测方法说明。项目自述为教育研究用途，不保证生产可用性。

retrieval-lab：基于 BEIR 的两阶段 RAG 检索器构建与逐步量化评测实验台

retrieval-lab 是一个检索质量实验项目：以 BEIR（NFCorpus、SciFact、FiQA）为基准，用 NDCG@10、MRR@10、Recall@100 等指标，对两阶段 RAG 检索器（双编码器召回 + 交叉编码器重排）的每一处改动进行测量，包括用 LoRA 微调编码器后发现效果变差的结果也如实保留。项目还计算 oracle 重排上限，区分“相对基线提升”与“占可用提升空间的百分比”，并讨论 qrel 密度、基线 NDCG 等混杂因素的归因分析；后续阶段计划把已验证的检索器接到生成器后面，用与人工标注校准的 LLM-as-judge 评测有据回答。

llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常

该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。

KOKOCHI UI Agent Readability Lab：用 OpenTelemetry 观测和评估 LLM 对 HTML 结构不同的 Web UI 的解读

该项目是一个实验基座，用于在可复现条件下观察和评估 LLM 如何解读 Web UI 的 HTML 结构；它包含 semantic-first 与 presentation-first 的 Fixture 对比、基于 Ollama 的 LLM 推理、用 control-group-membership F1 评价，以及通过 OpenTelemetry 采集 trace、metrics、logs 并配合 Grafana 进行观测。公开版提供实验定义、代码与复现材料，不包含正式实验的原始 LLM 响应和执行结果。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。