model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板

egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.

GitHub原文发布未知首次收录 2026-09-25上架 2026-09-25 07:01

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。

# LLM安全 # 基准测试 # reproducibility # 多模型支持 # 模型监控

核心能力与快速开始

★ 1 · Python

能做什么: 提供面向多厂商 LLM 的漂移/回归追踪：冻结并哈希版本化的评测套件（35 个任务，覆盖指令遵循、事实召回、算术、推理、计数、字符串操作、格式化、抽取、拒答校准等能力标签），每天对多个模型（材料中列出 OpenAI、Anthropic、Google、xAI、Meta 共 17 个模型及分层）进行定时探测，并记录五项指标——准确率、速度（中位延迟）、冗长度（平均回答长度）、可靠率（成功调用占比）、拒答率。评分完全机械化（精确匹配、子串、正则、数值比较），不使用 LLM 裁判；对支持 temperature 的模型固定在 0。每模型每晚运行三次并取中位数，同时存储离散度（spread）。提供模型身份校验（对比 provider 响应中回显的 model/modelVersion，标记别名或路由降级），并区分“错误”与“缺失”（限流、超时、宕机记为缺失而非 0 分）。准确率低于可靠率阈值时对应的准确率点会被剔除。还包含自动生成面板叙述（narrative）的模块，以及仓库内提交的 RESULTS.md 与漂移看板数据。
适用场景: 适用于关注第三方托管 LLM 质量稳定性的团队或个人：持续监控所用模型是否因厂商静默更新而准确率下降、变慢、变啰嗦、变得更不可靠或过度拒答；在模型 ID 被悄悄替换为更便宜的别名或降级路由时获得提示；按能力维度定位退化的具体类型而非只看总体分数；通过 GitHub Actions 定时运行并仅在周环比出现回归时自动创建 issue 触发人工排查。
项目形态: 可直接使用的工具
部署方式: 材料提到按日程运行（daily workflow 于 08:17 UTC），可运行在免费 GitHub Actions cron 上；也可本地执行 `pip install -e .` 后用 `python -m modeldrift.run` 运行，无密钥时使用确定性 mock 验证流程。具体生产部署方式未说明。
主要依赖: 材料说明支持 Python 3.11 / 3.12，仅使用标准库，无 SDK 无第三方依赖；需要对应模型厂商的 API Key 环境变量（OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY、XAI_API_KEY、GROQ_API_KEY）以及 EVAL_HISTORY_WRITE_KEY 才会实际探测对应模型。硬件要求未说明。
使用限制: 材料声明：单次运行只是样本而非测量，模型自身存在采样抖动（举例三次运行中 Claude Sonnet 5 移动 9 分、Fable 5 移动 6 分），因此需要多次取中位数；部分模型拒绝 temperature 参数无法固定为 0。身份校验只能捕捉回显 ID 变化，不能证明权重未变，若厂商在标签与回显中同时作假则无法识别，无法回显 ID 的模型标记为“未验证”。成本方面材料称每次运行仍为“几美分”、约 nightly 1,800 次调用，但实际费用与速率限制、各厂商条款以官方为准，未在此断言免费或可商用。
许可证: MIT
最近推送: 2026-09-24 22:28

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-25 07:00 · 卡片整理：2026-09-25 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为 LLM 可观测性工具，程序员可用它定期对多个厂商的模型运行冻结评测套件，追踪准确率、延迟、冗长度、可靠率和拒答率随时间的变化，从而发现模型被静默更新后的质量漂移；也可用确定性评分机制（精确匹配、子串、正则或数值比较）对模型输出做回归测试。

查看内容依据

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。

Inference Systems Lab：LLM 推理服务基准测量与证据复现工具包

该项目是一个服务测量工具包，起源于推测解码速度实验，包含标准库 Python 客户端，用于对本地 OpenAI 兼容 /v1/chat/completions 端点记录流式请求的首块到达、块间隔、总延迟、服务端 token 数等指标，并支持固定大小闭环并发阶段。仓库附带受控 GPU 实验（单张 RTX 4090 上 1536 次 vLLM 请求）的原始轨迹、结果表与对比数据，以及不执行推理的记录结果校验脚本和单元测试。README 明确说明这些记录仅用于检查特定设置，不构成通用最快服务栈的选型依据，也未声称无损加速或输出质量提升。

Self-Sealing Revisions：检验智能体自我修订是否会封闭自身可证伪性的实证研究

该项目是一个关于智能体自我改进的实证研究仓库：作者提出“自我封闭式修订”假设，认为智能体失败后写下的经验教训越宽泛，就越会屏蔽可用于证伪该教训的未来证据；并在确定性、无 LLM 参与的文档检索环境中设计对照实验（natural 臂与 broad 臂，各 30 个 episode）进行检验。结果显示，智能体只在遵守禁令不付出代价时才遵守，在遵守会损失答案时便违背禁令，因此能力损失为 0，禁令随时间衰减，最终不支持该假设。仓库包含确定性环境、智能体循环与经验存储、离线核验脚本、22 个离线测试、运行日志和实验分析脚本；verify_offline.py 可在一秒左右、无需依赖和凭证的情况下，从已提交日志重算 README 中的关键数字。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。