模型监控

我们如何检测前沿模型失准

OpenAI 说他们用多层监控来发现前沿模型出现“失准”（行为偏离预期），以及 AI 代理做出未经授权的操作。原来的问题是：模型能力越强，越可能出现难以察觉的异常行为，如果不及时发现，小问题会升级成事故。这次的做法是把多种监控手段叠加起来，让响应人员在事态扩大前就能介入处理。对普通读者来说，这属于安全机制方面的公开说明，目前还没有给出具体工具、检测指标或上线状态等细节。

2026 年最佳 AI 安全解决方案：买家指南

这篇文章是一份 2026 年 AI 安全解决方案的选购指南。现在越来越多应用开始用 AI，但很多公司根本不知道 AI 在哪里运行、有没有被攻击的风险。文章建议从部署方式、数据采集、和开发流程的配合、以及合规治理这几个角度来挑产品，还提醒要问清楚厂商能不能防住 OWASP LLM Top 10 里列的那些 AI 特有攻击。对读者来说，这是一份帮助识别靠谱 AI 安全工具、避免被营销话术忽悠的参考清单。

在 Datadog Agent 可观测性中使用 TypeSafe 的 Jev 进行评估

TypeSafe AI 在 2026 年 9 月发布了 Jev，它专门用来做决定：你给它一段状态（字符串或 JSON 对象）和一组带类型的问题，它直接返回带概率的类型化答案，不做解释。过去评估管道为了让文本生成模型给出一个“是/否”判断，要套 JSON 模板并支付生成成本，其实只为一个比特的信息。Jev 正好为此而生，可以接入 Datadog Agent 可观测性的两种评估场景：对线上真实 span 的在线评估，以及对数据集做离线评估的实验，而且同一套评分标准可以两边共用。这样评估更快、更省，还能把模棱两可的判断交给人工复核。

ACTF Core：企业级分布式持续训练与模型治理平台

AdolphoIgor/actf-core · Enterprise Distributed Continuous Training (CT) and Model Governance Platform

ACTF Core 是一个面向受监管行业（RegTech、FinTech、医疗等）的企业级参考架构，用于基础模型的自动化持续预训练、领域适配与监督微调（SFT）。平台将关系型数据湖仓、分布式计算集群、内存自动微分引擎与自动化统计评估防火墙串联为一个不可变、确定性的训练闭环，并提供五级质量防火墙，在存储契约、数据泄漏边界、张量图稳定性与统计非劣性等环节进行把关，最后通过 MLflow 模型注册表别名（@champion）完成候选模型晋升。

model-drift：面向多厂商 LLM 的公开回归追踪与漂移监控面板

egnaro9/model-drift · Is My Model Drifting? A public LLM regression tracker: a frozen, hash-fingerprinted suite run daily against 16 models across 5 labs, scoring accuracy, latency, verbosity, reliability and refusal rate. Deterministic grading, no LLM judge.

model-drift 是一个小型公开的 LLM 可观测性面板：用冻结且带哈希指纹的评测套件定期跑 16 个模型（覆盖 5 家实验室），记录准确率、延迟、回答冗长度、可靠率和拒答率五项指标随时间的变化，帮助发现模型被静默更新后的质量漂移。评分由确定性机制完成（精确匹配、子串、正则或数值比较），不使用 LLM 裁判。套件含 35 个任务并按能力分类，每晚三次取中位数以降低采样噪声，结果存入仓库内的 drift_board.json 并由看板读取。

egnaro9.github.io：AI 评测与测试工程师 Erik Hill 的作品集与技术枢纽

egnaro9/egnaro9.github.io · Portfolio: Erik Hill, AI evaluation and testing engineer

该项目是 Erik Hill（AI 评测与测试工程师）的个人作品集网站，采用手写 HTML/CSS，不使用框架、部署时不编译（suite/ 目录下的页面除外，由构建脚本从已提交产物生成）。仓库同时作为一个工作系统的枢纽，展示了一套围绕 LLM 评测、回归探测、可验证评测（能力契约与可重放证据包）以及部署服务（FastAPI+Postgres、RAG 评测、LLM 网关等）的小型仓库如何协同工作，README 中给出了各仓库之间的真实数据流。