Agent 与工作流01
AWS 的开发者倡导者 James Ward 提出，很多 MCP 服务器目前只是被动地返回数据，就像一个只负责查数据的接口。他建议服务器在返回数据时顺便告诉 Agent 刚做了什么、接下来可以做什么、去哪里找更多信息，相当于让服务器成为对话中的另一个参与者。他还指出 MCP 默认无法追踪调用链路，AWS 的做法是给工具加会话 ID 参数，让多次调用串成完整旅程，再加一个参数记录用户目标，方便团队复现问题、做评测并改进工具。对使用 MCP 的团队来说，这意味着要同时观察人和 Agent 协作的路径，检验工具改动是否真的帮用户完成任务。文中提到 AWS 已于 5 月向所有人开放其 MCP Server，并在 9 月加入 Lambda 诊断功能；这些做法本身并不新奇，重点在于能否持续观测和衡量。
文中可用工具
- MCP ServerAWS 提供的 MCP 服务器，现已向所有人开放，并加入了 Lambda 诊断功能
- Lambda diagnostics用于 Lambda 的诊断能力，帮助排查问题
- CLIAWS 提供的命令行工具，可在不同 AWS 用户配置之间切换
- skills原文未说明具体用途
评测与安全02
HarperZ9/proof-surface · proof-surface checks an AI agent's trace against the permissions it was granted, and turns traces, evals and measurements into JSON packets with a verdict and report. Python, no dependencies.
proof-surface 是一个 Python 库和命令行工具，用于把 AI Agent 的轨迹（可读取 OpenTelemetry、LangSmith、Langfuse 导出或自有 JSON 格式）与授权清单中的允许动作、目标范围和有效期逐项比对，并把每个动作标记为 MATCH、DRIFT 或 UNVERIFIABLE，同时给出对应决策与可读报告。它还能把测量、评测、研究声明等记录转成带结论的 JSON 包，并针对各领域常见的过度声明做拒绝检查；此外提供证据包、工作记录、授权收据、委派链、预执行门控等基础校验器及多个外部工具导入适配器。
训练与微调03
openenv/OpenEnv · An interface library for RL post training with environments.
OpenEnv 是一个用于创建、部署和使用隔离执行环境的端到端框架，面向智能体强化学习后训练。它提供 Gymnasium 风格的 reset/step/state API（支持同步与异步，通过 WebSocket 连接），每个环境以 Docker 镜像形式在本地、云沙箱或 Hugging Face Space 上运行，并提供 40+ 个现成环境（游戏、代码沙箱、浏览器、金融、模拟器等）。项目支持与 TRL、Unsloth、SkyRL、ART、Oumi、torchforge、Miles 等训练框架配合，内置奖励组合与 Inspect AI 评测能力，同时可通过 CLI 脚手架创建、校验和推送自定义环境。
AI 编程04
jonesrussell/skills · Reusable AI skill templates for code review and codebase analysis
该项目是作者为 Claude Code 等编程智能体整理的 Agent Skills 集合，以 SKILL.md 形式提供可复用的代码审查、代码库分析、安全审查、博客写作、工作流与项目规划等技能；配套 Python 脚本用于审计和同步本地安装，以及运行技能评测（mock、codex、command 三种 runner），并可通过 Claude Code 插件市场安装多个技能包。
模型与多模态05
everettjf/ezjev · Open 4B typed-decision model (Jev-style /v1/systemone): calibrated per-option probabilities from one prefill. Training, data generation and eval pipeline on HF Jobs.
ezjev 是一个基于 Qwen/Qwen3.5-4B 的 Jev 风格带类型决策模型项目，支持 choice / noul / score 三类决策，并为每个选项输出经过校准的概率。项目包含训练、数据生成与评测流水线，可在 Hugging Face Jobs 或 Colab 上运行，并附带 Jev Decision Index 与 JevBench 两个榜单的提交结果与自测数据。代码采用 MIT 许可，但训练数据与模型权重的许可情况需另行确认，部分数据仅限非商业使用。
知识库与 RAG06
1040942669/legal-rag-agent · Evidence-grounded Chinese legal RAG with controlled adaptive retrieval, citation verification, and reproducible evaluation.
该项目是一个面向指定中国法律文本快照的可复现 RAG 工程，围绕稳定召回正确法条、验证优化有效性以及在证据不足时安全停止生成三个核心问题构建。它实现了自研中文 BM25、dense、RRF 融合与可选 cross-encoder 重排等检索能力，规则型查询理解、证据充分性检查、引用编号检查等受控 Agent 能力，以及包含分层评测集、bootstrap 置信区间、五维实验矩阵和失败归因的评测体系。项目同时在 PostgreSQL/pgvector 版本化语料、持久会话、幂等 run、SSE 续读与故障恢复等工程方向上迭代发布多个版本。项目仅用于检索与工程研究，不提供个案法律意见，且不随附完整法律语料。
评测与安全07
okht/eval-pi · 面向 AI 产品经理，一句话完成 Agent 的评测与调优。
EvalPi 是一个面向 AI 产品经理的工具，目标是让用户结合 PRD 与评测标准，用一句话完成 Agent 的评测、问题分析、调优与效果验证。README 未提供安装方式、部署环境、依赖条件或使用限制等信息。
工具与应用08
这篇文章讲的是：做医疗 AI 产品的团队（如 Abridge 和 Included Health）用 LangSmith 这个工具，把医生的专业审核变成可以重复使用的评测数据、评测标准和上线把关流程。原来问题是，AI 生成的病历或分诊建议对不对劲，只有医生能判断，但医生时间有限，每次都从头审核根本忙不过来。现在他们把医生的判断记录下来、做成自动化测试，以后每次发布新版本都能复用，不必重新找人审。结果 Abridge 的发布周期从一两个月缩短到几天，Included Health 上线后聊天互动增加 75%，高风险情况识别率超过 99%。不过文中也提到医疗数据隐私（PHI）、判断标准不唯一等挑战，另有部分内容被截断，具体实现细节未完全说明。
文中可用工具
- LangSmith把专家审核变成可复用的评测器、数据集和发布闸门，用于评测和监控 AI 系统
- LangGraph用于构建 Included Health 的 AI 导诊助手 Dot
- Deep Agents原文未说明具体用途，仅提到 Dot 由 LangGraph 和 Deep Agents 驱动
评测与安全09
wahhyun/llm-eval · Evaluate large language models with tools for performance and consistency scoring as part of the llm-cpp C++ infrastructure toolkit.
llm-eval 是一个用 C++ 编写的小型 LLM 提示测试工具，通过多次运行同一提示并比较回答，评估语言模型的回答一致性与稳定性，给出评分并标记差异过大的情况。它无需额外依赖，可单头文件形式嵌入 C++ 项目，也提供了可直接运行的 Windows 程序。
行业动态10
Anthropic CEO Dario Amodei 发表文章，提议每一家前沿 AI 公司都应允许一个第三方评估团队以“类似正式员工”的权限进入公司，检查安全措施是否真正落实，并上报问题。背景是有人担心 AI 发展太快可能带来失控风险。目前 METR 等机构已在招聘这类评估师，年薪最高约 68.7 万美元，要求能独立做失控风险建模、审查训练过程和提示词；Mercor 也有类似岗位，年薪 18 万到 30 万美元，要求博士或硕士加两年以上相关经验。对读者来说，这代表 AI 安全和评估可能成为一类高薪新职业，但该做法能否真正独立监督大公司、以及小机构能否负担，都还没有明确答案。
文中可用工具
- METR第三方 AI 评估机构，负责核查前沿 AI 公司的安全实践并报告问题
- MercorAI 模型训练公司，也招聘类似评估岗位
行业动态11
这篇文章介绍如何用 ChatGPT Work 和 Codex 的分析功能，帮团队看清大家在怎么用 AI、花了多少钱。以前企业往往不清楚 AI 到底带来了什么效果，也不知道该给谁做培训。这次的办法是把使用数据整理出来，找出需要培训的地方，再和业务成果对上号。对读者来说，可以借此判断自己团队的 AI 投入是否划算、下一步该补哪些能力。目前原文只提到这些分析功能，具体怎么用、是否已经开放都还没有说明。
文中可用工具
- ChatGPT Work查看团队 AI 使用情况和花费的分析功能
- Codex查看团队 AI 使用情况和花费的分析功能
知识库与 RAG12
mahdidjemaci/production-rag · 🔍 Enhance retrieval accuracy with a production-ready RAG system that integrates semantic and lexical search for optimal results.
production-rag 是一个生产级检索增强生成（RAG）系统，将语义搜索与词法搜索结合以提升检索准确度。它提供多策略检索（可在不同搜索方法间切换）以及内置评估框架，用于评估不同策略的输出质量，面向真实应用场景。README 中说明系统要求为 Windows、macOS 或 Linux，最低 4 GB 内存（推荐 8 GB），至少 500 MB 存储空间。
评测与安全13
recetariodmix/garak · 🔍 Discover vulnerabilities in LLMs with garak, a tool that probes for weaknesses like hallucination, data leakage, and misinformation effectively.
garak 是一个用 Python 编写的 LLM 漏洞扫描工具，通过探测幻觉、数据泄露和虚假信息等弱点，帮助识别大语言模型应用中的安全隐患，并生成报告以呈现潜在风险。
研究与技术14
Trail of Bits 发文批评 1Password 于 2026 年 8 月 6 日发布的 FLAWED 报告，认为其“模型仅 26% 生成干净修复”的结论具有误导性。文章指出该报告存在样本偏向复杂漏洞、部分提示词故意要求应用错误修复、超过三分之一试验禁止构建或运行代码、两个模型使用不同推理强度等问题。重新分析其数据后发现，在允许运行代码且未被误导的试验中，1Password 模型生成的 3,067 个补丁中有 2,634 个（86%）成功阻止了给定漏洞利用。文章还发布了两项 agent 技能：post-patch-validation 与 review-walkthrough。
Agent 与工作流15
美团图灵Agent评测团队公开内部博客，系统介绍Agent评测的核心目的、与传统模型评测的差异，以及如何构建评测体系。文章提出评测需兼顾结果、过程、效率与风险四层，强调观测是评测基石；方法论上主张客观与主观评测并行、人人一致与人机一致对齐、将模糊指标下钻为二元化Rubric，并指出评测是依赖Good/Bad Case持续喂养的实践科学。第三章还讨论了长程Agent框架出现对评测范式带来的变化。
评测与安全16
tonykoop/makerbench-hwe · An agentic benchmark for the physical world: spatial reasoning, design-for-manufacturing (DFM), and 3D-maker capability. Math-graded, not LLM-judged. MakerBench is to physical design what SWE-bench is to software.
MakerBench HWE 是一个针对物理设计能力的智能体基准，用来评测模型的空间推理、面向制造的设计（DFM）和 3D 造物能力。任务由参数化模板生成、答案无法记忆，图形评分器直接检查导出的网格或 2D 矢量文件，而非依赖 LLM 裁判。基准分为「盲测」（文本到几何，单次评分）和「感知闭环」（允许渲染、测量并迭代）两条赛道，并按结构、几何、物理约束、DFM 四个层级逐级打分，同时输出质量连续性指标。内置本地 McMaster 风格的紧固件目录用于考察工具调用与装配匹配，并提供 BOM、工艺方案等设计档案契约。
Agent 与自动化17
honied-valerian411/agentic-reasoning-lab · 🤖 Build reasoning-driven systems with multi-agent orchestration, reliable context grounding, and accurate evaluations for AI product management.
agentic-reasoning-lab 是一个基于 Python 的开源实验平台，围绕多智能体推理、上下文编排和模型可靠性评估展开，提供主仪表盘、智能体管理工具以及性能与系统健康报告工具，面向探索多智能体协作解决问题与评估不同 AI 模型表现的使用场景。
AI 编程18
GitClear 对 2023 至 2026 年 6.23 亿次代码变更的分析显示，重度使用 AI 编程工具的团队产出仅提升 25%，远低于 10 倍宣称；同时代码块重复率上升 81%，重构（移动代码）占比从 2022 年的 21% 降至 2026 年的 3.8%，行业出现回归“写后即修”模式的迹象，长期维护成本或难以承受。
行业动态19
一家有全球业务的300人B2B公司，被安全扫描发现有一个暴露在互联网上、认证很弱的数据库，看起来是最该优先修的高危问题。但研究人员仔细一看，这其实只是一个可以重置的测试数据库，用来考核应聘者，根本不存客户数据。这件事说明，光靠扫描器的严重性评分，没法判断一个漏洞真正会带来多大业务损失，团队还是得结合业务重要性、是否能被攻击者触达、是否已被实际利用等信息来决定先修什么。对外部安全分诊伙伴和公司安全团队来说，价值在于把“技术上很严重”和“业务上很要紧”区分开，避免把有限精力浪费在噪音上，同时也不错漏真正危险的漏洞。
文中可用工具
- CVSS通用漏洞评分系统，用来给漏洞的严重程度打一个基础分，但它本身不能判断业务影响。
- CISA’s Known Exploited Vulnerabilities美国网络安全和基础设施安全局维护的已知被利用漏洞目录，用来确认某个漏洞是否已经在现实中被人利用。
- Exploit Prediction Scoring System漏洞利用预测评分系统，用来估计某个漏洞在未来30天内被实际利用的可能性。
应用工具20
UAJOP/portfolio · Professional portfolio featuring AI workflows, software projects, case studies, recruiter mode and interactive web experiences.
这是 kaanbalci.com 个人作品集的源码，围绕应用型 AI、AI Agent 可靠性、对话式 AI 与工作流设计、LLM 评测、以及 Python/FastAPI/PostgreSQL 与 TypeScript 产品开发展示旗舰案例（SINAMA — AI Agent Reliability Lab 与 Merge Rush: Tiny Factory）。站点以 data/portfolio/ 下的规范 JSON 为数据源，生成 portfolio-data.js 供运行时读取，并驱动 Recruiter Mode、Build Log、Kaan Labs、SINAMA Evidence Explorer 等模块；包含主页、作品目录、案例研究、博客、能力图谱、项目咨询、构建日志、实验、游戏、证书等页面，另含并行的 React 迁移预览基础与覆盖数据契约、链接、HTML、拼写、无障碍的 QA 脚本。