学习与研究01
kumori-ai/sparebrains · sparebrAIns: idle free-tier LLM compute pointed at machine-verified math. Lean 4 kernel is the judge.
sparebrAIns 是一个开放协作项目，把免费层 LLM 和免费 GPU 算力指向用 Lean 4 形式化的数学问题，由 Lean 4 内核作为机器裁判判定每个提交的证明是否成立。项目维护 378 道 Lean 4 形式化题目（来自 Natural Number Game、Mathematics in Lean、miniF2F 等），通过模型跑道、中继接力、证明修复循环（修复形式、挖洞、Lean 自动化、子目标拆分）和志愿者 Agent 提交等机制求解，并把每次尝试、被拒尝试与最终通过证明一并公开记录。README 报告其修复工具能把免费模型的通过率从 44.8% 提升到 56.1%，最小模型提升最大。
评测与安全02
Danielkgr/auslawexam-bench · A public, reproducible benchmark of Australian legal reasoning for LLMs
AusLawExam-Bench 是一个面向大语言模型的澳大利亚法律推理评测原型。它用统一的版本化提示词向 GPT、Claude、Gemini、Groq、DeepSeek、Mistral、Qwen 及本地开放权重模型等八个模型槽位提出考试式法律问题，抽取答案中的引证并与已知判例、法条语料比对，将引证分为切题、其他真实引证、无法确认三类，再按评分细则打分，并输出自助法置信区间与置换检验，生成静态排行榜。项目支持在无 API 密钥时用确定性模拟离线运行全流程，强调可复现与可审计，但现仅有 16 道未经澳大利亚执业律师审核的暂定题目，已报告结果仅覆盖部分模型槽位，题目数量扩充中，不提供法律意见。
AI 编程03
MrBinnacle/skills · Skills that started with problems I encountered.
该仓库以 Markdown 记录编码智能体在实际工程中犯过的失败，例如 git pull 静默改写本地历史、部署确认误判、测试因桩代码而误通过等；每条记录包含失败日志和证据说明，并附带 Claude Code 可加载的 SKILL.md 指令文件。仓库明确说明多数失败仅被观察到一次，只有 pull-rebase 做过受控测试且未得出有效结论，因此不声称技能能减少失败。用户可仅阅读文档而不安装，也可按工程、编排、元技能三组安装插件。
Agent 与工作流04
两位工程师做了一场演讲，讲的是怎么把 AI Agent 从本地开发时用的 FastAPI 小原型，搬到 Kubernetes 上、用 Ray 撑起来的正式生产环境。他们分享了实际操作中的经验：Ray 集群怎么搭、有状态记忆怎么存、流量忽高忽低时怎么自动扩缩容，以及控制平面怎么设计得稳。另外还提到几道关键防线：安全护栏、多区域部署，还有让大模型当裁判来给 Agent 打分的评测流程。对做 AI 应用落地的团队来说，这些是从“能跑”到“撑得住”的参考经验。这只是一场演讲分享，相关工具和做法没有说明是否已经开源或可以直接拿来用。
文中可用工具
- FastAPI本地开发 AI Agent 原型时用的 Web 框架
- Kubernetes部署和运行生产级 AI Agent 系统的容器编排平台
- Ray用来扩展 AI Agent 基础设施的分布式计算框架
- RayCluster文中只提到名称，原文未说明具体用途
- LLM-as-a-judge让大模型充当裁判，对 Agent 的输出进行评分的评测方式
模型进展05
OpenAI 正在让 ChatGPT 更好地处理“低资源编程语言”，也就是训练数据较少、平时不太常见的编程语言，比如 COBOL。为此他们新增了几项评测，用来衡量模型在软件工程、SQLite 和 COBOL 迁移这些任务上的表现。原文没有说明具体改进了什么、提升了多少，也没有给出这些评测是否已经公开可用、何时上线。对读者来说，这意味着 ChatGPT 在小众语言上的表现以后可能会有更明确的衡量方式，但实际效果目前还看不到。
Agent 与工作流06
英国数字健康公司 Numan 做了一个叫 Nu 的 AI 健康教练，帮患者管理体重、激素和性健康等长期问题。难点在于：它只能做生活方式指导，不能越线变成诊断、开药或临床决策，这在医疗监管下是硬边界。团队原来用固定问答对和预设多轮脚本做评测，但教练是对话而不是答题，脚本也无法回应 AI 实际说了什么，导致误判。现在他们把每次评测都跑在生产同一个 LangGraph 图上，按类别分别打分，用模拟对话检验行为，并让安全探针直接卡住发布。对读者来说，这说明做受监管领域的 AI 产品时，评测标准本身比模型和流程更关键。
文中可用工具
- LangGraph编排 AI 健康教练的多角色对话流程，也是评测实际运行的图
- LangSmith原文未说明具体用途
- NuNuman 的 AI 健康教练产品，提供生活方式指导
评测与安全07
Shu-Chenzy/claude-scientific-eval · A 30-task expert-curated evaluation of frontier models on experimental and translational cancer biology: evidence grounding, causal reasoning, target prioritization, experimental design, failure detection
该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。
评测与安全08
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
评测与安全09
tafreeman/agentic-evalkit · Evaluate AI agents with repeatable tests, calibrated judge evidence, and reviewable reports.
agentic-evalkit 是一个 Python 评测工具包，用于对 AI Agent 的输出按自定义检查项打分，并生成可复核的评分证据报告。它支持命令行和 Python API，可评测 Python 代码、命令行程序和 HTTP 服务，且不绑定特定 AI 框架。评测先执行客观检查，再可选进行模型评判；内置参考评判器对相同输入返回相同结论，且仅作建议，不能批准发布。项目还提供针对 SWE-bench 的 Docker harness、Claude Agent SDK 目标，以及 MLflow 和 Langfuse 的校准门控集成等可选扩展。