Shu-Chenzy/claude-scientific-eval · A 30-task expert-curated evaluation of frontier models on experimental and translational cancer biology: evidence grounding, causal reasoning, target prioritization, experimental design, failure detection
该项目是一个小型、盲评的试点评测，包含 6 个来自前列腺癌实验与转化研究的任务，用来考察 Claude 系列模型能否给出可支撑真实实验决策的输出。评测覆盖证据支撑、机制/因果推理、靶点优先级、实验设计、闭环决策与定量检测设计，采用 1–5 分六维评分、15 类预定义失败码，并记录拒答情况；作者强调其结果仅适用于这一狭窄任务切片，不能外推到整体科学推理能力。
展开详情收起详情：claude-scientific-eval：面向转化癌症生物学任务的 Claude 模型科研能力评测⌄
★ 0 · 资料合集
GitHub
原文发布：未知收录：2026-10-20
yagobski/agentleak · Open-source privacy testing for AI agents. Python SDK, CLI and MCP tools to detect data leaks across tool calls, memory, inter-agent messages and logs, with redacted reports and CI gates.
AgentLeak 是一个面向 AI Agent 的开源隐私泄漏测试工具，提供 Python SDK、CLI 和 MCP 工具。它检查工具调用、共享内存、Agent 间消息、日志和生成文件等执行通道中的数据泄漏，每条 trace 会生成脱敏报告，并基于 AgentRisk 给出风险指数；支持 CI 门禁、合规框架映射、本地 Web 平台和多种 Agent 框架集成。检测与评分默认在本地进行，不依赖云端或 LLM。
展开详情收起详情：AgentLeak：AI Agent 隐私泄漏检测工具⌄
★ 10 · 可直接使用的工具
GitHub
原文发布：未知收录：2026-10-20
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
展开详情收起详情：llm-agent-experiments：多智能体流水线中开源权重模型的角色级替换评测⌄
★ 3 · 资料合集
GitHub
原文发布：未知收录：2026-10-20