AI 资源库 · 已整理 7 项
查看与ai-evaluation相关的 AI 资讯、工具、Skill、工作流和开源项目。
adshine/skills · Collection of agent skills (Claude Code / Codex). Each subdir is a self-contained SKILL.md.
这是一个 Agent 技能合集，适用于 Claude Code、Codex 及任何兼容 SKILL.md 的智能体。每个子目录是一个自包含技能，包含 SKILL.md 及辅助脚本，覆盖 iOS 模拟器会话隔离、视觉与交互 QA（布局度量、动效、点击手感、源还原度）、CLI/文件系统断言、全栈交互追踪、网站审计、设计系统搭建、破损视频修复、项目管理以及联系人二维码生成和 AI 图像生成等场景。仓库提供 git clone 或复制单个技能目录到 Agent 技能目录的安装方式。
Ayorinha/ayorai-opensearch · AYORAI ATTRACTOR — Evidence-first claim-level verification engine
AYORAI ATTRACTOR 是一个面向 AI 生成答案的可审计核验层：将答案拆解为单条 claim，与证据来源（含出处、偏移与溯源信息）关联，推导 stance（支持／矛盾／中立），再由**模型之外的确定性 Judge** 依据固定、带版本号的规则给出最终核验结论。结论状态包括 VERIFIED、SUPPORTED、PARTIALLY_SUPPORTED、UNVERIFIED、REFUTED、CONFLICTING；评估输入输出可用 SHA-256 做内容寻址以保证防篡改，并提供可复现的评测套件。当前领域为巴西电信监管（AnatEL RGC，标记 D10），项目自定位为研究与工程参考实现，明确声明不构成认证、法律意见或合规结论，评测数据为合成开发集且不构成生产泛化证据。
Electricpaper77/ai-rag-eval-platform · AgentTrust IQ: reliability layer for Microsoft Reasoning Agents with groundedness, citation, hallucination, safety, latency, and JSONL audit checks.
AgentTrust IQ 是一个模型无关的 AI Agent 可靠性与评测平台，在发布前对回答的接地性、引用支持、提示注入抵抗、PII 处理、不安全工具操作、延迟与可审计性进行检查。它将可靠性检查转化为明确的 release、block 或 escalate 决策，并生成可回放的 JSONL 证据。默认工作流为确定性本地运行，可选通过 GEMINI_API_KEY 接入 Gemini 作为辅助评估器，但基线工作流不依赖它。
mixpeek/momentbench · Corpus-scale video moment retrieval benchmark — 75h of rights-cleared video, 500 queries, 4 difficulty tiers. Built on Mixpeek.
MomentBench 是由 Mixpeek 构建的语料级视频时刻检索评测基准，目标规模为 75 小时版权清晰视频与 500 条查询，覆盖四个难度层级。当前 v0.2 版本包含 27 个经哈希校验的视频资产，来自 Blender 开放电影、NASA 航空航天与 NASA 机器人三个领域，配套 620 条查询（457 条收录于仓库中）。项目提供查询分层定义、评测协议与评测指标（Recall@1/5、平均时间 IoU）、智能体评测赛道（模型通过 list_assets、search_transcript、read_transcript、sample_frames、submit_answer 等工具在预算内提交答案）、多模型适配器（Gemini、GPT、Claude、TwelveLabs、Qwen-VL、E5-Omni、CLIP 等）、污染控制机制（canary 字符串与 public/held_out/rolling 划分）以及结果提交与自建语料运行流程。
review-bench/ReviewBench · ReviewBench is an open, reproducible benchmark for evaluating AI code review systems on real-world pull requests.
ReviewBench 是一个开放、可复现的基准，用于在真实 GitHub Pull Request 上评估 AI 代码评审系统。它为每个 PR 提供经人工评审的金标准发现问题集合，将代理发现的问题与该参考集对比，衡量其识别有效问题并避免误报的可靠性，结果还可按严重程度和类别等维度查看。仓库包含 25 个 PR 的测试集、219 个 PR 的完整集、金标准发现、方法论文档、代理契约与示例适配器、本地测试脚本以及评审 CLI，允许评审工具厂商通过自助门户将其评审器接入排行榜。
b7n0de/proofbundle · Portable evidence for AI work, verifiable offline. Integrity, not truth
proofbundle 是一个 Python 工具与回执格式，用于把 AI 评测、审查、决策或动作转化为单个可移植回执文件，支持离线验证与显式策略检查。它可证明内容由哪个密钥签名、签名内容是否被改动、所附证明与策略检查是否通过，但明确不判断所报告结果是否真实、工作是否正确或完整。核心支持签名回执与 Merkle 包含证明，并提供评测回执、选择性披露、决策回执、Inspect AI 集成、RFC 3161/OpenTimestamps 锚定、ML-DSA-44 见证共签名等可选能力，各特性成熟度不一。
azbigboss66-oss/skillfoo-v3 · Bounded, evidence-driven SKILL.md evolution under frozen evaluation and safety contracts.
SkillFoo 是一个本地实验性 CLI，用于在冻结评测合同、安全边界和可审计回滚机制下受控演化 AI Skill 的 SKILL.md。它把自然语言目标整理为可确认的 Task Card 与评测边界，冻结原始 B0 与生成的 S0，维护 Anchor/Elite/Diversity 进行多代变异与精修，并通过严格 JSON、确定性 verifier、五维最低线等非退化保护选出候选；若没有合格改进则保留起点。项目只优化 SKILL.md，不覆盖输入 Skill、不自动发布候选，Live 执行需配置 OpenAI-compatible Provider。