AI 资源库 · 已整理 7 项
查看与模型选型相关的 AI 资讯、工具、Skill、工作流和开源项目。
clouatre-labs/llm-agent-experiments · Benchmarking open-weight LLM coding agents as SCOUT delegates: model comparison experiments with pre-registered protocols, blind scoring, and full data.
该项目是一套预注册、盲评的评测实验资料，用于比较多款开源权重 LLM 在多智能体流水线中作为 SCOUT 研究综合角色委派者的表现，并判断它们能否以更低成本替代专有基线 Claude Haiku 4.5。实验采用 8 项二元评分准则、Mann-Whitney U 非劣效检验和成本效率指标，公开了协议、评分准则、逐次运行得分、延迟日志与 SCOUT 交接 JSON。后续实验将评测扩展到流水线全部角色，并加入跨任务复现与上下文隔离研究；项目同时说明，结论受单一任务类型和流水线配置的限制。
谷歌在9月30日向小范围测试者发布 Gemini 4 Argon，10月13日向付费 Gemini API 开发者开放，并称其在18项测试中14项领先 Claude Opus 5.5，价格暂为后者一半（11月30日后涨回同价）。作者用三个难题实测：找 Bug 两者打平；账单规格题 Opus 全对，Argon 因一行小错几乎全挂，修掉后也全对；长上下文依赖题 Opus 基本找全33个受影响服务，Argon 各尺寸都答错一批且推理草率。可见 Argon 更便宜、有时够用，但复杂推理可靠性明显不如 Opus。
Anlter-star/ai-job-insight-evaluator · An LLM evaluation and job market analytics platform for AI evaluation, product management, and data analysis roles.
该项目面向大模型评测、产品经理与数据分析三类实习岗位，收集并人工标注公开招聘岗位描述，构建统一字段与标注规范；实现关键词规则基线与兼容 OpenAI 接口的大模型结构化提取器，使用准确率、Precision、Recall、F1 和潜在无依据率等指标进行对比评测，并通过冻结验证集分析泛化能力。当前为小型数据集上的研究性评测项目，规划中的 Streamlit 可视化页面尚未完成。
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。
以色列初创公司 Uvi 本周三结束隐身模式，获得 750 万美元种子轮融资。它要解决的问题是：企业里用前沿大模型搭建的 AI Agent 每次回答前，都要重新翻 Slack、Jira、GitHub 等系统拼凑背景信息，导致成本虚高。Uvi 的做法是把公司已有的决策、对话、代码和流程集中整理成一个“记忆库”，让 Agent 一步拿到所需的最小正确上下文，而不是每次重做侦探工作。内部测试（未经独立验证）显示，同样的模型和问题下，接 Uvi 的 Agent 比直接连六个企业系统的 Agent 便宜约 8 倍、快 1 倍以上，单次回答成本从 0.75—1.41 美元降到 0.10—0.16 美元。对读者来说，这意味着未来换模型时不必让 Agent 重新学习公司背景，但实际效果仍待第三方验证，集成工具的范围也还没有完全公开。
jakemanger/whatmodel · Find the best AI models you can run
whatmodel 是一个开源 AI 模型榜单工具，将 879 个模型依据 22,113 条已发布基准测试结果汇总为单一评分，并列出每个模型的 API 价格、本地运行所需内存以及运行命令。用户可以在网站或终端按自身电脑配置（内存、显存、是否有独立显卡）与预算过滤模型，覆盖 llm、图像、视频、TTS、STT 等多个类别，支持 LMArena 等基准子集筛选与自定义评分尺度。
Vyoma/agent-economics-lab · Reproducible evidence, cost-quality frontiers, and production feedback loops for predictive ML, generative AI, and agent systems.
Agent Economics Lab 是一个 Python 工具包，把模型与 Agent 的轨迹、独立核验的结果、完整成本和指定基线一起输入，通过重放、审计与成本-质量前沿分析，输出 SCALE、ASSIST、STOP 或 INCOMPLETE 四类决策。项目强调缺失证据即拒绝通过（fail-closed），附带公开 SWE-bench 案例、结果标注器审计语料库和生产反馈回路契约，供团队判断 Agent 是否值得扩大投入。