CapitalBench：面向 AI 模型资本配置决策的开放可审计测评基准

ishtiaqrahman/capitalbench · Open, auditable benchmark for AI capital-allocation decisions.

GitHub原文发布未知首次收录 2026-09-24上架 2026-09-24 07:02

ELI5：它是什么，解决什么问题

CapitalBench 是一个开放、可审计的 AI 模型资本配置能力基准。每个模型接收同一份冻结的市场简报与资产清单，在不使用浏览、工具或追问的情况下一次性生成投资组合；组合在价格变动前被保存，随后依据真实市场回报计分。项目提供单标的（single_pick）与组合（portfolio）两种提交协议、官方与稳定性两条独立评测轨道、版本化 ETF 选项池以及行情的哈希与校验流程，用于可复现地比较不同模型的决策质量与重复调用一致性。项目定位为 AI 评测研究，而非投资顾问或交易系统。

# llm-evaluation # benchmark # ai-evals # finance # reproducibility

核心能力与快速开始

★ 2 · Python

能做什么: 支持完整运行一轮基准测评（创建轮次、导入研究材料、冻结并哈希模型输入、运行官方评测、校验提交、评分与发布报告）；提供 single_pick 与 portfolio 两类提交协议及严格 JSON 提交的 schema 校验；维护官方与多次调用的稳定性两条互不混合的评测轨道；提供版本化选项池（Universe v1.5/v2.0/v2.1）与 ETF 校验流程；通过 run_id 隔离运行，保留原始模型输出与审计记录，支持复现已公布结果与加入新模型。
适用场景: AI 评测研究：在相同冻结信息与决策时点下比较不同模型的市场决策及其一个月后的真实表现；复现与核查已公布基准结果、检查冻结输入与模型输出；评估模型重复调用决策的一致性与稳定性；扩展测试新模型并生成公开报告与审计文件。
项目形态: 开发框架
部署方式: Python 3.10+，可通过 pip 本地安装（python3 -m pip install --user .）或以 PYTHONPATH=src 方式直接运行命令行；默认离线优先，除非显式传入 --allow-real-api-calls 否则不会发起 API 调用，行情数据需由操作者显式拉取。
主要依赖: 需 Python 3.10+；校验选项池需要 TIINGO_API_KEY；真实模型调用需配置模型配置文件（如 configs/models.local.yaml）与定价配置并显式允许真实 API 调用；未说明具体 API 成本、硬件要求与调用配额限制。
使用限制: 官方定位为 AI 评测研究，明确声明不是投资顾问、交易系统或财务建议来源；官方评测仅取模型一次冻结决策，不涉及工具、Agent 循环或答案优化；稳定性结果不影响官方排行榜，二者不合并为加权总分；新模型仅可参与未来轮次，不回溯补录旧轮次。
许可证: Apache-2.0
最近推送: 2026-09-23 16:48

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-24 07:00 · 卡片整理：2026-09-24 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

相似资源

GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

GM-Bench 是一个确定性的体育总经理（general-manager）模拟基准，用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板，另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。

measure-twice：在自定义任务上横向评测本地模型与云模型并留存路由证据

measure-twice 是一套本地基准测试工具包与 mt CLI，让用户编写 JSON 任务套件（suite），在同一批题目上横扫（sweep）本地模型与 Claude 等模型档位，支持确定性评分与 rubric 评分、模型调用预算以及按条目/模型/样本级别的断点续跑。运行结果会生成自包含的 HTML 报告，展示分数、错误答案、解析失败、完整提示词与逐字响应，并通过 claim 账本用 MEASURED / PARTIAL / ASSERTED / STALE 区分实测证据与策略声明，配合引用哈希检查来源变动。项目同时包含一个尚在建设中的编码 Agent 基准测试基础设施，目前仅提供结构校验。

MiniLang：从零实现的编译器与 LLM 语言学习基准

MiniLang 是为评测「LLM 能否只凭规范学会一门从未见过的编程语言」而设计的小型 C/JavaScript 风格语言，配套从零用 Python 编写的编译器（词法分析、递归下降解析、渐进类型检查、三地址码生成与带资源限制的沙箱解释器）、支持 Claude/GPT/本地 Qwen 的编译器即工具智能体评测基准，以及把编译器暴露给 AI 助手的 MCP 服务器。

Code Review Cadre：用自有仓库历史基准评测多个 AI 代码审查器并组建互补审查阵容

Code Review Cadre 是一个面向 AI 代码审查器的基准评测工具。它从目标仓库的 git 历史中挖掘“先破坏后修复”的提交对（且修复同时改动了测试）作为答案键，按 HIT / DEFER / MISS 三档对多个模型或审查 CLI 的审查结果打分，其中在有阻断性问题上的 DEFER 会直接取消候选资格。它会输出覆盖矩阵（roster）而非排行榜，指出没有任何阵容成员能覆盖的缺陷项，帮助用户判断哪些审查器组合在失败点上互补。工具支持通过适配器接入任意 CLI/模型（如 CodeRabbit 作为免费审查者），并可用一个或多个免费模型（含本地 Ollama）作为评审器，通过冲突项标记 UNRESOLVED 以暴露答案键边界问题。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。