GM-Bench：评估大语言模型长程规划与决策能力的体育总经理基准

核心能力与快速开始

★ 1 · Python

能做什么

提供确定性的多赛季体育总经理模拟环境，用于评测 LLM 长程规划、工具调用和决策质量。功能包括：带种子联赛模拟器（球员老化、成长、伤病、合同、工资帽压力、自由球员、交易、选秀、季后赛、球队排名）；阵容影响球队实力且只有上场年轻球员才全速成长；竞争性选秀与自由球员市场；真实交易市场与截止日交易；多个基线智能体（random、conservative、win-now、rebuild、value、shrewd、strategic、pick-trader、exploit 等）；评分模型奖励胜场、总冠军、未来资产、新秀和工资帽健康；用于单智能体运行和基线对比的 CLI 运行器；用于接入 LLM 智能体的外部进程协议，支持持久 memo 暂存区；协议 v3（每赛季四阶段、多轮决策窗口、交易协商、分层观察、可选持久子进程会话）。

适用场景

适用于需要评测大语言模型在长程规划、工具使用和连续决策场景下表现的场景；可用于对比不同 LLM 智能体与脚本基线（如 pick-trader）在同一合约和私有种子面板上的得分；可用于研究跨决策连续性、观察截断、无效动作惩罚等因素对模型表现的影响；也可通过网站上的交互式决策卡片展示真实决策选项及其即时效果，用于演示或教学。

项目形态

研究实现

部署方式

未说明

主要依赖

未说明

使用限制

headline 结果中的模型输出受 4096 token 上限约束且该上限未测量；sota-v5 面板单次重复下种子内噪声未测量，最小可检测差异依赖校准面板的假设重复噪声；对照脚本参考策略的连续性结果仅单侧，只表明参考策略未从持久化获益，而非模型也不会获益；一个决策模型通道（Jev）不写入动作，其分数包含问题 scaffold，且未预注册、不进入 Holm 家族；GM-Bench 2.0 实施已完成但评估刚开始，仅有公开种子上的八种子 smoke 结果，尚无面板级结果。

许可证

MIT

最近推送

2026-09-26 05:13

资料检查：2026-09-26 07:00 · 卡片整理：2026-09-26 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容