GM-Bench:评估大语言模型长程规划与决策能力的体育总经理基准
nedcut/gm-bench · A deterministic sports general-manager benchmark for evaluating long-horizon LLM planning, tool use, and decision quality.
GM-Bench 是一个确定性的体育总经理(general-manager)模拟基准,用于评测大语言模型在多赛季长程规划、工具使用和决策质量方面的表现。智能体通过 JSON 兼容 API 在虚构的冰球式联盟中管理阵容、交易、自由球员、选秀和首发。项目包含带种子联赛模拟器、多个脚本基线策略、CLI 运行器、外部进程协议以及排行榜网站。当前公布的是 sota-v5 结果面板,另有决策模型通道和进行中的 GM-Bench 2.0 智能体版本。
评论 · 分享第一个看法