评测与安全AI 资源
RotomArena：面向语言模型的宝可梦对战评测基准
vibrunazo/rotomarena · A competitive Pokémon benchmark for language models: each model drafts its own team, then battles every other model on Pokémon Showdown.
ELI5：它是什么，解决什么问题
RotomArena 是一个以宝可梦对战为载体的语言模型基准测试：每个模型先自行组建队伍，再在 Pokémon Showdown 上与其他模型逐回合对战，每回合给出简短思考并选择一个合法行动。项目按版本冻结规则，统一提示词、预算与裁判，基于已记录对局用 Bradley-Terry 模型计算 Elo 风格评分及自助法置信区间，并公布对局回放、模型推理、每局成本与每回合 token 数。参与方包括通过 OpenRouter 或本地 llama.cpp 接入的语言模型、决策模型、基于论文实现的规则版 PokéChamp 以及随机 AI。网站为 Astro 静态站，项目还包含将 Laya 决策模型微调用于组队的流程。
核心能力与快速开始
★ 0 · Python
- 能做什么
- 提供按版本冻结规则的语言模型对战评测流程：模型自行组建三支队伍，经 Showdown 校验器裁定合法性；在 Pokémon Showdown 上进行循环赛，每回合仅依据玩家可见信息作出一个合法行动，并限制思考 token 预算；对截断、无法解析或非法回答给予一次重试，否则使用默认行动并计为幻觉；按 Bradley-Terry 模型在 Elo 量表上计算评分与自助法 95% 区间，同时统计每局成本与每回合 token 数；记录每步决策的思考、耗时、token 与成本，支持完整回放，并导出网站数据。
- 适用场景
- 适合评估和比较不同语言模型在规则明确、信息不完全且多回合决策的对战环境中的表现；可用于观察模型的组队构建、合法行动遵循、推理预算与成本效率；也适合作为模型排行榜与对局回放展示的数据来源，以及研究将决策模型微调用于队伍组建。
- 项目形态
- 可直接使用的工具
- 部署方式
- 本地运行：需 Python 3.10+ 与 uv、Node.js 22 和 git，通过命令克隆并构建 Pokémon Showdown 服务器；网站为 Astro 静态站。Windows 提供 PowerShell 运行监控脚本。
- 主要依赖
- 需要 OPENROUTER_API_KEY 以调用注册模型；本地模型需自行在对应端口启动兼容 OpenAI 接口的 llama.cpp 服务。具体硬件、成本与资源限制未说明。
- 使用限制
- 官方说明本地模型管理工具 local_llm.gen 未公开；构建大型网站数据需增大 Node 内存；对局数据不随仓库提供；项目自述带玩笑性质，规则按版本冻结。其他部署条件与限制未说明。
- 许可证
- MIT-0
- 最近推送
- 2026-10-19 01:30
资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证
讨论 0
登录后参与讨论，阅读资讯无需注册。
还没有评论，来分享第一个看法。