decision-longctx-evals：面向决策模型的长上下文检索与推理评测工具

subquadratic-ai/decision-longctx-evals · Evaluating long-context retrieval and reasoning for decision models

GitHub原文发布未知首次收录 2026-10-16上架 2026-10-16 07:03

ELI5：它是什么，解决什么问题

该项目为“决策模型”（读取状态并对固定选项集返回概率、而非生成文本的模型）提供两套长上下文评测：Decision RULER 包含 11 个合成任务（针检索、变量追踪、词计数），以多选题决策形式覆盖 64K 至 1M token；Decision LCR 基于真实文档（每份约 100K token）的 100 道多选题。项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。该评测是 RULER 与 AA-LCR 面向决策模型的原则性改编，分数与原基准不可直接比较。

# decision-quality # eval-harness # 长上下文 # token 统计 # 基准评测

核心能力与快速开始

★ 1 · Python

能做什么: 提供 Decision RULER（11 个合成任务，多选题决策，支持 64K/128K/256K 及 dev split 的 512K、1M 长度）与 Decision LCR（100 道真实文档多选题，共 354 个决策，118 个部分各 3 种选项轮换）两套长上下文评测；通过 HTTP POST 端点接收 state/question/options 并读取每选项概率；支持多端点与并发运行、断点续跑与失败重试、指定任务子集与样本数做冒烟测试；计分采用 RULER 各长度下 11 任务均值和 LCR 全对准确率（AON，3 次轮换平均），失败或缺失决策计为错误；每次运行输出逐决策 JSON 行（probs、pick、correct、nll、input_tokens、secs）及记录设置、数据版本与决策覆盖范围的 .config.json。
适用场景: 评估决策型模型在 64K 至 1M token 长上下文下的检索与推理能力；对比多个模型在同一端点协议下的长上下文表现（dlce score --vs）；用小子集任务和样本做快速冒烟测试；在自建推理服务端点上按 HTTP 协议接入评测；基于输出 JSON 记录开展逐决策的分析与统计。
项目形态: 可直接使用的工具
部署方式: 以 pip 从 GitHub 安装（pip install git+https://github.com/subquadratic-ai/decision-longctx-evals），要求 Python 3.10+，数据首次使用时从 Hugging Face 下载并缓存，可提前用 dlce fetch 拉取；评测需配合提供决策概率的自建 HTTP 端点。
主要依赖: Python 3.10+；一个按约定返回每选项概率的 HTTP 决策接口（示例为 http://localhost:8000/decide）；数据从 Hugging Face 获取，需相应网络访问。其余硬件与成本未说明。
使用限制: 面向决策模型而非生成式文本模型；与原 RULER、AA-LCR 无关联且分数不可比；Decision LCR 不包含 AA-LCR 的原始文档；论文中的 Paul Graham 文章作为 haystack 不在 Apache-2.0 授权范围内；失败或缺失决策一律计为错误；数据含 canary GUID，要求不进入训练数据。
许可证: Apache-2.0
最近推送: 2026-10-13 04:04

官方入门核对 README 依据 ↗

资料检查：2026-10-16 07:00 · 卡片整理：2026-10-16 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

使用 dlce 命令行工具对决策模型进行长上下文检索与推理评测：通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率，运行 Decision RULER 与 Decision LCR 评测，支持并发、多端点分发、断点续跑，并按任务平均分或全对准确率计分，输出逐决策的 JSON 记录。

查看内容依据

项目提供 pip 安装的 dlce 命令行工具，通过向自定义 HTTP 端点发送包含 state、question、options 的请求并接收每个选项的概率来运行评测，支持并发、多端点分发、断点续跑，并按任务平均分（RULER）或全对准确率（LCR）计分，输出逐决策的 JSON 记录。

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

strix-halo-llm：AMD Strix Halo 上的 llama.cpp Vulkan 调优与 LLM 评测工具集

该项目针对 AMD Ryzen AI MAX+ 395（Strix Halo / gfx1151）统一内存平台，提供经实测的 llama.cpp Vulkan 推理调优方案，包括单模型启动脚本、路由器模式启动器、Prometheus 指标导出与看门狗脚本，并记录了内存占用上限、批大小、推测解码等实测结论。仓库还包含可跨硬件使用的评测工具与一个记录了十六个评测框架 bug 的目录，每个 bug 都附带了它曾产生的“看似合理的错误数值”。

Harbor：面向容器环境评估与优化智能体和语言模型的框架

Harbor 是由 Terminal-Bench 团队开发的框架，用于评估与优化智能体和语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等各类智能体，构建和分享自定义基准与运行环境，通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等提供方并行运行上千个环境开展实验，并为强化学习优化生成 rollout。Harbor 是 Terminal-Bench-2.0 的官方评测框架。

multistep_reasoning：面向 LLM 的多步推理编排工具，将提示拆分为子任务并汇总结果

该项目是一个 Python 库，把单条用户提示拆分为多个子任务，分别执行后合并为一个可修订的 Document。每轮遵循 decompose → execute → compose → render 流程，后续子任务不接收完整文档，而是通过大纲、滚动摘要和可查询的 DocumentOracle（列出、读取、搜索、提问）获取上下文，使模型在输出前可以回改先前内容。项目目标是让长任务处理超出单次上下文窗口的材料。仓库还包含 oobabooga 聊天扩展（当前已知启动问题）、单元测试与 journal 记录；模型端点无默认值，需显式配置。

serbeval：面向塞尔维亚语语法与正字法能力的 LLM 基准评测

serbeval 是基于 lm-evaluation-harness 构建的塞尔维亚语 LLM 基准，覆盖格支配、体、不定过去时/未完成时、语素音变、数词一致、ijekavian jat 反映、正字法、č/ć 区分以及西里尔/拉丁字母一致性等翻译型多语言基准难以考察的内容。项目提供官方题集 v1.2（351 题，含人工核验、模型共识确认和由核验题派生的改错题）以及初步的 30 模型 OpenRouter 零样本排行榜，并提供题目校验、生成、自校验、人工复核、语料挖掘和合成等数据集工具链。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。