τ-Rec：面向智能体对话式推荐系统的可验证基准

nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)

GitHub原文发布未知首次收录 2026-09-27上架 2026-09-27 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。

# benchmark # LLM 代理 # 模型评估 # recommender-systems # tool-use

核心能力与快速开始

★ 3 · Python

能做什么: 提供可验证的奖励机制：每个任务以结构化谓词（如 runtime <= 120、genres contains Comedy）声明约束，并直接对照目录求值。支持 reveal 标签的用户模拟（volunteer / on_ask / hidden），使模拟用户按受控速率透露约束信息，其中 hidden 约束从不直接说明、需从拒绝反馈中推断。提供策略合规评分：向智能体展示自然语言策略（data/policy.md），并用每任务的 policy_flags 对观看历史、可获取性、赞助内容披露、年龄限制等做程序化检查。采用无偏组合估计量的 pass^k 指标（C(c,k)/C(n,k)），跨多次试验奖励稳定成功的智能体。内置 153 部 TMDB 电影目录与 60 个按 complexity × reveal_difficulty 分层的任务，并通过 LiteLLM 支持任意模型作为智能体或模拟器。提供任务校验、运行基准、报告指标（pass^1/pass^2/pass^4 及 95% bootstrap 置信区间）的 CLI。
适用场景: 用于评测 LLM 智能体在多轮对话推荐场景中的表现，包括约束满足、信息收集、策略遵循和一致性（pass^k）。适用于对比不同模型在 RecSys 任务上的能力，分析失败模式（如策略违规频率、效率统计），以及通过排行榜提交运行结果进行可复现比较。
项目形态: 开发框架
部署方式: 未说明（需通过环境变量提供所用模型提供商的凭据，如 OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY）
主要依赖: Python 3.12+ 与 uv；运行评分需模型提供商凭据；重建或扩展目录需 TMDB API key
使用限制: 目录规模为 153 部 TMDB 电影、60 个任务；leaderboard 中 g0 与 g1 因使用不同策略提示而不可直接比较；分数运行依赖 LLM 调用，成本未说明；许可证为 NOASSERTION，商用条件未说明
许可证: NOASSERTION
最近推送: 2026-09-26 09:01

官方入门核对 README 依据 ↗

资料检查：2026-09-27 07:00 · 卡片整理：2026-09-27 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

作为可复现的评测基准，用于测试和比较基于 LLM 的对话式推荐智能体：运行 tau-rec run 让被测智能体与模拟用户多轮对话、调用目录工具，并按约束谓词和策略标志程序化打分，输出 pass^k 指标与轨迹，便于开发者评估智能体的工具调用与策略遵循能力。

查看内容依据

τ-Rec measures whether an agent-under-test can hold a multi-turn conversation with a simulated user, use catalog tools to gather information, respect a written policy, and ultimately recommend a movie that satisfies all of the user's constraints.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

产品经理

用于评估对话式推荐产品的智能体表现：基准包含 60 个横跨复杂度与信息透露难度的任务、带 reveal 标签的用户模拟和策略合规评分，可据此分析推荐智能体在约束满足、策略遵循和一致性（pass^k）方面的表现。

查看内容依据

153-movie TMDB catalog with 60 tasks stratified across `complexity` × `reveal_difficulty` cells.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

AI4Fire：评测语言模型与智能体在野火任务中的表现

AI4Fire 是一个面向野火任务的 LLM 与智能体评测基准，包含每日人员调配、野火烟雾检测、火险预报、温度相关航拍问答、火灾数据工具调用五个任务，覆盖 12 家厂商的 35 个模型。每个任务同时以裸提示与带 grounding 两种方式运行，并与非 LLM 对照基线比较，仓库内保存 77,644 条已评分响应，可离线一条命令复现论文全部主表，无需 API 凭据。

llm-syllogism：用 11000 条 WordNet 三段论评测大模型逻辑推理偏差

该项目是 AAAI 2026 Bridge 论文《Consistent Biases in Large Language Models' Syllogistic Reasoning》的配套代码与基准，基于 WordNet 上下位词链自动生成覆盖全部 44 种经典三段论形式的 11000 条评测数据（24 种有效形式 6000 条 + 20 种无效形式 5000 条），并以零样本 JSON 提示查询 GPT-4o、Gemini-2.0-Flash、LLaMA-3.3-70B、Qwen3-Max、DeepSeek-Chat 五个前沿模型。仓库提供三段论生成、提示构造、异步并发多模型调用（带重试、退避与断点续跑）三段式流水线及结果数据，用于考察模型是否在真正推理还是匹配语言表层规律，发现不同模型在难易分布上高度一致（平均成对 Pearson r = 0.886）、普遍偏向接受无效结论（有效 93% vs 无效 56%）以及中项语法位置影响准确率（Figure 3 83.0% → Figure 2 70.2%）。

DiagSafe：面向大语言模型的诊断式安全评测基准

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。

Benchmark Radar：AI 基准与评测记录的持续采集与检索数据库

Benchmark Radar 是一个面向 AI 基准与评测的"活数据库"和搜索引擎，通过爬虫每天从 40 个公开来源采集基准论文、仓库、数据集与发布信号，并结合模型报告、Artificial Analysis 等来源整理基准目录、分数记录、测试条件与引用信息。项目提供网页仪表盘（今日发现、基准前沿排行榜、Pareto 前沿、饱和与趋势视图）、RSS 订阅、可下载数据集以及用于离线查询的 CLI，还支持通过 coding agent 技能方式查询基准。材料说明软件采用 MIT 许可，技术报告与原创编辑内容采用 CC BY-NC-SA 4.0，商业再发布或产品集成需事先书面许可；未说明具体硬件要求和 API 成本。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。