AI 资源库 · 已整理 6 项
查看与LLM 代理相关的 AI 资讯、工具、Skill、工作流和开源项目。
nbharaths/tau-rec · τ-Rec: A verifiable benchmark for agentic conversational recommender systems (RecSys 2026 Resource Track)
τ-Rec 是发表于 ACM RecSys 2026（可复现性与资源赛道）的可验证基准，用于评测基于 LLM 的对话式推荐智能体。它模拟被测智能体与模拟用户进行多轮对话，要求其使用目录工具收集信息、遵守书面策略，并最终推荐满足用户全部约束的电影。评测结果直接依据目录进行程序化校验而非由 LLM 裁判判定，因此分数可复现且计算成本低。基准包含带 reveal 标签的用户模拟（volunteer / on_ask / hidden）、策略合规评分、pass^k 一致性指标，以及 153 部 TMDB 电影目录和横跨复杂度与信息透露难度的 60 个任务；通过 LiteLLM 支持任意模型作为被测智能体或模拟器。
wboudiche/recruiter-agent · AI-assisted sourcing tool: multi-tier LinkedIn extraction + recruiter agent
recruiter-agent 是面向个人招聘者和小型团队的 AI 辅助候选人搜寻工具。它支持从 LinkedIn、GitHub、个人网站、CV 文件或粘贴文本添加候选人，经 LLM 结构化抽取、公开来源信息补充后，按职位加权标准进行 0-100 分评分，并通过看板管理候选人从抽取、评分、验证到邀约、安排面试的全流程。系统还内置带 11 个工具的对话式招聘 Agent，可查询职位与申请、搜索看板、起草和发送邀约、拒绝或验证候选人等，可逆操作支持撤销。所有组件通过 Docker 在本地运行，使用自有 LLM 与 API 密钥。
GitHubSecurityLab/seclab-taskflows-fuzzing · An LLM-driven fuzzing pipeline powered by the GitHub Security Lab Taskflow Agent
该项目是 GitHub Security Lab Taskflow Agent 的模糊测试任务流，面向原生 C/C++ 项目提供 LLM 驱动的自主模糊测试流水线。它结合 AFL++ 执行、clang+lcov 覆盖率采集以及 LLM Agent，自动完成目标识别、构建系统分析、harness 编写与构建、覆盖率反馈迭代、崩溃去重与分类，并生成含可利用性判断和修复建议的可读漏洞报告，同时提供实时 HTML 仪表盘。
TypeSafe AI 在 2026 年 9 月发布了 Jev，它专门用来做决定：你给它一段状态（字符串或 JSON 对象）和一组带类型的问题，它直接返回带概率的类型化答案，不做解释。过去评估管道为了让文本生成模型给出一个“是/否”判断，要套 JSON 模板并支付生成成本，其实只为一个比特的信息。Jev 正好为此而生，可以接入 Datadog Agent 可观测性的两种评估场景：对线上真实 span 的在线评估，以及对数据集做离线评估的实验，而且同一套评分标准可以两边共用。这样评估更快、更省，还能把模棱两可的判断交给人工复核。
文章作者做了一个实验：给 GitLab 公开文档做了一个聊天问答系统，拿一句包含五个不同问题的话去测试。主流做法是把复杂问题拆成五个小问题分别检索，再合并、重排、塞进有限的上下文窗口。结果五个正确答案虽然都被检索到了，但最终只有一条被保留，另外四条被排在前面的答案挤掉了；不拆分反而能保留三条。作者把这种现象叫“上下文饥饿”：某个子问题虽然找到了答案，却在最后分配上下文空间时被挤掉，而且常规召回率指标完全看不出来。文章指出，查询分解只解决了检索阶段的问题，分配阶段仍由“谁分高谁上”的不公平策略决定，需要引入公平性约束。目前这是作者在 GitLab 公开文档上做的实验，配套评测方法尚未说明是否开放使用。
GitHub 安全实验室发布了一个叫 Fuzzing Taskflow 的自动化工具，专门给 C/C++ 项目做模糊测试。模糊测试就是自动给程序喂各种奇怪输入，看能不能把程序搞崩，从而找出安全漏洞。以前这件事很费人：需要人盯着代码覆盖率、手动写测试框架、一个个分析崩溃原因。现在这个工具只要给它一个 GitHub 仓库地址，它就会自己识别关键函数、写测试框架、跑 AFL++、看覆盖率、改进测试、分析崩溃并生成漏洞报告。它不是万能药，复杂项目仍可能需要人工介入，而且必须在一次性环境里运行。