评测与安全AI 资源

SWE-Serve：面向生产推理工程任务的智能体基准

NVIDIA/swe-serve · SWE-Serve: an agentic benchmark of 53 production inference-engineering tasks derived from merged SGLang pull requests, run with Harbor.

GitHub原文发布未知首次收录 2026-10-14上架 2026-10-14 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

SWE-Serve 是 NVIDIA 发布的智能体基准，包含 53 个源自 SGLang 已合并 PR 的生产推理工程任务（41 个 H100 GPU 任务与 12 个 CPU 任务），借助 Harbor 运行，考察模型/智能体在端到端执行、持久状态与并发请求下对推理系统的正确性改造能力。仓库以冻结基准发布形式提供任务目录、参考解与验证器，并支持封闭书本模式（closed-book）以防智能体查阅上游 PR，另有排行榜与论文链接。

# benchmark # llm-inference # agentic-engineering # llm-agents # sglang

核心能力与快速开始

★ 19 · Python

能做什么: 提供 53 个生产推理工程任务（41 个 H100 GPU 任务、12 个 CPU 任务），任务源自近期 SGLang 的生产变更；评测正确性，涵盖通过端到端执行、持久状态或并发请求集成进推理系统；使用 Harbor 任务格式（task.toml、instruction.md、environment/、tests/、solution/、provenance.json）；支持单任务运行、--all 全量运行、--cpu-only/--gpu-only 筛选；支持 mini-swe-agent 等 Harbor 智能体与 oracle、nop 校验运行；提供 --closed-book 模式限制容器网络访问并保留代理审计日志；结果默认写入 jobs/，附有复现论文排行榜的配置与评分流程。
适用场景: 评测 LLM/智能体在生产推理服务工作（如 SGLang）上的工程改造与修复能力；在封闭书本条件下对比不同模型/智能体框架的排行榜表现；用 oracle 与 nop 运行校验任务环境与验证器是否就绪；在 CPU 或 H100 GPU 子集上按需执行部分任务以控制成本。
项目形态: 资料合集
部署方式: 本地运行：git clone 仓库后用 Python 3.12+ 与 pip 安装 Harbor；依赖 Linux x86_64 上的 Docker（含 Compose V2+），GPU 任务需 NVIDIA Container Toolkit；结果默认输出到 jobs/ 目录。
主要依赖: 软件：Linux x86_64、Docker（Compose 插件 V2+）、Python 3.12+，GPU 任务需 NVIDIA Container Toolkit。硬件：GPU 任务需一块 NVIDIA H100 80GB SXM5；至少 20 个 CPU 核心；至少 128 GiB 可用主机内存（并需为操作系统预留额外内存）；建议预留 1 TB 磁盘空间。部分任务需申请 meta-llama/Llama-2-7b-chat-hf 的 Hugging Face 访问权限并配置 HF_TOKEN；模型端点需通过 OPENAI_BASE_URL/ANTHROPIC_BASE_URL 等环境变量配置。
使用限制: 仓库自述为冻结基准发布而非活跃开发项目，任务内容按 git tag 固定，结果仅在同一个 tag 内可比，修复以重新生成新 tag 的方式落地；自定义模型配置需保留 350 步与 120 秒命令限制；改动任务内容的 PR 无法按原样合并；README 未说明模型调用费用、完整基准运行时长之外的成本与许可之外的商用限制。
许可证: Apache-2.0
最近推送: 2026-10-10 02:33

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-14 07:00 · 卡片整理：2026-10-14 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

相似资源

DiagSafe：面向大语言模型的诊断式安全评测基准

DiagSafe 是腾讯混元开源的大语言模型安全评测基准，由细粒度双语安全数据集与提示级评分准则（rubric）两部分构成。基准包含 3,489 条中英文提示，基于 11 个一级、34 个二级、84 个三级标签的安全分类体系，覆盖单轮与多轮对话、直接有害请求及多种攻击形式（含模板越狱、组合模板越狱与指令攻击）。评测采用 LLM-as-a-judge：每条提示配有专属安全评分项及豁免条件，另加八项通用有用性评分项，由裁判模型逐项判定并引用证据，从而给出可解释的细粒度安全诊断。仓库提供评测脚本、OpenAI 兼容与 vLLM 配置、结果分析与本地数据看板。

llm-inference-fault-tolerance：测量 LLM 流式推理服务崩溃时客户端所见的令牌异常

该项目是针对 vLLM 与 SGLang 的故障注入研究，考察 LLM 推理服务在生成中途崩溃时，流式客户端实际收到什么。基于 Llama 3.1 8B 与 AWS A10G 完成 86 次运行、430 次试验，比较朴素重试、重算、固定间隔 KV 检查点等恢复策略，并记录朴素重试与已交付文本矛盾、确定性模式加重算可精确恢复等发现；仓库包含论文、原始日志、分析制表脚本、故障注入工具与精确一次令牌网关。后续的 KV 检查点微基准与自适应策略尚未开始。

Qwen3.8-27B-abliterated-AWQ-SGLang-DFlash2-RTX-PRO-6000：在单张半卡 RTX PRO 6000 上部署量化 Qwen3.8-27B 推理服务

该仓库记录了一套针对 abliterated Qwen3.8-27B 模型的生产推理部署方案：采用 AWQ-INT4 量化权重，结合 SGLang v0.5.22（含五个补丁）与 FP8 的 DFlash 2 投机解码草稿器，运行在 NVIDIA RTX PRO 6000 的半卡 MIG 分区上，并通过 Cloud Run 提供服务。README 给出了量化流程、显存与 KV 池配置、单流/四流与长上下文下的解码和预填充基准、投机解码与验证优化、并发槽位设置的实测数据，以及视觉输入、工具调用方面的能力说明和结构化输出不支持等限制。部署包含约 14 分钟冷启动和一次耗时约 75 分钟的量化步骤，性能数据均在 Cloud Run 环境下测得。

Richardson Attention：面向混合注意力 Transformer 的免训练长上下文多跳推理与解码时注意力干预方法

Richardson Attention（又称 Superconducting Attention）是一种免训练、权重不变的运行时推理干预方法，用于缓解混合注意力 Transformer（如 google/gemma-4-E2B-it、gemma-4-E4B-it）在滑动窗口注意力与稀疏全局注意力交错结构下，多跳指针追踪退化为极低准确率的问题。README 报告称，该方法在 8,270 token 的 3 跳检索上把准确率从 0.0380% 提升到 98.5919%，在 9,912 token 的 5 跳链式追踪上从 2.2398% 提升到 93.8942%，并显著降低对抗性诱饵的捕获率，同时基本保持语言建模困惑度不变；在 NVIDIA RULER VT、BABILong qa3 和 Lost in the Middle 的评测中也报告了提升。项目包含论文、Colab 演示、评测脚本和结果文件，面向对长上下文推理与机制可解释性感兴趣的研究者。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。