llm-bench：并发压测 LLM API 并对比延迟、吞吐与成本

Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.

GitHub原文发布未知首次收录 2026-09-27上架 2026-09-27 07:03

☆ 收藏查看项目 ↗

ELI5：它是什么，解决什么问题

llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。

# 延迟优化 # 多模型支持 # 成本治理 # 模型评估 # 指标聚合

核心能力与快速开始

★ 2 · Rust

能做什么: 通过 CLI 将相同提示词并发发送给多个模型，按 --runs 次数重复执行，统计每个模型的 p50/p99 响应时间、每秒完成 token 数、平均与总成本、成功率，并标出最快与最便宜模型。支持 OpenAI Chat Completions 与 Anthropic Messages 两种 API 形态，可通过 --openai-base-url / --anthropic-base-url 指向任意 OpenAI 兼容服务（如 Ollama、vLLM、LM Studio）或代理网关。结果可输出为表格或逐个请求的 JSON（含响应文本），也可同时写入文件。内置价格表由 llm-bench models 列出，用于成本估算。
适用场景: 在自己的网络环境和真实提示词下，比较多个候选模型（例如 gpt-4o-mini、gpt-4o、claude-haiku-4-5）的速度与成本，为选型或成本控制提供数据；对比本地部署模型（如 Ollama 上的 qwen2.5）与云端 API 的表现；通过 --output json / --output-file 导出逐请求明细，供后续分析或集成到评测流程；在无 API key 时用本地 mock server 或本地模型试跑流程。
项目形态: 可直接使用的工具
部署方式: 本地命令行运行；提供 Windows PowerShell、macOS/Linux shell 安装脚本，以及 Homebrew、Scoop、cargo binstall、cargo install 和手动下载 Release 包等方式。二进制未做代码签名，Windows SmartScreen 可能提示未知发布者，macOS 手动下载可能需执行 xattr -d com.apple.quarantine。
主要依赖: 需要 Rust 工具链（从源码安装时）；压测官方 OpenAI/Anthropic 接口需对应 OPENAI_API_KEY / ANTHROPIC_API_KEY；使用自定义 base URL（本地或兼容服务）时 API key 可省略。仓库说明中开发测试需 cargo、clippy、fmt。
使用限制: 每请求为单次非流式调用，不单独测量首 token 时间；请求全部完成后才输出结果，Ctrl+C 中断不会产出报告；--prompts 以逗号分隔，含逗号的提示词需改用 --prompt-file；价格表内置在源码中，价格变动需自行更新 src/providers.rs；自定义 base URL 下未收录模型成本显示 n/a，官方端点未收录模型按每 1000 token 0.002 美元的粗略占位估算；全部请求失败时命令以状态码 1 退出。
许可证: MIT
最近推送: 2026-09-26 08:13

官方入门项目文档核对 README 依据 ↗

资料检查：2026-09-27 07:00 · 卡片整理：2026-09-27 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

在开发或选型 LLM 应用时，用同一批提示词并发压测多个模型（OpenAI、Anthropic 及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），对比 p50/p99 延迟、每秒 token 数、单次与总成本、成功率，从而为项目选择更快或更便宜的模型。

查看内容依据

It sends the same prompts to several models at once (OpenAI, Anthropic, or any OpenAI-compatible server such as Ollama, vLLM or LM Studio) and prints one table: p50/p99 latency, tokens per second, cost per request and success rate.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

Ship Sense：按产品判断力对前沿大模型排名的评测基准

Ship Sense 是一个针对前沿大模型的评测基准，用 82 个来自十年真实产品决策的私有案例，衡量模型在“何时该停下来”上的产品判断力，包含克制（该做、该延后还是该砍掉某个功能，以及 AI agent 可自主行动到何种程度）、诚实（指出数据局限而不编造结论、也不否定数据支持的结果）、坚持（在压力和弱证据下守住判断，并在出现真实证据或对方有道理时改变判断）三个维度。评分采用确定性的关键词匹配而非 LLM 评委，并给出对抗性策略与随机策略的可利用性下限；仓库还维护模型排行榜、代际对比与得分历史。

rag-eval-toolkit：评估 RAG 管线的 Python 工具包

rag-eval-toolkit 是一个用于评估 RAG（检索增强生成）管线的 Python 工具包，提供 LLM-as-judge 评分、检索指标与幻觉检查等 13 项评估指标，每项返回 0.0-1.0 的分数，涵盖 faithfulness、hallucination、groundedness、上下文精确率与召回率、答案相关性等。它支持 OpenAI、Anthropic、Ollama、Gemini、LiteLLM 等多种后端，其中 Ollama 作为本地优先后端可在无 API key 情况下运行评估；同时提供异步并行执行、SQLite 结果缓存、YAML 配置、HTML 报告和彩色 CLI 输出。相比 Ragas、DeepEval 等成熟框架，该项目定位更窄，强调评判提示词可读可改、易于 fork，适合需要自定义评判逻辑或本地低成本回归检测的场景。

SkillRadar：面向开发者与招聘方的 AI 人才评估与 ATS 简历优化平台

SkillRadar 是一个连接开发者与招聘方的双边 AI 人才平台，提供 ATS 简历结构化解析、GitHub/LinkedIn 审计、交互式 AI 模拟面试以及招聘方人才库等功能。后端基于 Next.js 16 与 TypeScript 构建，通过 Vercel AI SDK 集成 Gemini、OpenAI、Claude、Groq、OpenRouter 等多提供商 LLM，支持 BYOK、多级回退、AES-256-GCM 密钥加密、双盲隐私脱敏与 i18n 路由，并内置 Vitest、Playwright、dependency-cruiser 等质量门禁。

4xV100-qwen38-flash-next-abliterated-128gb-vram：在 4 张 V100 上以 NVFP4 运行 Qwen3.8-Flash-Next-ABLITERATED 的推理配置

该仓库聚焦于在 4×V100-32GB（合计 128GB 显存）上以 NVFP4 精度运行 Qwen3.8-Flash-Next-ABLITERATED，README 描述中提到支持 262K 上下文、约 46 tok/s 解码速度、OpenAI 兼容接口，并面向 agent 使用场景。相关主题标签涉及 vLLM、NVFP4、SM70、张量并行、投机解码与 Tesla V100。除 README 摘录外，部署步骤、软硬件要求与许可信息未提供，无法确认安装与验证情况。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。