Metrum AI Bench CLI：面向 OpenAI 兼容推理端点的可复现负载与性能基准测试工具

metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints

GitHub原文发布未知首次收录 2026-10-07上架 2026-10-07 07:01

ELI5：它是什么，解决什么问题

Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。

# LLM # cli-tool # openai-compatible # benchmarking # load-testing

核心能力与快速开始

★ 2 · Rust

能做什么: 提供多个二进制/子命令：llm 测量聊天与补全的延迟、TTFT、ITL/TPOT 和 token 吞吐；vlm 在此基础上增加图像负载大小测量；asr 测量转录延迟、RTFx 及可选 WER/CER；imagegen 测量图像生成延迟与产物哈希；prompts 从 metrum-ai/prompt-library 按 ISL/OSL 均值或中位数选择提示词组合并输出 JSONL；strategic 做并发/速率扫描、拐点分析与多轮会话；另有 selftest、preflight、sut init、compare 和 mock-server 等辅助命令。支持通过 --sut/--require-sut 生成带 SUT 清单的可发布运行结果，输入格式为 JSONL。
适用场景: 在自建或托管推理服务上评估 LLM/VLM/ASR/图像生成端点的吞吐与延迟表现；做容量规划与并发/速率扫描；按指定输入输出长度分布构造提示词集以进行可比的基准运行；在长 GPU 运行前做 preflight 连通性与流式冒烟检查；产出带系统与环境声明的可复现结果用于比较。
项目形态: 可直接使用的工具
部署方式: 作为客户端本地运行；可用 GitHub Releases 预编译二进制（Linux x86_64/aarch64 glibc、macOS Darwin，含静态 Go dummy-model-server）或 cargo install 安装，也可从源码用 cargo build --release 构建。被测量的推理服务需用户自行部署。
主要依赖: 从源码构建需 Rust 1.85 或更高；从源码构建随附的 dummy server 需要 Go 1.26.6+，基准二进制本身不需要 Go。真实后端建议使用 vLLM（LLM/VLM）、vLLM-Omni（图像生成，ASR 待 vllm-omni#5722 合并）的厂商容器镜像。模型、引擎版本、请求参数、并发与 ISL/OSL 扫描范围等需自行按当前厂商文档确定，材料未给出固定硬件与 API 成本。
使用限制: 该 CLI 只是客户端，不提供模型服务；README 中的 claims ledger 区分“代码支持”与“已实际验证”的模态，不能超出其所述范围宣称能力。LLM 仅支持单一全局 --max-tokens，不支持按请求设置上限；imagegen、ASR、VLM 的测试数据目前为本地 fixtures，未发布到 Hub。思考型模型需先阅读相关文档再设置 --max-tokens 或 reasoning_effort，否则可能出现 no_output_token 或 TTFT 失真。未说明具体性能上限与商业使用限制。
许可证: Apache-2.0
最近推送: 2026-10-06 22:16

官方入门项目文档核对 README 依据 ↗

资料检查：2026-10-07 07:00 · 卡片整理：2026-10-07 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容

职业应用

程序员

对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成推理端点进行可复现的负载与性能基准测试，采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标，用于推理服务的性能验证与容量规划。

查看内容依据

Metrum AI Bench CLI provides Apache-2.0 licensed load and performance measurement for OpenAI-compatible LLM, VLM, ASR, and image-generation endpoints.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

all2md：将 PDF、Office 等 40+ 格式转换为面向 LLM 的 Markdown 并支持反向转换

all2md 是一个 Python 库与命令行工具，基于 AST 流水线将 PDF、Word、PowerPoint、HTML、邮件、表格、电子书、代码等 40 多种格式转换为结构化、LLM 友好的 Markdown，并支持将 Markdown 反向转换为 DOCX、PDF、HTML 等富文本格式。项目面向 RAG 数据摄入、LLM 预处理、批量自动化和 Python 应用嵌入，同时提供 rcat 终端文档阅读器，以及批量转换、grep、语义搜索、diff、分块等命令行能力，并内置 MCP 服务器。

Derailment：诱导并测量大语言模型中类精神病理认知扭曲的评测工具

Derailment 是一个分层测试工具（harness），用于在 LLM 聊天流水线中诱导并测量类似精神病理的认知扭曲。它通过操控临床概念对应的变量（注意力、显著性、效价、唤醒度），让同一标准探针脚本分别跑在经操控的流水线和健康基线上，输出 A/B 对照的评分报告。项目提供 18 个临床档案与 6 个对抗策略档案及健康基线，涵盖 ADHD、抑郁、精神分裂症、焦虑、双相、强迫症、PTSD、谵妄、痴呆样遗忘、解离性遗忘、反刍、快感缺失、分裂、渴求、疾病焦虑、惊恐、固着、被害观念等，配有 18 项基于转录文本的度量指标。支持离线伪 LLM、任意 OpenAI 兼容端点、本地 Ollama、订阅制 CLI 代理以及手动协议模式，另提供 LLM 作为评判者的评分、交互式聊天 REPL 和本地 Web GUI。项目明确声明这是模拟而非诊断。

OpenInference：面向 AI 应用的 OpenTelemetry 追踪规范与插件

OpenInference 是 OpenTelemetry 的补充规范和插件集合，用于对 AI 应用进行追踪，可观察 LLM 调用、向量库检索以及搜索引擎、API 等外部工具的使用。它提供与传输方式和文件格式无关的规范，并为多种机器学习 SDK 和框架提供多语言插桩，包括 OpenAI、LangChain、LlamaIndex、Anthropic、MistralAI、Bedrock、VertexAI、CrewAI、Haystack、DSPy、MCP 等。它原生支持 Arize Phoenix 和 Arize AX，也可接入任何兼容 OpenTelemetry 的后端。

Dossier：自托管的求职管理应用，依据个人档案生成定制简历与求职信并跟踪申请进度

Dossier 是一个自托管的求职管理应用，使用 TypeScript 和 Next.js 构建、以 PostgreSQL 存储数据。它把职业经历集中在一个档案中，生成基础简历；针对具体职位，读取招聘信息、展示与档案的匹配情况，并用档案中的事实起草定制简历和求职信，用户可在聊天中修改并导出 PDF。它提供求职岗位搜索与评分、创业公司职位聚合、可选的每日求职 Agent、Claude 连接器，以及可选的 Gmail 与 Google Calendar 集成，并能用看板和数据表跟踪从草稿到 offer 的全流程。AI 模型可选用 Ollama 或 LM Studio 提供的本地模型，也可选用任意 OpenAI 兼容 API、Anthropic 或 Mistral 的托管模型。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。