load-testing

Metrum AI Bench CLI：面向 OpenAI 兼容推理端点的可复现负载与性能基准测试工具

metrum-ai/bench-cli · Reproducible load and performance benchmarking for AI inference endpoints

Metrum AI Bench CLI 是 Apache-2.0 许可的 Rust 命令行工具，用于对 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点做负载与性能测量，可采集延迟、TTFT、ITL/TPOT、token 吞吐、RTFx 与 WER/CER 等指标。它以客户端形式运行，需要用户自备 vLLM、vLLM-Omni 等推理服务；支持通过 SUT 声明块和结果清单生成可发布的基准结果，并可从 Hugging Face 的 metrum-ai/prompt-library 提取指定 ISL/OSL 分布的提示词集。