指标聚合

llm-bench：并发压测 LLM API 并对比延迟、吞吐与成本

Mattbusel/llm-bench · CLI that benchmarks LLM APIs: run your prompts concurrently against OpenAI and Anthropic models and compare p50/p99 latency, tokens per second, cost and success rate as a table or JSON.

llm-bench 是一个用 Rust 编写的命令行工具，把同一批提示词并发发送给多个模型（OpenAI、Anthropic，以及 Ollama、vLLM、LM Studio 等 OpenAI 兼容服务），并以表格或 JSON 输出 p50/p99 延迟、每秒 token 数、单次与总成本、成功率等指标，帮助使用者在真实网络和自己提示词条件下比较不同模型的快慢与费用。内置价格表可用 llm-bench models 查看，非流式请求且不单独测量首 token 时间。