Chimeraforge：LLM 部署容量规划命令行工具

Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.

GitHub原文发布未知首次收录 2026-10-19上架 2026-10-19 07:00

ELI5：它是什么，解决什么问题

Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。

# MCP # vLLM # 推理部署 # GPU 资源规划 # 容量规划

核心能力与快速开始

★ 2 · Python

能做什么: 在给定模型、GPU 硬件、请求速率和 SLO 的条件下，搜索模型、量化方式、推理后端、GPU 数量与张量/流水线并行的组合，并按 VRAM、质量、安全（可选）、延迟、预算五个门控条件筛选，返回成本最低且满足约束的配置。支持任意 Hugging Face 仓库、Ollama 标签与手动参数覆盖；支持 KV-cache 量化、多 GPU 张量并行与流水线并行、异构 GPU 集群；对每项数值标注 measured/extrapolated/derived/estimated/unknown 来源；提供 workload 流量画像、决策简报、离线保存与复查、MCP 服务器等能力。
适用场景: 在采购或扩容前估算某个 LLM 在指定 GPU 上能否装得下、吞吐与延迟能否满足 SLO、月成本大概多少；为超出单卡显存的大模型规划多卡切分方案；根据真实请求日志或 vLLM/SGLang 指标导出负载画像，再做容量规划；让 AI 助手通过 MCP 调用规划结果，避免凭记忆计算 KV-cache 与显存；对本地或在线模型进行 benchmark 后再以实测数据规划。
项目形态: 可直接使用的工具
部署方式: 以 PyPI 包形式发布，可用 uvx 免安装试用或 pip install 安装，运行于 Windows、macOS、Linux；核心安装可离线使用注册表规划与本地目录，HF/Ollama 解析或发现需要显式网络访问；MCP 服务器支持 stdio 与绑定回环地址的 Streamable HTTP 传输。
主要依赖: Python 3.10+；bench/measure/safety 需要运行中的后端（Ollama、vLLM、TGI 或 SGLang，其中 safety 仅支持 Ollama）；可选 extras 分别引入 pynvml、MCP SDK、ROUGE-L/BERTScore 评测依赖、numpy/scipy 系数重拟合依赖。
使用限制: 内建吞吐语料全部为 FP16，且仅在单张 RTX 4080 Laptop 12GB 上测得，其他 GPU 上的数值按内存带宽外推并标注为 extrapolated；量化吞吐是 FP16 行乘以量化倍率，并非该量化方式的实测；实测最大模型为 3.21B，更大模型按幂律外推；没有 SGLang 的实测行；张量并行与流水线并行暂不可组合；质量与安全语料仅覆盖有限的模型×量化组合，超出范围报告为 unknown。
许可证: MIT
最近推送: 2026-10-18 12:48

官方入门核对 README 依据 ↗

资料检查：2026-10-19 07:00 · 卡片整理：2026-10-19 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证

职业应用

程序员

程序员可用该 CLI 规划 LLM 部署：输入模型规模、HF 仓库或 Ollama 标签及 GPU 硬件与请求速率，在 VRAM、质量、延迟、成本、能耗等约束下搜索最便宜的满足 SLO 的配置；也可通过 MCP 服务器让 Claude/GPT/Cursor 调用规划器获取部署参数与启动命令。

查看内容依据

It turns "which model, quantization, GPU, and backend -- how many, will it fit, will it hit my SLO, what will it cost" into a fast answer with explicit evidence and assumptions, from your shell, your Python, or your AI assistant.

官方使用入口 ↗

由 AI 根据来源材料整理，未进行安装或运行验证

相似资源

AI Runway：在 Kubernetes 上部署与管理大模型推理的多提供商平台

AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。

SyntaxRAG：面向 AI 代理的本地代码检索 MCP 引擎

SyntaxRAG（SYNRAG）是一个本地代码搜索 MCP 引擎，通过 Tree-sitter 按函数、类、类型等 AST 结构切分代码，在 CPU 上用 FlashRank（TinyBERT）对 BM25 候选重排序，并构建依赖影响图。它提供搜索、文件大纲、仓库地图、影响范围分析、测试定位及受控编辑等工具，以减少 AI 代理定位代码时的 token 消耗；附带安装脚本、CLI、可选的变更监视服务和 Gemini 相关可选功能。

Brito：带代码知识图谱与可审核技能的终端编码智能体

Brito 是一个面向软件开发的编码智能体，提供命令行工具 brito-cli 和 macOS/Windows/Linux 桌面应用。它不依赖逐文件 grep 阅读，而是用 tree-sitter 增量索引构建代码知识图谱（符号、调用、导入），支持 TypeScript/JavaScript、Python、Svelte/Vue/Astro 组件及多种后端语言，可通过 graph_search、graph_callers、graph_impact 等工具快速回答“改这里会影响什么”。它还会保存记忆笔记，并在任务完成后反思生成项目技能，新技能先进入试用期，经多次成功使用后转正，涉及危险命令或修改已批准技能时需用户审批，并提供隐私检查（如拒绝密钥、curl | sh 等）与手动/自动编辑/计划/全允许等权限模式。支持 Anthropic API 或 Claude Code 订阅作为后端，也可接入 OpenAI 兼容端点，并可作为 MCP 服务器向其他客户端暴露图谱、记忆与技能。

Vybe Intelligence Vault：面向 AI Agent 与 RAG 工程的开源知识图谱

Vybe Intelligence Vault 是一个自更新的开源知识仓库，索引 AI Agent、RAG、MCP 服务器、提示词、工具和模板等前沿资料，并宣称通过采集管线、LLM 评估和向量关系构建语义知识图谱。项目提供 MCP 网关供 Claude Desktop、Cursor 等 Agent 直接查询节点上下文，还包含基于 React Three Fiber 和 WebGL 的 3D 知识图谱浏览界面，以及若干 7 天工程学习路径与生产蓝图。

这是基于来源内容整理的摘要。原文链接失效后，本页摘要和讨论仍会保留。