AI 资源库 · 已整理 3 项
查看与GPU 资源规划相关的 AI 资讯、工具、Skill、工作流和开源项目。
ai-runway/airunway · ✈️ Kubernetes-native platform for deploying and managing AI inference across multiple providers
AI Runway 是一个 Kubernetes 原生平台，提供 Web UI 和统一的 ModelDeployment CRD，用于跨多个推理提供商部署和管理大语言模型。它支持浏览 HuggingFace 模型、一键部署、实时状态与日志监控、Prometheus 指标、GPU 成本估算，并集成 Gateway API 推理扩展和 Headlamp 插件。它兼容 vLLM、SGLang、TensorRT-LLM、llama.cpp 等推理引擎，通过提供商适配集成 NVIDIA Dynamo、KubeRay、KAITO、LLM-D 和直连 vLLM。
Sahil170595/Chimeraforge · PyPI capacity-planning CLI for LLM deployment. pip install chimeraforge.
Chimeraforge 是一个本地优先、模型无关的 LLM 部署规划器，以 Python CLI 形式提供。用户可输入模型规模、HF 仓库或 Ollama 标签，以及 GPU 硬件与请求速率，工具会在（模型 × 量化 × 后端 × GPU 数量 × 并行策略）空间中搜索，并在 VRAM、质量、延迟、成本、能耗等门控约束下返回满足 SLO 的最便宜配置。每个数值都标注为 measured、extrapolated、derived、estimated 或 unknown 的来源，无需联网即可对本地注册表和目录进行规划。项目还提供 workload 流量画像、markdown 决策简报、MCP 服务器供 Claude/GPT/Cursor 调用，以及 suggest、measure、bench、safety 等共 25 个子命令。
Zutfen-LLC/inferswarm · InferSwarm is an open-source heterogeneous inference fabric for turning disparate compute resources into one logical inference platform.
InferSwarm 是 Zutfen LLC 发起的 Apache-2.0 研究/概念验证项目，目标是让厂商、代际、显存大小、链路和机器各不相同的计算资源协作完成同一个推理请求，并扩展已有硬件可正确运行的模型与工作负载范围。项目以 Fabric Doctrine 和 ADR 定义规划规则（先保证正确与技术可行，再满足运营者硬约束，最后排序），维护能力证据矩阵区分已实现并实测、CPU/夹具验证、研究内部与未证实能力。当前公开证据包含固定拓扑 llama.cpp CUDA/RPC 操作路径、两主机 NVIDIA 场景的有界推理结果、自动规划与分布式服务等实测记录；通用异构规划器、混合厂商服务与整体模型可行性仍属未证实，仓库定位为研究记录与路线图，而非已发布生产运行时。