AI 资源库 · 已整理 2 项

集群管理

查看与集群管理相关的 AI 资讯、工具、Skill、工作流和开源项目。

KubeMind SDK:在 Kubernetes 上编排、推理与自愈 AI 工作负载的 Python SDK

nhvang/kubeflow-python-orchestrator · Kubeflow Python SDK 2026: Run AI Workloads on Kubernetes Seamlessly

KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK,提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能,并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准,未提供可核验材料。

☆ 收藏查看来源 ↗

llamaMan:在 Docker 中启动、监控与集群管理多个 llama.cpp 实例的浏览器界面

nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy

llamaMan 是一个基于浏览器的 UI 和 API 前端,用于在单机或小型集群上启动、监控和管理多个 llama.cpp(llama-server)实例。它本身不含 llama.cpp 代码,通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像,并提供兼容 Ollama 与 OpenAI 的代理(:42069),可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入(图片/PDF)、实例监控、用户与 API Key 认证、请求记录,以及可选的多节点集群和知识库/MCP 功能。

☆ 收藏查看来源 ↗