推理与部署01
nhvang/kubeflow-python-orchestrator · Kubeflow Python SDK 2026: Run AI Workloads on Kubernetes Seamlessly
KubeMind SDK 自称是面向 Kubernetes 上 AI 工作负载的“认知结构”Python SDK,提供语义化流水线构建、预测式自动扩缩、基于概率依赖图的自愈能力、PyTorch/TensorFlow/JAX/ONNX 多框架运行时统一封装、因果时间线可观测性、Web 仪表盘、多语言错误提示与零信任安全壳等功能,并提供 gRPC/GraphQL/WebSocket 桥接以便非 Python 服务接入。README 中的性能数字与预测准确率均属其自述基准,未提供可核验材料。
推理与部署02
nullata/llamaMan · A browser-based UI for launching, monitoring, clustering and managing multiple llama.cpp server instances from inside a Docker container. Includes an Ollama-compatible API proxy
llamaMan 是一个基于浏览器的 UI 和 API 前端,用于在单机或小型集群上启动、监控和管理多个 llama.cpp(llama-server)实例。它本身不含 llama.cpp 代码,通过 Docker socket 以兄弟容器方式拉起 llama.cpp 服务镜像,并提供兼容 Ollama 与 OpenAI 的代理(:42069),可直接对接 Open WebUI。还支持模型下载、预设与一键启动、投机解码、MoE 卸载、KV 量化、多模态输入(图片/PDF)、实例监控、用户与 API Key 认证、请求记录,以及可选的多节点集群和知识库/MCP 功能。